
2026/05/15 19:51
シグモイド関数はあなたを救うことはできません。
RSS: https://news.ycombinator.com/rss
要約▶
Japanese Translation:
要約: 最も重要な示唆は、分析家たちが技術的なトレンドが停滞する時期を頻繁に誤判別しており、将来の成長について深刻な過小評価に至っているという点である。物理的な限界により、トレンドは自明に「シグモイド形状」を描く(航空機の記録速度や流行病モデルなどによる例示と同様)ことではあるが、この平坦化が起こる正確な瞬間を予測することは、往々にして失敗する。それは、潜在的な生成メカニズムを無視するためである。歴史的な証拠は明確だ:エネルギーの展開に関する早期の予測(特に WEO プロジェクション)や出生率に関するものは、即座に鈍化することを誤って想定しており、Wharton チームによる 2026 年の AI 能力に関する分析も、より新しいモデルのリリースによって直ちに不正確であることが示された。
本文
「すべての指数関数的な成長が、終局的にシグモイド曲線(S 字曲線)に収斂する」という主張は、AI 分野の議論において煩わしいトピックの一つです。もし誰かがこのようなグラフを示し、「人工知能の能力がまもなく『高水準』のレベルに達するよう見えますね」と指摘した場合、議論における「健全さ」の表れとしては、実際には成長トレンドは以下のような経路を描く可能性があり、「高水準」のラインに決して到達しないことを指し示すべきでしょう。これを一語でまとめるなら、「すべての指数関数は最終的にシグモイドになる」というスローガンです(シグモイドとは、2 つ目のグラフに見られるように、初期は指数関数的に急増しましたが次第に平坦化していく S 字形の曲線のことです)。
この命題は技術的には真実です。いかなるプロセスも永遠に成長し続けることはできません;いずれ物理的な限界や現実的な制約に直面することになるからです。例えば、パンデミックにおける累積症例数は、古典的なシグモイド曲线を示します:感染の開始は緩やか(患者ゼロが患者一人を感染させ、その連鎖が続く)ですが、やがて指数関数的増大を見せます。しかし、人口の大部分が感染し尽くされ、わずかな残存感染者への対応に移行した段階では成長速度が鈍化し、最終的には全人類が感染した時点で成長率はゼロとなります。
ある特定の分野における技術的進歩もまたシグモイド曲线を描くことがあります。以下に時系列ごとの空気動力記録を示します:出典:https://en.wikipedia/wiki/List_of_flight_airspeed_records 私の理解では、これはプロペラ式エンジンからターボジェットエンジンへと至る 3〜4 つの異なる技術世代を表しており、各技術は通常の漸進的改良を通じてその限界に達し、やがてより優れた新技術によって置き換えられたのです。最後の技術であるラムジェットエンジンはこの分野の限界を約 3,500 km/h で到達しましたが、それ以上の開発に必要な経済的・法的意欲が存在しなかったため、この記録は未だ破られていません。AI の領域でもいずれ同様のことが起こりうることを想像できます。
これは、グラフが「高水準」の線に決して達しないという主張を支持するのでしょうか;つまり私たちは過度に心配する必要はないということでしょうか。一般的な結論に至る前に、まずは「シグモイド曲線の誤識別殿堂」を取り上げましょう。
第 3 位は、出生率減少傾向にある各国の国連による出生率予測です。これらの国の出生率は一定のペースで低下し続けており、国連はこれを予測するたびに、「いずれ落ち着いて、さらに低いペースで低下するはずだ」というシグモイド的な収斂を想定しています。このグラフにおいて赤い線は実際のデータであり、青い各線は国連が毎年異なる年に作成した「トレンドの外挿」尝试を示しています。確かに出生率は最終的には平坦化してシグモイド曲線を描くはずです(韓国では昨年既にその転換点に達した可能性がある一方、コロンビアやチリはまだ減少傾向が続いています)。しかし、それが国連の Forecasters が「下降幅が過剰である」と感じるタイミングと完全に一致するとは限りません。
第 2 位は、A.E. Hoekstra 氏が記録に残している太陽光発電設備の導入予測に関するものです。各 WEO(World Energy Outlook)ラインは、国際エネルギー機関(IEA, IPCC など)が太陽光発電をどの速度で普及させると予測したかを示しています。毎年、WEO は「今年は大規模な太陽光発電設備が追加された。おそらく今年は導入ペースが鈍化し、一部の人々はさらに慎重になるだろう」と考えます。しかし実際には、太陽光発電の導入量はその年またその年、ほぼ同等のペースで増え続けています。
第 1 位は、AI 能力に関する METR グラフを分析したこの論文です。2026 年初頭、基礎データが以下の様子を示している時:… ウォートン大学のチームは異なる曲線モデルを試し、おそらく今後進むトレンドはこのようになるだろうと予測しました:Tenobrus 氏はその後の出来事を巧みに記録しています(緑色の曲線が彼らの当初のモデルであり、星印は分析発表後にリリースされる次世代 AI モデルを示します):
この物語の教訓は、「すべての指数関数は最終的にシグモイドになる」ことは事実であっても、それが必ずしもあなたが分析を行っているその瞬間に起こるものではないということです。むしろ、予測した期間よりもはるかに長い間、指数関数的な成長が続くこともよくあります!その「どれだけ長いか」を予測する最良の方法は、トレンドを生み出すプロセスを完全に理解することにあります。例えば、流行の動態を理解している場合(複製速度、治癒確率、感受性集団の規模など)、パンデミックの発生を正確に予測できます。また、より複雑なケースである空気動力記録についても、有能なエンジニアであればラムジェットエンジンの限界が約 3,500 km/h であることを特定でき、有能な経済学者であれば、次のパラダイムを実現するために十分な資金を投入する国々が存在しないという事実は予測できます。
しかし、もしプロセスそのものを十分に理解できていない場合、どうすればよいのでしょうか;AI の予測家たちはデータセンターの仕組みや建設コストなどいくつかの要素は把握していますが(研究者たちが常に新たなデータ生成のパラダイムを発明し続け、データ制限を打破しているが、その持続期間は不明である)、他の要素については全く opaque です(「知能とは何か?」、「なぜスケール則が機能するのか?」、「ある時点で効力を失う可能性はないか?」など)。こうした不確実性の中で私たちは何をすべきなのでしょうか?
真の無知の状態にある場合、 Defaults な仮定として Lindy の法則を採用すべきです:平均而言、あるプロセスは既に存続してきた期間だけ長く持続すると見なすのが妥当です。直感的に理解するために:あなたは噴火口のそばを歩き、「この噴火口は 10 万年前以来噴出していない」という看板を見るとします。噴火口については何も知りません。では、来時以内に噴火する可能性はどれくらいでしょうか;非常に低いはずです,対でしょうか?もし次の時間以内に噴火したとすれば、あなたは噴火サイクルの 99.99999% を過ぎていたことになる——つまり、あなたのランダムなサンプリングは 99.99999% のポイントよりも高い値を持っていたことになります。これは通常のランダムサンプリングのあり方ではありません!逆に、別の噴火口のそばを通り、「この噴火口は 10 分前最後に噴出した」という看板があったとします。では、来時以内に再び噴火する可能性はどれくらいでしょうか;極めて高いはずです,対でしょうか?この噴火口の噴出サイクルはおそらく数十分スケールで起こっているように見えます。計算すると、次の噴出までの平均予測時間は、看板に表示された数字と同じになります。
同様に、完全に謎解けないトレンドが形を変えるまでにかかる時間の中央値予測は、最後に変化があった時点からの経過時間と同様であると考えるのが妥当です。
これを AI に適用すると、AI 進歩の動態に深い理解を深めようとする Forecasters は、データセンターを増設するなどの手法により、現状のペースで AI スケーリングをさらに数年内続けられると予想し、その後にレкурсивな自己改善を活用してより高速にスケーリングできるかどうかは不確かとしています。しかし、これらの人々に信用を寄せることができない場合、 Defaults は何であるべきでしょうか?
AI は 2017 年の GPT-1 以来劇的に進歩しており、多くの人は「スケーリング時代」を任意の基準として 2019 年現在までと捉えています。したがって、直感的に言えば、我々が知っているすべてを無視し、この分野全体を全くの謎とみなした場合、トレンドは平均而言今後約 7 ヵ月続く可能性があると期待できます(パレート分布を仮定すると、AI の文脈でこれが何を意味するかについては私自身も明確ではありません)。その場合、2 年未満で終了する確率は 22% です。
トレンドを外挿しすぎて批判することは容易で安価ですが;もし誰かが「AI 能力の向上というトレンドが特定の恐ろしい水準に決して達しない」と主張した場合、その証明責任は彼らにあるべきです:もし AI をブラックボックスとみなさず、明示的に動態をモデル化すると主張しているのであれば、彼らのモデルは何でしょうか;自明な要素——データセンターの増大予測やアルゴリズムの進歩速度——を計算しましたか;また、この分野で既に実施されているモデリング研究(例えば AI ファイチャー・タイムライン・モデルなど)に慣れていますか;同業者がどこで誤り犯し、自分のモデルではどう異なるかを具体的な意見を持っていますか;そして AI をブラックボックスとみなす場合でも、なぜ Defaults が Lindy の法則に基づかないのでしょうか。