最後の展示室です。ここまで見てきたのは、せいぜい数万個のパラメータを 持つ小さなネットワークでした。ChatGPTやClaudeのようないまのAIは、 同じ仕組みの延長線上にありながら、桁違いの規模を持っています。 どれくらい桁違いなのか、実際に手を動かした第2展示室のMNIST MLP (52,650個)を物差しに旅してみましょう。
パラメータ数の旅
3段ロケット
いまの大規模言語モデルは、だいたい3つの段階を経て作られます。
1段目: 事前学習(Pretraining)
インターネット規模のテキストを使い、「次に来る単語(トークン)を 当てる」練習をひたすら繰り返します。第4展示室の展示Aでやった 「次の文字を当てるだけの機械」は、原理としてはこの1段目そのものです (規模と文脈の覚え方が桁違いなだけです)。
2段目: SFT(教師ありファインチューニング)
「質問に答える」「指示に従う」といった、人間が書いたお手本の やり取りを使って追加学習します。ただの「次を当てる機械」が、 会話の相手として振る舞えるようになる段階です。
3段目: RLHF / Constitutional AI
人間の評価(どちらの回答が好ましいか)や、あらかじめ定めた原則を 使って、より役に立ち、より安全な受け答えになるよう仕上げます。
スケーリング則
2020年前後、「計算量・データ量・モデルの大きさを増やすほど、 性能が滑らかに、しかも予測可能に伸び続ける」という経験則が確認されました (スケーリング則)。下の模式図はその傾向のイメージです。
「大きくすればするほど賢くなる」ということが数字で確認されたからこそ、 その後、兆円単位の資金がモデルの大規模化に投じられるようになりました。 第3展示室で触れたGPU(並列計算)の存在が、この大規模化を現実的な時間で 可能にした縁の下の力持ちです。
いまあなたが話しているAIは、その数千万倍から数億倍の規模を持っています。
でも、一番下の仕組みは——
第1展示室で見た、あの小さなニューロン1個の計算と、変わりません。