モデルの重みとは？

モデルの重みとは？

AIモデルについて話すとき、よく「重み」という言葉が登場します。しかし、それは正確には何でしょうか？簡単に言えば、モデルの重みとは、AIがトレーニング中に学習したすべての記憶です。モデルの動作を定義するファイルに保存された、何十億もの数値です。

重みを、巨大なミキシングコンソールのつまみやダイヤルとして考えてください。モデルが最初に作成されたとき、すべてのつまみはランダムな位置に設定されています。モデルは何も知りません。トレーニングが進むにつれて、各つまみは少しずつ調整されます。モデルが正しい答えを出すのに役立つつまみは上げられ、間違った答えにつながるつまみは下げられます。何十億もの例でのトレーニング後、つまみはモデルが正確になる位置に落ち着きます。

各重みは単なる数値で、通常は0.342や-1.157のような浮動小数点値です。単一の重みだけでは何も意味しません。しかし、何百万、何十億もの重みを正しい構造で組み合わせると、パターン、関係性、知識をエンコードします。言語モデルの重みには、文法規則、事実知識、推論パターン、さらには文体の好みまでもが、すべて数値として保存されています。

これがモデルの重みが非常に貴重な理由です。ゼロからモデルをトレーニングするには、数百万ドルの計算能力が必要です。重みはその投資の結果です。LlamaやMistralのようなオープンソースモデルをダウンロードするとき、あなたは重みをダウンロードしています。モデルのアーキテクチャは単なる設計図であり、重みが実際の知識なのです。

モデルの重みはモデルのサイズも決定します。70億パラメータのモデルには70億の重みがあります。各重みはメモリに保存する必要があるため、大きなモデルほど多くのVRAMが必要です。モデルを量子化するときは、これらの重みの精度を下げて、少量の精度を犠牲にしてスペースを節約します。