モデル量子化とは？

モデル量子化とは？

モデル量子化は、AIモデルを実用的にするための最も重要な技術の一つです。モデルの重みを構成する数値の精度を下げることで、モデルをより小さく、より高速にします。

通常、重みは16ビット浮動小数点数として保存されます。16ビットの70億パラメータモデルには14GBのメモリが必要です。4ビットに量子化すると、わずか3.5GBしか必要ありません。

どの程度の精度が失われるのでしょうか？驚くほど少ないです。適切に量子化された4ビットモデルは、元のモデルの能力の95〜99％を維持できます。

主に2つのアプローチがあります：トレーニング後量子化と量子化認識トレーニングです。

量子化は、現代のAIモデルをコンシューマーハードウェアで実行できる理由です。これがないと、700億パラメータモデルには140GBのメモリが必要になります。