AWQ量子化の解説

AWQ量子化の解説

AWQはActivation Aware Weight Quantizationの略です。最小限の品質損失で優れた圧縮を達成するため、非常に人気のある最新の量子化手法です。

AWQの背後にある重要な洞察は、モデル内のすべての重みが等しく重要ではないということです。AWQは活性化パターンを調べることで、どの重みが最も重要かを特定します。

従来の量子化はすべての重みを同じように扱います。AWQはよりスマートなアプローチを取り、出力に最も大きな影響を与える重みにより高い精度を適用します。

このプロセスは小さなキャリブレーションデータセットを分析することで機能します。AWQはどの重みが結果に最も強い影響を与えるかを測定します。

AWQは、実際には元の16ビットモデルとほとんど区別がつかない4ビット量子化を達成するため、人気を博しています。