浮動小数点形式：BF16、FP8、INT8

浮動小数点形式：BF16、FP8、INT8

AIモデルは、さまざまな数値形式を使用して重みを保存し計算を実行します。最も一般的なのはFP16、BF16、FP8、INT8です。FP16は長年標準でした。各数値は16ビットを使用します。FP16の7Bモデルには約14GBのメモリが必要です。

BF16はGoogleによって開発されました。FP16と同じ16ビットを使用しますが、指数により多くのビットを割り当てます。より広範囲の数値を表現でき、トレーニングに有用ですが、精度はわずかに低くなります。

FP8は、数値あたりわずか8ビットを使用する新しい形式です。範囲を優先するE4M3と精度を優先するE5M2の2つのバリアントがあります。FP8は主にH100やBlackwellなどの最新GPUで使用されます。

INT8は量子化で使用される8ビット整数形式です。各値は単純な整数です。INT8は、情報を失いすぎずに元の値をマッピングするために注意深いキャリブレーションが必要です。

形式の選択は、速度、メモリ、品質のバランスによって異なります。推論では、FP8とINT8がほとんどのユースケースで最良の妥協点を提供します。