AIトレーニングにおけるBF16 vs FP16：精度と安定性

AIトレーニングにおけるBF16 vs FP16：精度を維持しトレーニング崩壊を防ぐBF16の重要な役割

AIトレーニングにおいて、FP16（16ビット浮動小数点）とBF16（Brain Floating Point）の選択は、数値的安定性、精度、ハードウェア効率のバランスを取る重要な決定です。

基本的な違い：範囲 vs 精度

FP16とBF16はどちらも16ビット形式であり、標準の32ビット浮動小数点（FP32）形式の半分のメモリを占有します。しかし、ビットの割り当て方が異なります。FP16（IEEE 754）は指数に5ビット、仮数（小数部）に10ビットを使用します。これにより、小さな数に対して高い精度を提供しますが、ダイナミックレンジは非常に狭くなります。BF16（Brain Float）は指数に8ビット、仮数に7ビットを使用します。この設計により、FP32とまったく同じダイナミックレンジを持ちますが、仮数の精度は多少犠牲になります。

BF16がトレーニング崩壊を防ぐ理由

BF16が大規模AIトレーニングの事実上の標準となった主な理由は、しばしば「トレーニング崩壊」を引き起こす数値的不安定性に対する耐性です。FP16は指数範囲が限られているため、オーバーフロー（値が大きくなりすぎる）やアンダーフロー（値が小さくなりすぎて実質的にゼロになる）の影響を非常に受けやすくなります。これにより、勾配が「爆発」したり消失したりして、トレーニングプロセスが完全に失敗することがよくあります。BF16の8ビット指数はFP32のそれと一致しており、ディープニューラルネットワークで通常遭遇する広範囲の値をこれらの問題なく処理できます。

FP16を使用するには、エンジニアはしばしば「損失スケーリング」を採用する必要があります。これは、損失に係数を掛けて勾配をFP16の表現可能範囲内に保ち、後でスケールを戻す手法です。これは複雑な試行錯誤のプロセスです。BF16は事実上FP32の「ドロップイン」代替品です。同じダイナミックレンジを共有するため、損失スケーリングが不要で、トレーニングワークフローが大幅に安定し、管理が容易になります。BF16とFP32の変換は、指数構造が同じであるため計算上簡単で、FP32数の仮数ビットを切り捨てるだけでBF16値を得ることができます。FP16は変換により複雑なロジックが必要で、オーバーヘッドが増加します。

どちらをいつ使うか？

BF16は、安定性が最も重要な大規模なLLMやディープニューラルネットワークの事前トレーニングに適しています。その広い範囲により、長いトレーニング実行中も勾配と活性化が有効なままであることが保証されます。FP16は、高い数値精度が必要な特定のシナリオ、例えば特定の種類の強化学習（RL）ファインチューニングに適しています。最近の研究では、一部のRLコンテキストでは、FP16の高い精度（10ビット仮数による）が丸め誤差の蓄積を防ぎ、モデルのトレーニングと推論の動作が乖離するのを防ぐのに役立つことが示されています。

浮動小数点形式の比較

結論

BF16は、16ビット計算のメモリと速度の利点とFP32の数値的ロバスト性を組み合わせた「両方の長所」を提供するため、現代のAIで広く好まれています。FP32のダイナミックレンジに一致することで、損失スケーリングのような複雑な回避策を不要にし、FP16ベースのシステムを頻繁に悩ませるトレーニング崩壊を防ぎます。ただし、ダイナミックレンジよりも細かい数値精度が重要なタスクでは、FP16は依然として貴重なツールです。