トークン生成速度と帯域幅

トークン生成速度と帯域幅

トークン生成は、モデルが一度に1トークンずつ出力を生成するフェーズです。基本式：トークン速度 = メモリ帯域幅 / モデルサイズ。RTX 4090（1TB/s、7B 4-bit = 285トークン/秒）。

実際の例：RTX 4090、H100（3.35TB/s、70B 4-bit = 95トークン/秒）、M2 Ultra（800GB/s、7B 4-bit = 228トークン/秒）。バッチサイズが重要：複数のプロンプトを一緒に処理するとスループットは向上しますが、レイテンシも増加します。

チャットボットのようなインタラクティブな使用では、小さなバッチで低レイテンシを優先します。推論サーバーでは、より大きなバッチが全体的なスループットを最大化します。

量子化などの圧縮はモデルサイズを減らし、直接速度を向上させます。8ビットの70Bモデル = 70GB、1TB/sで14トークン/秒。4ビットでは35GB、1TB/sで28トークン/秒。

経験則：帯域幅を2倍にするか、モデルサイズを半分にすると、速度が2倍になります。