メモリ帯域幅：AIの速度制限

メモリ帯域幅：AIの速度制限

AIの速度について話すとき、しばしばプロセッサに焦点が当てられます。しかし、ほとんどのアプリケーションでは、真のボトルネックは計算速度ではなく、メモリ帯域幅です。これは、一部のハードウェアが他のハードウェアよりも高速な理由を理解するための最も重要な概念の一つです。

メモリ帯域幅とは、メモリからプロセッサへデータを移動できる速度です。言語モデルの推論では、モデル自体をプロセッサのメモリにロードする必要があります。生成される各トークンは、モデルのすべての重みをメモリから読み取る必要があります。メモリが遅いと、プロセス全体が遅くなります。

これがメモリ帯域幅が非常に重要である理由です。GPUはほぼ瞬時に行列積を計算できますが、メモリからデータが到着するのを待たなければなりません。自転車の車輪が付いた車にフェラーリのエンジンを搭載するようなものです：エンジンは準備できていますが、車輪が追いつきません。

ハードウェアによってメモリ帯域幅は大きく異なります。RTX 4090のようなコンシューマーGPUは約1TB/sの帯域幅を持ちます。H100のようなデータセンターGPUは約3.35TB/sです。DDR5システムメモリは約50〜100GB/sとはるかに遅いです。これがAIにおいてGPUがCPUよりもはるかに高速な理由です。

関係は単純です：LLM推論では、速度はメモリ帯域幅をモデルサイズで割った値に比例します。4ビットの7Bモデルは約3.5GBです。1TB/sの場合、毎秒約285トークンを生成できます。実際には、他のオーバーヘッドのため実性能は低くなりますが、この基本方程式が期待値を示します。