プロンプト処理とGPU速度

プロンプト処理とGPU速度

AIモデルにプロンプトを送信すると、2つの異なるフェーズが発生します。最初に、モデルは入力全体を処理し、すべての単語を同時に分析します。その後、トークンごとに応答を生成するフェーズに移行します。これら2つのフェーズには非常に異なるハードウェア要件があります。

プロンプト処理中、モデルは入力全体を取得し、ネットワークを通じて並列に実行します。これはGPUの計算コアを最大限に活用する計算集約型のワークロードです。GPUのTFLOPSが多いほど、プロンプトの処理が速くなります。

これがプロンプト処理速度がGPUの計算能力に比例する理由です。2000 TFLOPSのH100は、330 TFLOPSのRTX 4090よりもはるかに高速にプロンプトを処理します。長いプロンプトの場合、この差は劇的です。

プロンプトが処理された後、モデルはトークン生成モードに切り替わります。これは計算能力ではなく、メモリ帯域幅によって制限されるワークロードです。各トークンには、メモリからモデルのすべての重みを読み取る必要があります。

この分割は、いくつかの直感に反する動作を説明します。GPUはプロンプトを非常に高速に処理するがトークンをゆっくり生成する、またはその逆があり得ます。長いプロンプトのアプリケーションでは計算能力を優先し、多くのトークンを生成するインタラクティブな会話ではメモリ帯域幅を優先してください。