トレーニング vs 推論

トレーニング vs 推論

AIについて話すとき、人々はしばしばトレーニングと推論を一緒くたにしますが、これらは異なる要件を持つ非常に異なるプロセスです。その違いを理解することは、AIシステムがどのように機能するか、なぜそのハードウェアが必要かを理解する鍵です。

トレーニングは学習フェーズです。ランダムな重みを持つ生のモデルを取り、何十億もの例を与えます。モデルは予測を行い、正しい答えと比較し、より正確になるように重みを調整します。トレーニングは信じられないほど計算集約的です。GPT-4のようなモデルのトレーニングには、数千のGPUが数週間から数ヶ月間稼働し、メガワットの電力を消費し、数千万ドルのコストがかかります。

トレーニング中、モデルはデータを双方向に処理する必要があります。予測を行うためにデータを前方に実行し、次に重みを更新するために誤差を後方に実行します。このバックプロパゲーションと呼ばれる往復には、すべての中間値を保存する必要があり、大量のメモリが必要です。トレーニングには、何百万もの更新にわたって精度を維持するために、通常16ビットまたは32ビットの浮動小数点のような高精度の計算も必要です。

推論は使用フェーズです。トレーニングされたモデルを取り、実際に使用します。プロンプトを与えると、ネットワークを通してデータを一度だけ前方に実行し、答えを生成します。バックプロパゲーションも重みの更新もなく、モデルを通る単一のパスだけです。推論はトレーニングよりもはるかに要求が少ないですが、特に大規模モデルでは依然としてかなりの計算能力が必要です。

ハードウェア要件も異なります。トレーニングには、大量のVRAMと広帯域インターコネクトを備えたハイエンドGPUが必要です。推論はより控えめなハードウェアでも実行できます。トレーニングに数千のGPUを必要としたモデルが、単一のコンシューマーGPUや、量子化後には電話でも実行できる可能性があります。これが、企業が一度トレーニングを行い、その後トレーニング済みモデルを何百万ものユーザーに配布して推論を実行させる理由です。