コンテキストサイズの解説

コンテキストサイズの解説

コンテキストサイズとは、モデルが一度に処理できる最大テキスト量です。モデルのワーキングメモリと考えてください。

コンテキストサイズは劇的に増加しました。GPT-3はわずか2048トークンでした。現在、Gemini 1.5 Proは最大200万トークンを処理できます。

トレードオフがあります：より大きなコンテキストは、より多くのメモリと計算能力を必要とします。KVキャッシュはコンテキストサイズに比例して増加します。

ほとんどの実用的な目的では、32K〜128Kトークンで文書、コードベース、長い会話に十分です。

適切なコンテキストサイズの選択は、ユースケースによって異なります：短い会話、長い文書分析、またはコードベース全体の処理。