KVキャッシュとメモリ管理

KVキャッシュとメモリ管理

モデルがテキストを生成するとき、新しいトークンごとにすべてをゼロから再計算するわけではありません。アテンションのキーとバリューをKVキャッシュに保存します。

KVキャッシュは会話が進むにつれて成長します。新しいトークンごとに、モデルは新しいキーとバリューをキャッシュに追加します。

複数の最適化手法があります：Multi-Query AttentionとGrouped Query Attentionは、キーとバリューを共有することでキャッシュサイズを削減します。

KVキャッシュは、コンテキストサイズがメモリにとって如此重要な理由を説明します。70Bモデルでの128Kコンテキストは、数十GBを消費する可能性があります。

KVキャッシュ量子化やスライディングウィンドウアテンションなどの技術は、メモリの増加を管理するのに役立ちます。