KV缓存与内存管理

KV缓存与内存管理

当模型生成文本时，它不会为每个新token从头重新计算所有内容。它将注意力键和值存储在一个缓存中，称为KV缓存。

KV缓存随着对话的进行而增长。每生成一个新token，模型就会向缓存添加新的键和值。

有几种优化技术：Multi-Query Attention和Grouped Query Attention通过共享键和值来减少缓存大小。

KV缓存解释了为什么上下文大小对内存如此重要。70B模型的128K上下文可能消耗数十GB。

KV缓存量化和滑动窗口注意力等技术有助于管理内存增长。