AI 新技术

AI 新技术

人工智能研究发展极其迅速，新技术不断改进模型的构建和训练方式。了解这些创新有助于您理解该领域的发展方向以及对未来模型的预期。

分组查询注意力（GQA）是对标准多头注意力的改进。它不是让每个注意力头都有自己的键和值，而是让一组头共享它们。这显著减少了 KV 缓存的大小，同时不会牺牲质量。GQA 用于 Llama 2 和 3、Mistral 以及许多其他现代模型。这是这些模型能够高效处理长上下文的关键原因。

多查询注意力（MQA）则更进一步，让所有注意力头共享一组键和值。这进一步减少了内存使用，但可能会略微降低质量。Falcon 和 PaLM 等模型使用了 MQA。趋势是倾向于 GQA，因为它是在内存效率和模型质量之间取得良好平衡的折衷方案。

旋转位置嵌入（RoPE）已成为 Transformer 中编码位置信息的标准方法。与将位置信息添加到输入的旧方法不同，RoPE 会修改注意力机制本身以考虑位置。这使得模型能够更自然地处理可变长度序列，并已将上下文窗口扩展到数十万个 token。

Flash Attention 是一种软件技术，它重新排列注意力计算，使其内存效率更高。它不是存储完整的注意力矩阵（该矩阵随上下文长度呈二次方扩展），而是以适合快速片上存储的块为单位计算注意力。这可以将内存使用量减少 10 倍或更多，从而使长上下文窗口变得实用。现在，它已成为所有主要训练和推理框架的标准配置。