上下文大小解释

上下文大小解释

上下文大小是模型一次可以处理的最大文本量。把它看作模型的工作记忆。

上下文大小已大幅增长。GPT-3只有2048个token。如今，Gemini 1.5 Pro可以处理多达200万个token。

存在权衡：更大的上下文需要更多的内存和计算能力。KV缓存随上下文大小线性增长。

对于大多数实际用途，32K到128K token足以处理文档、代码库和长对话。

选择正确的上下文大小取决于你的用例：短对话、长文档分析或处理整个代码库。