提示处理与GPU速度
提示处理与GPU速度
当你向AI模型发送提示时，会发生两个不同的阶段。首先，模型处理你的完整输入，同时分析所有单词。然后，它切换到逐个token生成响应。这两个阶段对硬件的要求非常不同。
在提示处理期间，模型获取整个输入并通过网络并行运行。这是一个计算密集型工作负载，充分利用了GPU的计算核心。GPU的TFLOPS越高，处理提示的速度就越快。
这就是为什么提示处理速度随GPU计算能力扩展。具有2000 TFLOPS的H100处理提示的速度远快于具有330 TFLOPS的RTX 4090。对于长提示，这种差异是巨大的。
提示处理完成后，模型切换到token生成模式。这是一个受内存带宽限制的工作负载，而不是计算能力。每个token都需要从内存中读取模型的所有权重。
这种划分解释了一些反直觉的行为。GPU可能处理提示非常快但生成token很慢，或者反之亦然。对于长提示的应用程序，优先考虑计算能力。对于生成大量token的交互式对话，优先考虑内存带宽。