Token生成速度与带宽

Token生成速度与带宽

Token生成是模型一次产生一个token输出的阶段。基本公式：token速度 = 内存带宽 / 模型大小。RTX 4090（1TB/s，7B 4-bit = 285 token/s）。

实际例子：RTX 4090，H100（3.35TB/s，70B 4-bit = 95 token/s），M2 Ultra（800GB/s，7B 4-bit = 228 token/s）。批处理大小很重要：同时处理多个提示会增加吞吐量，但也会增加延迟。

对于聊天机器人等交互式使用，使用小批量优先考虑低延迟。对于推理服务器，较大的批量可以最大化整体吞吐量。

量化等压缩减少了模型大小，直接提高了速度。8-bit的70B模型 = 70GB，在1TB/s下 = 14 token/s。4-bit下 = 35GB，在1TB/s下 = 28 token/s。

经验法则：带宽加倍或模型大小减半，速度就会加倍。