内存带宽：AI的速度极限
内存带宽：AI的速度极限
当谈论AI速度时，人们通常关注处理器。但对于大多数应用来说，真正的瓶颈不是计算速度，而是内存带宽。这是理解为什么某些硬件比其他硬件更快的最重要概念之一。
内存带宽是数据从内存移动到处理器的速度。对于语言模型推理，模型本身必须加载到处理器的内存中。生成的每个token都需要从内存中读取模型的所有权重。如果内存很慢，整个过程就会变慢。
这就是为什么内存带宽如此重要。GPU几乎可以瞬间进行矩阵乘法，但必须等待数据从内存到达。就像在装有自行车轮子的汽车里装上了法拉利引擎：引擎准备好了，但轮子跟不上。
不同的硬件具有截然不同的内存带宽。像RTX 4090这样的消费级GPU约有1TB/s的带宽。像H100这样的数据中心GPU约有3.35TB/s。DDR5系统内存要慢得多，大约50-100GB/s。这就是为什么GPU在AI方面比CPU快得多的原因。
关系很简单：对于LLM推理，速度与内存带宽除以模型大小成正比。4-bit的7B模型大约3.5GB。以1TB/s的速度，你每秒可以生成约285个token。实际上，由于其他开销，实际性能较低，但这个基本方程告诉你应该期望什么。