训练 vs 推理

训练 vs 推理

当人们谈论AI时，他们经常把训练和推理混为一谈，但这是两个要求截然不同的过程。理解这种差异是理解AI系统如何工作以及为什么需要它们所拥有的硬件的关键。

训练是学习阶段。这时你获取一个带有随机权重的原始模型，并向其提供数十亿个示例。模型进行预测，将预测与正确答案进行比较，并调整其权重以变得更准确。训练的计算强度令人难以置信。训练像GPT-4这样的模型需要数千个GPU运行数周或数月，消耗兆瓦级的电力，花费数千万美元。

在训练期间，模型需要双向处理数据。它向前运行数据以进行预测，然后向后运行误差以更新权重。这种称为反向传播的来回过程需要存储所有中间值，这意味着海量的内存。训练还需要高精度数学，通常是16位或32位浮点数，以在数百万次更新中保持准确性。

推理是使用阶段。这时你获取一个训练好的模型并实际使用它。你给它一个提示，它通过网络向前运行一次数据，并产生一个答案。没有反向传播，没有权重更新，只有通过模型的一次单次传递。推理比训练要求低得多，但仍然需要大量的计算，特别是对于大型模型。

硬件要求也不同。训练需要具有大量VRAM和高带宽互连的高端GPU协同工作。推理可以在更普通的硬件上运行。一个需要数千个GPU训练的模型可能在单个消费级GPU上运行，甚至在量化后的手机上运行。这就是为什么公司训练一次，然后将训练好的模型分发给数百万用户进行推理的原因。