什么是模型权重？

什么是模型权重？

当人们谈论AI模型时，他们经常提到权重。但它们到底是什么？简单来说，模型权重是AI在训练过程中所学到的一切的记忆。它们是数字，数十亿个，存储在定义模型行为的文件中。

把权重想象成巨大调音台上的旋钮和刻度盘。当模型首次创建时，所有旋钮都设置在随机位置。模型什么都不知道。随着训练的进行，每个旋钮都一点点被调整。帮助模型给出正确答案的旋钮被调高，导致错误答案的旋钮被调低。经过数十亿示例的训练后，旋钮稳定在使模型准确的位置上。

每个权重只是一个数字，通常是像0.342或-1.157这样的浮点值。单个权重本身毫无意义。但是当你将数百万或数十亿个权重以正确的结构组合时，它们编码了模式、关系和知识。语言模型的权重包含语法规则、事实知识、推理模式甚至风格偏好，全部以数值形式存储。

这就是模型权重如此有价值的原因。从头开始训练一个模型需要数百万美元的计算能力。权重是那项投资的结果。当你下载像Llama或Mistral这样的开源模型时，你下载的就是权重。模型的架构只是蓝图，权重才是实际的知识。

模型权重也决定了模型的大小。一个70亿参数的模型有70亿个权重。每个权重都需要存储在内存中，这就是为什么更大的模型需要更多VRAM。当你量化模型时，你降低了这些权重的精度，使它们占用更少的空间，但代价是少量的准确性。