什么是模型量化？

什么是模型量化？

模型量化是使AI模型变得实用的最重要技术之一。它降低了构成模型权重的数字的精度，使模型更小、更快。

通常，权重以16位浮点数存储。16位的70亿参数模型需要14GB内存。量化为4位后，仅需3.5GB。

会损失多少精度？出奇地少。良好量化的4位模型可以保留原始模型95-99%的能力。

主要有两种方法：训练后量化和量化感知训练。

量化是你能在消费级硬件上运行现代AI模型的原因。没有它，700亿参数模型将需要140GB内存。