AI量化中的速度与精度权衡
AI量化中的速度与精度权衡：INT4 vs 混合精度 以及 INT8 vs FP8
引言
量化是人工智能中一项关键的优化技术，它通过降低模型参数（权重）和中间计算（激活值）的数值精度来提高推理速度、减少内存占用并降低能耗。在INT4、INT8和FP8等格式之间的选择需要平衡这些性能提升与潜在的精度下降。本文探讨了INT4与混合精度、以及INT8与FP8之间速度和精度的主要权衡。
INT4 vs 混合精度
INT4量化提供了最激进的压缩，与16位格式相比，内存使用量减少了75%。这种大幅度的缩减使得更大的模型能够适配更小的硬件，或者实现显著更高的并发度（同时服务更多用户）。在速度方面，INT4提供了显著的吞吐量提升，在特定场景下通常超过3倍，这主要是因为它极大地减少了内存带宽瓶颈。其代价是更明显的精度损失。由于4位时的数值范围非常小，INT4极易出现精度下降，特别是在需要高精度的任务中，如代码生成或复杂推理。为了缓解这一问题，从业者通常使用量化感知训练（QAT）或先进技术如AWQ（激活感知权重量化）。许多生产系统采用混合策略：不是将整个模型量化为INT4，而是将敏感层或激活值保持在高精度（例如FP16或BF16），同时将权重量化为INT4。这种混合精度方法平衡了低比特权重的内存优势与高精度激活值的稳定性。
INT8 vs FP8
INT8和FP8之间的比较集中在定点效率和浮点灵活性之间的权衡。INT8使用带有缩放因子的定点格式。在缺乏低比特宽度专用浮点支持的硬件上，它非常高效。INT8是一个成熟的跨平台标准。然而，由于它使用固定缩放，它可能难以处理现代Transformer模型激活值中出现的“尖峰”或宽动态范围，导致裁剪或量化噪声。另一方面，FP8保留了浮点结构（符号、指数、尾数），允许每个数字具有隐式动态缩放。FP8在现代硬件（例如NVIDIA Hopper和Blackwell架构）上越来越成为默认选择，因为它提供了比INT8更宽的动态范围，使其能够更好地处理异常值，而无需复杂的校准。在具有原生FP8支持的硬件上，它速度极快，并且通常提供与FP16几乎无法区分的精度。然而，在缺乏原生FP8支持的旧硬件上，由于软件模拟的开销，尝试使用它可能比INT8更慢。
权衡总结
| 方面 | INT4 | 混合精度 | INT8 | FP8 |
|---|---|---|---|---|
| 内存 | 胜者：占用最小 | 良好：INT4权重的内存优势，但激活值占用更多内存 | 中等：相比FP32减少75% | 中等：与INT8类似，但取决于实现 |
| 精度 | 精度损失风险最高，需要QAT/AWQ | 优于纯INT4，因为敏感层受到保护 | 可靠，但易受激活异常值影响 | 最佳平衡：接近FP16，宽动态范围 |
| 硬件依赖性 | 广泛支持，但无专用加速器时速度慢 | 灵活，但需要仔细实现 | 在旧硬件上支持非常好 | 针对现代GPU优化；旧硬件上速度慢 |
总之，量化格式的选择在很大程度上取决于具体的应用需求、可用硬件以及对精度损失的容忍度。INT4最适合内存受限的环境，其中可以接受一定程度的精度下降，而混合精度提供了一个良好的中间地带。对于大多数现代AI工作负载，只要硬件支持，FP8提供了速度和精度的最佳组合。INT8仍然是一个稳健且广泛支持的选项，尤其是在旧系统上。理解这些权衡对于优化AI模型以进行生产部署至关重要。