浮点格式：BF16、FP8、INT8

浮点格式：BF16、FP8、INT8

AI模型使用不同的数字格式存储权重和执行计算。最常见的是FP16、BF16、FP8和INT8。FP16多年来一直是标准。每个数字使用16位。FP16的7B模型需要约14GB内存。

BF16由Google开发。它使用与FP16相同的16位，但为指数分配更多位。它可以表示更广泛的数字范围，对训练有用，但精度略低。

FP8是一种较新的格式，每个数字仅使用8位。有两种变体：E4M3优先考虑范围，E5M2优先考虑精度。FP8主要用于H100和Blackwell等最新GPU。

INT8是量化中使用的8位整数格式。每个值是一个简单的整数。INT8需要仔细校准，以便在不过多损失信息的情况下映射原始值。

格式的选择取决于速度、内存和质量之间的平衡。对于推理，FP8和INT8为大多数用例提供了最佳折衷方案。