Formatos de Punto Flotante: BF16, FP8, INT8

Formatos de Punto Flotante: BF16, FP8, INT8

Los modelos de IA almacenan sus pesos y realizan cálculos usando diferentes formatos numéricos. Los más comunes son FP16, BF16, FP8 e INT8. FP16 ha sido el estándar durante años. Cada número usa 16 bits. Un modelo 7B en FP16 necesita unos 14 GB de memoria.

BF16 fue desarrollado por Google. Usa los mismos 16 bits que FP16 pero asigna más bits al exponente. Puede representar un rango más amplio de números, útil para entrenamiento, con ligeramente menos precisión.

FP8 es un formato más nuevo que usa solo 8 bits por número. Viene en dos variantes: E4M3 que prioriza el rango, y E5M2 que prioriza la precisión. FP8 se usa principalmente en las GPU más recientes como H100 y Blackwell.

INT8 es un formato entero de 8 bits usado en cuantización. Cada valor es un entero simple. INT8 requiere calibración cuidadosa para mapear los valores originales sin perder demasiada información.

La elección del formato depende del equilibrio entre velocidad, memoria y calidad. Para inferencia, FP8 e INT8 ofrecen el mejor compromiso para la mayoría de casos de uso.