BF16 vs FP16 en el entrenamiento de IA: Precisión y estabilidad

BF16 vs FP16 en el entrenamiento de IA: el papel crítico de BF16 para mantener la precisión y evitar el colapso del entrenamiento

En el entrenamiento de IA, la elección entre FP16 (coma flotante de 16 bits) y BF16 (Brain Floating Point) es una decisión crítica que equilibra la estabilidad numérica, la precisión y la eficiencia del hardware.

La diferencia fundamental: rango vs. precisión

Tanto FP16 como BF16 son formatos de 16 bits, lo que significa que ocupan la mitad de la memoria del formato estándar de coma flotante de 32 bits (FP32). Sin embargo, asignan sus bits de manera diferente: FP16 (IEEE 754) usa 5 bits para el exponente y 10 bits para la mantisa (fracción). Esto proporciona una mayor precisión para números pequeños pero un rango dinámico muy estrecho. BF16 (Brain Float) usa 8 bits para el exponente y 7 bits para la mantisa. Este diseño le da exactamente el mismo rango dinámico que FP32, aunque sacrifica algo de precisión en la mantisa.

Por qué BF16 evita el colapso del entrenamiento

La razón principal por la que BF16 se ha convertido en el estándar de facto para el entrenamiento de IA a gran escala es su resistencia a la inestabilidad numérica, que a menudo conduce al "colapso del entrenamiento". Debido a que FP16 tiene un rango de exponente limitado, es muy susceptible a desbordamiento (valores demasiado grandes) o subdesbordamiento (valores demasiado pequeños, que se convierten efectivamente en cero). Esto a menudo hace que los gradientes "exploten" o desaparezcan, lo que lleva a un fallo completo del proceso de entrenamiento. El exponente de 8 bits de BF16 coincide con el de FP32, lo que le permite manejar el amplio rango de valores típicamente encontrados en redes neuronales profundas sin estos problemas.

Para usar FP16, los ingenieros a menudo deben emplear "escalado de pérdida" (loss scaling), una técnica donde la pérdida se multiplica por un factor para mantener los gradientes dentro del rango representable de FP16, y luego se desescala más tarde. Este es un proceso complejo de prueba y error. BF16 es efectivamente un reemplazo "directo" para FP32; debido a que comparte el mismo rango dinámico, no requiere escalado de pérdida, lo que hace que los flujos de trabajo de entrenamiento sean significativamente más estables y fáciles de gestionar. La conversión entre BF16 y FP32 es computacionalmente trivial porque comparten la misma estructura de exponente: simplemente se pueden truncar los bits de la mantisa de un número FP32 para obtener un valor BF16. FP16 requiere una lógica más compleja para convertir, lo que añade sobrecarga.

¿Cuándo usar cada uno?

BF16 es preferido para el preentrenamiento a gran escala de LLMs y redes neuronales profundas donde la estabilidad es primordial. Su rango más amplio asegura que los gradientes y activaciones permanezcan válidos durante largas ejecuciones de entrenamiento. FP16 es preferido para escenarios específicos donde se requiere alta precisión numérica, como ciertos tipos de ajuste fino de aprendizaje por refuerzo (RL). Investigaciones recientes han demostrado que en algunos contextos de RL, la mayor precisión de FP16 (debido a su mantisa de 10 bits) ayuda a prevenir la acumulación de errores de redondeo que pueden hacer que el entrenamiento y la inferencia de un modelo diverjan.

Comparación de formatos de coma flotante

Conclusión

BF16 es ampliamente favorecido en la IA moderna porque proporciona lo "mejor de ambos mundos": los beneficios de memoria y velocidad del cómputo de 16 bits combinados con la robustez numérica de FP32. Al igualar el rango dinámico de FP32, elimina la necesidad de soluciones complejas como el escalado de pérdida, evitando así los colapsos de entrenamiento que frecuentemente afectan a los sistemas basados en FP16. Sin embargo, para tareas donde la precisión numérica fina es más importante que el rango dinámico, FP16 sigue siendo una herramienta valiosa.