Formats à Virgule Flottante: BF16, FP8, INT8

Formats à Virgule Flottante: BF16, FP8, INT8

Les modèles d'IA stockent leurs poids et effectuent des calculs en utilisant différents formats numériques. Les plus courants sont FP16, BF16, FP8 et INT8. FP16 a été la norme pendant des années. Chaque nombre utilise 16 bits. Un modèle 7B en FP16 nécessite environ 14 Go de mémoire.

BF16 a été développé par Google. Il utilise les mêmes 16 bits que FP16 mais alloue plus de bits à l'exposant. Il peut représenter un plus large éventail de nombres, utile pour l'entraînement, avec légèrement moins de précision.

FP8 est un format plus récent qui utilise seulement 8 bits par nombre. Il existe en deux variantes : E4M3 pour la plage et E5M2 pour la précision. FP8 est utilisé principalement sur les GPU les plus récents comme H100 et Blackwell.

INT8 est un format entier 8 bits utilisé en quantification. Chaque valeur est un entier simple. INT8 nécessite un calibrage minutieux pour mapper les valeurs originales sans perdre trop d'informations.

Le choix du format dépend de l'équilibre entre vitesse, mémoire et qualité. Pour l'inférence, FP8 et INT8 offrent le meilleur compromis pour la plupart des cas d'utilisation.