Formati a Virgola Mobile: BF16, FP8, INT8

Formati a Virgola Mobile: BF16, FP8, INT8

I modelli di IA memorizzano i pesi ed eseguono calcoli usando diversi formati numerici. I più comuni oggi sono FP16, BF16, FP8 e INT8. FP16 è stato lo standard per anni. Ogni numero usa 16 bit, con bit per esponente e mantissa. Un modello 7B in FP16 necessita di circa 14 GB di memoria.

BF16 è stato sviluppato da Google. Usa gli stessi 16 bit di FP16 ma alloca più bit all'esponente. Può rappresentare un range più ampio di numeri, utile per l'addestramento, con leggermente meno precisione. In pratica, BF16 e FP16 danno risultati molto simili.

FP8 è un formato più recente che usa solo 8 bit per numero. Esiste in due varianti: E4M3 che prioritizza il range, e E5M2 che prioritizza la precisione. FP8 è usato principalmente durante l'inferenza sulle ultime GPU come H100 e Blackwell.

INT8 è un formato intero a 8 bit usato nella quantizzazione. Invece di numeri a virgola mobile, ogni valore è un intero semplice. INT8 richiede una calibrazione attenta per mappare i valori originali senza perdere troppe informazioni.

La scelta del formato dipende dal bilanciamento tra velocità, memoria e qualità. Per l'inferenza, FP8 e INT8 offrono il miglior compromesso per la maggior parte dei casi d'uso.