BF16 vs FP16 nell'addestramento AI: Precisione e stabilità

BF16 vs FP16 nell'addestramento AI: il ruolo critico di BF16 nel mantenere la precisione e prevenire il collasso dell'addestramento

Nell'addestramento AI, la scelta tra FP16 (virgola mobile a 16 bit) e BF16 (Brain Floating Point) è una decisione critica che bilancia stabilità numerica, precisione ed efficienza hardware.

La differenza fondamentale: intervallo vs precisione

Sia FP16 che BF16 sono formati a 16 bit, il che significa che occupano metà della memoria del formato standard a 32 bit (FP32). Tuttavia, allocano i loro bit in modo diverso: FP16 (IEEE 754) utilizza 5 bit per l'esponente e 10 bit per la mantissa (frazione). Questo fornisce una maggiore precisione per numeri piccoli ma un intervallo dinamico molto ristretto. BF16 (Brain Float) utilizza 8 bit per l'esponente e 7 bit per la mantissa. Questo design gli conferisce esattamente lo stesso intervallo dinamico di FP32, sebbene sacrifichi una certa precisione nella mantissa.

Perché BF16 previene il collasso dell'addestramento

La ragione principale per cui BF16 è diventato lo standard de facto per l'addestramento AI su larga scala è la sua resilienza contro l'instabilità numerica, che spesso porta al "collasso dell'addestramento". A causa del limitato intervallo dell'esponente di FP16, è altamente suscettibile a overflow (valori troppo grandi) o underflow (valori troppo piccoli, che diventano effettivamente zero). Questo spesso causa l'"esplosione" o la scomparsa dei gradienti, portando a un fallimento completo del processo di addestramento. L'esponente a 8 bit di BF16 corrisponde a quello di FP32, permettendogli di gestire l'ampia gamma di valori tipicamente incontrati nelle reti neurali profonde senza questi problemi.

Per utilizzare FP16, gli ingegneri devono spesso impiegare il "loss scaling" (scalatura della perdita) — una tecnica in cui la perdita viene moltiplicata per un fattore per mantenere i gradienti entro l'intervallo rappresentabile di FP16, e poi riscalata in seguito. Questo è un processo complesso per tentativi ed errori. BF16 è effettivamente un sostituto "diretto" per FP32; poiché condivide lo stesso intervallo dinamico, non richiede loss scaling, rendendo i flussi di lavoro di addestramento significativamente più stabili e facili da gestire. La conversione tra BF16 e FP32 è computazionalmente banale perché condividono la stessa struttura dell'esponente — si possono semplicemente troncare i bit della mantissa di un numero FP32 per ottenere un valore BF16. FP16 richiede una logica più complessa per la conversione, che aggiunge overhead.

Quando usare quale?

BF16 è preferito per il pre-addestramento su larga scala di LLM e reti neurali profonde dove la stabilità è fondamentale. Il suo intervallo più ampio garantisce che gradienti e attivazioni rimangano validi per lunghi periodi di addestramento. FP16 è preferito per scenari specifici in cui è richiesta un'elevata precisione numerica, come alcuni tipi di fine-tuning con apprendimento per rinforzo (RL). Ricerche recenti hanno dimostrato che in alcuni contesti RL, la maggiore precisione di FP16 (grazie alla sua mantissa a 10 bit) aiuta a prevenire l'accumulo di errori di arrotondamento che possono far divergere l'addestramento e l'inferenza di un modello.

Confronto dei formati a virgola mobile

Conclusione

BF16 è ampiamente favorito nell'AI moderna perché offre il "meglio di entrambi i mondi": i vantaggi di memoria e velocità del calcolo a 16 bit combinati con la robustezza numerica di FP32. Uguagliando l'intervallo dinamico di FP32, elimina la necessità di soluzioni complesse come il loss scaling, prevenendo così i collassi dell'addestramento che affliggono frequentemente i sistemi basati su FP16. Tuttavia, per compiti in cui la precisione numerica fine è più importante dell'intervallo dinamico, FP16 rimane uno strumento prezioso.