Cos'è la Quantizzazione dei Modelli?

Cos'è la Quantizzazione dei Modelli?

La quantizzazione dei modelli è una delle tecniche più importanti per rendere pratici i modelli di IA. Riduce la precisione dei numeri che compongono i pesi di un modello, rendendolo più piccolo, più veloce e in grado di funzionare su hardware meno costoso. Il compromesso è una piccola riduzione dell'accuratezza.

Normalmente, i pesi del modello sono memorizzati come numeri a virgola mobile a 16 bit, dove ogni peso usa 16 bit di memoria. Un modello da 7 miliardi di parametri in 16-bit necessita di 14 GB di memoria. Se quantizzi a 4-bit, ogni peso usa solo 4 bit. Lo stesso modello ora necessita solo di 3,5 GB.

Quanta accuratezza si perde? Sorprendentemente poca per la maggior parte dei compiti. Un modello 4-bit ben quantizzato può mantenere il 95-99% della capacità del modello originale.

Esistono due approcci principali: quantizzazione post-addestramento e quantizzazione consapevole dell'addestramento. La quantizzazione post-addestramento avviene dopo che il modello è completamente addestrato.

La quantizzazione è il motivo per cui puoi eseguire modelli di IA moderni su hardware consumer. Senza di essa, un modello da 70 miliardi di parametri richiederebbe 140 GB di memoria. Con la quantizzazione 4-bit, lo stesso modello sta in 35 GB.