Cosa Sono i Pesi dei Modelli?

Cosa Sono i Pesi dei Modelli?

Quando si parla di modelli di IA, si menzionano spesso i pesi. Ma cosa sono esattamente? In termini semplici, i pesi del modello sono la memoria di tutto ciò che l'IA ha imparato durante l'addestramento. Sono numeri, miliardi di essi, memorizzati in un file che definisce il comportamento del modello.

Pensa ai pesi come alle manopole e ai cursori di un enorme mixer. Quando il modello viene creato per la prima volta, tutte le manopole sono impostate su posizioni casuali. Il modello non sa nulla. Con il progredire dell'addestramento, ogni manopola viene regolata poco a poco. Una manopola che aiuta il modello a dare risposte corrette viene alzata. Una manopola che porta a risposte sbagliate viene abbassata. Dopo l'addestramento su miliardi di esempi, le manopole si stabilizzano su posizioni che rendono il modello accurato.

Ogni peso è solo un numero, tipicamente un valore a virgola mobile come 0,342 o -1,157. Un singolo peso da solo non significa nulla. Ma quando combini milioni o miliardi di essi nella giusta struttura, codificano schemi, relazioni e conoscenza. I pesi di un modello linguistico contengono regole grammaticali, conoscenza fattuale, schemi di ragionamento e persino preferenze stilistiche, tutti memorizzati come valori numerici.

Ecco perché i pesi dei modelli sono così preziosi. Addestrare un modello da zero costa milioni di dollari in potenza di calcolo. I pesi sono il risultato di quell'investimento. Quando scarichi un modello open source come Llama o Mistral, stai scaricando i pesi. L'architettura del modello è solo il progetto, i pesi sono la conoscenza effettiva.

I pesi del modello determinano anche la dimensione del modello. Un modello da 7 miliardi di parametri ha 7 miliardi di pesi. Ogni peso deve essere memorizzato in memoria, motivo per cui i modelli più grandi necessitano di più VRAM. Quando quantizzi un modello, riduci la precisione di questi pesi, facendoli occupare meno spazio al costo di una piccola quantità di accuratezza.