Decodifica Speculativa

Decodifica Speculativa

La decodifica speculativa è una delle più intelligenti tecniche di ottimizzazione nell'IA moderna. Utilizza un modello piccolo e veloce per aiutare un modello grande a generare testo più rapidamente. L'idea di base è semplice: lasciare che il modello piccolo indovini cosa direbbe il modello grande, poi far sì che il modello grande verifichi le ipotesi tutte insieme.

Normalmente, un modello grande genera un token alla volta, e ogni token richiede il caricamento di tutti i pesi del modello dalla memoria. Questo è lento a causa del collo di bottiglia della larghezza di banda della memoria di cui abbiamo parlato prima. Ma se il modello grande potesse generare più token contemporaneamente, sarebbe molto più veloce. Il problema è che il modello grande non può prevedere più token in anticipo senza vedere i token intermedi.

La decodifica speculativa risolve questo problema utilizzando un piccolo modello di bozza, forse 10 volte più piccolo del modello principale, per generare diversi token candidati. Il modello di bozza è veloce perché è piccolo. Poi il modello grande elabora tutti i token candidati contemporaneamente, in parallelo, e controlla quali concorda. Poiché il modello di bozza è ragionevolmente buono, la maggior parte delle sue ipotesi sono corrette e il modello grande le accetta.

L'idea chiave è che verificare un batch di token è quasi veloce come generare un token, perché i pesi devono essere caricati una sola volta per il batch. Quindi, se il modello di bozza genera 5 token e il modello grande li accetta tutti, hai effettivamente generato 5 token nel tempo che normalmente ci vorrebbe per generare 1 token. Questo offre un'accelerazione di 5x quando il modello di bozza è perfettamente accurato.

In pratica, la decodifica speculativa ottiene accelerazioni da 2x a 3x su carichi di lavoro reali. L'accelerazione dipende da quanto il modello di bozza corrisponde al modello grande. Se il modello di bozza è troppo diverso, la maggior parte delle sue ipotesi verrà respinta e l'accelerazione è minima. Ma con un modello di bozza ben abbinato, la decodifica speculativa è un pranzo gratis: generazione più veloce senza alcuna perdita di qualità.