Spekulative Dekodierung

Spekulative Dekodierung

Spekulative Dekodierung ist eine der klügsten Optimierungstechniken in der modernen KI. Sie verwendet ein kleines, schnelles Modell, um einem großen Modell zu helfen, Text schneller zu generieren. Die Grundidee ist einfach: Lassen Sie das kleine Modell raten, was das große Modell sagen würde, und lassen Sie dann das große Modell die Vermutungen auf einmal überprüfen.

Normalerweise generiert ein großes Modell jeweils ein Token, und jedes Token erfordert das Laden aller Modellgewichte aus dem Speicher. Dies ist aufgrund des Engpasses der Speicherbandbreite, den wir zuvor besprochen haben, langsam. Aber wenn das große Modell mehrere Token gleichzeitig generieren könnte, wäre es viel schneller. Das Problem ist, dass das große Modell keine mehreren Token vorhersagen kann, ohne die Zwischentoken zu sehen.

Spekulative Dekodierung löst dieses Problem, indem sie ein kleines Entwurfsmodell verwendet, das vielleicht 10-mal kleiner als das Hauptmodell ist, um mehrere Kandidaten-Token zu generieren. Das Entwurfsmodell ist schnell, weil es klein ist. Dann verarbeitet das große Modell alle Kandidaten-Token auf einmal parallel und prüft, mit welchen es übereinstimmt. Da das Entwurfsmodell einigermaßen gut ist, sind die meisten seiner Vermutungen richtig, und das große Modell akzeptiert sie.

Die entscheidende Erkenntnis ist, dass die Überprüfung eines Batches von Token fast so schnell ist wie die Generierung eines Tokens, da die Gewichte nur einmal für den Batch geladen werden müssen. Wenn also das Entwurfsmodell 5 Token generiert und das große Modell alle akzeptiert, haben Sie effektiv 5 Token in der Zeit generiert, die normalerweise für die Generierung von 1 Token benötigt würde. Dies ergibt eine 5-fache Beschleunigung, wenn das Entwurfsmodell perfekt genau ist.

In der Praxis erreicht spekulative Dekodierung bei realen Arbeitslasten 2x bis 3x Beschleunigungen. Die Beschleunigung hängt davon ab, wie gut das Entwurfsmodell zum großen Modell passt. Wenn das Entwurfsmodell zu unterschiedlich ist, werden die meisten seiner Vermutungen abgelehnt, und die Beschleunigung ist minimal. Aber mit einem gut angepassten Entwurfsmodell ist spekulative Dekodierung ein kostenloses Mittagessen: schnellere Generierung ohne Qualitätsverlust.