Décodage spéculatif

Décodage spéculatif

Le décodage spéculatif est l'une des techniques d'optimisation les plus astucieuses de l'IA moderne. Il utilise un petit modèle rapide pour aider un grand modèle à générer du texte plus rapidement. L'idée de base est simple : laisser le petit modèle deviner ce que dirait le grand modèle, puis faire vérifier les suppositions par le grand modèle en une seule fois.

Normalement, un grand modèle génère un jeton à la fois, et chaque jeton nécessite le chargement de tous les poids du modèle depuis la mémoire. C'est lent à cause du goulot d'étranglement de la bande passante mémoire dont nous avons parlé plus tôt. Mais si le grand modèle pouvait générer plusieurs jetons à la fois, ce serait beaucoup plus rapide. Le problème est que le grand modèle ne peut pas prédire plusieurs jetons à l'avance sans voir les jetons intermédiaires.

Le décodage spéculatif résout ce problème en utilisant un petit modèle de brouillon, peut-être 10 fois plus petit que le modèle principal, pour générer plusieurs jetons candidats. Le modèle de brouillon est rapide parce qu'il est petit. Ensuite, le grand modèle traite tous les jetons candidats à la fois, en parallèle, et vérifie lesquels il approuve. Comme le modèle de brouillon est raisonnablement bon, la plupart de ses suppositions sont correctes et le grand modèle les accepte.

L'idée clé est que la vérification d'un lot de jetons est presque aussi rapide que la génération d'un jeton, car les poids ne doivent être chargés qu'une seule fois pour le lot. Donc, si le modèle de brouillon génère 5 jetons et que le grand modèle les accepte tous, vous avez effectivement généré 5 jetons en le temps qu'il faudrait normalement pour générer 1 jeton. Cela donne une accélération de 5x lorsque le modèle de brouillon est parfaitement précis.

En pratique, le décodage spéculatif obtient des accélérations de 2x à 3x sur des charges de travail réelles. L'accélération dépend de la façon dont le modèle de brouillon correspond au grand modèle. Si le modèle de brouillon est trop différent, la plupart de ses suppositions seront rejetées et l'accélération est minime. Mais avec un modèle de brouillon bien adapté, le décodage spéculatif est un déjeuner gratuit : génération plus rapide sans aucune perte de qualité.