Decodificación especulativa

Decodificación especulativa

La decodificación especulativa es una de las técnicas de optimización más ingeniosas de la IA moderna. Utiliza un modelo pequeño y rápido para ayudar a un modelo grande a generar texto más rápidamente. La idea básica es simple: dejar que el modelo pequeño adivine lo que diría el modelo grande, luego hacer que el modelo grande verifique las conjeturas de una sola vez.

Normalmente, un modelo grande genera un token a la vez, y cada token requiere cargar todos los pesos del modelo desde la memoria. Esto es lento debido al cuello de botella del ancho de banda de la memoria que discutimos anteriormente. Pero si el modelo grande pudiera generar múltiples tokens a la vez, sería mucho más rápido. El problema es que el modelo grande no puede predecir varios tokens por adelantado sin ver los tokens intermedios.

La decodificación especulativa resuelve esto utilizando un pequeño modelo de borrador, quizás 10 veces más pequeño que el modelo principal, para generar varios tokens candidatos. El modelo de borrador es rápido porque es pequeño. Luego, el modelo grande procesa todos los tokens candidatos a la vez, en paralelo, y verifica con cuáles está de acuerdo. Dado que el modelo de borrador es razonablemente bueno, la mayoría de sus conjeturas son correctas y el modelo grande las acepta.

La idea clave es que verificar un lote de tokens es casi tan rápido como generar un token, porque los pesos solo necesitan cargarse una vez para el lote. Entonces, si el modelo de borrador genera 5 tokens y el modelo grande los acepta todos, has generado efectivamente 5 tokens en el tiempo que normalmente tomaría generar 1 token. Esto da una aceleración de 5x cuando el modelo de borrador es perfectamente preciso.

En la práctica, la decodificación especulativa logra aceleraciones de 2x a 3x en cargas de trabajo reales. La aceleración depende de qué tan bien se ajuste el modelo de borrador al modelo grande. Si el modelo de borrador es demasiado diferente, la mayoría de sus conjeturas serán rechazadas y la aceleración es mínima. Pero con un modelo de borrador bien ajustado, la decodificación especulativa es un almuerzo gratis: generación más rápida sin ninguna pérdida de calidad.