Nuevas técnicas en IA

Nuevas técnicas en IA

La investigación en IA avanza increíblemente rápido y constantemente surgen nuevas técnicas que mejoran la forma en que se construyen y entrenan los modelos. Comprender estas innovaciones te ayuda a apreciar cómo está evolucionando el campo y qué esperar de los modelos futuros.

La atención de consulta agrupada, o GQA, es una mejora sobre la atención multi-cabeza estándar. En lugar de que cada cabeza de atención tenga sus propias claves y valores, grupos de cabezas los comparten. Esto reduce significativamente el tamaño de la caché KV sin sacrificar calidad. GQA se usa en Llama 2 y 3, Mistral y muchos otros modelos modernos. Es una razón clave por la que estos modelos pueden manejar contextos largos de manera eficiente.

La atención multi-consulta, o MQA, va aún más allá al hacer que todas las cabezas de atención compartan un único conjunto de claves y valores. Esto reduce aún más el uso de memoria pero puede reducir ligeramente la calidad. Modelos como Falcon y PaLM usan MQA. La tendencia es hacia GQA como un buen punto medio que equilibra la eficiencia de memoria y la calidad del modelo.

La incrustación posicional rotatoria, o RoPE, se ha convertido en el método estándar para codificar información de posición en los transformadores. A diferencia de métodos anteriores que añadían información de posición a la entrada, RoPE modifica el mecanismo de atención mismo para tener en cuenta la posición. Esto permite a los modelos manejar secuencias de longitud variable de forma más natural y ha permitido extender las ventanas de contexto a cientos de miles de tokens.

La atención flash es una técnica de software que reordena el cálculo de la atención para que sea mucho más eficiente en memoria. En lugar de almacenar la matriz de atención completa, que escala cuadráticamente con la longitud del contexto, la atención flash calcula la atención en bloques que caben en la memoria rápida del chip. Esto puede reducir el uso de memoria en 10 veces o más, haciendo prácticas las ventanas de contexto largas. Ahora es estándar en todos los principales marcos de entrenamiento e inferencia.