Nouvelles techniques en IA

Nouvelles techniques en IA

La recherche en IA avance incroyablement vite et de nouvelles techniques améliorent constamment la façon dont les modèles sont construits et entraînés. Comprendre ces innovations vous aide à apprécier comment le domaine évolue et à quoi vous attendre des futurs modèles.

L'attention à requêtes groupées, ou GQA, est une amélioration par rapport à l'attention multi-têtes standard. Au lieu que chaque tête d'attention ait ses propres clés et valeurs, des groupes de têtes les partagent. Cela réduit considérablement la taille du cache KV sans sacrifier la qualité. GQA est utilisé dans Llama 2 et 3, Mistral et de nombreux autres modèles modernes. C'est une raison clé pour laquelle ces modèles peuvent gérer efficacement de longs contextes.

L'attention multi-requêtes, ou MQA, va encore plus loin en faisant partager à toutes les têtes d'attention un seul ensemble de clés et de valeurs. Cela réduit encore plus l'utilisation de la mémoire mais peut légèrement réduire la qualité. Des modèles comme Falcon et PaLM utilisent MQA. La tendance est vers GQA comme un bon compromis qui équilibre l'efficacité mémoire et la qualité du modèle.

L'encodage positionnel rotatoire, ou RoPE, est devenu la méthode standard pour encoder les informations de position dans les transformeurs. Contrairement aux méthodes plus anciennes qui ajoutaient des informations de position à l'entrée, RoPE modifie le mécanisme d'attention lui-même pour tenir compte de la position. Cela permet aux modèles de gérer plus naturellement des séquences de longueur variable et a permis d'étendre les fenêtres de contexte à des centaines de milliers de tokens.

L'attention flash est une technique logicielle qui réordonne le calcul de l'attention pour le rendre beaucoup plus efficace en mémoire. Au lieu de stocker la matrice d'attention complète, qui croît de manière quadratique avec la longueur du contexte, l'attention flash calcule l'attention par blocs qui tiennent dans la mémoire rapide de la puce. Cela peut réduire l'utilisation de la mémoire de 10 fois ou plus, rendant pratiques les longues fenêtres de contexte. C'est désormais standard dans tous les grands cadres d'entraînement et d'inférence.