Modèles Denses vs MoE

Modèles Denses vs MoE

Tous les modèles d'IA ne sont pas construits de la même manière. Deux des architectures les plus importantes sont les modèles denses et les mixture of experts (MoE). Ils adoptent des approches très différentes pour résoudre le même problème, et chacun a ses forces et faiblesses.

Un modèle dense active tous ses paramètres pour chaque entrée. Si un modèle a 7 milliards de paramètres, chacun contribue au traitement de chaque token. C'est simple et direct : tout le cerveau travaille sur chaque problème. Les modèles denses comme Llama et Mistral sont bien compris et tendent à être plus prévisibles.

Un modèle MoE adopte une approche modulaire. Au lieu d'un seul réseau géant, il a de nombreux petits réseaux appelés experts, plus un routeur qui décide quels experts utiliser pour chaque entrée. Quand vous donnez un prompt au modèle, le routeur l'examine et l'envoie à seulement quelques experts, peut-être deux ou quatre sur cent.

L'avantage de MoE est l'efficacité. Un modèle dense avec 100 milliards de paramètres utilise les 100 milliards pour chaque calcul. Un modèle MoE peut avoir 100 milliards de paramètres au total, mais n'en active que 10 milliards pour chaque token. Cela le rend beaucoup plus rapide par token qu'un modèle dense de même taille totale.

Il y a cependant des compromis. Les modèles MoE nécessitent plus de mémoire car tous les experts doivent être chargés même si seuls quelques-uns sont utilisés. Ils peuvent aussi être plus difficiles à entraîner et plus imprévisibles. Mixtral 8x7B et GPT-4 utilisent des architectures MoE, tandis que Llama et Falcon utilisent des architectures denses.