Modelos Densos vs MoE

Modelos Densos vs MoE

No todos los modelos de IA se construyen de la misma manera. Dos de las arquitecturas más importantes son los modelos densos y los mixture of experts (MoE). Adoptan enfoques muy diferentes para resolver el mismo problema, y cada uno tiene sus fortalezas y debilidades.

Un modelo denso activa todos sus parámetros para cada entrada. Si un modelo tiene 7 mil millones de parámetros, cada uno contribuye al procesamiento de cada token. Esto es simple y directo: todo el cerebro trabaja en cada problema. Los modelos densos como Llama y Mistral son bien comprendidos y tienden a ser más predecibles.

Un modelo MoE adopta un enfoque modular. En lugar de una sola red gigante, tiene muchas redes más pequeñas llamadas expertos, más un enrutador que decide qué expertos usar para cada entrada. Cuando le das un prompt al modelo, el enrutador lo examina y lo envía solo a unos pocos expertos, quizás dos o cuatro de cien.

La ventaja de MoE es la eficiencia. Un modelo denso con 100 mil millones de parámetros usa los 100 mil millones para cada cálculo. Un modelo MoE puede tener 100 mil millones de parámetros totales, pero solo activa 10 mil millones por token. Esto significa que puede ser mucho más rápido por token que un modelo denso del mismo tamaño total.

Hay compromisos. Los modelos MoE requieren más memoria porque todos los expertos deben cargarse aunque solo se usen unos pocos. También pueden ser más difíciles de entrenar y más impredecibles. Mixtral 8x7B y GPT-4 usan arquitecturas MoE, mientras que Llama y Falcon usan arquitecturas densas.