Modelli Densi vs MoE

Modelli Densi vs MoE

Non tutti i modelli di IA sono costruiti allo stesso modo. Due delle architetture più importanti sono i modelli densi e i mixture of experts (MoE). Adottano approcci molto diversi per risolvere lo stesso problema, e ciascuno ha i suoi punti di forza e debolezza.

Un modello denso attiva tutti i suoi parametri per ogni input. Se un modello ha 7 miliardi di parametri, ognuno contribuisce all'elaborazione di ogni token. Questo è semplice e diretto: tutto il cervello lavora su ogni problema. I modelli densi come Llama e Mistral sono ben compresi e tendono ad essere più prevedibili.

Un modello MoE adotta un approccio modulare. Invece di un'unica rete gigante, ha molte reti più piccole chiamate esperti, più un router che decide quali esperti usare per ogni input. Quando dai al modello un prompt, il router lo analizza e lo invia solo a pochi esperti, forse due o quattro su cento. Gli altri esperti restano inattivi.

Il vantaggio di MoE è l'efficienza. Un modello denso con 100 miliardi di parametri usa tutti i 100 miliardi per ogni calcolo. Un modello MoE potrebbe avere 100 miliardi di parametri totali, ma ne attiva solo 10 miliardi per ogni token. Questo significa che può essere molto più veloce per token di un modello denso della stessa dimensione totale.

Ci sono però dei compromessi. I modelli MoE richiedono più memoria perché tutti gli esperti devono essere caricati anche se solo pochi vengono usati. Possono anche essere più difficili da addestrare e più imprevedibili. Modelli come Mixtral 8x7B e GPT-4 usano architetture MoE, mentre Llama e Falcon usano architetture dense.