Que sont les Poids d'un Modèle ?

Que sont les Poids d'un Modèle ?

Quand les gens parlent de modèles d'IA, ils mentionnent souvent les poids. Mais que sont-ils exactement ? En termes simples, les poids d'un modèle sont la mémoire de tout ce que l'IA a appris pendant l'entraînement. Ce sont des nombres, des milliards, stockés dans un fichier qui définit le comportement du modèle.

Pensez aux poids comme aux boutons et curseurs d'une énorme console de mixage. Lorsque le modèle est créé pour la première fois, tous les boutons sont réglés sur des positions aléatoires. Le modèle ne sait rien. Au fur et à mesure que l'entraînement progresse, chaque bouton est ajusté petit à petit. Un bouton qui aide le modèle à donner des réponses correctes est augmenté. Un bouton qui mène à des réponses erronées est diminué. Après l'entraînement sur des milliards d'exemples, les boutons se stabilisent à des positions qui rendent le modèle précis.

Chaque poids n'est qu'un nombre, typiquement une valeur à virgule flottante comme 0,342 ou -1,157. Un seul poids en lui-même ne signifie rien. Mais quand vous en combinez des millions ou des milliards dans la bonne structure, ils encodent des motifs, des relations et des connaissances. Les poids d'un modèle de langage contiennent des règles grammaticales, des connaissances factuelles, des schémas de raisonnement et même des préférences stylistiques, tous stockés sous forme de valeurs numériques.

C'est pourquoi les poids d'un modèle sont si précieux. Entraîner un modèle à partir de zéro coûte des millions de dollars en puissance de calcul. Les poids sont le résultat de cet investissement. Quand vous téléchargez un modèle open source comme Llama ou Mistral, vous téléchargez les poids. L'architecture du modèle n'est que le plan, les poids sont la connaissance réelle.

Les poids déterminent aussi la taille d'un modèle. Un modèle de 7 milliards de paramètres a 7 milliards de poids. Chaque poids doit être stocké en mémoire, c'est pourquoi les grands modèles ont besoin de plus de VRAM. Quand vous quantifiez un modèle, vous réduisez la précision de ces poids, les faisant prendre moins de place au prix d'une petite perte de précision.