¿Qué son los Pesos de los Modelos?

¿Qué son los Pesos de los Modelos?

Cuando la gente habla de modelos de IA, a menudo mencionan los pesos. Pero ¿qué son exactamente? En términos simples, los pesos del modelo son la memoria de todo lo que la IA ha aprendido durante el entrenamiento. Son números, miles de millones de ellos, almacenados en un archivo que define el comportamiento del modelo.

Piensa en los pesos como las perillas y diales de una consola de mezclas gigante. Cuando el modelo se crea por primera vez, todas las perillas están en posiciones aleatorias. El modelo no sabe nada. A medida que avanza el entrenamiento, cada perilla se ajusta poco a poco. Una perilla que ayuda al modelo a dar respuestas correctas se sube. Una perilla que lleva a respuestas incorrectas se baja. Después del entrenamiento en miles de millones de ejemplos, las perillas se estabilizan en posiciones que hacen preciso al modelo.

Cada peso es solo un número, típicamente un valor de punto flotante como 0.342 o -1.157. Un solo peso por sí mismo no significa nada. Pero cuando combinas millones o miles de millones de ellos en la estructura correcta, codifican patrones, relaciones y conocimiento. Los pesos de un modelo de lenguaje contienen reglas gramaticales, conocimiento factual, patrones de razonamiento e incluso preferencias estilísticas, todo almacenado como valores numéricos.

Por eso los pesos de los modelos son tan valiosos. Entrenar un modelo desde cero cuesta millones de dólares en potencia de cálculo. Los pesos son el resultado de esa inversión. Cuando descargas un modelo de código abierto como Llama o Mistral, estás descargando los pesos. La arquitectura del modelo es solo el plano, los pesos son el conocimiento real.

Los pesos del modelo también determinan el tamaño del modelo. Un modelo de 7 mil millones de parámetros tiene 7 mil millones de pesos. Cada peso necesita ser almacenado en memoria, por eso los modelos más grandes necesitan más VRAM. Cuando cuantizas un modelo, reduces la precisión de estos pesos, haciendo que ocupen menos espacio a costa de una pequeña cantidad de precisión.