Conceptos Básicos de la Arquitectura Transformer

Conceptos Básicos de la Arquitectura Transformer

En 2017, un artículo titulado Attention Is All You Need cambió el curso de la historia de la IA. Introdujo la arquitectura Transformer, que es la base de prácticamente todos los modelos de lenguaje modernos, incluyendo GPT, Claude, Llama y Gemini. Antes de los Transformers, la IA tenía dificultades para entender el contexto y las relaciones en el texto. Después de los Transformers, todo cambió.

La innovación clave del Transformer es el mecanismo de atención. Imagina leer una frase: El gato se sentó en la alfombra porque estaba cansado. ¿A qué se refiere ? Al gato, obviamente. Un humano lo sabe instantáneamente, pero para una computadora, este era un problema muy difícil. La atención permite al modelo mirar cada otra palabra en la frase y decidir cuáles son relevantes para entender cada palabra específica.

Arquitecturas anteriores como RNN y LSTM procesaban el texto una palabra a la vez, en orden. Esto era lento y dificultaba recordar cosas dichas antes en una frase larga. Los Transformers procesan todas las palabras a la vez, en paralelo. Esto los hace mucho más rápidos de entrenar y mucho mejores para capturar relaciones de largo alcance en el texto.

Un Transformer se construye a partir de dos partes principales: un codificador y un decodificador. El codificador lee el texto de entrada y crea una representación rica de su significado. El decodificador usa esa representación para generar texto de salida, una palabra a la vez. Algunos modelos usan ambas partes, como BERT, mientras que otros usan solo el decodificador, como GPT. El enfoque solo decodificador es lo que impulsa la mayoría de los chatbots modernos.

El Transformer también introdujo el concepto de codificación posicional. Dado que procesa todas las palabras a la vez, necesita una forma de conocer el orden de las palabras. La codificación posicional añade información sobre la posición de cada palabra en la secuencia, para que el modelo sepa que gato viene antes que alfombra. Este truco simple pero inteligente, combinado con la atención, es lo que hace tan poderosos a los Transformers.