Tokenización: Cómo la IA Lee Texto

Tokenización: Cómo la IA Lee Texto

Los modelos de IA no leen texto como lo hacen los humanos. No pueden ver letras y palabras como símbolos significativos. En cambio, convierten el texto en números, y el primer paso en ese proceso se llama tokenización. Entender los tokens es esencial para comprender cómo funcionan los modelos de lenguaje y cuáles son sus limitaciones.

Un token es un fragmento de texto. Puede ser una palabra, una parte de una palabra, o incluso un solo carácter. Por ejemplo, la palabra entendimiento podría dividirse en tres tokens: enten, dim, y iento. La palabra gato podría ser un solo token. El modelo tiene un vocabulario, típicamente de 32,000 a 128,000 tokens, que sabe cómo procesar. Cualquier cosa fuera de ese vocabulario se divide en piezas más pequeñas.

La tokenización afecta todo sobre cómo funciona el modelo. El número de tokens determina cuánto texto puede procesar el modelo a la vez, que es la ventana de contexto. También determina qué tan rápido genera salidas el modelo, porque los modelos generan un token a la vez. Un modelo que genera 100 tokens por segundo está produciendo aproximadamente 75 palabras por segundo, más rápido de lo que la mayoría de las personas pueden leer.

Diferentes idiomas se tokenizan de manera diferente. El inglés es muy eficiente porque la mayoría de los modelos se entrenan principalmente en texto en inglés. Una palabra como el es un solo token. Pero en otros idiomas, el mismo significado podría requerir muchos más tokens. Esto significa que los modelos son más lentos y costosos de usar para idiomas no ingleses, y también pueden rendir peor porque la tokenización divide las palabras de maneras menos naturales.

La tokenización también crea algunas peculiaridades. Los modelos podrían tener dificultades con tareas simples como contar letras en una palabra, porque no ven letras individuales, ven tokens. Un modelo podría no saber que fresa tiene dos erres porque ve fresa como un solo token. Esto no es una señal de estupidez, es una limitación fundamental de cómo el modelo procesa el texto.