Tokenization : Comment l'IA Lit le Texte

Tokenization : Comment l'IA Lit le Texte

Les modèles d'IA ne lisent pas le texte comme le font les humains. Ils ne peuvent pas voir les lettres et les mots comme des symboles significatifs. Au lieu de cela, ils convertissent le texte en nombres, et la première étape de ce processus s'appelle la tokenization. Comprendre les tokens est essentiel pour comprendre comment fonctionnent les modèles de langage et quelles sont leurs limites.

Un token est un morceau de texte. Il peut s'agir d'un mot, d'une partie de mot, ou même d'un seul caractère. Par exemple, le mot compréhension pourrait être divisé en trois tokens : com, préhen, et sion. Le mot chat pourrait être un seul token. Le modèle a un vocabulaire, typiquement de 32 000 à 128 000 tokens, qu'il sait traiter. Tout ce qui est en dehors de ce vocabulaire est divisé en morceaux plus petits.

La tokenization affecte tout ce qui concerne les performances du modèle. Le nombre de tokens détermine la quantité de texte que le modèle peut traiter à la fois, c'est la fenêtre de contexte. Il détermine également la vitesse à laquelle le modèle génère des sorties, car les modèles génèrent un token à la fois. Un modèle qui génère 100 tokens par seconde produit environ 75 mots par seconde, plus vite que la plupart des gens ne peuvent lire.

Différentes langues sont tokenisées différemment. L'anglais est très efficace car la plupart des modèles sont entraînés principalement sur du texte anglais. Un mot comme le est un seul token. Mais dans d'autres langues, le même sens pourrait nécessiter beaucoup plus de tokens. Cela signifie que les modèles sont plus lents et plus chers à utiliser pour les langues non anglaises, et ils peuvent également moins bien performer car la tokenization divise les mots de manière moins naturelle.

La tokenization crée aussi quelques bizarreries. Les modèles peuvent avoir du mal avec des tâches simples comme compter les lettres dans un mot, car ils ne voient pas des lettres individuelles, ils voient des tokens. Un modèle pourrait ne pas savoir que fraise a deux r parce qu'il voit fraise comme un seul token. Ce n'est pas un signe de stupidité, c'est une limitation fondamentale de la façon dont le modèle traite le texte.