Tokenizzazione: Come l'IA Legge il Testo

Tokenizzazione: Come l'IA Legge il Testo

I modelli di IA non leggono il testo come fanno gli umani. Non possono vedere lettere e parole come simboli significativi. Invece, convertono il testo in numeri, e il primo passo in quel processo si chiama tokenizzazione. Capire i token è essenziale per comprendere come funzionano i modelli linguistici e quali sono i loro limiti.

Un token è un pezzo di testo. Può essere una parola, una parte di parola, o persino un singolo carattere. Per esempio, la parola comprendere potrebbe essere divisa in tre token: com, prend, e ere. La parola gatto potrebbe essere un singolo token. Il modello ha un vocabolario, tipicamente da 32.000 a 128.000 token, che sa come elaborare. Qualsiasi cosa al di fuori di quel vocabolario viene suddivisa in pezzi più piccoli.

La tokenizzazione influisce su tutto ciò che riguarda le prestazioni del modello. Il numero di token determina quanto testo il modello può elaborare contemporaneamente, che è la finestra di contesto. Determina anche la velocità con cui il modello genera output, perché i modelli generano un token alla volta. Un modello che genera 100 token al secondo produce circa 75 parole al secondo, più veloce di quanto la maggior parte delle persone possa leggere.

Lingue diverse vengono tokenizzate diversamente. L'inglese è molto efficiente perché la maggior parte dei modelli è addestrata principalmente su testo inglese. Una parola come il è un singolo token. Ma in altre lingue, lo stesso significato potrebbe richiedere molti più token. Questo significa che i modelli sono più lenti e costosi da usare per lingue non inglesi, e potrebbero anche funzionare peggio perché la tokenizzazione suddivide le parole in modi meno naturali.

La tokenizzazione crea anche alcune stranezze. I modelli potrebbero avere difficoltà con compiti semplici come contare le lettere in una parola, perché non vedono singole lettere, ma token. Un modello potrebbe non sapere che fragola ha tre r perché vede fragola come un singolo token. Questo non è un segno di stupidità, è una limitazione fondamentale di come il modello elabora il testo.