Nuove tecniche nell'IA

Nuove tecniche nell'IA

La ricerca sull'IA progredisce incredibilmente velocemente e nuove tecniche migliorano costantemente il modo in cui i modelli vengono costruiti e addestrati. Comprendere queste innovazioni ti aiuta ad apprezzare come il campo si sta evolvendo e cosa aspettarti dai modelli futuri.

L'attenzione di query raggruppata, o GQA, è un miglioramento rispetto all'attenzione multi-testa standard. Invece di avere ogni testa di attenzione chiavi e valori propri, gruppi di teste li condividono. Questo riduce significativamente la dimensione della cache KV senza sacrificare la qualità. GQA è utilizzato in Llama 2 e 3, Mistral e molti altri modelli moderni. È una ragione fondamentale per cui questi modelli possono gestire contesti lunghi in modo efficiente.

L'attenzione multi-query, o MQA, spinge ancora oltre facendo sì che tutte le teste di attenzione condividano un unico insieme di chiavi e valori. Questo riduce ulteriormente l'uso della memoria ma può ridurre leggermente la qualità. Modelli come Falcon e PaLM utilizzano MQA. La tendenza è verso GQA come un buon compromesso che bilancia efficienza di memoria e qualità del modello.

L'incorporamento posizionale rotatorio, o RoPE, è diventato il metodo standard per codificare le informazioni posizionali nei transformer. A differenza dei metodi precedenti che aggiungevano informazioni posizionali all'input, RoPE modifica il meccanismo di attenzione stesso per tenere conto della posizione. Ciò consente ai modelli di gestire sequenze di lunghezza variabile in modo più naturale e ha permesso di estendere le finestre di contesto fino a centinaia di migliaia di token.

L'attenzione flash è una tecnica software che riordina il calcolo dell'attenzione per renderlo molto più efficiente in termini di memoria. Invece di memorizzare l'intera matrice di attenzione, che scala quadraticamente con la lunghezza del contesto, l'attenzione flash calcola l'attenzione in blocchi che si adattano alla memoria veloce del chip. Ciò può ridurre l'uso della memoria di 10 volte o più, rendendo pratiche le finestre di contesto lunghe. Ora è standard in tutti i principali framework di addestramento e inferenza.