Larghezza di Banda della Memoria: Il Limite di Velocità dell'IA

Larghezza di Banda della Memoria: Il Limite di Velocità dell'IA

Quando si parla di velocità dell'IA, spesso ci si concentra sul processore. Ma per la maggior parte delle applicazioni, il vero collo di bottiglia non è la velocità di calcolo, ma la larghezza di banda della memoria. Questo è uno dei concetti più importanti per capire perché alcuni hardware sono più veloci di altri.

La larghezza di banda della memoria è la velocità con cui i dati possono essere spostati dalla memoria al processore. Per l'inferenza dei modelli linguistici, il modello stesso deve essere caricato nella memoria del processore. Ogni token generato richiede che tutti i pesi del modello vengano letti dalla memoria. Se la memoria è lenta, l'intero processo rallenta.

Ecco perché la larghezza di banda della memoria è così importante. La GPU può fare moltiplicazioni di matrici quasi istantaneamente, ma deve aspettare che i dati arrivino dalla memoria. È come avere un motore Ferrari in un'auto con ruote di bicicletta: il motore è pronto, ma le ruote non possono tenere il passo.

Hardware diversi hanno larghezze di banda della memoria molto diverse. Una GPU consumer come l'RTX 4090 ha circa 1 TB/s di larghezza di banda. Una GPU per data center come l'H100 ha circa 3,35 TB/s. La memoria del sistema DDR5 è molto più lenta, circa 50-100 GB/s. Ecco perché le GPU sono molto più veloci delle CPU per l'IA.

La relazione è semplice: per l'inferenza LLM, la velocità è proporzionale alla larghezza di banda della memoria divisa per la dimensione del modello. Un modello da 7B in 4-bit è circa 3,5 GB. Con 1 TB/s, puoi generare circa 285 token al secondo. In pratica, le prestazioni reali sono inferiori a causa di altri overhead, ma questa equazione fondamentale ti dice cosa aspettarti.