Velocità di Generazione Token e Larghezza di Banda
Velocità di Generazione Token e Larghezza di Banda
La generazione di token è la fase in cui il modello produce output, un token alla volta. L'equazione fondamentale è semplice: la velocità dei token è uguale alla larghezza di banda della memoria divisa per la dimensione del modello. Un RTX 4090 con circa 1 TB/s di banda può generare circa 285 token/s con un modello 7B in 4-bit.
Esempi reali: RTX 4090 (1 TB/s, 7B 4-bit = 285 token/s), H100 (3.35 TB/s, 70B 4-bit = 95 token/s), M2 Ultra (800 GB/s, 7B 4-bit = 228 token/s). La dimensione del batch conta: processare più prompt insieme aumenta il throughput ma aumenta la latenza.
Per uso interattivo come chatbot, vuoi bassa latenza, quindi batch piccoli o utente singolo. Per server di inferenza, batch più grandi massimizzano il throughput complessivo.
La compressione come la quantizzazione riduce la dimensione del modello, aumentando direttamente la velocità. Un modello 70B in 8-bit = 70 GB, a 1 TB/s = 14 token/s. Lo stesso modello in 4-bit = 35 GB, a 1 TB/s = 28 token/s.
La regola pratica: per ogni raddoppio della larghezza di banda o dimezzamento della dimensione del modello, la velocità raddoppia.
Lavoriamo insieme
Hai bisogno di maggiori informazioni, aiuto con il tuo progetto o di sviluppare un'idea?
Che si tratti di una domanda semplice, un dubbio rapido o una chat di 5 minuti, mandami un messaggio—non costa nulla e sono sempre pronto ad aiutare. Mi piace ascoltare per capire il problema, essere creativo nelle soluzioni e puntare a idee semplici, affidabili e non complicate da realizzare rapidamente.
Contattami →