Tensor Parallelism vs Pipeline Parallelism: Parallelizzazione di modelli AI su più GPU

Parallelizzazione di modelli AI su più GPU: Tensor Parallelism vs Pipeline Parallelism

I modelli AI moderni diventano sempre più grandi, spesso superando la memoria (VRAM) di una singola GPU. Per addestrare o eseguire questi modelli, la parallelizzazione su più GPU è essenziale. Sono emerse due strategie principali: Tensor Parallelism (TP) e Pipeline Parallelism (PP). Entrambe distribuiscono il calcolo, ma in modi fondamentalmente diversi, con impatti distinti su latenza, throughput e requisiti hardware. Questo articolo spiega il funzionamento di ciascuna, gli overhead coinvolti e i casi d'uso ottimali per ogni approccio.

Pipeline Parallelism (PP): Divisione per livelli

Nel Pipeline Parallelism, il modello viene diviso verticalmente: i livelli (layer) della rete neurale vengono distribuiti tra diverse GPU. Ad esempio, la GPU 0 gestisce i primi 10 livelli, la GPU 1 i successivi 10, e così via. I dati fluiscono attraverso le GPU come una catena di montaggio. La GPU 0 calcola i suoi livelli e passa le attivazioni alla GPU 1. Questo introduce un problema intrinseco: la bolla di pipeline (pipeline bubble). Poiché ogni GPU deve attendere che la precedente finisca, si verificano tempi morti. In una configurazione semplice, le GPU spesso rimangono inattive in attesa di dati, riducendo l'efficienza complessiva. Tuttavia, questo inconveniente viene mitigato quando si elaborano batch (più richieste contemporaneamente). Quando molte richieste arrivano in sequenza, la pipeline può essere riempita: mentre la GPU 1 sta ancora elaborando la richiesta A, la GPU 0 sta già lavorando sulla richiesta B. Questo maschera i tempi morti e aumenta significativamente il throughput. PP è quindi adatto per scenari di throughput batch elevato dove la latenza di una singola richiesta è meno critica.

Tensor Parallelism (TP): Divisione delle matrici

Al contrario, il Tensor Parallelism divide il modello orizzontalmente distribuendo le singole operazioni matriciali all'interno di ogni livello su più GPU. Ogni GPU possiede solo una parte (shard) dei pesi di ogni livello. Per calcolare il risultato finale di un livello, tutte le GPU devono collaborare: eseguono calcoli parziali e poi li combinano tramite un'operazione di sincronizzazione chiamata all-reduce. Questo richiede una comunicazione costante tra le GPU – praticamente a ogni livello. L'overhead di comunicazione risultante è il fattore critico per le prestazioni di TP. La velocità di questa comunicazione dipende fortemente dalla tecnologia di interconnessione utilizzata. NVLink, un collegamento dedicato ad alta velocità tra GPU, consente trasferimenti di dati in pochi microsecondi, rendendo l'overhead trascurabile. Tuttavia, quando si utilizza il bus PCIe più lento, il trasferimento dei dati diventa il collo di bottiglia. La larghezza di banda di PCIe è significativamente inferiore a quella della memoria interna della GPU. Il tempo speso in attesa dello scambio di dati può consumare una grande frazione del tempo totale di calcolo – spesso tra il 25% e il 50% in casi estremi. Questo può annullare i benefici della parallelizzazione. Un tipico all-reduce su PCIe può richiedere diversi millisecondi, mentre il calcolo effettivo richiede solo microsecondi. Senza NVLink, TP è spesso inefficiente.

Confronto e Overhead

Conclusione

La scelta tra Tensor Parallelism e Pipeline Parallelism dipende fortemente dall'hardware disponibile e dagli obiettivi di prestazione. Se le GPU sono collegate tramite NVLink e la latenza di una singola richiesta deve essere minimizzata, TP è la scelta superiore. Consente una parallelizzazione a grana fine e bassa latenza, ma richiede un'interconnessione molto veloce. Se sono disponibili solo connessioni PCIe, o il modello è distribuito su più server, PP è l'opzione più robusta ed efficiente. La bolla di pipeline viene mitigata dal batching e l'overhead di comunicazione rimane basso. In pratica, spesso si combinano entrambe le tecniche (ad esempio, TP all'interno di un nodo usando NVLink e PP tra nodi tramite rete) per sfruttare i vantaggi di entrambe. Comprendere queste differenze è cruciale per un utilizzo efficiente dei sistemi multi-GPU nell'IA.