Tensor Parallelism vs. Pipeline Parallelism : Parallélisation de modèles d'IA sur plusieurs GPU

Parallélisation de modèles d'IA sur plusieurs GPU : Tensor Parallelism vs. Pipeline Parallelism

Les modèles d'IA modernes deviennent de plus en plus grands, dépassant souvent la mémoire (VRAM) d'un seul GPU. Pour entraîner ou exécuter ces modèles, la parallélisation sur plusieurs GPU est essentielle. Deux stratégies principales ont émergé : le Tensor Parallelism (TP) et le Pipeline Parallelism (PP). Toutes deux distribuent le calcul, mais de manières fondamentalement différentes, avec des impacts distincts sur la latence, le débit et les exigences matérielles. Cet article explique le fonctionnement de chacune, les surcharges impliquées et les cas d'utilisation optimaux pour chaque approche.

Pipeline Parallelism (PP) : Division par couches

Dans le Pipeline Parallelism, le modèle est divisé verticalement : les couches du réseau neuronal sont réparties sur différents GPU. Par exemple, le GPU 0 gère les 10 premières couches, le GPU 1 les 10 suivantes, et ainsi de suite. Les données circulent à travers les GPU comme une chaîne de montage. Le GPU 0 calcule ses couches et transmet les activations au GPU 1. Cela introduit un problème inhérent : la bulle de pipeline. Chaque GPU devant attendre que le précédent termine, des temps d'inactivité se produisent. Dans une configuration simple, les GPU restent souvent inactifs en attendant des données, réduisant l'efficacité globale. Cependant, cet inconvénient est atténué lors du traitement par lots (plusieurs requêtes simultanément). Lorsque de nombreuses requêtes arrivent en séquence, le pipeline peut être rempli : pendant que le GPU 1 traite encore la requête A, le GPU 0 travaille déjà sur la requête B. Cela masque le temps d'inactivité et augmente considérablement le débit. PP est donc bien adapté aux scénarios de débit par lots élevé où la latence d'une seule requête est moins critique.

Tensor Parallelism (TP) : Division des matrices

En revanche, le Tensor Parallelism divise le modèle horizontalement en distribuant les opérations matricielles individuelles au sein de chaque couche sur plusieurs GPU. Chaque GPU ne possède qu'une partie (fragment) des poids de chaque couche. Pour calculer le résultat final d'une couche, tous les GPU doivent collaborer : ils effectuent des calculs partiels puis les combinent via une opération de synchronisation appelée all-reduce. Cela nécessite une communication constante entre les GPU – à pratiquement chaque couche. La surcharge de communication qui en résulte est le facteur critique pour les performances du TP. La vitesse de cette communication dépend fortement de la technologie d'interconnexion utilisée. NVLink, un lien dédié à haute vitesse entre GPU, permet des transferts de données en quelques microsecondes, rendant la surcharge négligeable. Cependant, lors de l'utilisation du bus PCIe plus lent, le transfert de données devient le goulot d'étranglement. La bande passante PCIe est nettement inférieure à celle de la mémoire interne du GPU. Le temps passé à attendre l'échange de données peut consommer une grande partie du temps de calcul total – souvent entre 25 % et 50 % dans les cas extrêmes. Cela peut annuler les avantages de la parallélisation. Un all-reduce typique sur PCIe peut prendre plusieurs millisecondes, alors que le calcul réel ne prend que quelques microsecondes. Sans NVLink, TP est souvent inefficace.

Comparaison et surcharge

Conclusion

Le choix entre Tensor Parallelism et Pipeline Parallelism dépend fortement du matériel disponible et des objectifs de performance. Si les GPU sont connectés via NVLink et que la latence d'une seule requête doit être minimisée, TP est le choix supérieur. Il permet une parallélisation fine et une faible latence, mais nécessite une interconnexion très rapide. Si seules des connexions PCIe sont disponibles, ou si le modèle est distribué sur plusieurs serveurs, PP est l'option la plus robuste et efficace. La bulle de pipeline est atténuée par le traitement par lots et la surcharge de communication reste faible. En pratique, les deux techniques sont souvent combinées (par exemple, TP au sein d'un nœud utilisant NVLink et PP entre nœuds via le réseau) pour tirer parti des avantages des deux. Comprendre ces différences est crucial pour une utilisation efficace des systèmes multi-GPU en IA.