Bande Passante Mémoire : La Limite de Vitesse de l'IA

Bande Passante Mémoire : La Limite de Vitesse de l'IA

Quand on parle de vitesse de l'IA, on se concentre souvent sur le processeur. Mais pour la plupart des applications, le vrai goulot d'étranglement n'est pas la vitesse de calcul, mais la bande passante mémoire. C'est l'un des concepts les plus importants pour comprendre pourquoi certains matériels sont plus rapides que d'autres.

La bande passante mémoire est la vitesse à laquelle les données peuvent être déplacées de la mémoire vers le processeur. Pour l'inférence des modèles de langage, le modèle lui-même doit être chargé dans la mémoire du processeur. Chaque token généré nécessite que tous les poids du modèle soient lus depuis la mémoire. Si la mémoire est lente, tout le processus ralentit.

C'est pourquoi la bande passante mémoire est si importante. Le GPU peut faire des multiplications matricielles presque instantanément, mais il doit attendre que les données arrivent de la mémoire. C'est comme avoir un moteur Ferrari dans une voiture avec des roues de vélo : le moteur est prêt, mais les roues ne peuvent pas suivre.

Différents matériels ont des bandes passantes mémoire très différentes. Un GPU grand public comme le RTX 4090 a environ 1 To/s de bande passante. Un GPU pour centre de données comme le H100 a environ 3,35 To/s. La mémoire système DDR5 est beaucoup plus lente, environ 50-100 Go/s. C'est pourquoi les GPU sont beaucoup plus rapides que les CPU pour l'IA.

La relation est simple : pour l'inférence LLM, la vitesse est proportionnelle à la bande passante mémoire divisée par la taille du modèle. Un modèle 7B en 4-bit fait environ 3,5 Go. Avec 1 To/s, vous pouvez générer environ 285 tokens par seconde. En pratique, les performances réelles sont inférieures en raison d'autres frais généraux, mais cette équation fondamentale vous dit à quoi vous attendre.