Traitement du Prompt et Vitesse GPU

Traitement du Prompt et Vitesse GPU

Lorsque vous envoyez un prompt à un modèle d'IA, deux phases distinctes se produisent. D'abord, le modèle traite votre entrée complète, analysant tous les mots à la fois. Ensuite, il passe à la génération de la réponse token par token. Ces deux phases ont des exigences matérielles très différentes.

Pendant le traitement du prompt, le modèle prend l'entrée entière et l'exécute à travers le réseau en parallèle. C'est une charge de travail intensive en calcul qui exploite au maximum les cœurs de calcul du GPU. Plus le GPU a de TFLOPS, plus il traite le prompt rapidement.

C'est pourquoi la vitesse de traitement du prompt évolue avec la puissance de calcul GPU. Le H100 avec 2000 TFLOPS traite les prompts beaucoup plus rapidement qu'un RTX 4090 avec 330 TFLOPS. Pour les prompts longs, cette différence est dramatique.

Après le traitement du prompt, le modèle passe en mode génération de tokens. C'est une charge de travail limitée par la bande passante mémoire, pas par la puissance de calcul. Chaque token nécessite la lecture de tous les poids du modèle depuis la mémoire.

Cette division explique certains comportements contre-intuitifs. Un GPU pourrait traiter les prompts très rapidement mais générer les tokens lentement, ou vice versa. Pour les applications avec des prompts longs, priorisez la puissance de calcul. Pour les conversations interactives avec beaucoup de tokens générés, priorisez la bande passante mémoire.