Vitesse de Génération de Tokens et Bande Passante
Vitesse de Génération de Tokens et Bande Passante
La génération de tokens est la phase où le modèle produit la sortie, un token à la fois. L'équation fondamentale : la vitesse des tokens égale la bande passante mémoire divisée par la taille du modèle. RTX 4090 (1 To/s, 7B 4-bit = 285 tokens/s).
Exemples concrets : RTX 4090, H100 (3.35 To/s, 70B 4-bit = 95 tokens/s), M2 Ultra (800 Go/s, 7B 4-bit = 228 tokens/s). La taille du batch compte : traiter plusieurs prompts ensemble augmente le débit mais augmente la latence.
Pour un usage interactif comme les chatbots, privilégiez la faible latence avec de petits batches. Pour les serveurs d'inférence, des batches plus grands maximisent le débit global.
La compression comme la quantification réduit la taille du modèle, augmentant directement la vitesse. Un modèle 70B en 8 bits = 70 Go, à 1 To/s = 14 tokens/s. En 4 bits = 35 Go, à 1 To/s = 28 tokens/s.
Règle empirique : doubler la bande passante ou diviser par deux la taille du modèle double la vitesse.
Travaillons ensemble
Vous avez besoin de plus d'informations, d'aide pour votre projet ou pour développer une idée?
Qu'il s'agisse d'une question simple, d'un doute rapide ou d'une discussion de 5 minutes, envoyez-moi un message—cela ne coûte rien et je suis toujours prêt à vous aider. J'aime comprendre un problème, être créatif dans les solutions et me concentrer sur des idées simples, fiables et faciles à réaliser rapidement.
Me contacter →