Cache KV et Gestion de la Mémoire
Cache KV et Gestion de la Mémoire
Quand un modèle génère du texte, il ne recalcule pas tout à partir de zéro pour chaque nouveau token. Il stocke les clés et valeurs d'attention dans un cache, appelé cache KV.
Le cache KV croît à mesure que la conversation progresse. Pour chaque nouveau token, le modèle ajoute de nouvelles clés et valeurs.
Plusieurs techniques d'optimisation existent : Multi-Query Attention et Grouped Query Attention réduisent la taille du cache en partageant les clés et valeurs.
Le cache KV explique pourquoi la taille du contexte est si importante pour la mémoire. Un contexte de 128K avec un modèle 70B peut consommer des dizaines de Go.
Des techniques comme la quantification du cache KV et l'attention à fenêtre glissante aident à gérer la croissance de la mémoire.
Travaillons ensemble
Vous avez besoin de plus d'informations, d'aide pour votre projet ou pour développer une idée?
Qu'il s'agisse d'une question simple, d'un doute rapide ou d'une discussion de 5 minutes, envoyez-moi un message—cela ne coûte rien et je suis toujours prêt à vous aider. J'aime comprendre un problème, être créatif dans les solutions et me concentrer sur des idées simples, fiables et faciles à réaliser rapidement.
Me contacter →