LLM hors ligne sur mobile : comparaison entre Qwen 3.5, Qwen 2.5 et Llama SpinQuant

Exécuter de grands modèles de langage (LLM) entièrement hors ligne sur des appareils mobiles est devenu de plus en plus pratique grâce aux progrès de l'architecture des modèles, de la quantification et des environnements d'exécution optimisés pour l'edge. Cet article compare les familles de petits modèles les plus populaires – Qwen 3.5, Qwen 2.5 et Llama avec SpinQuant – en se concentrant sur les niveaux de quantification, l'utilisation de la RAM et les cas d'utilisation idéaux.

Le paysage des modèles

La série Qwen 3.5, sortie début 2026, comprend des variantes petites comme 0,8B, 2B et 4B de paramètres, spécifiquement conçues pour les environnements mobiles et edge. Ces modèles excellent en programmation, en mathématiques et en suivi d'instructions, tout en prenant en charge les entrées multimodales natives et le raisonnement à long contexte. La série précédente Qwen 2.5 propose des variantes 0,5B, 1,5B et 3B ; le modèle 1,5B est particulièrement salué comme un choix de premier ordre pour les appareils à mémoire limitée. Pendant ce temps, les modèles Llama 3.2 de Meta avec 1B et 3B restent une base généraliste solide, et lorsqu'ils sont combinés avec SpinQuant – une méthode de quantification post-entraînement de pointe – ils atteignent une inférence 2 à 4 fois plus rapide et une empreinte mémoire réduite tout en maintenant une haute précision.

Quantification et utilisation de la RAM

La quantification réduit la précision numérique des poids, généralement de 16 bits (BF16) à 4 bits, ce qui est essentiel pour les limites de mémoire mobile. Avec un format courant 4 bits comme Q4_K_M, la taille du modèle est réduite de plus de 50 % et l'utilisation de la mémoire de 30 à 40 % par rapport au BF16 non compressé. Pour un modèle de 3B paramètres en 4 bits, l'utilisation de la RAM est d'environ 1,5 à 2 Go, y compris le cache KV qui croît avec la longueur du contexte. Pour une exécution confortable, un appareil avec au moins 8 Go de RAM est recommandé. Les appareils avec 6 Go peuvent gérer des modèles inférieurs à 1B, mais peuvent subir des plantages sous pression mémoire en arrière-plan.

Performance et cas d'utilisation

Ces petits modèles quantifiés excellent dans les tâches axées sur la confidentialité, où les données ne quittent jamais l'appareil. Ils peuvent résumer des notes privées, analyser des documents locaux ou agir comme assistant personnel sans connectivité cloud. Ils sont également idéaux pour les environnements hors ligne, offrant un résumé de documents, une classification d'intentions et une extraction d'entités de base. De nombreuses applications de production adoptent une approche hybride : les petits modèles sur l'appareil gèrent les tâches simples ou sensibles, tandis que les requêtes plus complexes sont acheminées vers des modèles cloud.

Considérations de déploiement

L'inférence efficace sur l'appareil repose sur des environnements d'exécution spécialisés comme llama.cpp, ExecuTorch, MNN ou l'API MediaPipe LLM Task de Google. La limitation thermique est un réel problème : une inférence soutenue génère de la chaleur et dégrade les performances. Les développeurs maintiennent souvent des fenêtres de contexte courtes (2K–4K tokens) et utilisent des E/S de fichiers mappés en mémoire pour gérer efficacement la RAM.

Conclusion

Choisir le bon LLM hors ligne dépend de la RAM de votre appareil et des tâches cibles. Qwen 3.5 offre la dernière architecture et des fonctionnalités multimodales, Qwen 2.5 fournit une efficacité éprouvée, et Llama avec SpinQuant offre des modèles rapides et compressés avec un large support de l'écosystème. En comprenant la quantification et les compromis de RAM, vous pouvez déployer un assistant IA capable qui fonctionne entièrement hors ligne.