Offline-LLMs auf Mobilgeräten: Qwen 3.5, Qwen 2.5 und Llama SpinQuant im Vergleich

Große Sprachmodelle (LLMs) vollständig offline auf Mobilgeräten auszuführen, ist dank Fortschritten bei Modellarchitektur, Quantisierung und Edge-optimierten Laufzeiten immer praktikabler geworden. Dieser Artikel vergleicht die beliebtesten kleinen Modellfamilien – Qwen 3.5, Qwen 2.5 und Llama mit SpinQuant – und konzentriert sich dabei auf Quantisierungsstufen, RAM-Nutzung und ideale Anwendungsfälle.

Die Modelllandschaft

Die Qwen-3.5-Serie, die Anfang 2026 veröffentlicht wurde, umfasst kleine Varianten wie 0,8B, 2B und 4B Parameter, die speziell für mobile und Edge-Umgebungen entwickelt wurden. Diese Modelle zeichnen sich durch hervorragende Leistungen bei Programmierung, Mathematik und Befehlsausführung aus und unterstützen gleichzeitig native multimodale Eingaben sowie Reasoning über lange Kontexte. Die frühere Qwen-2.5-Serie bietet Varianten mit 0,5B, 1,5B und 3B; das 1,5B-Modell wird besonders als erstklassige Wahl für speicherbeschränkte Geräte gelobt. Die Llama-3.2-Modelle von Meta mit 1B und 3B bleiben eine solide Allzweck-Basislinie, und in Kombination mit SpinQuant – einer hochmodernen Post-Training-Quantisierungsmethode – erreichen sie eine 2- bis 4-mal schnellere Inferenz und einen reduzierten Speicherbedarf bei gleichzeitig hoher Genauigkeit.

Quantisierung und RAM-Nutzung

Quantisierung reduziert die numerische Präzision der Gewichte, typischerweise von 16-Bit (BF16) auf 4-Bit, was für die Speicherlimits mobiler Geräte entscheidend ist. Mit einem gängigen 4-Bit-Format wie Q4_K_M wird die Modellgröße um über 50 % und der Speicherverbrauch um 30–40 % gegenüber unkomprimiertem BF16 reduziert. Bei einem 3B-Parametermodell mit 4-Bit liegt der RAM-Verbrauch bei etwa 1,5–2 GB, einschließlich des KV-Caches, der mit der Kontextlänge wächst. Für einen reibungslosen Betrieb wird ein Gerät mit mindestens 8 GB RAM empfohlen. Geräte mit 6 GB können Modelle unter 1B ausführen, aber es kann zu Abstürzen kommen, wenn der Hintergrundspeicher knapp wird.

Leistung und Anwendungsfälle

Diese kleinen quantisierten Modelle glänzen bei datenschutzorientierten Aufgaben, bei denen Daten das Gerät nie verlassen. Sie können private Notizen zusammenfassen, lokale Dokumente analysieren oder als persönlicher Assistent ohne Cloud-Anbindung fungieren. Sie sind auch ideal für Offline-Umgebungen und bieten Dokumentzusammenfassung, Absichtserkennung und grundlegende Entitätsextraktion. Viele Produktions-Apps verwenden einen hybriden Ansatz: Kleine On-Device-Modelle übernehmen einfache oder sensible Aufgaben, während komplexe Anfragen an Cloud-Modelle weitergeleitet werden.

Überlegungen zur Bereitstellung

Effiziente On-Device-Inferenz hängt von speziellen Laufzeiten wie llama.cpp, ExecuTorch, MNN oder der MediaPipe LLM Task API von Google ab. Thermische Drosselung ist ein echtes Problem – kontinuierliche Inferenz erzeugt Wärme und beeinträchtigt die Leistung. Entwickler halten Kontextfenster oft kurz (2K–4K Token) und verwenden speicherzugeordnete Datei-I/O, um den RAM effektiv zu verwalten.

Fazit

Die Wahl des richtigen Offline-LLM hängt von der RAM-Größe des Geräts und den Zielaufgaben ab. Qwen 3.5 bietet die neueste Architektur und multimodale Funktionen, Qwen 2.5 überzeugt durch bewährte Effizienz, und Llama mit SpinQuant liefert schnelle, komprimierte Modelle mit breiter Ökosystemunterstützung. Wenn Sie Quantisierung und RAM-Kompromisse verstehen, können Sie einen leistungsfähigen KI-Assistenten einsetzen, der vollständig offline läuft.