Showdown der Unified-Architekturen: AMD Strix Halo vs. Apple M3/M4/M5 Max für LLM-Inferenz

Einleitung

Beim lokalen Ausführen großer Sprachmodelle (LLMs) sind die beiden kritischsten Leistungsfaktoren die Speicherbandbreite und die rohe Rechenleistung. Die Speicherbandbreite bestimmt, wie schnell Token generiert werden können (Decodierung), während die Rechenleistung (TFLOPS) bestimmt, wie schnell das Modell die anfängliche Eingabeaufforderung (Prefill) verarbeiten kann. Sowohl AMD als auch Apple haben Unified-Memory-Architekturen eingeführt, bei denen CPU, GPU und Neural Engine einen einzigen Pool mit hoher Speicherbandbreite gemeinsam nutzen, wodurch das Kopieren von Daten zwischen separatem VRAM und Systemspeicher entfällt. Diese Architektur ist ideal für die LLM-Inferenz, da große Modelle vollständig in den Unified Memory geladen werden können, wodurch die Verwendung massiver Modelle möglich wird, die auf herkömmlichen diskreten GPUs wie der RTX 4090 mit ihren 24 GB VRAM keinen Platz finden. In diesem Artikel vergleichen wir den neuesten AMD Strix Halo (Ryzen AI Max 300-Serie) mit bis zu 128 GB LPDDR5X-8000-Speicher mit den Serien Apple M3 Pro/Max, M4 Pro/Max und der neu verbesserten M5 Pro/Max-Serie und konzentrieren uns darauf, wie sich die Speicherbandbreite auf die Prompt-Verarbeitungs- und Decodierungsgeschwindigkeiten auswirkt.

Architekturunterschiede

Der AMD Strix Halo stellt einen großen Vorstoß in Richtung leistungsstarker integrierter Grafik für das x86-Ökosystem dar. Er verfügt über eine Unified-Memory-Architektur mit bis zu 128 GB LPDDR5X-Speicher mit 8000 MT/s, die eine Speicherbandbreite von etwa 256 GB/s bietet. Die integrierte RDNA 3.5 GPU kann auf bis zu 40 Compute Units skaliert werden und liefert beträchtliche TFLOPS für rechenintensive Workloads. Im Gegensatz dazu verwenden Apples M-Serie-Chips einen benutzerdefinierten Unified Memory in einem System-in-Package-Design. Der M3 Max erreicht etwa 400 GB/s, der M4 Max je nach Konfiguration 410 bis 546 GB/s und der neueste M5 Max erreicht branchenführende 614 GB/s. Apple integriert außerdem dedizierte Neural Engine-Kerne in jeden GPU-Cluster, die die KI-Leistung im Vergleich zur M4-Generation um das bis zu 4-fache verbessern sollen. Diese Architekturentscheidungen führen zu unterschiedlichen Stärken in verschiedenen Phasen der LLM-Inferenz.

Vergleich der Speicherbandbreite

Prompt-Verarbeitungsgeschwindigkeit (Prefill)

Die Prompt-Verarbeit ist die Phase, in der das Modell die gesamte Eingabesequenz liest und den anfänglichen Key-Value-Cache und die versteckten Zustände berechnet. Dieser Vorgang ist stark rechengebunden, da das Modell gleichzeitig zahlreiche Matrixmultiplikationen über alle Eingabe-Token durchführen muss. Der AMD Strix Halo kann mit seiner RDNA 3.5 GPU hohe TFLOPS liefern, die mit vielen diskreten GPUs konkurrieren. In Benchmarks kann der Strix Halo Prompts von mehreren tausend Token in unter einer Sekunde verarbeiten, was ihn zu einem starken Konkurrenten für Anwendungen wie Dokumentenanalyse oder Retrieval-Augmented Generation macht, bei denen lange Prompts üblich sind. Apples M5 Max hat seinen Neural Engine und die GPU-Rechenfähigkeiten verbessert, aber die rohen TFLOPS des Strix Halo verschaffen ihm immer noch einen leichten Vorteil bei der reinen Prefill-Geschwindigkeit. Allerdings verringert sich der Abstand bei Verwendung optimierter Inferenz-Frameworks wie MLX, die Apples Unified Memory effizient nutzen.

Decodierungsgeschwindigkeit (Tokengenerierung)

Die Decodierung ist die autoregressive Generierung neuer Token, einer nach dem anderen. Jeder Schritt erfordert das Abrufen der gesamten Modellgewichte aus dem Speicher in die Recheneinheiten. Dieser Prozess ist fast vollständig speicherbandbreitenbegrenzt. Die Tokengenerierungsgeschwindigkeit (Token pro Sekunde) ist direkt proportional zur Speicherbandbreite geteilt durch die Modellgröße in Byte. Beispielsweise verwendet ein 70-Milliarden-Parameter-Modell in 4-Bit-quantisierter Form etwa 35 GB Speicher. Mit AMDs Bandbreite von 256 GB/s beträgt die theoretische maximale Decodierungsgeschwindigkeit etwa 7,3 Token pro Sekunde. Im Gegensatz dazu kann Apples M5 Max mit 614 GB/s unter denselben Bedingungen etwa 17,5 Token pro Sekunde erreichen. Reale Messungen bestätigen diese Lücke: Der M5 Max liefert bei Modellen wie Llama 3.1 70B Q4 durchgängig 2- bis 3-mal mehr Token pro Sekunde als der Strix Halo. Damit ist der M5 Max der klare Gewinner für Chat-Anwendungen oder Textgenerierung, bei denen eine geringe Latenz pro Token entscheidend ist.

Kapazität und praktische Überlegungen

Beide Plattformen können mit bis zu 128 GB Unified Memory konfiguriert werden, wodurch sehr große Modelle ausgeführt werden können, die auf Consumer-Diskret-GPUs keinen Platz finden. Beispielsweise kann ein 120-Milliarden-Parameter-Modell in 8-Bit-Genauigkeit oder ein 70B-Modell in 4-Bit auf beiden Systemen komfortabel laufen. AMDs Strix Halo hat den Vorteil, auf der x86-Architektur zu laufen, was für Benutzer vorzuziehen sein kann, die Linux-Kompatibilität benötigen oder Software verwenden möchten, die nicht für Apple Silicon optimiert ist. Das Apple-Ökosystem bietet hingegen das MLX-Framework und eine enge Integration mit macOS, was die Inferenz weiter beschleunigen kann. Die enorme Bandbreite des M5 Max kommt auch anderen bandbreitenempfindlichen Aufgaben wie der Bildgenerierung mit Stable Diffusion oder der Videoverarbeitung zugute.

Fazit

Im Kampf der Unified-Architekturen für die lokale LLM-Inferenz gibt es keinen alleinigen Gewinner. AMD Strix Halo bietet hervorragende Rechenleistung für die Prompt-Verbeitung und eine offenere Plattform, während Apples M5 Max dank seiner überlegenen Speicherbandbreite bei der Decodierungsgeschwindigkeit dominiert. Die Wahl hängt vom primären Workload des Benutzers ab: Wenn Sie lange Dokumente verarbeiten oder rechenintensive KI-Pipelines ausführen, ist der Strix Halo eine überzeugende Option; wenn Sie lange Textsequenzen generieren oder interaktiv chatten, bietet der M5 Max ein deutlich flüssigeres Erlebnis. Beide Systeme repräsentieren eine neue Ära des Hochleistungs-Unified-Memory-Computings und bringen die Leistungsfähigkeit großer Modelle auf Personal Computer, ohne die Einschränkungen des VRAMs diskreter GPUs.