Enfrentamiento de Arquitecturas Unificadas: AMD Strix Halo vs Apple M3/M4/M5 Max para Inferencia LLM

Introducción

Al ejecutar localmente grandes modelos de lenguaje (LLM), los dos factores de rendimiento más críticos son el ancho de banda de la memoria y la capacidad de cálculo bruta. El ancho de banda determina la velocidad de generación de tokens (decodificación), mientras que la capacidad de cálculo (TFLOPS) determina la rapidez con la que el modelo puede procesar el prompt inicial (prefill). Tanto AMD como Apple han adoptado arquitecturas de memoria unificada, donde la CPU, GPU y Neural Engine comparten un único conjunto de memoria de alto ancho de banda, eliminando la necesidad de copiar datos entre VRAM y RAM del sistema por separado. Esta arquitectura es ideal para la inferencia LLM porque los modelos grandes se pueden cargar completamente en la memoria unificada, permitiendo el uso de modelos masivos que no cabrían en GPU discretas tradicionales como la RTX 4090 con sus 24 GB de VRAM. En este artículo, comparamos el nuevo AMD Strix Halo (serie Ryzen AI Max 300) con hasta 128 GB de memoria LPDDR5X-8000 con las series Apple M3 Pro/Max, M4 Pro/Max y la nueva serie M5 Pro/Max mejorada, centrándonos en cómo el ancho de banda de la memoria afecta las velocidades de procesamiento de prompts y decodificación.

Diferencias Arquitectónicas

El AMD Strix Halo representa un gran avance en gráficos integrados de alto rendimiento para el ecosistema x86. Cuenta con una arquitectura de memoria unificada con hasta 128 GB de memoria LPDDR5X a 8000 MT/s, que proporciona aproximadamente 256 GB/s de ancho de banda. Su GPU RDNA 3.5 integrada puede alcanzar hasta 40 Compute Units, ofreciendo TFLOPS sustanciales para cargas de trabajo limitadas por cómputo. Por el contrario, los chips Apple M-series utilizan una memoria unificada personalizada en un diseño system-in-package. El M3 Max alcanza alrededor de 400 GB/s, el M4 Max va de 410 a 546 GB/s según la configuración, y el último M5 Max alcanza 614 GB/s, líder en la industria. Apple también incluye núcleos Neural Engine dedicados integrados en cada clúster GPU, que según afirman mejoran el rendimiento de IA hasta 4 veces en comparación con la generación M4. Estas elecciones arquitectónicas conducen a fortalezas distintas en diferentes fases de la inferencia LLM.

Comparación de Ancho de Banda de Memoria

Velocidad de Procesamiento del Prompt (Prefill)

El procesamiento del prompt es la fase donde el modelo lee toda la secuencia de entrada y calcula el caché key-value inicial y los estados ocultos. Esta operación está fuertemente limitada por cómputo porque el modelo debe realizar numerosas multiplicaciones de matrices simultáneamente sobre todos los tokens de entrada. El AMD Strix Halo, con su GPU RDNA 3.5, puede ofrecer TFLOPS elevados que rivalizan con muchas GPU discretas. En benchmarks, el Strix Halo puede procesar prompts de varios miles de tokens en menos de un segundo, lo que lo convierte en un fuerte competidor para aplicaciones como análisis de documentos o generación aumentada por recuperación donde los prompts largos son comunes. El M5 Max de Apple ha mejorado su Neural Engine y las capacidades de cálculo GPU, pero los TFLOPS brutos del Strix Halo aún le dan una ligera ventaja en velocidad de prefill puro. Sin embargo, la brecha se reduce al usar frameworks de inferencia optimizados como MLX que aprovechan eficientemente la memoria unificada de Apple.

Velocidad de Decodificación (Generación de Tokens)

La decodificación es la generación autorregresiva de nuevos tokens uno por uno. Cada paso requiere recuperar todos los pesos del modelo desde la memoria a las unidades de cálculo. Este proceso está casi completamente limitado por el ancho de banda de la memoria. La velocidad de generación de tokens (tokens por segundo) es directamente proporcional al ancho de banda dividido por el tamaño del modelo en bytes. Por ejemplo, un modelo de 70 mil millones de parámetros en forma cuantizada de 4 bits utiliza aproximadamente 35 GB de memoria. Con el ancho de banda de 256 GB/s de AMD, la velocidad máxima teórica de decodificación es de aproximadamente 7.3 tokens por segundo. Por el contrario, el M5 Max de Apple con 614 GB/s puede alcanzar alrededor de 17.5 tokens por segundo en las mismas condiciones. Las mediciones reales confirman esta brecha: el M5 Max ofrece consistentemente 2-3 veces más tokens por segundo que el Strix Halo para modelos como Llama 3.1 70B Q4. Esto convierte al M5 Max en el claro ganador para aplicaciones de chat o generación de texto donde la baja latencia por token es crítica.

Capacidad y Consideraciones Prácticas

Ambas plataformas se pueden configurar con hasta 128 GB de memoria unificada, lo que permite ejecutar modelos muy grandes que no cabrían en GPU discretas de consumo. Por ejemplo, un modelo de 120 mil millones de parámetros en precisión de 8 bits o un modelo 70B en 4 bits pueden funcionar cómodamente en ambos sistemas. El AMD Strix Halo tiene la ventaja de funcionar en arquitectura x86, lo que puede ser preferible para usuarios que necesitan compatibilidad con Linux o desean usar software no optimizado para Apple Silicon. El ecosistema de Apple, por otro lado, ofrece el framework MLX y una estrecha integración con macOS, lo que puede acelerar aún más la inferencia. El enorme ancho de banda del M5 Max también beneficia otras tareas sensibles al ancho de banda como la generación de imágenes con Stable Diffusion o el procesamiento de video.

Conclusión

En la batalla de las arquitecturas unificadas para la inferencia LLM local, no hay un único ganador. AMD Strix Halo ofrece una excelente potencia de cálculo para el procesamiento de prompts y una plataforma más abierta, mientras que el M5 Max de Apple domina en velocidad de decodificación gracias a su ancho de banda de memoria superior. La elección depende de la carga de trabajo principal del usuario: si procesa documentos largos o ejecuta pipelines de IA pesados en cómputo, el Strix Halo es una opción convincente; si genera largas secuencias de texto o chatea de forma interactiva, el M5 Max ofrece una experiencia notablemente más fluida. Ambos sistemas representan una nueva era de cómputo de memoria unificada de alto rendimiento, llevando el poder de los grandes modelos a las computadoras personales sin las limitaciones de la VRAM de las GPU discretas.