LLM locales en hardware de consumo: memoria por niveles y motores de streaming

Ejecutar grandes modelos de lenguaje en local era, hasta hace poco, un objetivo impensable para quien no poseyera un rack de aceleradores empresariales. El tamaño de los modelos modernos, unido a la enorme huella de memoria de sus ventanas de contexto, hacía que las GPU de consumo parecieran irremediablemente inadecuadas. Hoy el panorama está cambiando con rapidez. Una nueva generación de motores de ejecución está derribando las viejas barreras al tratar la memoria como una jerarquía en lugar de un único depósito, y al orquestar el movimiento de los datos con una precisión notable.

De los clústeres empresariales a los ordenadores cotidianos

Durante años la regla fue sencilla: el modelo tenía que caber en la memoria de vídeo de la tarjeta gráfica, o no se ejecutaba en absoluto. Esa restricción excluía casi todos los modelos interesantes del hardware de consumo. El cambio que estamos presenciando nace de la constatación de que no todas las partes de un modelo necesitan residir a la vez en la memoria más rápida. Los mezcladores de atención, las capas activas y las cachés calientes deben permanecer en la GPU, pero el grueso de los pesos, las tablas de incrustación y la larga cola de expertos poco usados pueden vivir en otro lugar y recuperarse bajo demanda.

La arquitectura de memoria en tres niveles

Los motores modernos dividen el modelo entre tres clases de almacenamiento: la VRAM de la GPU, la RAM del sistema y la unidad de estado sólido NVMe. Cada nivel tiene un perfil distinto de latencia y ancho de banda, y el motor decide qué va dónde. Durante la fase de prefill, en la que se procesa el prompt, y durante la fase de decoding, en la que los tokens se generan uno a uno, el planificador activa una estrategia inteligente que precarga los bloques correctos en el momento adecuado. El resultado es una velocidad de prefill y de decoding que se mantiene alta incluso cuando el modelo supera con creces la memoria de la tarjeta.

Esta disposición no es un simple archivo de intercambio. Un esquema de descarga ingenuo bloquearía la GPU cada vez que se necesitara un peso del disco. El motor, en cambio, predice qué bloques harán falta y los mueve con antelación, ocultando la latencia de transferencia tras un cálculo útil.

Strata y el modelo Qwen3.8-Flash-Next

Una de las soluciones recientes más interesantes es un motor llamado Strata, disponible en línea, que se centra en un modelo concreto, Qwen3.8-Flash-Next. Se trata de una arquitectura Mixture of Experts con miles de millones de parámetros, expertos enrutados de forma dispersa, capas de predicción multi-token y amplias tablas de incrustación N-gram. Strata coordina estos componentes en una disposición de ejecución estructurada: los pesos calientes y los mecanismos de atención permanecen en el mostrador de la GPU, el diccionario más amplio de pesos MoE se fija en la despensa de la RAM, la unidad NVMe actúa como sótano para las enormes tablas de consulta, y la predicción multi-token se emplea para aumentar la velocidad de generación. El resultado práctico es que un modelo de muchos miles de millones de parámetros puede ejecutarse en una tarjeta de consumo con 16 GB de VRAM y una buena cantidad de memoria de sistema, ofreciendo un número utilizable de tokens por segundo.

Streaming adaptativo de la caché KV

El segundo gran avance se refiere a la caché Key-Value. A medida que las ventanas de contexto se amplían hacia 128K y 256K tokens, la caché KV puede consumir más memoria que los propios pesos del modelo. Con la gestión unificada estándar de memoria, esto provoca una grave sobresuscripción y un colapso del rendimiento. El streaming adaptativo con granularidad de bloque resuelve el problema manteniendo los tensores KV autoritativos en la memoria del host fijada y gestionando un búfer circular CUDA acotado en la GPU. Las páginas de caché se precargan y se expulsan en tiempo real, de modo que la latencia de transferencia queda oculta tras el cálculo. Los usuarios con tarjetas de 16 GB pueden así mantener velocidades de decoding estables y aprovechar toda la longitud de contexto nativa sin un catastrófico thrashing de páginas.

Hacia dónde nos dirigimos

Otros motores siguen la misma filosofía. LM Cache y vLLM implementan ideas relacionadas de caché y planificación, y el fork de llama.cpp con streaming KV adaptativo demuestra hasta dónde puede llegar un proyecto comunitario. La dirección es clara: gracias a la estratificación del hardware, la cuantización avanzada y los motores de streaming inteligentes, la ejecución local de la IA es cada vez más viable, eficiente y accesible en los ordenadores de consumo cotidianos. La brecha entre lo que puede ejecutar un centro de datos y lo que puede ejecutar un ordenador de sobremesa se está estrechando, y las herramientas que lo hacen posible están abiertas para que cualquiera las estudie y las mejore.