2026-11-02 · 6 min de lectura

Ejecutar en local modelos MoE de vanguardia para programar con hardware de consumo

En noviembre de 2026 el precio de la memoria y de las GPU se ha disparado. Comprar hardware de clase centro de datos solo para ejecutar en local un buen modelo de programación está fuera del alcance de la mayoría de los desarrolladores independientes y de los equipos pequeños. La buena noticia es que ya no hace falta. Los modelos Mixture-of-Experts (MoE), combinados con un motor de inferencia híbrido, permiten ejecutar asistentes de programación realmente capaces en tarjetas de consumo, usando la memoria que ya tienes.

Por qué los modelos MoE cambian la economía del problema

Un modelo denso debe leer cada parámetro para cada token, así que todo el archivo de pesos tiene que ser accesible a gran ancho de banda. Un modelo MoE activa solo una pequeña fracción de sus expertos por token: el enrutador elige un puñado y el resto permanece inactivo. Ese único detalle de arquitectura es lo que hace viable el almacenamiento por niveles: los expertos calientes se quedan en la VRAM, los templados en la RAM del sistema y los fríos en un SSD NVMe, que solo se cargan cuando el enrutador los pide. El motor oculta la latencia con la precarga y las transferencias asíncronas, de modo que la generación sigue siendo fluida aunque algún experto tenga que viajar desde el disco.

El motor híbrido: descarga de memoria por niveles

Motores como Strata, Colibri y kTransformers aplican la misma idea. Analizan tu máquina y construyen un plan de colocación: la caché KV y los expertos que se enrutan con más frecuencia se quedan residentes en la GPU, el modelo draft usado para el decodificado especulativo se sitúa junto a ellos, la mayor parte de los expertos restantes va a la RAM y todo lo demás se mapea en memoria desde el SSD. Como el plan se calcula para cada máquina, el mismo modelo puede funcionar en una tarjeta de 24 GB, en una pareja de 48 GB o en un equipo de memoria unificada sin ajustes manuales.

Dónde reside cada parte del modelo
NivelQué contienePor qué
VRAM (GPU)Caché KV, expertos calientes, modelo draftMáximo ancho de banda, decodificado rápido
RAM del sistemaExpertos templados y pesos restantesGran capacidad a ancho de banda moderado
SSD NVMeExpertos fríos, mapeados en memoriaCapacidad económica, paginación bajo demanda
← Desliza a la derecha para ver más →

Una configuración de referencia con hardware de 2020

Dos RTX 3090 ofrecen 48 GB de VRAM. Añade 128 GB de DDR4 a unos 100 GB/s y un SSD NVMe Gen4 de unos 8 GB/s, y tendrás una máquina capaz de manejar modelos mucho más grandes que su VRAM. Es hardware de 2020 y sigue dando buenos resultados. La clave no es que los componentes antiguos sean mágicos: el motor solo necesita suficiente memoria rápida para la ruta caliente y suficiente memoria total para todo lo demás.

Configuración de referencia
ComponenteEspecificaciónFunción
GPU2 x RTX 3090, 48 GB de VRAMCaché KV, expertos calientes, modelo draft
RAM128 GB DDR4, ~100 GB/sExpertos templados, pesos en desbordamiento
AlmacenamientoNVMe Gen4, ~8 GB/sExpertos fríos, mapeados en memoria
← Desliza a la derecha para ver más →

Primer modelo que probar: Qwen 3.8 Flash Next

El primer modelo que merece la pena probar es Qwen 3.8 Flash Next. Con la cuantización IQ3_S de ISTA-DASLab la huella baja a unos 50 GB, lo que significa que casi todo cabe entre la VRAM y la RAM. La pérdida de calidad es pequeña: en las pruebas de texto la perplejidad sube solo de forma marginal respecto al modelo base y el comportamiento en programación se mantiene cerca del original. Se alcanzan miles de tokens en prefill y más de 100 tokens por segundo en decodificado. El servidor expone una API compatible con OpenAI, así que cualquier banco de pruebas, CLI o extensión de IDE puede apuntar a él sin cambios.

Segundo modelo: DeepSeek V4.1 Flash 1017

El segundo enfoque es más lento, pero funciona. DeepSeek V4.1 Flash 1017 se puede cuantizar a unos 2,25 bits por peso, lo que reduce la descarga a unos 275 GB. Una parte se carga en la VRAM y el resto se reparte entre la RAM y el SSD. Cabe esperar un aumento de alrededor del 3 por ciento en la perplejidad sobre tareas de programación respecto al modelo base, un compromiso muy razonable. Usa cuantización int8 para la caché KV para que la ventana de contexto siga siendo asumible en memoria.

Los dos modelos frente a frente
ModeloCuantizaciónHuellaNotas
Qwen 3.8 Flash NextIQ3_S (ISTA-DASLab)~50 GBRápido, más de 100 tok/s en decodificado, API compatible con OpenAI
DeepSeek V4.1 Flash 1017~2,25 bpw, caché KV int8~275 GBMás lento, ~3 % más de perplejidad en programación
← Desliza a la derecha para ver más →

Alternativas de memoria unificada

La misma receta funciona en hardware de memoria unificada. Strix Halo, Apple Silicon y los equipos Spark basados en GB10 comparten un único pool grande entre CPU y GPU, lo que elimina la separación entre VRAM y RAM y simplifica la colocación. El ancho de banda por byte es menor que en una GPU dedicada, así que el prefill es más lento, pero la ventaja en capacidad es real y la instalación mucho más sencilla.

Qué se obtiene a cambio

Una estación de trabajo que ejecute estos modelos a plena velocidad todavía exige una inversión superior a 100 mil. Con hardware de 2020 y un gasto de unos 2 mil obtienes en cambio una solución que funciona. En la práctica llegas al 80 o 90 por ciento de la inteligencia de los modelos de vanguardia, servida a un ritmo personal: no es un sustituto de un centro de datos, pero sí un compañero sólido para desarrolladores independientes y pequeñas empresas. Entre 2 mil y 5 mil está hoy el punto de equilibrio.

Lista de comprobación práctica

Instala una versión reciente del motor, deja que analice la máquina y acepta el plan de colocación generado. Mantén la caché KV cuantizada a int8, fija el modelo draft en la GPU y asegúrate de que el SSD tenga espacio libre suficiente para los expertos fríos. Las tarjetas NVIDIA de las series 30, 40 y 50 son compatibles tanto en Windows como en Linux. Empieza por el modelo pequeño, mide los tokens por segundo y sube de nivel solo si las cifras se sostienen.

Trabajemos juntos

¿Necesitas más información, ayuda con tu proyecto o desarrollar una idea?

Ya sea una pregunta sencilla, una duda rápida o una charla de 5 minutos, envíame un mensaje—no cuesta nada y siempre estoy listo para ayudar. Me gusta escuchar para entender el problema, ser creativo en las soluciones y centrarme en ideas simples, confiables y fáciles de implementar rápidamente.

Contáctame →

Cambiar Tema

Elige un tema especializado para explorar: