2026-11-03 · 5 min de lectura

DeepSeek-V4.1-Flash-1017 Coder: un modelo de programación comprimido para estaciones de trabajo de consumo

En un artículo anterior vimos cómo lanzar DeepSeek-V4.1-Flash en una estación de trabajo de consumo combinando VRAM, memoria del sistema y almacenamiento NVMe. Hoy volvemos con una segunda opción dirigida directamente al desarrollo de software: DeepSeek-V4.1-Flash-1017-GSQ-RCO-Coder-GGUF, publicado por ISTA-DASLab. Esta versión parte del mismo modelo base y elimina una gran parte de sus expertos dispersos, reduciendo los archivos de pesos lo suficiente como para que un asistente de programación completo viva por entero en la memoria gráfica y en la memoria del sistema, sin descargar nada en NVMe.

Qué cambia la variante coder

La nueva compilación no es una simple recuantización. Se trata de una versión orientada a capacidades concretas: la canalización de compresión se diseñó en torno a cargas de trabajo de programación y de agentes, de modo que las partes de la red que más importan para el código se conservan con mayor precisión mientras el resto se reduce de forma agresiva. El resultado es un modelo que se comporta como un especialista y no como un generalista, y que cabe en hardware que la mayoría de los desarrolladores ya posee.

GSQ y RCO: los dos pilares de la compresión

El primer pilar es la cuantización Gumbel-Softmax (GSQ). En lugar de redondear los pesos a una rejilla fija, GSQ aprende las asignaciones de rejilla por coordenada junto con las escalas por grupo, lo que produce una cuantización escalar de baja precisión mucho más exacta. El segundo pilar es la optimización con restricciones riemannianas (RCO), que trata el presupuesto de bits de cada tensor como una restricción estricta durante la optimización conjunta. En la práctica, RCO decide dónde deben ir los bits disponibles, asignando más precisión a las capas sensibles y menos a las que toleran una compresión intensa. Juntas, ambas técnicas mantienen el modelo coherente con tasas de bits que normalmente destruirían la calidad.

Poda de expertos: de 384 a 192 expertos enrutados

El cambio más visible es estructural. Se elimina por completo la mitad de las capas enrutadas del mezclador disperso de expertos: de los 384 expertos enrutados originales por capa se conservan exactamente 192, seleccionados por su relevancia para las tareas de programación. Los pesos supervivientes mantienen la precisión por tensor de la compilación IQ2_XXS. Como los expertos desaparecen enteros en lugar de limitarse a cuantizarse, el ahorro es mucho mayor de lo que daría una simple reducción del ancho de bits.

Huella de memoria

Los pesos del transformador ocupan ahora 72,1 GB, frente a los 138,2 GB de la compilación IQ2_XXS sin poda. Si se compara con los parámetros del transformador del modelo original, esto equivale a aproximadamente un bit efectivo por parámetro, aunque los parámetros supervivientes promedian 2,06 bits porque los tensores densos se mantienen con mayor precisión. El modelo sigue usando la tabla de búsqueda Engram compartida de 110,6 GB de la versión sin poda; lee una fila por token y puede permanecer en disco o en la memoria del sistema, por lo que no tiene que residir en la VRAM.

Gráfico de barras de las capacidades de programación de DeepSeek-V4.1-Flash-1017 Coder

Configuraciones de hardware

La consecuencia práctica es que una estación de trabajo con dos GPU y una cantidad generosa de memoria del sistema puede alojar todo el conjunto sin tocar la unidad NVMe. Dos tarjetas RTX 3090, o dos tarjetas AMD R9700, combinadas con 192 GB de RAM, bastan para mantener tanto los pesos del transformador como la tabla Engram en memoria rápida. Si prefiere gastar menos, todavía puede descargar parte de la tabla Engram en una unidad NVMe; incluso así la huella total se mantiene por debajo de 50 GB en comparación con la cuantización original de 2,2 bpw del modelo base.

Planes de memoria habituales para la compilación coder
ConfiguraciónMemoria de GPUMemoria del sistemaUso de NVMe
Dos RTX 309048 GB192 GBninguno
Dos AMD R970064 GB192 GBninguno
Una GPU con descarga24 GB128 GBfilas Engram en disco
← Desliza a la derecha para ver más →

Resultados de los benchmarks

Una poda agresiva suele costar precisión, pero las evaluaciones publicadas muestran que la mayor parte de la capacidad de programación sobrevive. En LiveCodeBench v6 la compilación coder obtiene 88,57 frente a 89,71 del modelo base, conservando el 98,7 por ciento de la capacidad original. En SWE-bench Verified alcanza 77,00, preservando el 94,8 por ciento del rendimiento de referencia. En otras palabras, un modelo de programación de miles de millones de parámetros que antes requería un servidor ahora funciona en una estación de trabajo perdiendo solo unos pocos puntos en tareas realistas de ingeniería de software.

Primeros pasos

Los archivos GGUF, la configuración de cuantización y los gráficos de evaluación están disponibles en el repositorio de ISTA-DASLab en Hugging Face. Descargue la variante que se ajuste a su presupuesto de memoria, cárguela con su motor de inferencia preferido y apúntela a su base de código. Si viene de la guía anterior de DeepSeek-V4.1-Flash, el flujo de trabajo es idéntico; solo cambian los archivos del modelo y el plan de memoria.

Trabajemos juntos

¿Necesitas más información, ayuda con tu proyecto o desarrollar una idea?

Ya sea una pregunta sencilla, una duda rápida o una charla de 5 minutos, envíame un mensaje—no cuesta nada y siempre estoy listo para ayudar. Me gusta escuchar para entender el problema, ser creativo en las soluciones y centrarme en ideas simples, confiables y fáciles de implementar rápidamente.

Contáctame →

Cambiar Tema

Elige un tema especializado para explorar: