2026-11-05 · 5 min de lectura

Qwen3.8-Flash-Next y DeepSeek-V4.1-Flash-1017: GGUF Unsloth Dynamic V3.1 frente a GSQ-RCO

Qwen3.8-Flash-Next y DeepSeek-V4.1-Flash-1017: los GGUF Unsloth Dynamic V3.1 contra la cuantización GSQ-RCO

El panorama de la inferencia local se ha convertido en una auténtica guerra de la cuantización. Unsloth ha publicado compilaciones GGUF Dynamic V3.1 para dos familias Mixture-of-Experts de vanguardia —Qwen3.8-Flash-Next y DeepSeek-V4.1-Flash-1017— y las ha situado directamente frente a las cuantizaciones GSQ-RCO publicadas por ISTA-DASLab. La afirmación es audaz: alrededor de un 15 por ciento más de precisión que otras cuantizaciones de vanguardia con tamaños de archivo comparables, y las puntuaciones más altas en Terminal Bench y DeepSWE. Este artículo explica qué ha cambiado en el cuantizador, cómo se midieron las cifras y cómo ejecutar estos modelos en una sola estación de trabajo.

Por qué Dynamic V3.1 supera a la cuantización uniforme

La cuantización posterior al entrenamiento clásica aplica una única receta a cada tensor de la red. El enfoque es rápido y predecible, pero trata una puerta de enrutamiento exactamente igual que un experto redundante, y ahí es precisamente donde se pierde precisión. Unsloth Dynamic V3.1 se apoya en cambio en datos de calibración imatrix variados y de alta calidad, en una selección inteligente de capas y en esquemas de cuantización personalizados por capa, diseñados para arquitecturas Mixture-of-Experts e híbridas. Las capas críticas conservan más bits, mientras que los expertos duplicados se comprimen con mayor agresividad. El resultado es un mejor perfil de divergencia KL y una fidelidad funcional preservada incluso con ajustes de muy pocos bits.

La distribución en los benchmarks es lo que hace concreto el argumento. En Terminal Bench 2.1, DeepSWE v1.1, Aider Polyglot, LiveCodeBench v6 y GPQA Diamond, Dynamic V3.1 se sitúa a la cabeza de su clase de tamaño. La evaluación abarca entre 26 y 30 mil millones de tokens, y el equipo también rebate las afirmaciones de la competencia sobre las tasas de recuperación en AIME25. En los bucles agénticos —llamadas a herramientas de varios turnos, ejecución de comandos de shell, generación de parches— la diferencia se amplía aún más, porque esas cargas de trabajo castigan cualquier desviación en el razonamiento.

DeepSeek-V4.1-Flash-1017 en la práctica

En DeepSeek-V4.1-Flash-1017, los archivos Dynamic V3.1 mantienen nítidos los expertos enrutados mientras reducen los enormes bancos de embeddings de n-gramas que dominan el recuento de parámetros. Ese equilibrio importa: las tablas de embeddings se leen constantemente pero toleran una precisión más gruesa, mientras que los expertos que se activan para un token concreto necesitan todos los bits posibles. En las pruebas comparativas, la compilación Dynamic conserva su precisión en la recuperación de contexto largo y en el uso de herramientas en varios pasos, mientras que la variante GSQ-RCO empieza a fallar cuando el contexto crece y el agente debe encadenar varias llamadas.

Gráfico de benchmarks que compara Unsloth Dynamic V3.1 con la cuantización GSQ-RCOResultados de los benchmarks de programación para las cuantizaciones de DeepSeek-V4.1-Flash-1017

Qwen3.8-Flash-Next y las tareas de programación

Qwen3.8-Flash-Next, un MoE de 125 mil millones de parámetros, es el segundo lanzamiento destacado. En comparación con la compilación GSQ-RCO orientada al código, la variante Unsloth Dynamic 3.1 parece superior en tareas de programación: genera menos parches defectuosos, respeta con más fiabilidad las convenciones del repositorio y se recupera más rápido tras una prueba fallida. La diferencia no es enorme con un solo mensaje, pero se acumula a lo largo de una sesión agéntica prolongada, que es exactamente el escenario para el que se despliegan estos modelos.

Resumen final de benchmarks para Qwen3.8-Flash-Next y DeepSeek-V4.1-Flash-1017

Ejecutar modelos MoE desde VRAM, RAM y SSD

Ejecutar localmente un modelo de 125 mil millones de parámetros solía exigir hardware de centro de datos. Los motores de inferencia modernos lo cambian gracias a una estrategia de memoria por niveles. Los expertos enrutados activos, los pesos de atención y la caché KV se fijan en la VRAM, donde la latencia es menor. La conmutación de engramas y la asignación de memoria respaldada por SSD alojan el resto de los conjuntos de parámetros, incluidos los enormes bancos de embeddings de n-gramas. La conmutación de precisión de engramas admite formatos como BF16, Q8_0, Q5_1 e IQ4_NL, y las cabezas de predicción multi-token añaden decodificación especulativa. En conjunto, estas técnicas permiten que una estación de trabajo con entre 32 y 128 GB de RAM o memoria unificada ejecute agentes locales a gran escala sin una degradación severa de la precisión.

Dynamic V3.1 frente a GSQ-RCO de un vistazo

Comparación de cuantizaciones para Qwen3.8-Flash-Next y DeepSeek-V4.1-Flash-1017.
CriterioUnsloth Dynamic V3.1GSQ-RCO
Precisión frente a cuantizaciones de vanguardia+10–15 %Referencia
Terminal Bench 2.1 / DeepSWE v1.1A la cabeza de su claseMás baja
Datos de calibraciónImatrix variados, selección multicapaReceta uniforme
Gestión de MoE e híbridosEsquemas por capaGenérica
Divergencia KLMás bajaMás alta
Comportamiento en baja precisiónFidelidad conservadaDesviación evidente
Niveles de memoriaVRAM + RAM + SSDVRAM + RAM
← Desliza a la derecha para ver más →

Elegir el archivo adecuado

Parta de la memoria disponible, no de la tabla de benchmarks. Con 32 GB de memoria unificada, elija un archivo Dynamic V3.1 de precisión intermedia y mantenga pequeña la caché KV; con 128 GB, las variantes de más bits junto con la descarga a SSD ofrecen un comportamiento casi sin pérdidas. Sea cual sea su elección, valídela con su propia suite de tareas: los bucles agénticos al estilo de Terminal Bench y una breve ejecución con Aider suelen bastar para revelar si una cuantización encaja con su carga de trabajo.

Trabajemos juntos

¿Necesitas más información, ayuda con tu proyecto o desarrollar una idea?

Ya sea una pregunta sencilla, una duda rápida o una charla de 5 minutos, envíame un mensaje—no cuesta nada y siempre estoy listo para ayudar. Me gusta escuchar para entender el problema, ser creativo en las soluciones y centrarme en ideas simples, confiables y fáciles de implementar rápidamente.

Contáctame →

Cambiar Tema

Elige un tema especializado para explorar: