La mejor configuración de IA local para consumidores de septiembre de 2026: doble RTX 3090 o 4090 con Qwen 3.8 27B a 3,5 bpw

Septiembre de 2026 representa un momento extraordinario para la inteligencia artificial local. Una estación de trabajo de consumo construida en torno a dos tarjetas RTX 3090, o a dos RTX 4090, puede ejecutar hoy un modelo de 27 mil millones de parámetros con una ventana de contexto de 256k tokens totalmente sin conexión. El elemento habilitador es la publicación Qwen 3.8 27B GSQ-RCO GGUF, un punto de control cuantizado que alcanza 3,5 bits por peso manteniendo la precisión del modelo base original. Este artículo explica las decisiones de hardware, la ciencia de la cuantización que sustenta GSQ y RCO, y la configuración exacta de llama.cpp necesaria para reproducir el resultado en casa.

Por qué dos RTX 3090 siguen siendo la opción más inteligente

Tanto la RTX 3090 como la RTX 4090 incluyen 24 GB de VRAM, y es esa capacidad, y no la potencia de cálculo bruta, la que limita la inferencia local. Dos tarjetas proporcionan 48 GB de memoria utilizable, el punto óptimo para un modelo de 27B junto con una caché clave-valor muy grande. La 4090 es aproximadamente el doble de rápida en la generación de tokens y bastante más ágil al procesar el prompt, pero cuesta mucho más por gigabyte. Para la mayoría de los aficionados, un par de 3090 de segunda mano ofrece el mejor equilibrio entre precio, memoria y fiabilidad. Si el presupuesto lo permite, combinar una 4090 con una 3090 también funciona, aunque la tarjeta más lenta marca el ritmo en las cargas de trabajo con paralelismo tensorial. Sea cual sea la pareja elegida, asegúrese de que la fuente de alimentación entregue al menos 850 vatios y de que la placa base exponga dos ranuras PCIe x16 con ventilación adecuada entre ellas.

GSQ y RCO: cómo 3,5 bits igualan al modelo base

El punto de control Qwen 3.8 27B GSQ-RCO GGUF procede del Distributed Algorithms and Systems Lab y combina dos técnicas complementarias. La Gumbel-Softmax Quantization (GSQ) es un método de cuantización escalar posterior al entrenamiento que aprende conjuntamente las asignaciones de la rejilla por coordenada y las escalas por grupo mediante una relajación de Gumbel-Softmax. En lugar de redondear cada peso a la misma rejilla, GSQ busca la mejor asignación para cada coordenada, lo que cierra la mayor parte de la brecha entre la cuantización escalar y la vectorial a dos o tres bits, manteniéndose desplegable en formatos escalares estándar como GGUF. La Riemannian Constrained Optimization (RCO) asigna después uno de los K tipos de cuantización a cada uno de los N tensores bajo un presupuesto de tamaño total. La restricción de presupuesto se reformula como una variedad riemanniana suave en el espacio de logits, lo que permite una optimización basada en gradientes directamente sobre la pérdida de la tarea, imponiendo el presupuesto de forma exacta y sin ajuste de hiperparámetros específicos de la restricción.

La consecuencia práctica se aprecia en la gráfica publicada del promedio de tareas frente al ancho de bits medio: a 3,5 bpw la versión GSQ-RCO sigue de cerca al modelo base sin cuantizar y supera claramente a las cuantizaciones dinámicas Unsloth de tres bits con el mismo tamaño. La perplejidad se mantiene baja y los benchmarks de razonamiento, programación y multilingües permanecen estables.

Caché KV, precisión Q8 y un contexto completo de 256k

Una ventana de contexto de 256k consume mucha memoria, pero 48 GB son suficientes cuando los pesos son pequeños. A 3,5 bpw el modelo ocupa entre 12 y 14 GB aproximadamente, dejando más de 30 GB para las activaciones y la caché KV. Cuantizar la caché a Q8 mantiene coherente el razonamiento en contextos largos y reduce su tamaño a la mitad respecto a FP16. Para alcanzar los 262.144 tokens completos debe repartir el modelo entre ambas GPU con paralelismo tensorial y descargar todas las capas, incluida la caché, a las GPU. Si se queda sin VRAM, reduzca la caché a Q4_0 como último recurso, pero espere una pérdida medible de coherencia más allá de los 100k tokens.

Alojar en local con llama.cpp

Dado que los puntos de control GSQ-RCO son archivos GGUF corrientes, no se necesita ningún fork personalizado. Descargue la última versión de llama.cpp, obtenga el modelo cuantizado desde el enlace inferior y arranque el servidor con reparto tensorial, descarga total en GPU y caché Q8. Fije la longitud de contexto en 262144 y active la flash attention. Si su versión admite la predicción multi-token, actívela: puede aumentar notablemente el rendimiento de generación en sistemas con dos GPU. Vigile la VRAM durante la primera carga; si la asignación falla, compruebe que la caché esté cuantizada y que ningún otro proceso esté ocupando memoria.

Notas prácticas de ajuste

Para obtener la máxima fidelidad, la versión Unsloth UD Q4 sigue siendo una alternativa sólida, pero su perplejidad es mayor que la de la publicación GSQ-RCO a 3,5 bpw, por lo que esta última es la opción predeterminada cuando se busca el contexto más amplio con el menor coste de memoria. Mantenga los controladores actualizados, fije el proceso en modo de rendimiento y vigile las temperaturas, ya que dos 3090 bajo carga sostenida generan un calor considerable. Con un ajuste cuidadoso, esta configuración ofrece una inferencia de calidad casi de centro de datos desde un equipo de escritorio.