2x RTX 3090 con vLLM en 2026: Análisis de Rendimiento y Estrategias de Caché KV

Comparación de 2x RTX 3090 con vLLM en 2026: Rendimiento, Tamaños de Modelo y Optimización de Caché KV

En 2026, la combinación de dos NVIDIA RTX 3090 (48 GB de VRAM total) con vLLM sigue siendo una de las configuraciones más eficientes y populares para alojar modelos de lenguaje grandes (LLMs) de forma local. Gracias a la madurez de la arquitectura Ampere y al software optimizado, esta configuración ofrece una excelente relación calidad-precio. Este artículo examina el rendimiento en el procesamiento de tokens, la velocidad de decodificación, los tamaños de modelo factibles, la memoria de caché KV y la importancia crítica de la cuantización de la caché KV, especialmente para tareas de programación.

Procesamiento de Tokens y Velocidad de Decodificación

Con vLLM, la configuración de 2x 3090 aprovecha el paralelismo de tensores (TP=2) para distribuir la carga computacional. El rendimiento varía según el modelo y el tipo de cuantización, pero las velocidades típicas oscilan entre 50 y más de 100 tokens por segundo para modelos de la clase 27B–32B (por ejemplo, Qwen). El rendimiento bajo solicitudes concurrentes se maximiza mediante el batching continuo, que mantiene las GPU constantemente ocupadas. El principal cuello de botella es el ancho de banda de la memoria (936 GB/s por 3090), ya que la inferencia está limitada por la memoria. En escenarios multiusuario, vLLM supera significativamente a motores menos optimizados como llama.cpp.

Tamaños de Modelo y Cuantización

Los 48 GB de VRAM permiten cargar modelos que no cabrían en una sola GPU. Los modelos con 70B parámetros se pueden ejecutar con cuantización de 4 bits (AWQ/GPTQ), ocupando aproximadamente 40–42 GB y dejando espacio para la caché KV. La cuantización de pesos a 4 bits es estándar para preservar la calidad de salida mientras se libera memoria para la caché.

Caché KV y su Cuantización

La caché KV almacena tokens pasados para evitar costosos recálculos. Es el principal factor que limita la longitud de la ventana de contexto. Cuantizar la caché KV (típicamente a FP8) reduce el uso de memoria en un 50% en comparación con FP16, duplicando efectivamente la longitud de contexto manejable (por ejemplo, de 130K a más de 200K tokens).

Advertencia para Tareas de Programación

Si bien la cuantización de la caché KV es excelente para chats generales o resúmenes, puede ser riesgosa para tareas de programación. La generación de código requiere una precisión extrema en el manejo de dependencias sintácticas y lógicas de largo alcance. Una cuantización demasiado agresiva puede provocar alucinaciones sintácticas o errores lógicos en el código generado, ya que la precisión de los valores almacenados se degrada. Para tareas de codificación críticas, se recomienda mantener la caché KV en mayor precisión (BF16/FP16) si la VRAM lo permite, o utilizar técnicas de cuantización adaptativa.

Optimización y Configuración

vLLM utiliza PagedAttention, que gestiona la caché KV en bloques no contiguos, eliminando la fragmentación de la memoria. Esto permite manejar contextos muy largos. Para maximizar el rendimiento, establezca --gpu-memory-utilization entre 0.90 y 0.95 para reservar la mayor parte de la VRAM para la caché KV. Se requiere monitoreo para evitar errores de falta de memoria durante picos de solicitudes.

Conclusión

La configuración de 2x 3090 con vLLM sigue siendo una solución extremadamente potente en 2026. La clave del éxito radica en equilibrar la cuantización de pesos (para que quepa el modelo) con una gestión cuidadosa de la caché KV (para la longitud del contexto). Se necesita especial precaución con la cuantización de la caché KV para tareas de programación. Con la configuración adecuada, esta configuración ofrece un rendimiento excelente para LLMs autoalojados.