Velocidad de Generación de Tokens y Ancho de Banda
Velocidad de Generación de Tokens y Ancho de Banda
La generación de tokens es la fase donde el modelo produce salida, un token a la vez. Ecuación fundamental: velocidad de tokens = ancho de banda de memoria / tamaño del modelo. RTX 4090 (1 TB/s, 7B 4-bit = 285 tokens/s).
Ejemplos reales: RTX 4090, H100 (3.35 TB/s, 70B 4-bit = 95 tokens/s), M2 Ultra (800 GB/s, 7B 4-bit = 228 tokens/s). El tamaño del batch importa: procesar múltiples prompts juntos aumenta el throughput pero también la latencia.
Para uso interactivo como chatbots, prioriza baja latencia con batches pequeños. Para servidores de inferencia, batches más grandes maximizan el throughput general.
La compresión como la cuantización reduce el tamaño del modelo, aumentando directamente la velocidad. Un modelo 70B en 8-bit = 70 GB, a 1 TB/s = 14 tokens/s. En 4-bit = 35 GB, a 1 TB/s = 28 tokens/s.
Regla empírica: duplicar el ancho de banda o dividir el tamaño del modelo a la mitad duplica la velocidad.
Trabajemos juntos
¿Necesitas más información, ayuda con tu proyecto o desarrollar una idea?
Ya sea una pregunta sencilla, una duda rápida o una charla de 5 minutos, envíame un mensaje—no cuesta nada y siempre estoy listo para ayudar. Me gusta escuchar para entender el problema, ser creativo en las soluciones y centrarme en ideas simples, confiables y fáciles de implementar rápidamente.
Contáctame →