Ancho de Banda de Memoria: El Límite de Velocidad de la IA

Ancho de Banda de Memoria: El Límite de Velocidad de la IA

Cuando se habla de velocidad de IA, a menudo nos centramos en el procesador. Pero para la mayoría de las aplicaciones, el verdadero cuello de botella no es la velocidad de cálculo, sino el ancho de banda de la memoria. Este es uno de los conceptos más importantes para entender por qué algunos hardware son más rápidos que otros.

El ancho de banda de memoria es la velocidad a la que los datos pueden moverse de la memoria al procesador. Para la inferencia de modelos de lenguaje, el modelo mismo debe cargarse en la memoria del procesador. Cada token generado requiere que todos los pesos del modelo se lean desde la memoria. Si la memoria es lenta, todo el proceso se ralentiza.

Por eso el ancho de banda de memoria es tan importante. La GPU puede hacer multiplicaciones de matrices casi instantáneamente, pero debe esperar a que los datos lleguen de la memoria. Es como tener un motor Ferrari en un coche con ruedas de bicicleta: el motor está listo, pero las ruedas no pueden seguir el ritmo.

Diferentes hardware tienen anchos de banda de memoria muy diferentes. Una GPU de consumo como la RTX 4090 tiene aproximadamente 1 TB/s de ancho de banda. Una GPU para centro de datos como la H100 tiene aproximadamente 3,35 TB/s. La memoria del sistema DDR5 es mucho más lenta, aproximadamente 50-100 GB/s. Por eso las GPU son mucho más rápidas que las CPU para IA.

La relación es simple: para la inferencia LLM, la velocidad es proporcional al ancho de banda de memoria dividido por el tamaño del modelo. Un modelo 7B en 4-bit es aproximadamente 3,5 GB. Con 1 TB/s, puedes generar aproximadamente 285 tokens por segundo. En la práctica, el rendimiento real es menor debido a otros gastos generales, pero esta ecuación fundamental te dice qué esperar.