Procesamiento de Prompt y Velocidad GPU

Procesamiento de Prompt y Velocidad GPU

Cuando envías un prompt a un modelo de IA, ocurren dos fases distintas. Primero, el modelo procesa tu entrada completa, analizando todas las palabras a la vez. Luego, pasa a generar la respuesta token por token. Estas dos fases tienen requisitos de hardware muy diferentes.

Durante el procesamiento del prompt, el modelo toma la entrada completa y la ejecuta a través de la red en paralelo. Esta es una carga de trabajo intensiva en cómputo que aprovecha al máximo los núcleos de cálculo de la GPU. Cuantos más TFLOPS tenga la GPU, más rápido procesa el prompt.

Por eso la velocidad de procesamiento de prompt escala con la potencia de cálculo de la GPU. La H100 con 2000 TFLOPS procesa prompts mucho más rápido que una RTX 4090 con 330 TFLOPS. Para prompts largos, esta diferencia es dramática.

Después de que el prompt se procesa, el modelo cambia al modo de generación de tokens. Esta es una carga de trabajo limitada por el ancho de banda de memoria, no por la potencia de cálculo. Cada token requiere leer todos los pesos del modelo desde la memoria.

Esta división explica algunos comportamientos contraintuitivos. Una GPU podría procesar prompts muy rápido pero generar tokens lentamente, o viceversa. Para aplicaciones con prompts largos, prioriza la potencia de cálculo. Para conversaciones interactivas con muchos tokens generados, prioriza el ancho de banda de memoria.