Una sesión de Y Combinator sobre inteligencia artificial centró la discusión en una idea poco visible para muchos usuarios: un modelo no solo cuesta entrenarlo, también cuesta atender cada consulta. Según los cálculos presentados en ese encuentro, la inferencia de DeepSeek V3 podría representar seis veces las operaciones de entrenamiento en un año y hasta 12 veces en dos años.

El gasto se acumula después del entrenamiento

El planteamiento partió de una comparación entre el entrenamiento y el servicio continuo de un modelo ya desplegado. El informe técnico de DeepSeek V3 reporta 2,788 millones de horas de GPU H800 para el entrenamiento completo, mientras que en la sesión se estimó un consumo de unas 43.000 horas de H800 por día para la operación, con la advertencia de que eran datos anteriores y el uso podía haber crecido.

Con esa base, los expositores señalaron que la inferencia equivaldría a unas seis veces las operaciones de entrenamiento durante un año y a 12 veces si el modelo se mantiene activo dos años. La comparación, advirtieron, depende de supuestos concretos y no funciona como regla universal para todos los sistemas de IA.

Memoria, latencia y calidad mandan en el rendimiento

La charla también subrayó que el rendimiento de inferencia no depende solo de la potencia teórica de una GPU. Los ponentes distinguieron entre prefill y decode: el primero procesa el prompt y el segundo genera los tokens uno a uno, con exigencias distintas para cómputo y memoria. Esa diferencia explica por qué una sola cifra de hardware no basta para medir el desempeño real.

Entre las métricas citadas figuraron el tiempo hasta el primer token, el tiempo por token de salida y el rendimiento por GPU. También se mencionaron 60.000 tokens por segundo en prefill sin aciertos de caché, 1,5 millones con caché, una tasa de aciertos de entrada de 96% y 14.000 tokens por segundo por GPU en decode.

La optimización, dijeron los participantes, pasa por combinar técnicas de modelo, kernels, gestión de memoria, enrutamiento y cuantización sin sacrificar la calidad de las respuestas. Entre los métodos mencionados estuvieron la reutilización de prefijos, la decodificación especulativa y la compactación del contexto, además de la cuantización y la destilación hacia modelos más pequeños.

Los servicios de IA no rinden igual aunque usen los mismos pesos

Jeff Morgan, cofundador de Ollama, advirtió que dos servicios pueden ofrecer experiencias distintas aunque anuncien el mismo modelo. Las diferencias pueden surgir por la precisión de los pesos, la versión desplegada, el hardware, el motor de inferencia, el muestreo o el manejo de llamadas a herramientas, por lo que evaluar el servicio también forma parte de la infraestructura.

Dan Fu, presentado como parte del equipo de investigación de Together AI, explicó que su grupo trabaja en kernels, paralelismo, cuantización y pruebas para agentes. También relató un trabajo con MiniMax para cuantizar un modelo a NVFP4 sin un nuevo entrenamiento, mediante una receta de calibración y métodos de cuantización sin entrenamiento, con resultados que, según su exposición, igualaron el desempeño del modelo original en FP8 en las evaluaciones mostradas.

En otra intervención, Joe Fiaty, cofundador de Luminal, describió un compilador que busca traducir modelos a distintas arquitecturas mediante reglas de equivalencia y búsqueda de implementaciones. Por su parte, Leon Lang Shang explicó cómo SGLang evolucionó desde RadixAttention hacia una gestión más amplia de memoria y caché para cargas de agentes. En conjunto, las presentaciones insistieron en que la inferencia es una tarea de ingeniería de varias capas, donde la eficiencia puede pesar tanto como el entrenamiento inicial.