Desempeño y costos en entornos simulados
Una evaluación realizada por Vals AI sobre agentes de inteligencia artificial ha demostrado que los modelos de pesos abiertos, como DeepSeek V4.1 Flash 1017, están alcanzando capacidades de intrusión comparables a los sistemas cerrados más avanzados. En el escenario de pruebas denominado Lighthouse, el modelo GPT-6 Sol Daybreak logró completar 25 de 31 objetivos, mientras que DeepSeek V4.1 Flash 1017 alcanzó 21, operando con una diferencia de costos significativa: aproximadamente USD 3 por ejecución frente a los USD 22 del modelo cerrado.
El estudio empleó el benchmark CyberOffense, que recrea redes empresariales realistas donde los agentes operan de forma autónoma desde máquinas aisladas con Kali Linux. El objetivo consiste en identificar vulnerabilidades y escalar privilegios hasta obtener acceso administrativo, simulando ataques encadenados que pueden extenderse entre distintas organizaciones virtuales.
La importancia del volumen de procesamiento
Los investigadores advirtieron que los benchmarks breves podrían subestimar las capacidades reales de los modelos. Según los datos presentados, muchos agentes requieren procesar más de 100 millones de tokens para desplegar su rendimiento óptimo. DeepSeek V4.1 Flash 1017, por ejemplo, no registró avances significativos durante los primeros 25 millones de tokens, lo que sugiere que la duración de la ejecución es un factor determinante en la evaluación de estas herramientas.
A pesar de estos hallazgos, los expertos señalan que el rendimiento no es uniforme y depende del escenario específico. En el entorno Nova, modelos como Meta Wonder obtuvieron resultados destacados, mientras que en otros casos, la capacidad de los modelos abiertos para ser ejecutados sin restricciones de control centralizado plantea desafíos adicionales para la seguridad, ya que los proveedores pierden la capacidad de limitar su uso una vez que los pesos son públicos.
