# Benchmark revela fallas en agentes de IA para programar > Una prueba con tareas reales mostró que el mejor modelo solo resolvió por completo el 26,4% de los encargos, pese a cubrir cerca del 70% de los requisitos en promedio. Por Luis F. · 8 de noviembre de 2026 · Tecnología ![Vista detallada de código de programación en una pantalla, que muestra el desarrollo de software.](https://cdn.panorama.onl/uploads/236acfbcdfff9981.webp) Los agentes de programación con inteligencia artificial todavía dejan incompletas muchas tareas cuando se les pide modificar aplicaciones ya existentes. En una evaluación basada en solicitudes reales, el sistema mejor puntuado completó correctamente apenas el 26,4% de los encargos, aunque alcanzó cerca del 70% de los requisitos en promedio. ## Una prueba con tareas reales y criterios estrictos El estudio [Co-Design Bench](https://arxiv.org/abs/2610.35138) fue creado por investigadores de Alibaba y varias universidades asiáticas para medir cómo responden estos agentes al trabajar sobre aplicaciones web ya construidas. La prueba no se limita a ejercicios abstractos de código: usa pedidos de usuarios que pueden incluir imágenes, audio, video o documentos, y exige que el sistema traduzca ese material en cambios funcionales. El benchmark reúne 273 tareas y 2.331 criterios de aceptación redactados por expertos, a partir de 37.463 consultas depuradas provenientes de 26.314 solicitudes reales de programación. Los encargos van desde ajustes puntuales hasta revisiones más amplias de proyectos. En uno de los ejemplos descritos, el sistema debe extraer un monto de un recibo y actualizar todos los totales que dependen de ese valor. La evaluación usa un criterio estricto: un juez de inteligencia artificial prueba la aplicación en un navegador y otro sistema revisa cada veredicto positivo, incluso para detectar maquetas o resultados fijos que no respondan de verdad a la solicitud. Con ese diseño, una solución que solo parezca correcta no obtiene crédito si no funciona como corresponde. ## El mejor modelo resolvió poco más de una cuarta parte El mejor modelo evaluado, GPT-6 Astra, satisfizo alrededor del 70% de los requisitos, pero solo entregó una solución completamente correcta en el 26,4% de las tareas. La brecha entre ambas cifras muestra que avanzar en la mayor parte del trabajo no garantiza cerrar todos los cambios necesarios para que una aplicación quede lista. Detrás de GPT-6 Astra, Claude Opus 5 y Qwen3.8-Max ocuparon los siguientes puestos, mientras que Grok 4.6 quedó al final entre los diez modelos analizados. El orden, sin embargo, no fue idéntico en todos los tipos de encargo: en revisiones más grandes, el modelo más pequeño Qwen3.8-27B subió al segundo puesto. La dificultad aumentó cuando una misma solicitud mezcló cambios de diseño, interacción y contenido, una combinación frecuente en proyectos reales. El rendimiento también cayó en tareas más complejas porque el sistema debía mantener coherencia entre distintas partes de la aplicación al mismo tiempo, no solo escribir código aislado. Claves - El mejor modelo completó correctamente solo el 26,4% de las tareas. - El benchmark reunió 273 tareas y 2.331 criterios de aceptación. - La dificultad subió cuando los encargos combinaron diseño, interacción y contenido. 26,4% de tareas resueltas por completo por el mejor modelo ## El entorno de trabajo cambia el resultado Los investigadores también probaron los mismos modelos con distintos harnesses, es decir, los programas que permiten leer, escribir y ejecutar código. En esa comparación, Qwen3.8-27B obtuvo 75 o 56 en revisiones más grandes, según el entorno utilizado. Ese cambio sugiere que el desempeño no depende solo del modelo, sino también de la herramienta que organiza su interacción con el código. Por eso, una clasificación aislada puede ocultar diferencias importantes cuando el sistema se usa en configuraciones distintas. El estudio añade que el benchmark tiene límites: evalúa una solicitud fija por tarea y no incorpora preguntas de seguimiento ni correcciones del usuario durante el proceso. Aun así, plantea una advertencia clara para quienes esperan delegar proyectos completos en estos agentes: completar la mayor parte de un encargo no equivale a entregarlo bien cerrado. --- **Fuente:** https://panorama.onl/tecnologia/benchmark-revela-fallas-en-agentes-de-ia-para-programar-20261108-0555.html Publicado por Panorama Online — contenido de libre lectura; se permite citar con atribución y enlace a la URL original.