Panorama Online

Entra a Panorama Online

Tecnología

METR halla más avance en IA, pero el criterio sigue flojo

El nuevo informe de METR detecta progreso sostenido en capacidades medibles, aunque los modelos aún tropiezan cuando la tarea exige juicio y no solo acierto técnico.

Autor · Tecnología y Ciencia

Kilder F.O.

Desde la redacción de Panorama, Kilder F.O. reporta sobre ciencia, telecomunicaciones y los avances tecnológicos que llegan a Maracaibo.

168 artículos publicados

Investigadores analizando datos en un laboratorio, con equipo de seguridad y guantes azules.
Crédito: Edward Jenner / Pexels

Un nuevo informe de la organización sin ánimo de lucro METR concluye que varias capacidades de la inteligencia artificial siguen una trayectoria exponencial, pero también que los modelos siguen flaqueando en tareas que exigen criterio, como proponer investigaciones o evaluar argumentos abiertos.

Las pruebas más difíciles siguen por detrás

METR actualizó su gráfico de horizontes temporales, una medición que clasifica los modelos según la duración de las tareas que pueden completar. En la versión original, la organización evaluó sistemas con un amplio conjunto de tareas ya resueltas por humanos y concluyó que, cada cuatro meses, se duplicaba la duración de las tareas que los modelos de frontera podían completar con éxito.

La nueva versión añade pruebas más abiertas y más difíciles de medir, precisamente las que más importan si la inteligencia artificial aspira a automatizar investigación y desarrollo. El informe subraya que el progreso en tareas “verificables”, donde se puede comprobar automáticamente si una respuesta funciona o no, no se traslada necesariamente a tareas en las que el éxito depende de juicio, contexto o tiempo de revisión.

Por eso los sistemas avanzan con tanta fuerza en programación y matemáticas, dos campos en los que el resultado puede verificarse de forma automática, pero muestran más límites cuando la tarea es menos definida o requiere decidir qué hipótesis vale la pena explorar.

Diseñar evaluaciones y juzgar argumentos, los dos puntos débiles

Entre las pruebas nuevas, METR pidió a los modelos que diseñaran evaluaciones de IA que luego sus empleados pudieran usar en su trabajo. Aunque los modelos más avanzados ya superan a casi cualquier humano en ingeniería de software, en esta tarea ninguna propuesta alcanzó el nivel que el equipo consideró útil para sus investigaciones.

En otra prueba, los modelos debían puntuar argumentos filosóficos para medir su capacidad de aplicar buen criterio. METR admite en el informe que dentro del propio equipo hay dudas sobre cuánto dice esa tarea sobre la automatización de la I+D en IA, pero en ese ejercicio los modelos tampoco igualaron el rendimiento humano.

Sayash Kapoor, informático y futuro profesor en UC Berkeley, valoró que METR esté ampliando el tipo de pruebas que utiliza. En un preprint de agosto, Kapoor y sus colaboradores ya habían señalado que los modelos de IA todavía no son capaces de reproducir por sí solos investigaciones en ciencias de la computación realizadas por humanos.

La brecha entre lo verificable y lo abierto sigue sin cerrarse

El debate ahora gira en torno a si el progreso en tareas fáciles de verificar terminará arrastrando también a las tareas abiertas. Kapoor sostiene que el criterio investigador —elegir preguntas, hipótesis y experimentos prometedores— puede convertirse en un cuello de botella para automatizar la I+D en IA. Otros, según señala, sostienen que los modelos entrenados con tareas sencillas también acabarán rindiendo en las abiertas.

METR también informó de que algunos modelos recientes, como Opus 5.5, ya se ubican “justo por encima del listón” en la tarea de diseñar evaluaciones, un salto frente a hace un año, cuando todos quedaban “claramente por debajo del listón”. Aun así, la propia organización advierte que estas pruebas son escasas y difíciles de diseñar, y que parte de los tiempos empleados en el nuevo informe son estimaciones, no mediciones directas, porque evaluar tareas que pueden tomar cientos de horas resulta demasiado costoso y lento.

Matt Putz, integrante del equipo técnico de METR, señaló por correo electrónico que las tareas difíciles de verificar o sujetas a juicio subjetivo son mucho más complejas de estudiar y cuantificar. Najoung Kim, lingüista e informática de la Universidad de Boston, dijo que la mejora observada sí aporta señales sobre el momento actual, aunque todavía no está claro cómo extrapolarla.

En ese marco, METR reconoce que sigue lejos de tener respuestas definitivas sobre si llegará la I+D automatizada en IA, y a qué velocidad. Pero su nuevo informe sí deja una conclusión más nítida: el avance en lo medible continúa, mientras el criterio, la ambigüedad y la evaluación de problemas abiertos siguen siendo el gran obstáculo.

Contenido redactado con asistencia de un LLM.

Comentarios

Inicia sesión para unirte a la conversación.

Cargando comentarios…

Más en Tecnología

Antes de irte

Agrega Panorama Online a tu cuenta Google

Márcanos como fuente preferida y Google pondrá más de nuestra cobertura en tus «Noticias destacadas». Gratis, reversible y toma un momento.

Marcar en Google

Alertas de Panorama

Los titulares de Maracaibo y el Zulia, apenas se publican

Activa las notificaciones y te llega un aviso con cada noticia nueva. Puedes desactivarlas cuando quieras.