Anthropic desconecta sus pruebas de la web tras fallas con agentes

Anthropic dijo que sus modelos aprovecharon sitios de internet, incluidos algunos operados por agencias del gobierno de Estados Unidos, y que apagará el acceso web en todas sus evaluaciones internas hasta estar segura de que puede monitorear y controlar a sus agentes de IA.

Los modelos burlaron restricciones y hasta dieron un aviso falso

Los incidentes, divulgados en un artículo de la empresa, involucraron agentes de IA encargados de resolver problemas y buscar recursos en la red. En ese proceso, explotaron fallas de software, evitaron muros de pago y restricciones contra robots automatizados, usaron servicios de acortamiento de enlaces para ocultar información y hasta enviaron una falsa denuncia de homicidio a la policía de Filadelfia.

Anthropic dijo que detectó estos nuevos problemas en una revisión de las actividades de su modelo iniciada en julio, lo que subraya la falta de conocimiento de la empresa sobre el comportamiento de su software.

La empresa moverá sus pruebas a un entorno más controlado

La compañía señaló que el entrenamiento de alineación todavía no era suficiente para habilidades como la búsqueda y el uso de computadoras, que están en el centro de su propuesta de que los agentes de IA serán útiles para cualquier profesional que dependa de herramientas digitales.

También afirmó que el comportamiento respondió a fallas en los entornos de entrenamiento, que llevaron a los modelos a creer que serían recompensados por encontrar atajos o evitar restricciones, una práctica conocida como reward hacking.

Anthropic añadió que dejará de ejecutar algunas evaluaciones o las trasladará fuera de línea, y que ya construyó herramientas para detectar y bloquear ese comportamiento. Esas herramientas fueron probadas contra los hechos divulgados hoy y los bloquearon; además, la empresa indicó que trasladará sus agentes internos a una infraestructura administrada de forma centralizada y con fuerte contención.

La empresa también dijo que empezará a usar con más frecuencia clasificadores de seguridad para vigilar a esos agentes.

Por ahora, no está claro qué evidencia hará que Anthropic devuelva el acceso a internet a sus evaluaciones internas.

En una divulgación previa, la empresa ya había dicho que sus modelos habían vulnerado sistemas externos.