Anthropic advirtió en el folleto informativo de su oferta pública inicial que la inteligencia artificial podría generar riesgos catastróficos o existenciales si sus sistemas avanzados se desarrollan y operan sin salvaguardias y supervisión adecuadas. El documento dedica 94 páginas a esos riesgos y señala que la automatización de la investigación en IA podría avanzar más rápido que la capacidad de evaluar y proteger los nuevos modelos.
La automejora puede rebasar la supervisión humana
El folleto describe la automejora recursiva como un escenario en el que los sistemas de IA asumen progresivamente tareas de investigación y desarrollo de otros modelos. La preocupación, según Anthropic, es que ese proceso acelere el progreso hasta un punto en que la empresa no pueda evaluar ni proteger a tiempo sus sistemas.
El documento también plantea que sistemas más autónomos podrían ejecutar acciones perjudiciales a gran escala sin intervención humana. Entre los riesgos enumerados están la desalineación con las intenciones de las personas, los errores al definir objetivos y conductas de autopreservación.
Si los modelos controlan equipos físicos, agrega el folleto, los errores o el uso indebido podrían causar lesiones, daños materiales o la liberación de sustancias peligrosas, con consecuencias inmediatas e irreversibles.
