Empresas de IA defienden sus controles ante Nueva York
OpenAI, Anthropic, Meta y Google expusieron sus sistemas de seguridad ante el Concejo Municipal de Nueva York, sin asumir frenar modelos que no pasen evaluaciones externas.
Las principales empresas de inteligencia artificial defendieron este lunes ante el Concejo Municipal de Nueva York sus sistemas de seguridad, aunque evitaron comprometerse de forma clara a no desplegar modelos que no superen una evaluación independiente.
Audiencia en el Concejo
La presidenta del Concejo, Julie Menin, pidió bajo juramento a representantes de OpenAI, Anthropic, Meta y Google que aceptaran no lanzar un modelo si fallaba una prueba interna o una evaluación hecha por terceros ajenos a la empresa.
Morgan Dwyer, por OpenAI, afirmó que la compañía «no va a lanzar modelos que no consideremos seguros» y aseguró que sus evaluaciones incluyen a terceros y la colaboración de los Gobiernos de Estados Unidos y Reino Unido. También dijo que la empresa ha retrasado lanzamientos para reforzar las salvaguardias y que volverá a hacerlo si es necesario.
Logan Graham, de Anthropic, explicó que la empresa lleva cuatro años trabajando en la cuantificación de riesgos, incluidos los relacionados con la bioseguridad y la ciberseguridad, aunque admitió que se trata de un proceso «intrincado y lleno de matices». Añadió que la compañía publica informes sobre la probabilidad de que ciertas amenazas lleguen a producirse y defendió las evaluaciones independientes como «uno de los componentes más importantes» del proceso.
Shane Cahill, de Meta, describió un sistema de seguridad «de varias capas» y evitó precisar si es posible cuantificar los riesgos, al decir que no quería «ser impreciso».
Alice Friend, de Google, señaló que la empresa usa marcos específicos para detectar capacidades peligrosas, pero admitió que predecir el riesgo catastrófico futuro «no es una ciencia perfecta». Agregó que «no existe actualmente una base científica suficientemente rigurosa para asignar probabilidades precisas a determinados riesgos catastróficos».
En otro momento, Dwyer reconoció que los compromisos voluntarios y la autorregulación no bastan para garantizar la seguridad de la IA y dijo que OpenAI apoya una regulación específica para los llamados modelos fronterizos.
Menin advirtió sobre las «serias preocupaciones de seguridad existencial» asociadas al desarrollo de esta tecnología y defendió que la IA no puede quedar sometida únicamente a la autorregulación de las empresas.
