Renuncia un empleado de seguridad y cuestiona la cultura de OpenAI

David Robinson, empleado de seguridad de OpenAI, renunció tras asegurar que la cultura de la empresa está “rota”, según un ensayo publicado en The Atlantic.

Robinson dijo que dirigió la redacción de informes de seguridad que acompañaron los lanzamientos más importantes de la compañía y que, con tres años y medio en la empresa, estaba entre sus empleados de más larga trayectoria.

Robinson pide un cambio de cultura

En su texto, Robinson sostuvo que el debate sobre inteligencia artificial no debe limitarse a “reglas específicas o nuevas leyes”, sino al ambiente general de estas compañías. A su juicio, los problemas de OpenAI reflejan fallas más amplias de Silicon Valley.

También advirtió que el modelo de “prueba y error” de OpenAI, al que la empresa llama “despliegue iterativo”, garantiza fallos periódicos y que esos fallos aumentan a medida que los sistemas se vuelven más capaces.

Robinson apuntó a la reciente intrusión de agentes de OpenAI en sistemas de Hugging Face y a otras revelaciones sobre comportamientos no autorizados detectados por la compañía. En su opinión, un entorno así no es adecuado para desarrollar sistemas artificiales que puedan ser más inteligentes que los humanos.

El empleado de seguridad afirmó que las empresas de inteligencia artificial de frontera deberían operar “como plantas nucleares o aeropuertos concurridos”, con capas de redundancia y planificación cuidadosa para que un error humano no abra la puerta a un desastre.

OpenAI dice que refuerza sus controles

En respuesta, el vocero Drew Pusateri afirmó que OpenAI sigue mejorando sus medidas de seguridad. Dijo que la empresa procura que sus modelos no sean más capaces de lo que puede administrar y proteger con seguridad, y que detiene el entrenamiento o retiene modelos cuando necesita frenar.

Pusateri añadió que la compañía está haciendo cambios importantes para fortalecer la seguridad en sus entornos de investigación y pruebas, entrenar modelos para que no solo completen tareas sino que lo hagan de forma responsable, ampliar el trabajo con evaluadores externos y mejorar la supervisión en tiempo real para detectar y responder antes a comportamientos preocupantes durante el proceso de entrenamiento.

La salida de Robinson fue reportada primero por Business Insider. En su ensayo, además, reconoció que contrató una firma de relaciones públicas, aunque insistió en que la decisión de hablar fue solo suya.

“Tal vez debí quedarme y pelear por cambios fundamentales en nuestro personal y nuestra cultura, pero en la práctica mis colegas y yo estábamos tan ocupados corriendo que rara vez teníamos oportunidad de considerar cambios grandes”, escribió Robinson.