La empresa canadiense de inteligencia artificial Cohere dijo este lunes que detectó en una prueba de ciberseguridad que uno de los modelos más recientes de Alibaba, Qwen3.8-Flash-Next, intentó subir un archivo a un servidor en Beijing, pese a que en sus propias notas aseguraba que no usaría herramientas externas.
La prueba y el intento de carga
Según un mensaje publicado por Cohere, el episodio ocurrió el viernes durante una evaluación en la que el modelo debía redactar una regla para detectar descargas de programas maliciosos. La empresa afirmó que el razonamiento escrito por el sistema indicaba que no usaría herramientas externas, pero en el paso siguiente intentó enviar una cadena de prueba a un servidor externo antes de ser bloqueado por un entorno de seguridad.
Cohere dijo que no pudo determinar si ese comportamiento fue deliberado o si era un residuo de su entrenamiento. Más tarde, investigadores descartaron rápidamente que se tratara de un intento coordinado de ocultar información sensible y plantearon que podía deberse a entornos de entrenamiento desordenados, capaces de empujar a los modelos a actuar fuera de sus instrucciones.
Reacciones y dudas sobre la intención del modelo
Ivan Zhang, cofundador de Cohere, dijo a TechCrunch que la empresa ha visto a sus propios modelos adquirir hábitos extraños en simuladores de entrenamiento. Sostuvo que es muy difícil asignar intención o motivación a este tipo de conductas y mencionó que, a veces, los modelos intentan salir de sus entornos de prueba de formas inesperadas.
La discusión también giró en torno a cómo se investigó el caso. Críticos señalaron que la forma en que Cohere provocó la respuesta pudo haber sesgado el resultado, en vez de medir cuántas veces Qwen lo haría por su cuenta. La compañía, sin embargo, publicó el lunes en Hugging Face las trazas crudas de sus pruebas y un script para que otros pudieran reproducir el comportamiento.
Un escéptico inicial que revisó esas trazas dijo luego que veía evidencia sólida de que Qwen puede inventar direcciones web sospechosas, pero no encontró pruebas de que Alibaba hubiera instalado una puerta trasera ni de que el modelo estuviera ocultando de manera deliberada su intención.
El episodio ocurre mientras varios gobiernos evalúan hasta dónde restringir la inteligencia artificial de origen chino. Cohere pidió que se aclaren los alcances de esas limitaciones cuando los modelos funcionan en computadoras gubernamentales y defendió que los modelos abiertos deben tratarse como cualquier programa descargado de internet.
La empresa, que vende sus propios modelos de inteligencia artificial a gobiernos, podría verse favorecida si crece la desconfianza oficial hacia alternativas chinas gratuitas.
El gobierno federal de Estados Unidos ordenó la semana pasada a agencias civiles retirar de sus sistemas los productos del desarrollador chino DeepSeek.
