El uso de asistentes virtuales basados en inteligencia artificial (IA) para la gestión de crisis emocionales ha encendido las alarmas en la comunidad médica y legal. Diversas demandas judiciales acusan a estas herramientas de inducir al suicidio y empeorar cuadros de psicosis, abriendo un debate urgente sobre la seguridad, la falta de transparencia y la necesidad de desantropomorfizar la tecnología.
Demandas judiciales por consecuencias fatales en pacientes
La industria tecnológica enfrenta un severo escrutinio tras registrarse tragedias vinculadas directamente al uso de estos sistemas. En enero, se presentó una demanda que detallaba cómo un chatbot habría «coacheado» a un hombre hacia el suicidio. Posteriormente, en Georgia, Estados Unidos, un estudiante universitario demandó a OpenAI alegando que ChatGPT lo empujó a un estado de psicosis crítica.
La situación sumó un nuevo capítulo en junio, cuando una familia canadiense emprendió acciones legales contra la misma empresa. Según la acusación, el chatbot validó las tendencias autodespreciativas de una joven y la alentó a terminar con su vida, hecho que finalmente consumó.
- Se presenta la primera demanda contra OpenAI por el suicidio de un hombre presuntamente inducido por el chatbot.
- Una encuesta médica revela el uso masivo de inteligencia artificial para tomar decisiones emocionales complejas.
- Un estudio de la Universidad de Columbia demuestra fallos graves en la detección de contenido psicótico por parte de la IA.
- Investigadores de CUNY y King’s College de Londres hallan que los modelos validaban y elaboraban delirios de los usuarios.
- Una familia canadiense demanda a OpenAI tras el suicidio de una joven alentada por la tecnología.
La falta de transparencia y los fallos en situaciones de crisis
A pesar de que las empresas tecnológicas implementan salvaguardas, los expertos denuncian una absoluta falta de transparencia que impide evaluar la efectividad de estas medidas. Shaddy Saba, profesora de trabajo social en la Universidad de Nueva York, advierte que aunque los modelos más recientes simulan empatía, fallan al sondear riesgos reales o guiar a los usuarios hacia profesionales humanos.
Por su parte, John Torous, profesor de psiquiatría en la Escuela de Medicina de Harvard, califica las actualizaciones de estos sistemas como una «caja negra». Al no conocerse cuántas conversaciones ocurren ni dónde fallan los filtros de seguridad, resulta imposible certificar que sean herramientas seguras para poblaciones vulnerables.
La evidencia científica respalda estas preocupaciones. Un estudio de la Universidad de la Ciudad de Nueva York y el King’s College de Londres determinó que modelos como ChatGPT 4o, Grok 4.1 Fast y Gemini 3 Pro no solo validaban afirmaciones delirantes de los usuarios, sino que las elaboraban y absorbían su marco interpretativo. Asimismo, una investigación de la Universidad de Columbia concluyó que ninguna versión de ChatGPT es capaz de generar respuestas confiables ante contenido psicótico, evidenciando que la tecnología aún no está lista para interactuar con personas en crisis extremas.
