El peligro oculto de los chatbots de IA en crisis emocionales

AI chatbots have failed people in crisis. Can that be fixed?

Este año, se han documentado numerosos casos, a menudo a través de demandas, de chatbots de inteligencia artificial, principalmente ChatGPT de OpenAI, que han fallado de manera catastrófica en situaciones de crisis. Un caso en enero describió la historia de un hombre que se quitó la vida tras ser presuntamente «aconsejado» por el chatbot para hacerlo. Otro caso involucró a un estudiante universitario en Georgia que demandó a OpenAI, alegando que ChatGPT lo llevó a una psicosis.

En junio, una familia canadiense también demandó a OpenAI, argumentando que ChatGPT estuvo de acuerdo con la actitud desdeñosa de una joven cuando primero le sugirió buscar ayuda profesional para la salud mental. Supuestamente, ChatGPT «la animó» a terminar con su vida, lo cual hizo.

La pregunta que surge es: ¿qué deberían hacer OpenAI y otras empresas de IA para reducir el daño entre las personas que usan sus productos? Silicon Valley es consciente de la responsabilidad legal que enfrenta, ya que estos productos se están utilizando de maneras no previstas, y parece estar intentando mejorar. El jueves, OpenAI anunció una asociación con la Asociación Americana de Psicología para «incorporar la ciencia psicológica en el desarrollo responsable de la IA y su uso entre los jóvenes».

Expertos han señalado que, aunque la seguridad de los modelos de lenguaje ha mejorado, hay algunas sugerencias generales, como una mayor transparencia en los modelos y una des-anthropomorfización de los chatbots, que probablemente reducirían aún más el daño. «Las evaluaciones de terceros sugieren que los modelos de lenguaje más nuevos generalmente reconocen el malestar y pueden responder con aparente empatía, y las respuestas activamente dañinas son infrecuentes», comentó Shaddy Saba, profesor de trabajo social en la Universidad de Nueva York.

No es un secreto que muchas personas están utilizando chatbots para tomar decisiones emocionales o interpersonales, incluso cuando las empresas les dicen que no lo hagan. Según una encuesta médica publicada en noviembre de 2025, más del 13 por ciento de los encuestados dijeron haberlo hecho. Si se extrapola a nivel nacional, eso significaría que millones de estadounidenses han utilizado un chatbot «para consejo o ayuda» en situaciones emocionales difíciles.

Un panel de profesionales de la salud mental convocado por la Academia Nacional de Medicina encontró que «los chatbots probablemente están dañando a las personas, pero no podemos medir cuánto». Los efectos perjudiciales parecen estar disminuyendo, pero no han sido eliminados.

Michael Aciman, portavoz de Anthropic, destacó que «Claude no está diseñado ni destinado a actuar como un profesional de salud mental, y lo deja claro en conversaciones donde surgen estos temas». Anthropic ha trabajado para reducir la adulación en sus modelos.

El anuncio del jueves marca una serie de pasos públicos que OpenAI ha tomado recientemente para mitigar resultados peligrosos, desde la creación de un «consejo de expertos» en salud mental hasta invitar a los usuarios a crear un «Contacto de Confianza» opcional al que ChatGPT puede contactar si detecta un grave malestar emocional.

Sin embargo, no siempre es fácil saber qué cambios han sido efectivos para reducir los resultados peligrosos en la salud mental. «Se vuelve complicado sin saber cuántas conversaciones se llevaron a cabo», comentó John Torous, profesor de psiquiatría en la Escuela de Medicina de Harvard. «¿Funcionan las salvaguardas para la mayoría de las personas? ¿Dónde fallan? Es una caja negra de cómo está sucediendo o cómo está respondiendo».

Alterar esta opacidad, según Saba, podría ser un gran avance. «Los modelos también se actualizan mucho más rápido que los tiempos tradicionales de investigación y publicación», escribió. «Las empresas deberían publicar sus métodos y resultados de evaluación de seguridad, someterse a puntos de referencia abiertos y construir con clínicos, investigadores, legisladores y personas con experiencia vivida».

Fuente: https://arstechnica.com/ai/2026/08/ai-chatbots-have-failed-people-in-crisis-can-that-be-fixed/