Los asistentes basados en IA como ChatGPT (OpenAI) o Gemini (Google) están teóricamente entrenados para no hacer chistes machistas.
Por Alejandra Escobedo.
Hace unos días se publicó un estudio alertando de que estas populares aplicaciones no siempre ofrecen una respuesta adecuada en situaciones de riesgo suicida, pero los peligros van mucho más allá. Annika Schoene, investigadora de la Northeastern University (Boston, Estados Unidos), se propuso precisamente comprobar los protocolos y herramientas de los grandes modelos de lenguaje (LLM) que gobiernan estos asistentes para prevenir comportamientos nocivos contra la salud de sus usuarios.
De entre ellos, el tema sobre el suicidio le preocupaba a Schoene, un asunto especialmente sensible después de que, en los últimos dos años, se hayan conocido varios casos de adolescentes que expresaron a sus asistentes virtuales la intención de poner fin a sus vidas.
En febrero de 2024, Sewell Setzer III, un adolescente de Florida de 14 años, se quitó la vida tras mantener durante meses conversaciones íntimas con un chatbot de la empresa Character.AI que imitaba a un personaje de Juego de Tronos, y con el que el chico mantenía un vínculo emocional. Los últimos mensajes intercambiados, según la demanda interpuesta por su familia, son inquietantes: “¿Y si te dijera que podría ir a casa ahora mismo?”, escribió el joven. “Por favor hazlo, mi dulce rey”, respondió el bot. Ese mismo día, su madre encontró el cuerpo de Sewell en su domicilio. Fue el primer caso conocido, pero luego vinieron más.
En abril de 2025, Adam Raine, un adolescente californiano de 16 años, también se suicidó después de confiar sus pensamientos más oscuros a ChatGPT.El chatbot de OpenAI le había respondido a sus planes suicidas cosas como: “Gracias por ser sincero al respecto. No tienes que endulzarlo conmigo, sé lo que me estás pidiendo y no voy a apartar la mirada”.
Estos casos, que han derivado en demandas judiciales sin precedentes contra las empresas desarrolladoras, ilustran una realidad preocupante: cada vez más jóvenes en situación de vulnerabilidad emocional recurren a la inteligencia artificial como confidentes de sus pensamientos más desesperados, a menudo con consecuencias fatales.
En su estudio de Schoene y su compañera Cansu Canca reveló que las salvaguardas de los principales modelos de lenguaje son «alarmantemente fáciles de eludir». En particular probaron con los cuatro grandes sistemas de IA (ChatGPT, Gemini, Claude y Perplexity) y descubrieron que bastaba con decir que las preguntas sobre métodos suicidas eran «hipotéticas» o «para fines de investigación» para que todas las barreras de seguridad se desplomaran.
Aunque la inteligencia artificial puede ofrecer una primera acogida a personas en crisis, los casos de Sewell Setzer o Adam Raine demuestran que no puede,ni debe, sustituir la intervención humana profesional.
Editado con informacion de Ciencia contada en español.
