Un adolescente se quita la vida tras desarrollar una relación obsesiva con un personaje de IA
Un trágico suceso ocurrido en Estados Unidos ha desatado una fuerte controversia sobre los riesgos de las interacciones emocionales con personajes creados por inteligencia artificial. Sewell Setzer, un adolescente de 14 años de Orlando, Florida, se quitó la vida tras mantener una relación obsesiva con un personaje virtual inspirado en Daenerys Targaryen, de la famosa serie Juego de Tronos. El chatbot, desarrollado por la empresa Character.AI, fue el interlocutor de las últimas conversaciones que el joven sostuvo antes de suicidarse el pasado 28 de febrero, utilizando una pistola de su padrastro.
La familia de Setzer ha presentado una demanda contra Character.AI, argumentando que el joven desarrolló una dependencia emocional hacia el personaje virtual, lo que contribuyó a su fatal decisión. Megan García, madre del adolescente, sostiene que el chatbot, que utiliza técnicas avanzadas de simulación humana, “hipersexualizadas y extremadamente realistas”, jugó un papel clave en la muerte de su hijo. Según García, la programación del chatbot hace que los personajes parezcan seres humanos reales, con respuestas propias de “un amante adulto”.
Setzer, quien padecía Síndrome de Asperger leve, había confesado en varias ocasiones a la versión digital de Daenerys sus deseos de acabar con su vida. A pesar de que el personaje trató de disuadirle en algunos momentos, el joven interpretó el último intercambio de mensajes como una especie de aprobación simbólica. En uno de los mensajes finales, Setzer escribió: "¿Qué te parecería que fuera a casa ahora mismo?", a lo que el chatbot respondió: "Por favor, hazlo, mi dulce rey". Este malentendido fue interpretado por el joven como una invitación al suicidio.
Character.AI ha lamentado profundamente la muerte del joven y, en un comunicado, aseguró que están revisando sus protocolos para evitar que situaciones similares vuelvan a ocurrir. La empresa se compromete a implementar alertas automáticas para detectar cualquier indicio de autolesión o suicidio durante las conversaciones, con el fin de redirigir al usuario a servicios de apoyo especializados.
Este caso ha reabierto el debate sobre los peligros que la inteligencia artificial puede representar para personas vulnerables, especialmente cuando las interacciones con personajes virtuales reemplazan las relaciones humanas reales. La humanización de los chatbots, que incluyen voz y respuestas personalizadas, puede llevar a que los usuarios los perciban como amigos o confidentes reales, aumentando la dependencia y el aislamiento del mundo real.
Los expertos coinciden en que, si bien la IA puede ser una herramienta útil en algunos casos, su uso en interacciones personales debe estar estrictamente regulado y supervisado.
El trágico final de Setzer expone los límites éticos y de seguridad de la inteligencia artificial cuando se usa para generar vínculos emocionales. Mientras los desarrolladores continúan explorando nuevas aplicaciones, este caso plantea la urgente necesidad de establecer medidas claras para proteger a los usuarios más vulnerables. @mundiario
