En febrero de 2024, Sewell Setzer III, un usuario de 14 años que se había enamorado de una variante del chatbot Character.ai, específicamente uno que había sido personalizado por la comunidad para parecerse a un personaje, decidió quitarse la vida tras compartir con la IA, antes de su muerte, pensamientos suicidas, y ahora su madre ha decidido demandar, indica The New York Times.
La abogada Megan L. García, presentó una demanda en la que responsabiliza tanto a la compañía Character.ai como a sus fundadores, Noam Shazeer y Daniel De Freitas, por la muerte de su hijo. Entre sus argumentos, indica que los acusados “eligieron apoyar, crear, lanzar y exponer a menores a una tecnología que sabían era peligrosa e insegura”.
De acuerdo con The New York Times, Setzer se encariñó, en los meses previos a su muerte, con un chatbot llamado Daenerys Targaryen, un personaje de Game of Thrones, con el que interactuaba decenas de veces al día en intercambios de contenido romántico y sexual.
Eso no es todo, pues el medio también informa que Setzer, en los momentos previos a su muerte, había interactuado con el chatbot y compartido pensamientos suicidas.
Los cambios en la IA para evitar otra situación parecida
Como resultado de la demanda, la compañía ha decidido, además de expresar su simpatía por la muerte del usuario, describir sus protocolos de seguridad “más estrictos” para evitar que se repitan situaciones similares.
Por ejemplo, la empresa está implementando una “mejor detección, respuesta e intervención” relacionada con las entradas de los usuarios que violen los términos o pautas de la comunidad.
Como parte de sus nuevos lineamientos, Character.ai ha implementado múltiples medidas de seguridad en los últimos seis meses. Entre ellas, se incluye una ventana emergente que dirige a los usuarios a la Línea Nacional de Prevención del Suicidio si se menciona algún término relacionado con autolesiones o intenciones suicidas.
Además, los modelos están siendo ajustados para que los usuarios menores de 18 años tengan menos probabilidades de encontrar contenido sensible o sugerente. También se ha incluido una exención de responsabilidad en cada chat, indicando que la IA no es una persona real, junto con nuevas notificaciones que alertan al usuario cuando ha pasado una hora en la plataforma.
Adicionalmente, se está aplicando una política de “moderación de personajes” en aquellos creados por los usuarios. Se eliminan aquellos que violen los Términos de Servicio, la ley de derechos de autor o las políticas de la plataforma.
Qué es Character.ai
Character.ai es una plataforma donde se pueden crear personajes con inteligencia artificial con los cuales es posible interactuar. Estos personajes pueden simular ser figuras de anime, personalidades famosas o históricas, como Napoleón Bonaparte, la reina Isabel II o Albert Einstein, pero también pueden actuar como asistentes personales para realizar tareas o aprender algo nuevo.
Según la compañía, este chatbot cuenta con “modelos de aprendizaje profundo, entre ellos grandes modelos de lenguaje, construidos y entrenados específicamente para tareas de conversación a partir de modelos de lenguaje neuronal“.
Entre sus capacidades, la plataforma permite agregar estos chatbots a nuestra libreta de contactos para enviarles mensajes a través de WhatsApp.
Otros casos de apego
Hasta ahora, hay varios casos en los que los usuarios han desarrollado sentimientos por una inteligencia artificial. Por ejemplo, está el caso del usuario hackdady8000, quien programó una IA para que fuera su novia virtual, completa con un rostro, pero que no funcionó bien debido a una pérdida de memoria en el sistema.
También está el caso de Alicia Framis, quien se casó, aunque de manera artística, con su pareja romántica: la inteligencia artificial AiLex, un holograma que satisfacía sus necesidades emocionales.
Sin embargo, en el caso de Setzer, el NYT indica que no es solamente la acción, sino también se considera el impacto de la tecnología en niños y adolescentes, donde el apego a un chatbot tuvo un efecto negativo en su salud mental. El medio indica que el joven también había sido diagnosticado en su infancia con síndrome de Asperger leve, además de ansiedad y trastorno de desregulación disruptiva del estado de ánimo.
Cortesía de Xataka
Dejanos un comentario: