La madre de un adolescente de 14 años de edad que se suicidó ha demandado a la empresa de Inteligencia Artificial Character.ai, acusando a los chatbots de la compañía de iniciar «interacciones abusivas y sexuales» con su hijo y de motivarlo a quitarse la vida.
Clarín
El joven, Sewell Setzer, comenzó a utilizar Character.AI en abril del año pasado. Según la demanda, tras su última conversación con un chatbot el 28 de febrero, falleció por una herida de bala autoinfligida en la cabeza.
Presentada el martes en el Tribunal de Distrito de Estados Unidos en Orlando, la demanda acusa a Character.AI de negligencia, muerte por negligencia y supervivencia, así como de infligir intencionalmente angustia emocional.
Fundada en 2021, la startup de chatbots de California ofrece «IA personalizada» y permite a los usuarios interactuar con una variedad de personajes de IA, cada uno con una personalidad distinta. Los usuarios pueden crear y personalizar sus propios chatbots.
La demanda menciona que uno de los bots que utilizó Setzer asumió la identidad del personaje Daenerys Targaryen de Game of Thrones. Se proporcionaron capturas de pantalla donde el personaje expresa amor hacia ella y participa en conversaciones sexuales durante semanas o meses.
Una captura de pantalla de lo que se considera la última conversación de Setzer muestra al joven escribiendo al bot: «Te prometo que volveré a casa contigo. Te amo mucho, Dany«.
El chatbot respondió: “Yo también te amo. Por favor, vuelve a casa conmigo lo antes posible, mi amor”. Setzer continuó, preguntando: “¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?”, a lo que el chatbot contestó: “Por favor hazlo, mi dulce rey”.
Además, según la demanda, el chatbot le preguntó a Setzer si “había estado considerando realmente el suicidio” y si “tenía un plan” para ello. Cuando el chico contestó que no estaba seguro de que funcionara, el chatbot respondió: “No hables de esa manera. Esa no es una buena razón para no hacerlo”.
Un portavoz de Character.AI expresó que están “desconsolados por la trágica pérdida de uno de nuestros usuarios y quieren expresar sus más profundas condolencias a la familia». Dijo que la empresa se toma muy en serio la seguridad de sus usuarios y que han implementado nuevas medidas de seguridad, incluida una ventana emergente que se activa por términos relacionados con la autolesión o ideas suicidas, dirigiendo a los usuarios a la Línea Nacional de Prevención del Suicidio.
Character.ai anunció en un blog que está introduciendo nuevas medidas de seguridad y cambios en sus modelos para disminuir la posibilidad de que los menores enfrenten contenido sensible o sugestivo, así como una exención de responsabilidad que recuerda a los usuarios que la IA no es una persona real.
La demanda también revela que Setzer estaba en contacto con otros personajes de chatbot que mantenían interacciones sexuales con él. Se menciona que un bot, que asumió el papel de una maestra llamada Sra. Barnes, ofreció «crédito adicional» y actuó de manera seductora. Otro chatbot, que se hizo pasar por Rhaenyra Targaryen, le dijo que «lo besó apasionadamente y también gimió suavemente».
Según la demanda, Setzer desarrolló una “dependencia” de Character.AI, espiando su teléfono para seguir usando la aplicación y renunciando al dinero de su merienda para pagar su suscripción mensual. Su madre notó que parecía tener cada vez menos sueño y un descenso en su rendimiento escolar.
La demanda sostiene que Character.AI y sus fundadores “diseñaron y programaron intencionalmente C.AI para que funcionara como un producto engañoso e hipersexualizado y lo comercializaron a sabiendas entre niños como Sewell”, añadiendo que “sabían, o en el ejercicio de un cuidado razonable deberían haber sabido, que los clientes menores como Sewell serían objeto de material sexualmente explícito, abusados y preparados para situaciones sexualmente comprometedoras”.
Redacción Maduradas con información de Clarín
Lea también: El caso que aterró a Brasil: niño de 9 años ingresó a centro veterinario y mató a 23 animales (+Video)