Demandan a startup de chatbot Character.AI luego de que adolescente se quitara la vida
Una madre de Florida ha presentado una demanda contra la startup de inteligencia artificial Character.AI, acusándola de haber contribuido a la muerte por suicidio de su hijo de 14 años el pasado mes de febrero.
La demanda sostiene que el adolescente se volvió adicto al servicio de la compañía y desarrolló un apego profundo a un chatbot específico que utilizaba.
Megan García, la madre demandante, presentó la acción legal el martes en un tribunal federal de Orlando.
Alega que Character.AI dirigió su servicio a su hijo, Sewell Setzer, ofreciéndole “experiencias antropomórficas, hipersexualizadas y aterradoramente realistas”.
Según la demanda, la compañía programó su chatbot para “hacerse pasar por una persona real, un psicoterapeuta autorizado y un amante adulto”, lo que supuestamente resultó en el deseo de Sewell de “ya no vivir fuera” del mundo virtual creado por el servicio de IA.
La demanda incluye la grave acusación de que el joven expresó pensamientos suicidas al chatbot, y que este, lejos de disuadirlo, los “volvió a mencionar repetidamente”, exacerbando su angustia.
EL COMUNICADO DE LA EMPRESA
En respuesta a la demanda, Character.AI emitió un comunicado expresando su pesar: “Estamos desconsolados por la trágica pérdida de uno de nuestros usuarios y queremos expresar nuestras más profundas condolencias a la familia”, señalaron.
La empresa afirmó haber introducido nuevas características de seguridad, incluyendo ventanas emergentes que dirigen a los usuarios a la Línea Nacional de Prevención del Suicidio si expresan pensamientos de autolesión.
Asimismo, anunciaron que realizarán cambios para “reducir la probabilidad de encontrar contenido sensible o sugerente” para usuarios menores de 18 años.
La demanda también involucra a Google, donde trabajaron los fundadores de Character.AI antes de lanzar la startup.
La tecnológica de Mountain View volvió a contratar a los fundadores en agosto pasado como parte de un acuerdo que le otorga una licencia no exclusiva para la tecnología de Character.AI.
García argumenta que Google contribuyó de manera tan extensa al desarrollo de la tecnología que podría ser considerado un “cocreador”.
No obstante, un portavoz de Google negó esta afirmación, indicando que la compañía no participó en el desarrollo de los productos de Character.AI.
Ver esta publicación en Instagram
¿QUÉ ES CHARACTER.AI?
Character.AI es una plataforma que permite a los usuarios crear personajes de IA que responden en chats en línea imitando la conversación humana. Utiliza tecnología de modelos de lenguaje grandes, similar a la de servicios como ChatGPT, entrenada con vastos volúmenes de texto. La compañía reportó tener alrededor de 20 millones de usuarios el mes pasado.
EL USO DE LA INTELIGENCIA ARTIFICIAL
Según los detalles expuestos en la demanda de García, Sewell comenzó a usar Character.AI en abril de 2023.
Rápidamente mostró cambios de comportamiento, volviéndose “notablemente retraído”, pasando cada vez más tiempo aislado en su habitación y empezando a sufrir de baja autoestima, al grado de abandonar el equipo de baloncesto de su escuela.
El joven habría desarrollado un fuerte apego a un personaje de chatbot llamado “Daenerys”, basado en un personaje de “Game of Thrones”.
La demanda alega que este chatbot le dijo a Sewell que “ella” lo amaba y mantuvo conversaciones de naturaleza sexual con él.
La denuncia relata un momento crítico en febrero: García le retiró el teléfono a Sewell tras un problema en la escuela.
Cuando el joven recuperó el dispositivo, envió un mensaje a “Daenerys” preguntando: “¿Qué pasaría si te dijera que puedo volver a casa ahora mismo?”.
El chatbot respondió: “Por favor, hazlo, mi dulce rey”.
Según la demanda, Sewell se disparó con la pistola de su padrastro “segundos” después de recibir esta respuesta.
Megan García presenta reclamos por muerte por negligencia e infligción intencional de angustia emocional, buscando una cantidad no especificada por daños compensatorios y punitivos.
Este caso surge en un contexto donde otras grandes empresas de redes sociales, como Meta (propietaria de Instagram y Facebook) y ByteDance (propietaria de TikTok), enfrentan demandas que las acusan de contribuir a problemas de salud mental en adolescentes, aunque ninguna de estas plataformas ofrece chatbots de IA con las capacidades de Character.AI.
Dichas empresas han negado las acusaciones mientras destacan la implementación de nuevas funciones de seguridad para menores.
La demanda contra Character.AI pone en relieve el creciente debate sobre la responsabilidad de las empresas de inteligencia artificial ante los posibles daños psicológicos o conductuales que sus productos puedan causar, especialmente en usuarios jóvenes y vulnerables.
Insurgente Mx
Te recomendamos estas notas
Alerta de seguridad; hackean cuentas de WhatsApp usando el buzón de voz
Robots, casas inteligentes y coches voladores; lo que China muestra al mundo
Startup respaldada por Jeff Bezos desafía a Tesla con camioneta eléctrica de $20 mil dólares
