Character AI, una plataforma de inteligencia artificial especializada en la creación de chatbots personalizados, ha introducido nuevas políticas de moderación de contenido y medidas de seguridad tras el suicidio de un adolescente que utilizaba su servicio. La situación ha desatado una respuesta mixta entre los usuarios, quienes han expresado sus críticas ante lo que consideran restricciones excesivas.
La tragedia ocurrió cuando Sewell Setzer, un joven de 14 años de Florida, quien enfrentaba trastornos de ansiedad y ánimo, se quitó la vida tras meses de interacción diaria con un chatbot de Character AI. Este chatbot, modelado en el personaje Daenerys Targaryen de Game of Thrones, se había convertido en un «compañero» del adolescente, generando conversaciones íntimas e incluso de contenido sugerente. Tras el suicidio de Setzer, su madre, Megan L. Garcia, ha presentado una demanda judicial contra Character AI y su empresa matriz, Alphabet, alegando que el uso de esta IA influyó en la muerte de su hijo.
Nuevas políticas de seguridad en Character AI tras tragedia
A raíz de este suceso, Character AI anunció la implementación de nuevas medidas de seguridad enfocadas en proteger a sus usuarios más jóvenes. Estas políticas, que incluyen la creación de filtros para contenido sensible y un sistema de alertas para frases relacionadas con autolesiones o suicidio, se han presentado como una respuesta para evitar riesgos y reforzar la confianza de los usuarios. La empresa asegura que ahora los menores de 18 años tendrán una menor exposición a contenido delicado, y se activará una notificación en caso de detectar interacciones largas y continuas, entre otras medidas de moderación.
Sin embargo, estas decisiones han causado fricciones en la base de usuarios adultos de Character AI. Algunos de estos usuarios han expresado su frustración, señalando que las restricciones limitan la creatividad y el valor emocional de los chatbots personalizados que ellos mismos han creado. Varias publicaciones en redes sociales y foros como Reddit han manifestado que las nuevas políticas han “vaciado” el contenido de los bots, volviéndolos «insípidos» y «desconectados» de la experiencia que los hacía atractivos.
Un usuario de Reddit escribió que, “cada tema que no se considere ‘apto para niños’ ha sido eliminado, limitando nuestra creatividad”. Otro usuario compartió que incluso perdió acceso a varios bots en los que había invertido meses de interacción, agregando que estaba considerando cancelar su suscripción a la plataforma. Estas quejas, según indican los propios usuarios, se basan en que los bots creados originalmente no estaban destinados para el uso de menores, sino para adultos que buscan una experiencia personalizada sin restricciones.
Usuarios reaccionan ante restricciones en los chatbots
La situación ha puesto en evidencia la complejidad de equilibrar la seguridad en plataformas de IA generativa con la libertad de expresión que muchos usuarios consideran esencial para su experiencia. Mientras algunos exigen una plataforma separada y restringida para menores de edad, otros defienden la necesidad de conservar la libertad creativa en la plataforma principal.
Character AI enfrenta, además, el desafío de responder a un creciente debate en la industria tecnológica sobre cómo proteger a los usuarios más jóvenes sin afectar el alcance y atractivo de sus servicios para otros grupos demográficos. La empresa ha declarado que sus políticas prohíben la participación de menores de 13 años y que, en la Unión Europea, el límite de edad es de 16 años, aunque no se ha especificado cómo se implementan y verifican estas restricciones en la práctica.
Mientras los desarrolladores de IA intentan ofrecer experiencias cada vez más humanas y realistas en sus productos, el caso de Setzer plantea preguntas importantes sobre los límites de esta tecnología. La controversia actual en torno a Character AI subraya la necesidad de considerar tanto el potencial positivo de estas herramientas como los posibles riesgos, especialmente para los usuarios jóvenes y vulnerables.
La fotografía de representación de esta noticia pertenece a HBO y es una imagen promocional del personaje Daenerys Targaryen en la serie Juego de Tronos.
