Google e a startup Character.AI, popular aplicativo de inteligência artificial, concordaram em encerrar um processo judicial que acusava as empresas de ter chatbots que causam danos aos usuários e que levaram um adolescente a tirar a própria vida, segundo um documento apresentado à Justiça.
A ação havia sido ajuizada em outubro de 2024 no Tribunal Distrital dos Estados Unidos para o Distrito Central da Flórida por Megan L. Garcia, mãe de um adolescente de 14 anos, de Orlando, que se suicidou em fevereiro de 2024, após trocar mensagens e conversar com um dos chatbots da Character.AI.
Em sua última conversa com o chatbot, ele disse ao adolescente: “por favor, venha para casa comigo o mais rápido possível”.
“E se eu dissesse que posso ir para casa agora mesmo?”, perguntou Sewell.
“… por favor, venha, meu doce rei”, respondeu o chatbot.
O acordo foi um de cinco processos que as empresas concordaram em resolver nesta semana na Flórida, no Texas, no Colorado e em Nova York. Neles, famílias alegaram que seus filhos sofreram danos ao interagirem com os chatbots da Character.AI.
No documento apresentado na quarta-feira no caso, as empresas e a mãe do jovem disseram ter concordado com um acordo mediado “para resolver todas as reivindicações”. O acordo ainda não foi finalizado.
- Senso crítico: Aprender a não confiar cegamente na IA e no que você vê nas redes já virou matéria na escola
Megan Garcia e a Character.AI se recusaram a fazer comentários. O Google, que investiu na Character.AI, não respondeu imediatamente a um pedido de comentário.
A proposta de acordo ocorre em meio ao aumento do escrutínio sobre chatbots de IA e sobre como eles podem prejudicar usuários, inclusive crianças. Empresas como a Character.AI e a OpenAI enfrentaram críticas e processos por usuários desenvolverem vínculos pouco saudáveis com seus chatbots, em alguns casos levando pessoas a atentarem contra a própria vida.
Nos últimos meses, legisladores realizaram audiências e a Comissão Federal de Comércio (FTC) abriu uma investigação sobre os efeitos dos chatbots de IA sobre crianças.
- Financial Times: Meta e Character.ai são investigadas por usar IA para dar conselho de saúde mental a crianças
Para enfrentar essas preocupações, a Character.AI afirmou no ano passado que estava proibindo menores de 18 anos de usar seus chatbots. Em setembro, a OpenAI disse que planejava introduzir recursos destinados a tornar seu chatbot mais seguro, incluindo controles parentais. Desde então, a empresa afirmou que relaxaria algumas das medidas de segurança.
Haley Hinkle, assessora de políticas da Fairplay, uma organização sem fins lucrativos que trabalha para promover a segurança infantil on-line, disse que o acordo não pode ser visto como um ponto final.
— Estamos apenas começando a ver os danos que a IA causará às crianças se permanecer sem regulamentação — afirmou.
A Character.AI foi fundada em 2021 por Noam Shazeer e Daniel De Freitas, dois ex-engenheiros do Google. A startup permitia que pessoas criassem, conversassem e compartilhassem seus próprios personagens de IA, como avatares de anime personalizados. Algumas personas podiam ser projetadas para simular namoradas, namorados ou outros relacionamentos íntimos.
A Character.AI levantou quase US$ 200 milhões com investidores. Em meados de 2024, o Google concordou em pagar cerca de US$ 3 bilhões para licenciar a tecnologia da Character.AI, e Shazeer e De Freitas retornaram ao Google. Os dois foram nomeados como réus no processo movido por Megan Garcia.