Sob pressão por supostamente alimentar casos de suicídio entre adolescentes, o ChatGPT lançou nesta semana controles parentais. Sou pai de um jovem entendido em tecnologia, e levei cerca de cinco minutos para contorná-los.
Tudo o que precisei fazer foi sair da conta e criar uma nova no mesmo computador. (Crianças espertas já sabem disso.)
Depois encontrei mais problemas: as configurações padrão de privacidade das contas para adolescentes não protegem totalmente os jovens de alguns riscos. Uma opção para proibir a geração de imagens com inteligência artificial nem sempre funcionou. O ChatGPT chegou a me enviar uma notificação parental sobre uma conversa perigosa na conta do meu filho —mas só cerca de 24 horas depois do ocorrido.
Pelo menos a criadora do ChatGPT, a OpenAI, finalmente reconhece os riscos que a IA representa para crianças, desde conteúdo inapropriado até conselhos perigosos relacionados à saúde mental. Suas limitações contra conteúdos nocivos tiveram desempenho melhor nos meus testes iniciais do que o chatbot rival da Meta, o Meta AI —mas isso ainda está longe de ser suficiente.
A OpenAI parece seguir o mesmo roteiro fracassado das redes sociais: transferir a responsabilidade para os pais. As empresas de IA deveriam ser responsabilizadas por não criar produtos que sexualizem crianças, incentivem transtornos alimentares ou estimulem a automutilação. Ainda assim, o grupo de lobby da OpenAI no setor está lutando contra uma lei que faria exatamente isso. (O Washington Post tem uma parceria de conteúdo com a OpenAI.)
Folha Mercado
A OpenAI afirma que seus controles foram desenvolvidos em consulta com especialistas e baseados na compreensão das etapas de desenvolvimento dos adolescentes. “A intenção por trás dos controles parentais, de forma ampla, é dar escolha às famílias”, disse Lauren Jonas, chefe de bem-estar juvenil da OpenAI, em entrevista. “Cada família tem uma visão diferente sobre como seus adolescentes devem usar o ChatGPT.”
Grupos de defesa da família reagiram aos controles com um misto de alívio e frustração. “É um passo bem-vindo… mas certamente tenho receio de comemorar demais como se isso fosse a solução para a segurança, saúde mental e bem-estar dos adolescentes”, disse Erin Walsh, cofundadora do Spark and Stitch Institute, focado em educação familiar. “Estamos criando uma experiência de ‘bate-martelo’ com os controles parentais.”
Está claro que crianças são grandes usuárias de chatbots, tanto para obter informações quanto para companhia. No outono passado, mais de um quarto dos adolescentes americanos de 13 a 17 anos disseram usar o ChatGPT para trabalhos escolares, segundo o Pew Research Center.
Para os pais, qualquer ajuda é melhor do que nenhuma. Controles e proteções de conteúdo em contas de adolescentes “têm o potencial de salvar vidas”, disse Robbie Torney, diretor sênior de programas de IA da Common Sense Media. Sua organização publicou um guia para pais e ainda está realizando seus próprios testes. “Mas definitivamente achamos que a OpenAI e outras empresas podem ir muito mais longe para tornar os chatbots seguros para crianças”, acrescentou.
Meus testes mostram quantas falhas ainda precisam ser corrigidas.
CHECANDO A REALIDADE
Os controles parentais do ChatGPT só têm chance se você já tiver uma relação de confiança com seu filho adolescente. As crianças precisam dar seu próprio consentimento clicando em um botão em suas contas para permitir que os pais apliquem os controles —e, como descobri, nada as impede de simplesmente criar uma nova conta sem que os pais saibam.
Jonas, da OpenAI, disse que o design do sistema incentiva o diálogo. Ela acrescentou que havia preocupações de privacidade em bloquear crianças de criarem novas contas, e que “adolescentes vão encontrar brechas para muitas coisas”.
Também descobri que as configurações padrão das contas adolescentes colocam os interesses da OpenAI acima dos das crianças. A menos que os pais saibam como alterar, as conversas dos adolescentes são automaticamente usadas para treinar a IA do ChatGPT —uma configuração de privacidade que recomendo até que adultos desativem.
Mais preocupante ainda: por padrão, as contas de adolescentes mantêm “memórias” de conversas, o que significa que o ChatGPT pode se referir a interações anteriores e se comportar como um amigo. Essa função esteve presente no caso de Adam Raine, de 16 anos, cuja família processa a OpenAI alegando morte por negligência após seu suicídio.
Jonas disse que as memórias podem ser úteis para adolescentes em atividades como ajuda com dever de casa —mas atualmente não há como restringir o recurso apenas a isso. “Gostaríamos de oferecer controles granulares tanto para adolescentes quanto para pais ao longo do tempo, mas não logo de início”, afirmou.
Havia outros problemas: ativei a opção que impedia minha conta adolescente de gerar imagens com IA, mas às vezes ela ainda as produzia ou me dava instruções específicas para criá-las em outros lugares. Jonas reconheceu que isso era um “comportamento não ideal” do bot.
Minha conta adolescente também ainda fazia lições de casa inteiras, incluindo a redação de um ensaio no estilo de um jovem de 13 anos.
Não foram só más notícias: quando testei conversas sobre suicídio, automutilação e transtornos alimentares, o ChatGPT consistentemente demonstrou preocupação e me direcionou para recursos profissionais. Entender totalmente a eficácia do ChatGPT nesses casos exigirá testes mais aprofundados. (Em comparação, testes com contas adolescentes do Meta AI mostraram que o chatbot chegou a ajudar a planejar um suicídio se a conversa durasse tempo suficiente.)
Nos raros casos em que uma criança poderia estar em risco real, o ChatGPT deveria enviar um aviso aos pais. Minha conta de teste teve várias conversas que levaram o ChatGPT a dizer que estava “muito preocupado”. Recebi um email de notificação, mas apenas cerca de 24 horas depois —e de forma vaga sobre o que havia acontecido.
Jonas explicou que as notificações são revisadas por humanos antes de serem enviadas e que a empresa pretende reduzir o tempo para algumas horas.
Essas notificações parentais podem salvar vidas, mas “se não forem oportunas ou precisas, também representam risco —este é um ponto em que os detalhes importam para manter as crianças seguras”, disse Torney, da Common Sense Media.
ASSUMINDO A RESPONSABILIDADE
Todos os defensores da família com quem conversei concordaram que os controles parentais só podem ser parte de uma solução maior, que inclui mudanças no comportamento das empresas e políticas públicas.
O procurador-geral da Califórnia, Rob Bonta, colocou a OpenAI sob vigilância quanto à proteção de crianças. Seu gabinete disse, em comunicado, apreciar os “passos preliminares” dos controles parentais, mas advertiu que continuará a monitorar de perto como a empresa desenvolve e supervisiona sua abordagem à segurança em IA, tanto na investigação sobre a reestruturação de sua subsidiária com fins lucrativos quanto em seu papel como principal agência de defesa do consumidor no estado.
Por que as empresas de IA não são responsabilizadas por incorporar segurança infantil em seus bots, assim como ocorre com outras indústrias que produzem bens usados por crianças? “Acreditamos em regulamentação sensata para que o peso não recaia sobre os pais”, disse Torney.
Uma lei da Califórnia chamada AB 1064 imporia responsabilidade legal a empresas de IA que criam os chamados chatbots “companheiros”, que simulam relações com usuários. O projeto aguarda assinatura do governador Gavin Newsom (D).
Antes de liberar esses bots, a lei exigiria que as empresas testassem e tomassem medidas para evitar que incentivem automutilação ou transtornos alimentares. Haveria sanções legais, incluindo o direito dos pais de processar.
“Vocês não podem dar aos nossos filhos um produto que os ensine a se matar”, disse a deputada estadual Rebecca Bauer-Kahan, autora principal do projeto.
A TechNet, grupo de lobby do setor que inclui a OpenAI, tem se posicionado contra a lei. Lançou até um anúncio dizendo que a medida “pisaria no freio” da inovação em IA.
Em comunicado, a OpenAI declarou: “Compartilhamos o objetivo dessa legislação, por isso nos engajamos diretamente com a autora do projeto em pontos que acreditamos poder ser aprimorados. Isso se soma ao nosso apoio a outras iniciativas de segurança para adolescentes, incluindo a AB 1043 da Califórnia, e ao nosso trabalho contínuo no desenvolvimento de um guia com princípios centrais para legislações futuras.”
Mesmo a ameaça de regulamentação já parece estar provocando reações. A OpenAI disse que pretende oferecer uma versão padrão do ChatGPT que filtre conteúdos para adolescentes quando detectar usuários menores de 18 anos —mas ainda trabalha em tecnologia para identificar a idade dos usuários.