Em outubro de 2023, dois cientistas da Microsoft descobriram uma vulnerabilidade alarmante em uma rede de segurança destinada a impedir que agentes mal-intencionados usassem ferramentas de inteligência artificial (IA) para criar proteínas perigosas para fins bélicos ou terroristas.

Essas falhas de segurança e como elas foram descobertas foram mantidas em sigilo até quinta-feira, 2, quando um artigo publicado na revista Science detalhou como os pesquisadores geraram milhares de versões criadas por IA de 72 toxinas que escaparam à detecção. A equipe de pesquisa, um grupo de cientistas líderes do setor e especialistas em biossegurança, projetou um patch para corrigir esse problema encontrado em quatro métodos de triagem diferentes. Mas eles alertam que os especialistas terão que continuar procurando futuras brechas nessa rede de segurança.

IA pode gerar ameaças biológicas Foto: LIGHTFIELD STUDIOS/Adobe Stock

“É como um modelo de atualização do Windows para o planeta. Continuaremos acompanhando e enviando patches conforme necessário, além de definir os processos de pesquisa e as melhores práticas para seguir em frente e nos mantermos à frente da curva da melhor maneira possível”, disse Eric Horvitz, diretor científico da Microsoft e um dos líderes do trabalho, em uma coletiva de imprensa.

A equipe considerou o incidente o primeiro “dia zero” da IA e da biossegurança — emprestando um termo do mundo cibernético para lacunas de defesa que os desenvolvedores de software não conhecem e que os deixam suscetíveis a um ataque.

Nos últimos anos, pesquisadores têm usado IA para projetar proteínas personalizadas. O trabalho abriu um vasto potencial em muitos campos da ciência. Com essas ferramentas, os cientistas podem criar proteínas para degradar a poluição plástica, combater doenças ou tornar as culturas mais resistentes.

Mas com a possibilidade vem o risco. É por isso que, em outubro de 2023, os cientistas da Microsoft embarcaram em um estudo piloto “adversário” inicial, antes de uma conferência sobre biossegurança em engenharia de proteínas. Os pesquisadores nunca fabricaram nenhuma das proteínas, mas criaram versões digitais como parte do estudo.

Especialistas externos em biossegurança aplaudiram o estudo e o patch, mas afirmaram que essa não é uma área em que uma única abordagem à biossegurança seja suficiente.

“O que está acontecendo com a ciência relacionada à IA é que a vanguarda da tecnologia está se acelerando muito mais rápido do que a retaguarda… no gerenciamento dos riscos”, disse David Relman, microbiologista da Faculdade de Medicina da Universidade de Stanford. “Não é apenas que temos uma lacuna — temos uma lacuna que está se ampliando rapidamente, neste exato momento. A cada minuto que ficamos aqui conversando sobre o que precisamos fazer em relação às coisas que acabaram de ser divulgadas, já estamos ficando mais para trás.”

Como a ricina tóxica foi um caso de teste para detecção

As proteínas são os blocos de construção da vida — cadeias de aminoácidos que desempenham funções cruciais nas células. Elas podem construir músculos, repelir patógenos e realizar reações químicas necessárias para a vida. As proteínas podem ser descritas como uma sequência de letras, mas elas se dobram e se torcem em formas 3D. Sua forma é fundamental para sua função. Prever a estrutura das proteínas foi, por décadas, um grande desafio para a ciência.

Os vencedores do Prêmio Nobel de Química do ano passado compartilharam o prêmio por um trabalho que permitiu aos cientistas prever a estrutura das proteínas e usar IA para projetar proteínas personalizadas com diferentes formas e funções.

Essas funções podem ser positivas — biossensores para detectar toxinas ambientais ou usados para diagnosticar uma doença. Elas também podem ser prejudiciais.

Como caso de teste, Horvitz e seu colaborador Bruce Wittmann usaram ferramentas de IA para inicialmente “parafraseando” partes do código da ricina, um veneno mortal encontrado naturalmente nas sementes de mamona. Em formato digital, eles criaram dezenas de milhares de proteínas geradas por IA que eram escritas de maneira diferente do original, mas provavelmente ainda seriam tóxicas.

CONTiNUA APÓS PUBLICIDADE

A tradução desses conceitos digitais em proteínas da vida real depende de empresas de síntese de DNA, que criam cadeias de DNA que os cientistas podem estudar em laboratório e usar para gerar a proteína de interesse. O padrão da indústria é que as empresas de síntese de DNA implantem software de biossegurança projetado para proteger contra atividades nefastas, sinalizando proteínas preocupantes — por exemplo, toxinas conhecidas ou componentes de patógenos.

Quando os pesquisadores testaram as técnicas de triagem de biossegurança de duas grandes empresas, descobriram que “até 100%” das proteínas semelhantes à ricina geradas por IA escaparam à detecção. Como as novas proteínas não se pareciam mais com a ricina, elas não foram sinalizadas.

Depois de descobrirem essa vulnerabilidade, Horvitz e Wittmann trouxeram mais colaboradores e expandiram sua pesquisa para dezenas de toxinas e componentes de vírus. Mais uma vez, eles usaram técnicas de IA para “parafraseando” partes de seu código, mantendo sua estrutura prejudicial, criando mais de 70 mil versões sintéticas.

Os programas de triagem eram bons em filtrar as toxinas originais, mas deixavam passar milhares das novas versões. Assim que os pesquisadores descobriram a dimensão do problema, eles criaram um patch.

“Este é um estudo realmente valioso, pois mostra que existe um problema — e que a IA vai mudar a natureza do problema. Mas não é um problema insolúvel”, disse Tom Inglesby, diretor do Centro de Segurança Sanitária da Escola de Saúde Pública Bloomberg da Universidade Johns Hopkins, que não participou do trabalho.

Cenário regulatório em evolução

De acordo com uma estrutura federal que está sendo atualizada, os pesquisadores que recebem financiamento federal são obrigados a fazer pedidos a empresas de síntese de DNA que utilizam software de triagem de biossegurança. O que preocupa muitos especialistas em biossegurança é o fato de o sistema ainda depender em grande parte da conformidade voluntária, e muitas lacunas podem permitir que as pessoas criem toxinas projetadas por IA sem que ninguém perceba.

Não só o software de triagem em si pode ser enganado, como mostra o novo estudo, mas nem todas as empresas utilizam o software.

Outro desafio é que nem toda a síntese ocorre em grandes empresas. Dispositivos de bancada podem ser usados para sintetizar cadeias curtas de DNA, que podem ser unidas para criar proteínas.

E, mais fundamentalmente, embora algumas proteínas sejam tóxicas por serem semelhantes às existentes, as pessoas também poderiam projetar tipos totalmente novos de toxinas que poderiam passar despercebidas.

Uma abordagem diferente, dizem os especialistas em biossegurança, é garantir que o próprio software de IA seja dotado de salvaguardas antes que as ideias digitais estejam prestes a ser levadas aos laboratórios para pesquisa e experimentação. Tessa Alexanian, especialista em biossegurança da International Biosecurity and Biosafety Initiative for Science, uma organização sem fins lucrativos suíça, disse que 180 desenvolvedores de IA assinaram uma série de compromissos no ano passado, incluindo a promessa de apoiar o desenvolvimento de novas estratégias para adicionar triagem de biossegurança mais cedo no processo, antes que as proteínas sejam produzidas.

Alguns acham que o caminho mais claro a seguir é um registro para deter os malfeitores.

“A única maneira infalível de evitar problemas é registrar toda a síntese de DNA, para que, se surgir um novo vírus preocupante ou outro agente biológico, a sequência possa ser cruzada com o banco de dados de DNA registrado para ver de onde veio”, disse David Baker, que compartilhou o Prêmio Nobel de Química por seu trabalho com proteínas, em um e-mail.

Este conteúdo foi traduzido com o auxílio de ferramentas de Inteligência Artificial e revisado por nossa equipe editorial. Saiba mais em nossa Política de IA.