The Prague Post - Assistentes de IA abrem a porta para novas ameaças hackers

Essas ferramentas são robôs conversacionais, os chatbots, que podem, entre muitas outras funções, realizar tarefas que os humanos fazem online, como comprar uma passagem de avião ou adicionar eventos a um calendário.

Mas a capacidade dos assistentes de IA de receber ordens com linguagem natural facilita ataques cibernéticos, mesmo por pessoas sem grandes conhecimentos técnicos.

"Estamos entrando em uma era em que a cibersegurança já não se trata de proteger os usuários de atores mal-intencionados com um conjunto de habilidades técnicas altamente especializadas", aponta a startup de IA Perplexity em seu blog.

"Pela primeira vez em décadas, estamos vendo vetores de ataque novos e inovadores que podem vir de qualquer lugar", afirma.

Esses "ataques de injeção" não são novos no mundo dos hackers, mas antes exigiam um código de computador engenhosamente escrito e escondido para causar danos.

No entanto, desde que as ferramentas de IA passaram de simplesmente gerar texto, imagens ou vídeos para serem assistentes que podem explorar de forma independente a internet, o potencial de manipulação maliciosa aumentou.

Para Marti Jorda Roca, engenheiro na espanhola NeuralTrust, é necessário considerar essa possibilidade em todos os níveis.

"As pessoas devem entender que o uso da IA apresenta perigos específicos de segurança", e quanto às empresas, "devem instalar salvaguardas (...) para enquadrar esses riscos", defende.

A Meta classifica essa nova ameaça, denominada "injeção de consulta", como uma "vulnerabilidade", enquanto o responsável por segurança digital da OpenAI, Dane Stuckey, a considera "um problema de segurança não resolvido".

Ambas as empresas estão investindo bilhões de dólares em IA, cujo uso cresce rapidamente junto com suas capacidades.

- "Equilíbrio delicado" -

A injeção de consultas pode, em alguns casos, ocorrer em tempo real quando uma solicitação do usuário - "reserve um quarto de hotel para mim" - é manipulada por um ator malicioso para se transformar em outra coisa - "transfira 100 dólares para esta conta".

Mas essas instruções também podem estar ocultas na internet, já que assistentes de IA integrados em navegadores encontram dados online de qualidade ou origem duvidosa, e potencialmente armados com comandos ocultos de hackers.

Eli Smadja, da empresa israelense de cibersegurança Check Point, vê a injeção de consultas como o "problema de segurança número um" para os modelos de linguagem que impulsionam os assistentes de IA surgidos após a ascensão do ChatGPT.

Todos os grandes atores da IA generativa para o público em geral tomaram medidas e publicaram cada um recomendações para se proteger contra esses ataques ou desativá-los.

A Microsoft, por exemplo, integrou um detector de ordens maliciosas, o que é determinado principalmente com base no local de origem da instrução.

Por sua vez, a OpenAI alerta o usuário quando o assistente de IA acessa um site sensível e só permite que a operação continue se o usuário humano o observar diretamente em tempo real.

Outros sugerem pedir uma validação explícita ao usuário antes de realizar uma tarefa importante, como exportar dados ou acessar contas bancárias.

"Um grande erro que vejo muito é dar ao mesmo assistente de IA poder absoluto para fazer tudo", explica Smadja à AFP.

Para Johann Rehberger, pesquisador em cibersegurança conhecido sob o pseudônimo "wunderwuzzi" (gênio), "o grande desafio é que os ataques estão sendo aperfeiçoados". "Só melhoram", diz sobre as táticas dos hackers.

Resta encontrar "o equilíbrio delicado" entre segurança e facilidade de uso, "porque as pessoas também querem simplesmente que a IA faça coisas por elas", sem ter que supervisioná-la constantemente, afirma.

Rehberger argumenta que os assistentes de IA não estão suficientemente maduros para serem confiáveis.

"Ainda não estamos no ponto de poder deixar que um assistente de IA opere de forma autônoma por um longo período e realize com segurança uma tarefa determinada", diz. "Ele acaba se desviando."

L.Hajek--TPP