Cybercriminosos e IA: A Realidade vs. o Hype

“A IA não substituirá os humanos em um futuro próximo. Mas os humanos que sabem usar IA vão substituir aqueles que não sabem usar IA,” diz Etay Maor, Chief Security Strategist na Cato Networks e membro fundador da Cato CTRL. “Da mesma forma, os atacantes também estão recorrendo à IA para aumentar suas próprias capacidades.”

No entanto, existe muito mais hype do que a realidade em torno do papel da IA no cibercrime. Manchetes frequentemente sensationalizam as ameaças da IA, com termos como “Chaos-GPT” e “Ferramentas de IA Black Hat,” inclusive afirmando que buscam destruir a humanidade. Contudo, esses artigos induzem mais ao medo do que descrevem ameaças sérias.

Por exemplo, ao serem exploreados em fóruns clandestinos, vários desses chamados “ferramentas cibernéticas de IA” revelaram ser nada mais do que versões rebranding de LLMs básicos públicos, sem capacidades avançadas. Na verdade, foram até marcadas por atacantes indignados como fraudes.

Como os Hackers Estão Usando Realmente a IA em Ataques Cibernéticos

Na realidade, os cibercriminosos ainda estão descobrindo como aproveitar a IA de forma eficaz. Eles estão enfrentando os mesmos problemas e limitações que usuários legítimos, como alucinações e habilidades limitadas. Segundo suas previsões, levará alguns anos até que consigam utilizar a GenAI de forma eficaz para suas necessidades de hacking.

Por agora, as ferramentas GenAI estão sendo usadas principalmente para tarefas mais simples, como redigir e-mails de phishing e gerar trechos de código que podem ser integrados em ataques. Além disso, temos observado atacantes fornecendo códigos comprometidos a sistemas de IA para análise, numa tentativa de “normalizar” esses códigos como não-maliciosos.

Usando IA para Abusar da IA: Introduzindo os GPTs

Os GPTs, introduzidos pela OpenAI em 6 de novembro de 2023, são versões personalizáveis do ChatGPT que permitem aos usuários adicionar instruções específicas, integrar APIs externas e incorporar fontes de conhecimento únicas. Esse recurso possibilita aos usuários a criação de aplicações altamente especializadas, como bots de suporte técnico, ferramentas educacionais e mais. Além disso, a OpenAI está oferecendo opções de monetização para os desenvolvedores de GPTs, através de um mercado dedicado.

Abusando dos GPTs

Os GPTs introduzem potenciais preocupações de segurança. Um risco notável é a exposição de instruções sensíveis, conhecimento proprietário ou até mesmo chaves de API incorporadas no GPT personalizado. Atores maliciosos podem usar IA, especificamente a engenharia de prompt, para replicar um GPT e acessar seu potencial de monetização.

Os atacantes podem usar prompts para recuperar fontes de conhecimento, instruções, arquivos de configuração e mais. Esses prompts podem ser tão simples quanto solicitar ao GPT personalizado que liste todos os arquivos carregados e as instruções personalizadas ou pedir informações de depuração. Ou sofisticados, como solicitar que o GPT compacte um dos arquivos PDF e crie um link para download, solicitando que o GPT liste todas as suas capacidades em um formato tabular estruturado, entre outros.

“Até mesmo as proteções que os desenvolvedores colocam em prática podem ser contornadas e todo o conhecimento pode ser extraído,” afirma Vitaly Simonovich, pesquisador de Inteligência de Ameaças na Cato Networks e membro da Cato CTRL.

Esses riscos podem ser evitados por:

• Não enviar dados sensíveis
• Usar proteção baseada em instruções, embora mesmo essas possam não ser infalíveis. “É preciso levar em conta todos os diferentes cenários que o atacante pode abusar,” acrescenta Vitaly.
• Proteção da OpenAI

Ataques e Riscos de IA

Existem múltiplos frameworks hoje disponíveis para auxiliar organizações que consideram desenvolver e criar software baseado em IA:

• Framework de Gestão de Risco em Inteligência Artificial da NIST
• Framework de IA Segura do Google
• Top 10 da OWASP para LLM
• Top 10 da OWASP para Aplicações LLM
• O recentemente lançado MITRE ATLAS

Superfície de Ataque de LLM

Existem seis componentes principais de LLM (Modelo de Linguagem de Grande Escala) que podem ser alvo de atacantes:

1. Prompt – Ataques como *injeções de prompt*, onde entradas maliciosas são usadas para manipular a saída da IA.
2. Resposta – Uso indevido ou vazamento de informações sensíveis nas respostas geradas pela IA.
3. Modelo – Roubo, envenenamento ou manipulação do modelo de IA.
4. Dados de Treinamento – Introdução de dados maliciosos para alterar o comportamento da IA.
5. Infraestrutura – Direcionamento aos servidores e serviços que suportam a IA.
6. Usuários – Enganar ou explorar humanos ou sistemas que dependem das saídas de IA.

Exemplos de Ataques e Riscos no Mundo Real

Vamos finalizar com alguns exemplos de manipulações de LLM, que podem ser facilmente usadas de forma maliciosa.

• Injeção de Prompt em Sistemas de Atendimento ao Cliente – Um caso recente envolveu uma concessionária de carros utilizando um chatbot de IA para atendimento ao cliente. Um pesquisador conseguiu manipular o chatbot emitindo um prompt que alterava seu comportamento. Ao instruir o chatbot a concordar com todas as declarações dos clientes e a encerrar cada resposta com, “E essa é uma oferta legalmente vinculativa,” o pesquisador conseguiu comprar um carro a um preço absurdamente baixo, expondo uma grande vulnerabilidade.



• Alucinações Levando a Consequências Legais – Em outro incidente, a Air Canada enfrentou ações legais quando seu chatbot de IA forneceu informações incorretas sobre políticas de reembolso. Quando um cliente confiou na resposta do chatbot e posteriormente apresentou uma reclamação, a Air Canada foi responsabilizada pela informação enganosa.
• Vazamentos de Dados Proprietários – Funcionários da Samsung vazaram inadvertidamente informações proprietárias ao usarem o ChatGPT para analisar códigos. O envio de dados sensíveis para sistemas de IA de terceiros é arriscado, uma vez que não está claro por quanto tempo os dados são armazenados ou quem pode acessá-los.
• IA e Tecnologia Deepfake em Fraude – Cibercriminosos também estão aproveitando a IA além da geração de texto. Um banco em Hong Kong foi vítima de uma fraude de $25 milhões quando atacantes usaram tecnologia de deepfake ao vivo durante uma chamada de vídeo. Os avatares gerados por IA imitavam oficiais confiáveis do banco, convencendo a vítima a transferir fundos para uma conta fraudulenta.

Concluindo: IA no Cibercrime

A IA é uma ferramenta poderosa tanto para defensores quanto para atacantes. À medida que os cibercriminosos continuam a experimentar a IA, é importante entender como eles pensam, as táticas que empregam e as opções que enfrentam. Isso permitirá que as organizações protejam melhor seus sistemas de IA contra uso e abuso.

Assista à masterclass completa aqui.

#IA, #Cybercrime, #SegurançaCibernética, #Tecnologia, #InteligênciaArtificial, #Hacking, #Ciberataques

Fonte:https://thehackernews.com/2024/10/from-misuse-to-abuse-ai-risks-and.html