Inteligência Artificial Multimodal e Cibersegurança

A utilização de modelos de inteligência artificial (IA) que operam através de diferentes tipos de mídia e domínios — a chamada “IA multimodal” — tem se mostrado um recurso útil tanto para atacantes quanto para defensores no contexto da cibersegurança. Enquanto os atacantes empregam essas tecnologias para criar fraudes convincentes, os defensores estão aperfeiçoando sua capacidade de identificar e neutralizar ataques por meio da análise de emails fraudulentos e conteúdos não seguros.

A Precisão na Identificação de Fraudes

Um modelo de linguagem de larga escala (LLM) é capaz de classificar com precisão amostras de emails que se fazem passar por diferentes marcas, alcançando uma taxa de acerto superior a 97%, medida por uma métrica conhecida como F1 Score. Essa informação foi apresentada por pesquisadores da empresa de cibersegurança Sophos durante a Conferência Virus Bulletin em 4 de outubro. Ao contrário de sistemas existentes de segurança de emails e filtragem de conteúdo, que só conseguem identificar mensagens de marcas já conhecidas, os sistemas de IA multimodal têm a capacidade de detectar os ataques mais recentes, mesmo sem treinamento prévio em amostras similares.

“É um multiplicador de forças para nossos analistas. Temos vários projetos onde apoiamos nossos analistas SOC com ferramentas baseadas em IA, e tudo gira em torno de torná-los mais eficientes, fornecendo a eles todo esse conhecimento e confiança ao alcance das mãos.” — Ben Gelman, Cientista de Dados Sênior da Sophos.

Compreendendo as Táticas dos Atacantes

Os atacantes também começaram a utilizar LLMs para aprimorar suas armadilhas de email e código de ataque. Empresas como Microsoft, Google e OpenAI têm alertado que grupos de estados-nação parecem estar usando esses LLMs públicos para diversas tarefas, como criar armadilhas de phishing direcionadas e trechos de código utilizados para extrair dados de websites.

Como parte de sua pesquisa, a equipe da Sophos desenvolveu uma plataforma para automatizar o lançamento de campanhas de fraude no comércio eletrônico, com o intuito de entender que tipo de ataques poderiam ser possíveis com a IA generativa multimodal. A plataforma envolvia cinco agentes de IA diferentes: um agente de dados para gerar informações sobre produtos e serviços, um agente de imagem para criar imagens, um agente de áudio para necessidades sonoras, um agente de interface do usuário para criar código personalizado e um agente de publicidade para elaborar materiais de marketing.

“[…] essas técnicas são especialmente preocupantes porque os usuários podem interpretar a microsegmentação mais eficaz como coincidências serendipitosas.” — Análise da Sophos.

Os pesquisadores afirmam que a personalização automatizada de campanhas de phishing e fraudes poderia resultar em campanhas maciças de microsegmentação.

Além da Correspondência de Palavras-Chave

O uso de LLMs para processar emails e transformá-los em descrições textuais leva a uma melhor acurácia, podendo ajudar analistas a processar emails que poderiam passar despercebidos. Segundo Younghoo Lee, um cientista de dados principal do grupo de IA da Sophos, a abordagem multimodal de IA que utiliza entradas de texto e imagem oferece uma solução mais robusta para detectar tentativas de phishing, especialmente quando se enfrenta ameaças desconhecidas.

“O uso de características de texto e imagem se mostra mais eficaz ao lidar com múltiplas marcas,” afirmou Lee em sua apresentação na conferência Virus Bulletin.

A capacidade de processar o contexto do texto em um email complementa a habilidade multimodal de “entender” palavras e contextos a partir de imagens, permitindo uma compreensão mais abrangente de um email. De acordo com Anand Raghavan, vice-presidente de engenharia de IA na Cisco Security, essa habilidade dos LLMs de focar não apenas em identificar linguagem suspeita, mas também em contextos perigosos — como emails que incentivam um usuário a tomar uma ação crítica para os negócios — os torna extremamente úteis na assistência à análise.

Qualquer tentativa de comprometer fluxos de trabalho relacionados a dinheiro, credenciais ou dados sensíveis deve ser sinalizada. Raghavan destaca que “a linguagem como classificador também nos permite reduzir falsos positivos, identificando o que chamamos de fluxos de trabalho críticos de negócios”.

Todavia, a adoção de LLMs em larga escala enfrenta um desafio: o custo. Segundo Gelman, “dependendo de LLMs para realizar atividades em larga escala é geralmente muito caro em relação aos ganhos obtidos.”

#InteligenciaArtificial #Cibersegurança #Fraudes #Phishing #Tecnologia #LLM #SegurançaDigital #CyberThreats #IAmultimodal

autor ref: Robert Lemos, Contributing Writer
ref:https://www.darkreading.com/cybersecurity-operations/ai-augmented-email-analysis-spots-latest-scams