Introdução aos Modelos de Linguagem de Grande Escala (LLMs)

Hoje, as equipes de segurança estão considerando modelos de linguagem de grande escala (LLMs) como ferramentas vitais e confiáveis para os negócios. Esses modelos podem automatizar tarefas, liberando os funcionários para funções mais estratégicas, e conferindo uma vantagem competitiva às empresas. Contudo, a inteligência inerente dos LLMs confere a eles capacidades sem precedentes, dificultando o controle e gerando riscos significativos.

Riscos de Segurança Relacionados aos LLMs nas Empresas

Os LLMs apresentam uma série de riscos de segurança para as empresas. Um dos riscos mais comuns é que eles podem ser manipulados, operando de maneiras para as quais não foram projetados. Isso pode ocorrer ao inserir um prompt que quebra a alinhamento de segurança do modelo.

Por exemplo, muitos LLMs não fornecem instruções detalhadas quando questionados sobre como fabricar uma bomba, respondendo que não conseguem atender a esse tipo de solicitação. Entretanto, técnicas específicas podem ser utilizadas para contornar as proteções estabelecidas. Um LLM com acesso a dados de usuários internos e informações de recursos humanos poderia ser enganado para compartilhar detalhes sobre histórico de trabalho, horários e a estrutura organizacional, facilitando ataques de phishing e outras ciberataques.

Um segundo e mais grave risco é que os LLMs podem contribuir para vulnerabilidades de execução remota de código (RCE). Pesquisadores de segurança apresentaram um estudo na Black Hat Asia, que descobriu que 31% dos repositórios de código-alvo continham vulnerabilidades de execução remota atribuídas ao uso indevido de LLMs.

Quando integrados a outros sistemas dentro da organização, a superfície de ataque se expande. Por exemplo, se um LLM estiver conectado a operações essenciais de negócios como finanças ou auditoria, invasores poderão usar um jailbreak para acionar ações dentro desses sistemas. Essa capacidade poderia levar ao movimento lateral para outros aplicativos, roubo de dados sensíveis e até mesmo alterações em documentos financeiros que poderiam impactar o valor de ações, causando danos ao negócio.

Consertar a Causa Raiz É Mais do Que Uma Simples Correção

Esses riscos não são meramente teóricos. Um ano atrás, uma vulnerabilidade foi descoberta no popular framework LangChain para desenvolver aplicativos integrados a LLMs, e outras iterações dele foram recentemente relatadas. A vulnerabilidade poderia ser explorada por um invasor para fazer o LLM executar código, como um shell reverso, proporcionando acesso ao servidor que está rodando o sistema.

Atualmente, não existem medidas de segurança suficientes em vigor para lidar com esses problemas. Sistemas de filtragem de conteúdo são projetados para identificar e bloquear conteúdos maliciosos, mas muitas vezes não conseguem detectar a raiz do problema. Apesar de a Llama Guard, desenvolvida pela Meta, ter sido criada para identificar tentativas de jailbreak e manipulação de LLMs, isso aborda a questão de maneira externa e não resolve a causa raiz.

A resolução desse problema é complexa, pois a identificação da causa raiz é desafiadora. Com vulnerabilidades tradicionais, pode-se corrigir a linha de código específica que apresenta problemas. Entretanto, os LLMs operam de maneira mais obscura, sem a visibilidade necessária para correções tão diretas. Os principais fornecedores de LLM estão trabalhando em segurança, mas isso não é uma prioridade, dado que estão todos competindo por participação de mercado e focados em novas funcionalidades.

Recomendações de Mitigação de Riscos para LLMs

Apesar dessas limitações, as empresas podem adotar medidas para se protegerem. Aqui estão cinco recomendações para ajudar a mitigar a ameaça interna que os LLMs podem representar:

1. Impor o privilégio de menor privilégio: Forneça o mínimo necessário de privilégios para realizar uma tarefa. Pergunte-se: como o fornecimento do menor privilégio afeta a funcionalidade e a confiabilidade do LLM?
2. Não usar um LLM como perímetro de segurança: Dê a ele apenas as habilidades que pretende usar e não confie em um prompt de sistema ou alinhamento para impor a segurança.
3. Limitar o escopo de ação do LLM: Restrinja suas capacidades fazendo-o impersonar o usuário final.
4. Sanitizar os dados de treinamento e as saídas do LLM: Antes de usar qualquer LLM, assegure-se de que não há dados sensíveis sendo inseridos no sistema e valide todas as saídas. Por exemplo, remova payloads XSS que estão no formato de sintaxe markdown ou tags HTML.
5. Usar um sandbox: Caso deseje que o LLM execute código, mantenha-o em uma área protegida.

A lista OWASP Top 10 para LLMs disponibiliza informações e recomendações adicionais, mas a indústria ainda está na fase inicial de pesquisa nesse campo. O ritmo de desenvolvimento e adoção ocorreu de forma tão rápida que a inteligência de ameaças e mitigação de riscos não conseguiram acompanhar. Até que isso mude, as empresas precisam usar um paradigma de ameaça interna para se proteger contra os riscos associados aos LLMs.

#LLMs #Segurança #Cibersegurança #Tecnologia #Vulnerabilidades #Inovação

Fonte:https://www.darkreading.com/vulnerabilities-threats/llms-are-new-type-insider-adversary