O OWASP (Open Worldwide Application Security Project) divulgou orientações recentes para auxiliar as organizações na identificação e gestão de riscos relacionados à adoção e gerenciamento de modelos de linguagem (LLMs) e aplicações de inteligência artificial generativa (GenAI).

Essas orientações fazem parte do projeto OWASP Top 10 para Segurança de Aplicações LLM. Desde sua criação em 2023, a iniciativa, que é global e comunitária, lançou pesquisas e materiais para ajudar as empresas a desenvolver uma estratégia abrangente que abarca governança e colaboração.

• O “Guia para Preparação e Resposta a Eventos de Deepfake” destaca os desafios apresentados pelas “falsificações digitais hiper-realistas”. Este recurso, surgido da iniciativa de Inteligência de Ameaças Cibernéticas em IA, combina estratégias de defesa práticas para manter a segurança das organizações à medida que a tecnologia de deepfake evolui.

• O “Guia do Centro de Excelência” orienta as empresas a implementarem melhores práticas e estruturas de segurança em IA. A orientação facilita a criação de sistemas de gerenciamento de risco e a coordenação interdepartamental, envolvendo equipes de segurança, jurídicas e de ciência de dados.

• O “Guia do Panorama de Soluções de Segurança em IA” é uma fonte abrangente sobre proteção de aplicativos LLM e GenAI, tanto de soluções abertas quanto comerciais. Ele categoriza produtos de segurança existentes e emergentes, oferecendo diretrizes sobre como abordar os riscos identificados na lista Top 10.

O projeto conta com mais de 500 especialistas em cibersegurança e IA, coletando dados para identificar vulnerabilidades e suas respectivas mitigações. Em 2024, o foco será expandido para incluir partes interessadas estratégicas, como CISO e oficiais de conformidade, além de desenvolvedores e profissionais de segurança.

“Estamos há dois anos na onda da IA generativa, e os atacantes estão utilizando IA para serem mais inteligentes”, comentou Steve Wilson, líder do projeto OWASP Top 10 para LLM, em uma declaração. “Líderes de segurança e desenvolvedores de software precisam acompanhar essa evolução. Nossos novos recursos fornecem as ferramentas que as organizações necessitam para se proteger contra ameaças sofisticadas.

Principais Vulnerabilidades do Projeto OWASP Top 10 para Segurança de Aplicações LLM

O OWASP Top 10 para Segurança de Aplicações de Modelos de Linguagem de Grande Escala (LLMs) destaca as vulnerabilidades predominantes que impactam esses sistemas. A seguir, são apresentadas as vulnerabilidades chave e as técnicas de mitigação sugeridas.

LLM01: Injeção de Prompt

Descrição: A injeção de prompt acontece quando o modelo de linguagem é manipulado através de inputs elaborados, o que pode resultar em ações não desejadas. Isso pode ocorrer por meio da substituição direta de prompts ou pela manipulação de entradas externas.

• Mitigação: Introduza controles de privilégio, restrinja o acesso do LLM e use permissões baseadas em papéis.
• Separe conteúdo não confiável dos prompts dos usuários e exija consentimento humano para ações privilegiadas.

LLM02: Manipulação Insegura de Output

Descrição: Aceitar o output do LLM sem validação expõe sistemas a vulnerabilidades como XSS e escalonamento de privilégios.

• Mitigação: Valide e sanitize os outputs antes que estes afetem sistemas downstream.
• Implemente mecanismos de detecção e prevenção para ataques baseados no output do LLM.

LLM03: Envenenamento dos Dados de Treinamento

Descrição: A adulteração dos dados de treinamento pode introduzir vieses e desvio ético, comprometendo a segurança do LLM.

• Mitigação: Verifique e valide os dados de treinamento para garantir a integridade.
• Utilize fontes confiáveis e implemente mecanismos de detecção de anomalias.

LLM04: Negação de Serviço ao Modelo

Descrição: A sobrecarga dos recursos do LLM pode gerar custo elevado e degradação do serviço.

• Mitigação: Defina limites de recursos e implemente rate limiting.
• Monitore constantemente o desempenho dos recursos.

LLM05: Vulnerabilidades na Cadeia de Suprimentos

Descrição: Componentes vulneráveis, como datasets de terceiros, podem comprometer o ciclo de vida dos LLMs.

• Mitigação: Realize auditorias de segurança regularmente em componentes da cadeia de suprimentos.
• Utilize somente proveniência confiável e mantenha tudo atualizado.

LLM06: Divulgação de Informações Sensíveis

Descrição: O LLM pode inadvertidamente revelar dados confidenciais, gerando violações de privacidade.

• Mitigação: Implemente políticas rigorosas e técnicas de anonimização para proteger dados sensíveis.

LLM07: Design Inseguro de Plug-Ins

Descrição: Plug-ins inseguros podem permitir a execução remota de código.

• Mitigação: Estabeleça controles de acesso rígidos e valide todas as entradas de plug-ins.

LLM08: Autoridade Excessiva

Descrição: Concessão de excessiva autonomia aos LLMs pode resultar em ações indesejadas.

• Mitigação: Requerer consentimento humano e monitorar as atividades do LLM constantemente.

LLM09: Dependência Excessiva

Descrição: A falta de supervisão na utilização dos LLMs pode levar à disseminação de informações incorretas.

• Mitigação: Implemente supervisão e políticas para uso seguro dos LLMs.

LLM10: Roubo de Modelo

Descrição: O acesso não autorizado aos modelos de LLM pode resultar em perdas econômicas significativas.

• Mitigação: Utilize criptografia e monitoramento constante para proteger os modelos.

Técnicas Gerais de Mitigação

• Monitoramento e Atualização: Acompanhe e mantenha componentes e dados atualizados.
• Práticas Seguras de Codificação: Integrar diretrizes de codificação seguras evita vulnerabilidades.
• Controle de Acesso e Privilégios: Limite permissões ao mínimo necessário para maior proteção.

Essas medidas são fundamentais para proteger as aplicações LLM contra diversas vulnerabilidades, fortalecendo a segurança e confiabilidade desses sistemas.

OWASP e Segurança em IA Generativa

Para criar uma arquitetura de segurança eficaz, é vital que as organizações integrem diretrizes de segurança em Inteligência Artificial (IA) com técnicas de mitigação das vulnerabilidades listadas no OWASP Top 10. Isso é especialmente importante para Modelos de Linguagem Grande (LLM). Aqui estão algumas estratégias-chave a seguir.

Compreensão das Diretrizes de Segurança em IA

Adoção Ética e Responsável

Cadastrar-se ao uso responsável da IA, orientado pelos princípios da OCDE, é essencial. Isso envolve priorizar resultados positivos, valorizar os direitos humanos e comandar transparência.

Governança Robusta

Estabelecer uma estrutura de governança clara é crucial. Inclua papéis definidos, responsabilidades e processos claros.Manter a educação sobre o uso seguro de IA entre colaboradores e parceiros é igualmente importante.

Integrando com OWASP Top 10 para LLM

Detecção e Resposta a Ameaças

Utilize IA para detectar ameaças em tempo real. A análise de dados de tráfego pode identificar padrões que alertam os profissionais de segurança sobre possíveis ameaças.

Proteção Contra Injeção de Comandos

• Validação e Sanitização: Automatize a validação de inputs, prevenindo injeções maliciosas.
• Monitoramento: Utilize IA para identificar atividades anormais que possam indicar uma injeção de comando.

Proteção Contra Cross-Site Scripting (XSS)

• Análise de Conteúdo: Analise conteúdos gerados por LLMs para detectar scripts maliciosos.
• Filtragem de Saída: Implemente filtros automatizados que removem código prejudicial antes da exibição.

Proteção Contra Vulnerabilidades de Autenticação

• Autenticação de Dois Fatores: Adicione camadas extras de segurança com IA para autenticação.
• Análise de Comportamento: Use IA para detectar padrões suspeitos de autenticação.

Proteção Contra Exposição de Dados Sensíveis

• Criptografia: Automatize a criptografia de dados sensíveis processados por LLMs.
• Controle de Acesso: Implemente controles baseados em IA para proteger dados sensíveis.

Manutenção e Atualização de Software

• Atualizações Automáticas: Use IA para garantir atualizações regulares de software.
• Monitoramento de Vulnerabilidades: Implemente sistemas para alertar sobre novas vulnerabilidades.

Técnicas Específicas para LLMs

Processamento de Linguagem Natural (PLN)

• Análise de Linguagem: Utilize IA com PLN para detectar ameaças como phishing.

IA Generativa

• Detecção de Conteúdo Malicioso: Aplique IA generativa para identificar e neutralizar conteúdo gerado por adversários.

Conclusão

Para garantir segurança em IA generativa, as organizações devem implementar:

• Adoção ética e governança robusta.
• Utilização de IA para resposta a ameaças.
• Validação e sanitização automatizada de dados.
• Controles de acesso e criptografia baseados em IA.
• Atualizações contínuas de software.

Essas medidas proporcionarão uma proteção eficaz contra ameaças cibernéticas, oferecendo uma arquitetura de segurança coesa e eficaz.

#OWASP #SegurançaIA #ModelosDeLinguagem #Deepfake #Criptomoedas #MercadoFinanceiro #Alegon