Vulnerabilidades em Machine Learning: 10 Riscos Cruciais e Soluções

Pesquisadores de cybersecurity descobriram quase duas dúzias de falhas de segurança em 15 projetos de código aberto relacionados a machine learning (ML).

Essas vulnerabilidades foram identificadas tanto no lado do servidor quanto no lado do cliente, conforme análise publicada na semana passada pela empresa de segurança da cadeia de suprimentos de software JFrog.

Vulnerabilidades em MLOps e seus Impactos

As fraquezas no lado do servidor permitem que atacantes sequestrarem servidores importantes na organização, como registros de modelos de ML, bancos de dados de ML e pipelines de ML, afirmou a empresa JFrog. As vulnerabilidades foram encontradas em Weave, ZenML, Deep Lake, Vanna.AI e Mage AI, e foram organizadas em categorias que permitem o sequestro remoto de registros de modelos, estruturas de bancos de dados de ML e tomada de controle de Pipelines de ML.

Abaixo, uma breve descrição das falhas identificadas:

• CVE-2024-7340 – Uma vulnerabilidade de travessia de diretório na ferramenta Weave ML que permite a leitura de arquivos em todo o sistema de arquivos.
• Uma vulnerabilidade de controle de acesso inadequado no framework ZenML MLOps que permite que um usuário eleve seus privilégios.
• CVE-2024-6507 – Uma vulnerabilidade de injeção de comandos no banco de dados Deep Lake que permite injetar comandos de sistema.
• CVE-2024-5565 – Uma vulnerabilidade de injeção de prompt na biblioteca Vanna.AI explorada para execução remota de código.
• CVE-2024-45187 – Uma vulnerabilidade de atribuição incorreta de privilégios no framework Mage AI.
• CVE-2024-45188, CVE-2024-45189, e CVE-2024-45190 – Vulnerabilidades de travessia de caminho no Mage AI que permitem leitura de arquivos arbitrários.

Como os pipelines de MLOps podem ter acesso aos conjuntos de dados de ML, Treinamento de Modelos de ML e Publicação de Modelos de ML, explorar um pipeline de ML pode levar a uma violação severa, disse a JFrog. Cada um dos ataques como backdooring de modelo ML e envenenamento de dados de ML pode ser realizado dependendo do acesso do pipeline de MLOps a esses recursos.

A divulgação ocorre mais de dois meses depois que a empresa descobriu mais de 20 vulnerabilidades que poderiam ser exploradas para atacar plataformas de MLOps. Essa divulgação também segue o lançamento de um framework defensivo codenameado Mantis, que utiliza injeção de prompts para combater ataques cibernéticos a modelos de linguagem de grande porte (LLMs).

Ao detectar um ataque cibernético automatizado, o Mantis insere entradas elaboradas nas respostas do sistema, levando o LLM do atacante a interromper suas operações ou comprometer a máquina do atacante. Ao implantar serviços isca propositalmente vulneráveis para atrair o atacante e usar injeções de prompt dinâmicas para o LLM do atacante, o Mantis pode autonomamente retaliar contra o atacante.

Melhores Práticas para Segurança em MLOps

Em um mundo cada vez mais conectado, a segurança em Machine Learning se torna uma prioridade nas operações de MLOps. Com vulnerabilidades sendo descobertas em ferramentas de ML como Weave ML, ZenML e Mage AI, as organizações devem adotar práticas eficazes para proteger suas infraestruturas contra ameaças cibernéticas.

Proteção de Dados e Armazenamento

A proteção de dados é fundamental para mitigar falhas de segurança em ML. A implementação de criptografia para assegurar que os dados estejam protegidos tanto em trânsito quanto em repouso é uma prática essencial. O uso de políticas de zero trust, requerendo autenticação de todos os usuários e dispositivos, aumenta a camada de defesa contra invasões cibernéticas.

O Controle de Acesso Baseado em Funções (RBAC) garante que os usuários possuam apenas acessos necessários para suas funções dentro do pipeline de MLOps. Isso não somente minimiza potenciais riscos de acesso não autorizado, mas também evita a atribuição de permissões excessivas que poderiam expor o sistema a vulnerabilidades.

Integridade e Verificação do Modelo

Para garantir a integridade dos modelos de ML, é importante utilizar tecnologias de segurança como o atestado e verificação. Ferramentas como a plataforma Scribe oferecem verificações de integridade, assegurando que os modelos e imagens de contêineres sejam legítimos, minimizando riscos de injeção de comandos ou alteração maliciosa.

Esses processos fornecem confiança ao verificar as imagens de contêiner antes da implementação na produção. É crucial que os modelos sejam atestados para garantir que foram compilados a partir de fontes verificáveis, reduzindo as chances de falhas como a travessia de diretório em ML.

Monitoramento e Logging Contínuo

O monitoramento contínuo através de sistemas de logging robustos permite a detecção precoce de anomalias e eventos suspeitos nos modelos de ML. Ao registrar logs detalhados de acesso e desempenho, as organizações podem conduzir auditorias de segurança, vitais para identificar áreas vulneráveis rapidamente.

Contar com ferramentas avançadas de observabilidade facilita o rastreamento de alterações no ambiente de execução dos modelos, prevenindo possíveis exploits que possam comprometer a segurança da organização.

Segurança da Rede e Automatização

O uso de redes virtuais e outras soluções de segurança de rede protege as plataformas de ML contra acessos indesejados. Recursos como empilhamento privado e zonas de DNS asseguram que a comunicação entre os serviços e pipelines de MLOps seja segura.

Implementar CI/CD (Integração e Entrega Contínua) automatiza partes significativas do pipeline de MLOps, limitando a exposição a erros humanos e ameaças externas. Automatizar o fluxo desde o pré-processamento até a implantação fortalece a segurança geral do sistema.

Governança de Dados e Compliance

Cumpre-se realizar auditorias de segurança periódicas para assegurar que as operações de ML estejam em conformidade com regulamentações como HIPAA e GDPR. A conformidade não é apenas sobre adesão legal mas também qualidade dos processos de segurança de dados.

Ter clareza sobre a gestão do ciclo de vida de modelos ajuda a manter a conformidade, garantindo que cada modelo seja treinado e implementado de acordo com as políticas de proteção de dados.

Auditorias e Gestão de Ciclo de Vida

Regularmente realizar auditorias e testes de penetração fortalece as defesas contra ameaças. Estas práticas identificam vulnerabilidades em plataformas como Vanna.AI, permitindo que medidas corretivas antecipem potenciais invasões.

A gestão completa do ciclo de vida dos modelos, que inclui desde a coleta inicial de dados ao retreinamento com dados atualizados, assegura que os modelos se mantenham precisos e confiáveis ao longo do tempo.

Adotando estas melhores práticas, as organizações podem significativamente mitigar riscos de segurança em MLOps, posicionando-se de maneira proativa contra ameaças e assegurando que suas operações de ML sejam robustas, resilientes e seguras.

Detecção e Resposta a Incidentes em Machine Learning


A segurança em projetos de machine learning (ML) é crucial para garantir que os modelos funcionem corretamente e que os dados sensíveis estejam protegidos contra explorações maliciosas. Recentemente, vulnerabilidades em frameworks de ML open-source, como as encontradas pela JFrog, realçaram a importância de estratégias robustas de detecção e resposta a incidentes.

Categorias de Vulnerabilidades em Machine Learning

O ambiente de ML enfrenta ameaças variadas. Uma das principais é o Envenenamento de Dados, que envolve a inserção de dados maliciosos nos conjuntos de treinamento, comprometendo assim a integridade das previsões do modelo. Esse tipo de ataque tem o potencial de causar falhas críticas, especialmente levando em conta a dependência de dados precisos para treinamento eficaz.

Outra preocupação é a Inversão de Modelo, uma técnica que visa extrair informações confidenciais dos dados de treinamento ou dos parâmetros do modelo através da engenharia reversa. A proteção de dados em ML não pode ser subestimada, e deve ser apoiada por métodos de segurança que dificultem tais extrações.

Técnicas de Evasão são usadas para criar entradas que alterem as previsões, resultando em decisões incorretas do modelo. A compreensão do comportamento dos dados e a implementação de verificações regulares ajudam a mitigar esses riscos.

Detecção de Anomalias em Tempo Real

Implementar sistemas de Monitoramento de Atividades é essencial para detectar e neutralizar ameaças assim que surgem. Esses sistemas devem empregar técnicas de detecção de anomalias para identificar comportamentos anômalos, agindo proativamente antes que os incidentes causem danos maiores.

Outra técnica inclui o uso de Técnicas de Aprendizado de Máquina para monitoramento constante. Isso envolve a implantação de modelos de detecção de intrusão que distingam entre tráfego legítimo e malicioso, permitindo uma resposta rápida às ameaças emergentes.

No contexto de plataformas como o Azure Machine Learning, a Verificação de Vulnerabilidades em Imagens de VM e Contêineres é um passo crítico para garantir a segurança. A atualização contínua desses sistemas previne a exploração de vulnerabilidades conhecidas.

Resposta a Incidentes e Recuperação

Ter um Plano de Resposta a Incidentes Específico para ML é vital. Este plano deve detalhar claramente os procedimentos para identificação, contenção, erradicação e recuperação de ameaças, garantindo que a organização possa reagir de maneira eficaz a quaisquer incidentes.

Os ambientes de computação devem considerar o Isolamento de Rede e Controle de Acesso para prevenir o acesso não autorizado. Tais medidas reduzem o risco de ataques ao limitar o impacto potencial que invasores podem ter.

Mantendo-se atualizados com as Últimas Atualizações de Segurança, os ambientes de ML permanecem menos vulneráveis a ataques. No Azure Machine Learning, isso pode incluir atualizações regulares nas imagens de VM.

Estratégias de Mitigação

A Segurança de Dados e Modelos é uma prioridade. Isso pode ser alcançado através de criptografia rigorosa e de controles de acesso apertados, assegurando que apenas usuários autorizados possam interagir com os dados e modelos.

Técnicas como a Ofuscação de Modelos são práticas eficazes para dificultar a engenharia reversa. Elas adicionam uma camada extra de segurança, especialmente importante para prevenir ataques de Inversão de Modelo.

Por fim, investir no Treinamento e Conscientização dos desenvolvedores sobre vulnerabilidades em ML é essencial. Ao garantir que as equipes entendam as ameaças potenciais, as organizações podem antecipar e mitigar riscos antes que eles evoluam para ameaças ativas.

Conheça Mais

• Gerenciamento de vulnerabilidades no Azure Machine Learning
• Vulnerabilidades em IA Open Source
• Vulnerabilidades em Sistemas de IA
• Inteligência Artificial e Vulnerabilidades
• Melhores práticas de segurança em projetos de IA generativa

#Vulnerabilidades #MachineLearning #Segurança #MLOps #Cibersegurança #JFrog #alegon #cryptoalch