Table of Contents
Google Vertex AI: 7 Vulnerabilidades Críticas de Segurança
O Google corrigiu duas falhas no Vertex AI, sua plataforma para desenvolvimento e implementação personalizada de modelos de linguagem de grande escala (LLMs), que poderiam ter permitido a atacantes exfiltrarem modelos empresariais confidenciais do sistema. A falha destaca o perigo que a manipulação maliciosa da tecnologia de inteligência artificial (IA) representa para os usuários.
Pesquisadores da Palo Alto Networks, no Unit 42, descobriram as falhas na plataforma Vertex AI do Google, que permite que usuários empresariais treinem e implementem modelos de ML. A plataforma visa o desenvolvimento personalizado de LLMs para aplicações de IA.
Os pesquisadores identificaram uma falha no recurso “trabalhos personalizados”, permitindo escalonamento de privilégios, e outra no recurso “modelo malicioso”, que pode resultar em exfiltração de modelos, conforme revelado por Unit 42. Isso permitia acesso não autorizado a serviços de dados e implantação de modelos comprometidos.
O Unit 42 compartilhou suas descobertas com o Google, que corrigiu os problemas no Vertex AI na Google Cloud Platform. Apesar da mitigação das ameaças, as vulnerabilidades demonstram o risco dos LLMs expostos ou manipulados com intenções maliciosas.
A pesquisa destacou como implantar um modelo malicioso pode comprometer um ambiente de IA. Um atacante poderia usar um modelo não verificado para exfiltrar dados, levando a sérios ataques.
Contaminação do Desenvolvimento Personalizado de LLMs
A chave para explorar as falhas reside no recurso Pipelines do Vertex AI. Ele permite ajustes em modelos usando trabalhos personalizados, que podem modificar modelos de várias maneiras. No entanto, essa flexibilidade abre espaço para explorações.
No caso das vulnerabilidades, os pesquisadores abusaram das permissões do que chamam de “agente de serviço” de um “projeto inquilino”. A partir dessa posição, comandos foram injetados para acessar ambientes de desenvolvimento de modelo personalizado. Isso levou à exfiltração de modelos de IA.
Os riscos envolvem a possibilidade de infecção modelo-a-modelo. Um modelo malicioso carregado em um repositório público poderia comprometer ativos sensíveis.
Mitigando o Risco de Cibersegurança em IA
As empresas estão começando a acessar ferramentas para construir sistemas de IA baseados em LLMs personalizados. Os riscos de segurança e as soluções ainda estão sendo explorados.
A chave é limitar permissões para garantir que apenas usuários autorizados acessem modelos personalizados. Implementar controles rigorosos nas implantações de modelos é fundamental. Separar ambientes de desenvolvimento de produção reduz riscos de acesso a modelos inseguros antes de validação.
Arquiteturas Seguras para Modelos de IA

Com a crescente adoção de modelos de linguagem de grande escala (LLMs), como os utilizados no Google Vertex AI, as vulnerabilidades de segurança têm se tornado uma preocupação crucial para empresas e desenvolvedores. As recentes descobertas de escalonamento de privilégios e exfiltração de dados destacam a necessidade urgente de implementar arquiteturas seguras para proteger esses ambientes.
Entendendo os Riscos
O Google Vertex AI é uma plataforma poderosa que permite a criação de LLMs personalizados. No entanto, essa flexibilidade pode ser uma espada de dois gumes. Pesquisadores da Palo Alto Networks, Unit 42, identificaram que trabalhos personalizados no Vertex AI podem ser explorados para obter acesso não autorizado, através de uma vulnerabilidade conhecida como escalonamento de privilégios.
Essa vulnerabilidade é especialmente perigosa porque concede aos atacantes a habilidade de acessar serviços de dados dentro do Google Cloud Platform. Isso é feito criando um job personalizado que pode executar uma imagem mal-intencionada, causando um backdoor no sistema.
Além disso, há o risco de implantação de modelos maliciosos, que podem exfiltrar dados sensíveis, impactando não apenas a empresa, mas também seus clientes e parceiros.
Responsabilidade Compartilhada
Uma segurança eficaz no Google Vertex AI requer uma abordagem de responsabilidade compartilhada. Enquanto o Google mantém a infraestrutura e conformidade regulatória, os clientes devem gerenciar adequadamente os controles de acesso aos modelos e os serviços de IA.
Os clientes precisam garantir que apenas usuários autorizados possam acessar e modificar modelos, aplicando as versões mais recentes de VMs e contêineres, além de configurar corretamente os serviços.
Assim, ambas as partes devem trabalhar em conjunto para mitigar os riscos de cibersegurança em IA e evitar incidentes de segurança potencialmente devastadores.
Limitação de Permissões e Controles Rigorosos
A segurança de modelos de linguagem de grande escala pode ser melhorada significativamente através da limitação de permissões. É essencial atribuir apenas as permissões mínimas necessárias para cada tarefa dentro do Vertex AI, prevenindo potenciais escalonamentos de privilégios.
Além disso, controles rigorosos devem ser implementados sobre a implantação de modelos. Verificar a origem dos modelos e garantir que modelos não verificados de repositórios públicos não sejam utilizados pode reduzir significativamente os riscos de segurança.
Usar ferramentas para monitorar e detectar atividades suspeitas relacionadas a modelos maliciosos é outra prática crucial nesse contexto.
Separação de Ambientes e Atualizações Consistentes
Para minimizar riscos, é recomendável separar os ambientes de desenvolvimento de teste e produção. Isso limita o impacto de um ataque em um ambiente específico, prevenindo que ele se propague por todo o sistema.
A manutenção contínua, incluindo a aplicação de atualizações e patches de segurança, é vital para garantir que todas as vulnerabilidades conhecidas sejam mitigadas. O Google frequentemente atualiza imagens de VM e contêineres, o que requer que os clientes se mantenham atualizados.
Além disso, o uso de VPCs e firewalls para isolar recursos críticos é uma estratégia eficaz para minimizar a superfície de ataque.
Monitoramento e Resposta a Incidentes
As organizações devem investir em mecanismos de monitoramento de segurança e desenvolver planos sólidos de resposta a incidentes para identificar rapidamente e neutralizar ameaças.
Ferramentas de segurança podem ajudar a rastrear atividades suspeitas, enquanto planos de resposta bem definidos garantem que um ataque não cause danos irreparáveis.
Com essas medidas, é possível criar arquiteturas de IA resistentes que protegem contra novas vulnerabilidades e ameaças emergentes em plataformas de IA como o Google Vertex AI.

Auditoria e Monitoramento Contínuo em Sistemas de IA
No contexto de tecnologias avançadas como o Google Vertex AI, a segurança é uma exigência crucial. Considerando as recentes vulnerabilidades de segurança observadas, a auditoria de permissões e o monitoramento contínuo são fundamentais para garantir um ambiente seguro para modelos de linguagem de grande escala. As abordagens mencionadas, além de vitais para evitar exfiltração de dados, também auxiliam na mitigação de impactos de ataques.
Gerenciamento de Controles de Acesso
O gerenciamento eficaz de controles de acesso é uma prática essencial para mitigar os riscos de escalonamento de privilégios. Ao auditar rigorosamente as permissões associadas a serviços como o Vertex AI, as empresas podem identificar e corrigir potenciais vulnerabilidades. Aplicar uma gestão de autorizações rigorosa é indispensável não apenas para proteger dados, mas também para salvaguardar a integridade dos LLMs.
Adotar uma auditoria regular de permissões auxilia na detecção precoce de abusos de privilégios, garantindo que modelos maliciosos não comprometam o ambiente. Essas práticas são essenciais para evitar a infecção modelo-a-modelo, que pode ocorrer quando um modelo comprometido acessa ou afeta outros ativos sensíveis.
Monitoramento de Incidentes de Segurança em Tempo Real
Um dos principais pilares de cibersegurança no Google Cloud Platform é o monitoramento contínuo. Essa prática não só detecta ameaças em tempo real mas também facilita a resposta rápida a incidentes. O Vertex AI oferece ferramentas aprimoradas para avaliar atividades dentro de ambientes de IA, permitindo às organizações monitorar o acesso a recursos e identificar comportamentos suspeitos.
Além disso, manter registros de auditoria detalhados garante que as empresas possam rastrear ações críticas, como alterações de permissão, auxiliando na análise de atividades suspeitas. Esse nível de detalhe é crucial para reagir rapidamente a qualquer tentativa de exfiltração de modelos ou outros ataques semelhantes.
Separação de Ambientes: Desenvolvimento, Teste e Produção
Um aspecto crítico da segurança em modelos de linguagem de grande escala é a separação clara entre ambientes de desenvolvimento, teste e produção. Diferenciar estes ambientes é uma prática recomendada para prevenir que modelos não validados sejam lançados em produção, onde poderiam introduzir ameaças significativas.
Estabelecer ambientes isolados diminui a possibilidade de que hackers influenciem negativamente o rollout de modelos. Isso é particularmente relevante para a implantação de modelos maliciosos, que podem ser inadvertidamente introduzidos através de processos inadequadamente monitorados e validados.
Práticas de Segurança em Pipelines de MLOps
Implementar práticas de segurança em pipelines é uma estratégia indispensável para quem utiliza o Vertex AI da Google Cloud. O Vertex AI Pipelines, em especial, oferece uma oportunidade única para automatizar e monitorar fluxos de trabalho, desde que combinado com controles de segurança rigorosos. Controlar as permissões e monitorar atividades dentro dos pipelines é essencial para garantir a segurança.
Ao reduzir o risco de ataques de exfiltração de modelo, tais controles contribuem significativamente para a mitigação de riscos de cibersegurança. Especificamente, isso impede que entidades não autorizadas interfiram nos processos operacionais, protegendo tanto dados quanto a integridade dos modelos de IA implementados.
Validação de Modelos Antes da Implantação
Antes de qualquer LLM ser implantado em produção, é crucial garantir sua validação rigorosa. Esse processo, que deve ser extensivo para modelos provenientes de fornecedores internos e externos, garante que os modelos estão livres de código malicioso e salvaguarda contra a manipulação maliciosa.
A validação em ambientes controlados garante que as vulnerabilidades sejam identificadas antes da implantação pública, prevenindo possíveis riscos de exfiltração de dados. Isso assegura que as organizações mantenham sua postura de segurança em IA intacta, enquanto aderem às melhores práticas em segurança tecnológica.
Conheça Mais
- Google Vertex AI – Responsabilidade Compartilhada
- Vulnerabilidades na Vertex AI
- Escalonamento de Privilégios no Vertex AI
- Pesquisadores Alertam sobre Escalonamento de Privilégios
- Vulnerabilidades Críticas na Vertex AI do Google
#GoogleVertexAI #Cibersegurança #ModelosDeLinguagem #SegurançaEmIA #exfiltraçãoDeDados #escalonamentoDePrivilégios #PaloAltoNetworks #Unit42 #alegon #cryptoalch







