Comentário

Com a adoção de inteligência artificial (IA) e aprendizado de máquina (AM) evoluindo em um ritmo acelerado, a segurança muitas vezes se torna uma consideração secundária, especialmente no contexto de vulnerabilidades de *zero-day*. Essas vulnerabilidades, que são falhas de segurança desconhecidas exploradas antes que os desenvolvedores tenham a oportunidade de remediá-las, apresentam riscos significativos em ambientes tradicionais de software.

No entanto, à medida que as tecnologias de IA/AM se integram cada vez mais nas operações empresariais, surge uma nova questão: como uma vulnerabilidade *zero-day* se manifesta em um sistema de IA/AM, e como isso difere dos contextos tradicionais?

Entendendo Vulnerabilidades de Zero-Day em IA

O conceito de um “zero-day IA” ainda é nascent, com a indústria de cibersegurança carecendo de um consenso sobre uma definição precisa. Tradicionalmente, uma vulnerabilidade *zero-day* refere-se a uma falha que é explorada antes de ser conhecida pelo fabricante do software. No reino da IA, essas vulnerabilidades muitas vezes se assemelham àquelas em aplicativos Web padrão ou APIs, uma vez que essas são as interfaces por meio das quais a maioria dos sistemas de IA interagem com usuários e dados.

No entanto, os sistemas de IA adicionam uma camada adicional de complexidade e risco potencial. Vulnerabilidades específicas de IA podem incluir problemas como a *injeção de prompts*. Por exemplo, se um sistema de IA resume um e-mail, um atacante pode inserir um prompt em um e-mail antes de enviá-lo, levando a IA a retornar respostas potencialmente prejudiciais. O vazamento de dados de treinamento é outro exemplo de uma ameaça de *zero-day* única em sistemas de IA. Usando entradas elaboradas para o modelo, os atacantes podem ser capazes de extrair amostras dos dados de treinamento, que podem incluir informações sensíveis ou propriedade intelectual. Esses tipos de ataques exploram a natureza única dos sistemas de IA que aprendem e respondem a entradas geradas pelo usuário de maneiras que os sistemas de software tradicionais não fazem.

A Situação Atual da Segurança em IA

O desenvolvimento de IA frequentemente prioriza velocidade e inovação em detrimento da segurança, levando a um ecossistema onde aplicações de IA e suas infraestruturas subjacentes são construídas sem robustas medidas de segurança desde o início. Isso é agravado pelo fato de que muitos engenheiros de IA não são especialistas em segurança. Como resultado, as ferramentas de IA/AM muitas vezes carecem das rigorosas medidas de segurança que são padrão em outras áreas do desenvolvimento de software.

De acordo com pesquisas conduzidas pela comunidade de *bug bounty* da Huntr AI/ML, é aparente que as vulnerabilidades nas ferramentas de IA/AM são surpreendentemente comuns e podem diferir das encontradas em ambientes Web mais tradicionais, construídos com as melhores práticas de segurança atuais.

Desafios e Recomendações para Equipes de Segurança

Enquanto os desafios únicos dos *zero-days* de IA estão emergindo, a abordagem fundamental para gerenciar esses riscos deve seguir as melhores práticas tradicionais de segurança, mas adaptadas ao contexto da IA. Aqui estão várias recomendações chave para equipes de segurança:

• Adotar MLSecOps: Integrar práticas de segurança ao longo do ciclo de vida de ML (MLSecOps) pode reduzir significativamente as vulnerabilidades. Isso inclui práticas como manter um inventário de todas as bibliotecas e modelos de aprendizado de máquina em uma lista de materiais de aprendizado de máquina (MLBOM) e a varredura contínua de modelos e ambientes em busca de vulnerabilidades.
• Realizar auditorias de segurança proativas: Auditorias de segurança regulares e o uso de ferramentas de segurança automatizadas para escanear ferramentas e infraestrutura de IA podem ajudar a identificar e mitigar potenciais vulnerabilidades antes que sejam exploradas.

Perspectivas Futuras

À medida que a IA continua a avançar, também o fará a complexidade associada a ameaças de segurança e a engenhosidade dos atacantes. As equipes de segurança devem adaptar-se a essas mudanças, incorporando considerações específicas de IA em suas estratégias de cibersegurança. A conversa sobre *zero-days* de IA está apenas começando, e a comunidade de segurança deve continuar a desenvolver e refinar as melhores práticas em resposta a essas ameaças em evolução.

#SegurançaDaInformação, #InteligênciaArtificial, #ZeroDay, #Cibersegurança, #AprendizadoDeMáquina

Fonte:https://www.darkreading.com/vulnerabilities-threats/4-ways-address-zero-days-ai-ml-security