Lazarus: quando uma atualização do modelo esconde um gatilho
Os pesos do modelo fazem parte da cadeia de suprimentos de um agente; procedência e permissões devem ser analisadas em conjunto.
Além de ASPM
AppSec orientada por provas para equipes que desenvolvem com IA
A Plexicus usa AI Swarm Pentest para explorar caminhos autorizados da aplicação, validar o que é explorável e dar às equipes evidências para priorizar a remediação.
Explorar AI Swarm PentestEm 10 de novembro, a Microsoft Research apresentou Lazarus, uma técnica de pesquisa que altera poucos neurônios para que um gatilho oculto leve um agente a emitir um comando escolhido pelo atacante. Os pesquisadores controlavam os pesos nos testes. É um resultado de laboratório: a Microsoft afirma que não observou o uso dessa técnica por agentes maliciosos.
O modelo e o agente têm limites diferentes
O modelo produz texto; a aplicação ao redor pode transformar esse texto em ação. Se o agente tratar uma resposta como comando, ela será executada com as permissões concedidas a ele e conforme suas regras de aprovação.
Em um modelo testado, os pesquisadores descrevem uma carga com sete neurônios e ativação de pelo menos 98,8% nas trajetórias de teste com gatilho. O número pertence àquele experimento e não a todos os modelos. O ataque exige capacidade de modificar um checkpoint; um prompt malicioso sozinho não equivale à alteração de pesos descrita.
Evidências e controles
| Limite | Evidência | Resposta |
|---|---|---|
| Procedência | Publicador, modelo base, hash e origem | Verificar hashes e restringir quem substitui o modelo. |
| Pesos | Comparação versionada com base confiável | Investigar anomalias; um resultado limpo não garante segurança. |
| Execução | Permissões, aprovações e registros | Limitar arquivos, shell e rede; aprovar ações relevantes. |
| Aplicação | Revisão, dependências e implantação | Revisar código e fluxos que conectam o modelo a ferramentas privilegiadas. |
O auditor experimental identificou 91,4% dos checkpoints alterados reservados para teste, com 9,7% de falsos positivos no cenário avaliado. Isso não é garantia de detecção em produção. As orientações da Microsoft também recomendam verificações independentes e privilégio mínimo.
Diagrama original da arquitetura do PyRIT, uma ferramenta de testes de segurança de IA; não mostra uma detecção de Lazarus. Source: Microsoft PyRIT, pinned revision. Copyright Microsoft Corporation; MIT License.
Onde a Plexicus se encaixa
A Plexicus descreve testes de aplicações baseados em evidências e fluxos de remediação para achados de aplicações. Eles podem apoiar a análise do código e dos fluxos ao redor de um agente. Isso não comprova que a Plexicus examine pesos de modelos ou detecte Lazarus. Procedência, revisão dos pesos e decisões de implantação precisam de responsáveis próprios.
