A maioria das equipes ainda faz red teaming apenas de prompts e ignora as ferramentas por trás do agente. Isso está ao contrário. Os agentes internos têm maior probabilidade de falhar por causa de instruções envenenadas, saídas enganosas de ferramentas e credenciais com privilégios excessivos. Você deve testar esses caminhos antes que essas falhas apareçam em produção.
A demonstração mais bonita do agente geralmente esconde as suposições mais feias. Quais ferramentas podem gravar dados. Quais ferramentas podem alcançar segredos. Quais ferramentas podem desencadear efeitos colaterais fora da sandbox. Esse mapa é mais importante do que outra lista de prompts de jailbreak.
Se o modelo puder chamar uma ferramenta na qual outro sistema já confia, você terá um problema de confiança transitiva. A equipe vermelha deve seguir a cadeia de confiança, não apenas a interface de chat.
Uma ferramenta envenenada não precisa de acesso ao shell para ser perigosa. Ela pode retornar resumos enganosos, ocultar avisos em resultados detalhados ou definir ações arriscadas como manutenção inofensiva. O modelo lê isso como contexto e então executa a ação errada com confiança.
Teste se o agente percebe contradições, pede confirmação em etapas destrutivas e degrada com segurança quando a saída da ferramenta é suspeita, malformada ou inesperadamente persuasiva.
Não ataque apenas com strings maliciosas óbvias. Use tickets realistas, documentação desatualizada, runbooks incorretos e respostas de ferramentas sutilmente perigosas. É mais provável que os agentes internos sejam enganados por informações ruins que parecem rotineiras do que por instruções maliciosas caricatas.
Um bom conjunto cobre caminhos silenciosos de exfiltração de dados, tentativas de desvio de aprovação, contaminação de memória e confusão de funções entre instruções humanas e instruções fornecidas por ferramentas.
Você não está tentando provar que o modelo é destemido. Você quer evidências de que ele desacelera, pergunta, contém danos e se recusa a encadear uma autoridade que nunca deveria ter.
O melhor agente interno não é aquele que age sempre. É aquele que sabe quando parar de agir.
Submeta os agentes internos a testes de pressão antes que eles sejam criativos na produção.
KENSAI ajuda as equipes a auditar fluxos de trabalho de agentes, cadeias de ferramentas perigosas e limites de confiança ocultos antes que a conveniência se transforme em exposição.
Comece sua verificação gratuita →