Benchmark especializado para testes e verificação de egressos de agentes de IA
agent-egress-bench, criado por LuckyPipewrench, é um benchmark de código aberto e um corpus de ataque para validar controles de saída em agentes autônomos. Ele executa um conjunto estruturado de testes para medir quão bem firewalls, proxies ou wrappers MCP bloqueiam exfiltração, injeção de prompt e ataques baseados em ferramentas. Os elementos-chave incluem um corpus de mais de 250 casos de teste, um executor neutro em relação a ferramentas e uma abordagem de pontuação automatizada. Os usuários-alvo são pesquisadores de segurança em IA, desenvolvedores de firewall e arquitetos de segurança empresarial em busca de garantia de saída baseada em evidências.
Quais tarefas você pode realmente usar para isso?
O benchmark define um trabalho claro: medir as proteções de saída para agentes autônomos. O projeto combina um grande corpus de ataque com um executor para exercitar adaptadores em várias categorias, e cobre explicitamente a evasão de DLP, injeção de prompt, SSRF, ofuscação de shell e vetores específicos de MCP, como envenenamento de ferramentas e injeção de esquema. Os usuários podem usar o benchmark para produzir execuções de ataque reproduzíveis e dados de desempenho que refletem como a política de saída de um agente responde a padrões adversariais reais.
Como ele relata precisão e onde estão os limites?
O projeto inclui uma metodologia de pontuação automatizada que relata tanto as taxas de bloqueio de ataque quanto as taxas de falsos positivos, fornecendo métricas quantificáveis para a tomada de decisões. O executor registra decisões durante cada caso, para que as equipes possam inspecionar quais entradas acionaram detecções. A precisão depende da qualidade de integração do adaptador testado; o próprio benchmark relata resultados, mas não altera a lógica interna de detecção de um produto, portanto, os resultados requerem interpretação pelas equipes de segurança.
Quais entradas, protocolos e ambientes ele requer?
O executor é escrito em Go e projetado para rodar no Linux, e o corpus exercita tráfego de MCP, HTTP e WebSocket. A compatibilidade é alcançada por meio de perfis de capacidade ou adaptadores, portanto, qualquer ferramenta de segurança que apresente uma interface de adaptador pode ser testada. A base de código e os dados são licenciados sob Apache-2.0, o que permite inspeção e implantação local dentro do ambiente de teste de uma organização.
É prático para fluxos de trabalho de segurança típicos?
O benchmark é direcionado a equipes tecnicamente proficientes: pesquisadores de segurança em IA, desenvolvedores de firewalls e proxies de IA, e arquitetos empresariais, correspondendo ao público-alvo declarado. Seu design neutro em relação a ferramentas e modelo de adaptador permite que as equipes de segurança avaliem vários produtos sem dependência de fornecedores. Os limites práticos incluem um foco estritamente no comportamento do agente de saída, em vez de varredura de vulnerabilidades de pilha completa, e uma expectativa de que as equipes integrem o executor em fluxos de trabalho existentes de CI ou auditoria.
Ferramenta prática e focada em evidências para equipes de segurança especializadas
O benchmark é uma opção pragmática para equipes que precisam de testes de saída verificáveis e estão preparadas para incorporar um executor de linha de comando nos fluxos de trabalho de auditoria. Sua orientação para evidências apoia a garantia de segurança disciplinada, enquanto organizações que buscam um scanner de rede com interface gráfica em primeiro lugar ou de uso geral devem esperar um esforço de integração mais acentuado. Para grupos focados em riscos de saída de agentes autônomos, ele aumenta de forma confiável o rigor dos testes operacionais.
