MosaicLeaks: agentes de pesquisa vazam dados em consultas externas

O que aconteceu

Pesquisadores da ServiceNow publicaram no blog da Hugging Face o MosaicLeaks, um benchmark que avalia se agentes de deep research vazam informações privadas ao combinar documentos internos com ferramentas externas, como busca na web. O problema central é o efeito mosaico: cada consulta individual parece inofensiva, mas o conjunto delas permite que um observador externo remonte fatos confidenciais.

Nos testes, os agentes vazaram informações privadas com frequência — e treiná-los apenas para melhorar o desempenho na tarefa piorou o quadro. A solução proposta, chamada Privacy-Aware Deep Research (PA-DR), usa aprendizado por reforço sensível ao vazamento e elevou a taxa de sucesso estrito de cadeia, a parcela de cadeias em que todos os saltos são respondidos corretamente, de 48,7% para 58,7%. No mesmo movimento, reduziu o vazamento do tipo answer/full-information de 34,0% para 9,9% (Hugging Face Blog).

Contexto

Agentes de deep research combinam documentos privados locais com ferramentas externas, como recuperação na web. Para responder perguntas de múltiplos saltos (multi-hop), que intercalam informações públicas e privadas, o agente dispara várias consultas externas. Um adversário que nunca vê os documentos privados nem o raciocínio do agente, apenas o registro acumulado das consultas (query log), pode inferir informações confidenciais.

O MosaicLeaks mede o vazamento em três níveis: vazamento de intenção, quando o observador descobre o que o agente está investigando; vazamento de resposta, quando o log contém elementos suficientes para responder a uma pergunta privada já conhecida; e vazamento de informação completa, o caso mais severo, em que o observador descobre e afirma fatos privados verificáveis sem saber o que procurar.

O exemplo citado no estudo é de uma empresa de saúde: um agente faz buscas de aparência comum sobre um marco de migração para a nuvem, uma divulgação de segurança de janeiro de 2024 e um fornecedor específico. Juntas, as consultas permitem deduzir que a MediConn migrou 70% da sua infraestrutura para a nuvem até janeiro de 2025 — um dado que existia apenas em documentos privados.

Por que importa

O risco atinge empresas que adotam agentes de pesquisa para trabalhar com dados sensíveis. Consultas externas geradas durante a operação normal podem virar um canal de vazamento sem que a equipe perceba: cada busca é legítima, mas a soma delas expõe segredos comerciais, planos de migração ou vulnerabilidades. Para o contexto brasileiro, a lição é direta: a adoção de agentes de IA para análise de documentos internos precisa incluir governança sobre o tráfego externo gerado por essas ferramentas.

Impacto

No curto prazo, o benchmark oferece uma métrica objetiva para medir vazamento em agentes, algo que até agora era tratado de forma subjetiva. No médio prazo, métodos como o PA-DR podem se tornar parte do treinamento padrão de agentes de deep research, principalmente em setores regulados, como saúde e finanças. O estudo também mostra que otimizar apenas a precisão da tarefa é insuficiente — e pode ser contraproducente do ponto de vista de privacidade.

O que vem agora

Ainda não há solução definitiva para o problema: o PA-DR reduz o vazamento, mas não o elimina. O próximo passo esperado é a ampliação dos testes para outros modelos e cenários, além da incorporação de proteções de privacidade em pipelines de treinamento de agentes. Para empresas que já usam esse tipo de ferramenta, a recomendação implícita é auditar os logs de consultas externas como parte da rotina de segurança.

Fontes

• Hugging Face Blog: MosaicLeaks: Can your research agent keep a secret? (https://huggingface.co/blog/ServiceNow/mosaicleaks)