A discussão sobre agentes de pesquisa costuma girar em torno de autonomia, qualidade de resposta e capacidade de sintetizar fontes. O benchmark MosaicLeaks muda o foco para uma pergunta mais incômoda: o que acontece quando esse agente precisa cruzar documentos privados da empresa com buscas abertas na web para concluir uma tarefa?
A resposta curta é simples. Ele pode vazar mais do que parece, mesmo sem copiar um segredo literalmente para fora.
Esse é o ponto central do trabalho publicado pela ServiceNow AI Research e descrito no artigo “MosaicLeaks: Privacy Risks in Querying-in-the-Open for Deep Research Agents”. O benchmark modela um cenário muito próximo do uso corporativo real: o agente lê contexto interno, consulta a web em múltiplos passos e, ao fazer isso, deixa um rastro externo de queries. Esse rastro, sozinho, já pode ser suficiente para um observador reconstruir informações privadas.
O que é o efeito mosaico
O nome MosaicLeaks não é só branding. Ele vem do chamado efeito mosaico: peças pequenas e aparentemente inofensivas que, quando combinadas, revelam uma imagem maior.
No contexto de agentes, o problema não é apenas uma busca explicitamente sensível, como “receita confidencial da empresa X”. O risco real aparece quando várias consultas banais, feitas em sequência, expõem fragmentos suficientes para inferir um fato interno. Uma query sobre cronograma de migração para nuvem, outra sobre um incidente de segurança em janeiro de 2024, mais uma sobre um fornecedor específico. Separadas, parecem inocentes. Juntas, podem entregar uma conclusão que só existia nos documentos privados do agente.
Esse detalhe é importante porque desmonta uma defesa comum: “mas o agente não enviou o documento para fora”. Em muitos casos, não precisa enviar. Basta consultar o mundo externo de um jeito que reflita demais o que ele aprendeu por dentro.
Como o benchmark mede vazamento
O MosaicLeaks trata o log de consultas externas como canal de vazamento. O adversário do benchmark não vê os documentos privados nem a cadeia interna de raciocínio. Ele só observa as queries emitidas pelo agente e tenta inferir o que estava escondido.
Os autores organizam esse risco em três níveis.
O primeiro é o intent leakage. Aqui, o observador consegue deduzir qual era o objetivo da investigação, ou seja, o que o agente estava tentando descobrir.
O segundo é o answer leakage. Nesse caso, alguém que já faz uma pergunta privada específica consegue respondê-la usando apenas o histórico de queries, sem acesso aos documentos internos.
O terceiro é o full-information leakage, o cenário mais forte. O observador consegue formular afirmações privadas verdadeiras sobre a empresa apenas a partir do log externo, mesmo sem receber a pergunta original.
Essa gradação ajuda bastante porque aproxima a análise da realidade. Em operação, o problema não é só exfiltração direta. Também importa se o sistema revela intenção estratégica, viabiliza resposta a perguntas sensíveis ou deixa pistas suficientes para reconstituir fatos internos.
O que o estudo montou de fato
Segundo o paper, o MosaicLeaks introduz um benchmark com 1.001 tarefas multi-hop de deep research, encadeando documentos privados de empresa com um corpus público da web. Ao todo, esse conjunto soma 3.403 hops, ou etapas intermediárias de busca e resposta.
Esse desenho importa porque evita um teste artificial demais. O benchmark não mede apenas se o modelo sabe responder uma pergunta isolada. Ele mede o comportamento de um agente durante uma investigação em cadeia, onde cada passo pode depender de contexto local e cada busca externa pode carregar um pedaço daquilo que deveria permanecer interno.
Em outras palavras: o risco aparece justamente onde muita empresa quer usar esses sistemas com mais intensidade, que é em pesquisa assistida, due diligence, análise competitiva, investigação de incidentes, compliance e apoio a times de produto ou segurança.
O achado mais desconfortável: treinar só para performance piora a segurança
Talvez o ponto mais valioso do trabalho seja este: melhorar o agente apenas para acertar mais a tarefa pode piorar o vazamento.
Isso contraria uma suposição comum no mercado. Muita gente parte da ideia de que um agente “melhor”, mais capaz e mais eficiente naturalmente será também mais seguro. O MosaicLeaks sugere o contrário em certos cenários. Se o sistema é recompensado apenas por chegar à resposta correta, ele aprende a usar qualquer pista útil disponível, inclusive formulando buscas que refletem demais o conteúdo privado que carregou do contexto local.
Em termos práticos, o agente otimizado só para performance tende a ficar mais agressivo na instrumentalização do segredo. Ele usa o dado interno como atalho para encontrar a resposta externa com mais rapidez. Isso ajuda no benchmark de tarefa, mas piora o benchmark de privacidade.
Para devs e equipes de produto, a lição aqui é direta: segurança não emerge automaticamente como subproduto de acurácia. Se o treinamento e a avaliação não tratam vazamento como objetivo explícito, o sistema pode ficar mais útil e, ao mesmo tempo, mais perigoso.
O que o PA-DR muda
Para atacar esse problema, os autores propõem o método PA-DR, sigla para Privacy-Aware Deep Research.
A ideia não é apenas adicionar uma instrução do tipo “não vaze informações”. O trabalho argumenta que isso é insuficiente. Em vez disso, o PA-DR usa um esquema de reinforcement learning que combina duas coisas: recompensa por sucesso na tarefa e um classificador de privacidade que penaliza sinais de vazamento.
O detalhe mais interessante é que o método tenta oferecer crédito mais denso ao treinamento. Em vez de punir ou premiar só no final da cadeia, ele distribui feedback tanto no nível de consultas individuais quanto no nível do mosaico completo. Isso ajuda o agente a aprender não apenas “se deu certo”, mas quais tipos de busca começaram a contaminar o canal externo.
Segundo os números reportados pelos autores, o PA-DR elevou o strict chain success de 48,7% para 58,7%. Essa métrica mede a proporção de cadeias em que todos os hops foram respondidos corretamente. Ao mesmo tempo, reduziu o vazamento de answer/full-information leakage de 34,0% para 9,9%.
Esse equilíbrio é o ponto realmente relevante. O método não está propondo privacidade como trava bruta que sacrifica utilidade. Ele tenta mostrar que é possível melhorar desempenho e reduzir exposição ao mesmo tempo, desde que o objetivo de treino reconheça explicitamente a fronteira de privacidade.
O material também afirma ganho de 5 a 6 vezes em eficiência amostral em comparação com RL guiado apenas pelo resultado final da tarefa. Se esse comportamento se sustentar fora do benchmark, isso importa porque segurança alinhada via treinamento deixa de parecer só uma camada cara e passa a ser uma forma mais eficiente de otimização.
O que isso significa para times de segurança e empresas
Para times de segurança, MosaicLeaks oferece uma linguagem melhor para discutir risco em agentes de pesquisa. O problema não cabe bem em categorias antigas como DLP tradicional ou prompt injection isolado. Aqui, o canal perigoso é a soma das buscas externas feitas por um sistema que já viu material interno.
Para produto, a implicação é igualmente prática. Não basta vender “deep research com seus arquivos”. É preciso desenhar limites para o que pode sair como query, quais ferramentas externas o agente pode usar, quais logs serão auditados e como o sistema será avaliado antes de tocar contexto sensível.
Para engenharia, isso aponta para algumas medidas objetivas.
A primeira é tratar query logs como superfície de risco, não só como telemetria.
A segunda é separar tarefas que realmente exigem web aberta daquelas que podem ser resolvidas em corpus interno controlado.
A terceira é aplicar políticas e filtros na fronteira de ferramentas, principalmente quando o agente usa busca externa, browser ou conectores de terceiros.
A quarta é avaliar agentes com métricas de vazamento, e não apenas com taxa de acerto, completude da resposta ou preferência de usuário.
O valor do benchmark está menos na manchete e mais na mudança de critério
O mérito de MosaicLeaks não é provar que agentes são “inseguros por natureza”. É mostrar que os critérios mais populares de avaliação ainda estão incompletos para ambientes corporativos.
Se um agente responde bem, mas transforma contexto privado em pistas públicas durante a busca, ele não está pronto para operar em fluxos internos mais sensíveis. E isso vale especialmente para empresas que querem colocar agentes em tarefas de pesquisa estratégica, segurança, jurídico, procurement ou inteligência competitiva.
No fim, o benchmark coloca um freio útil no entusiasmo da categoria. A questão não é só se o agente encontra a resposta. A questão é o que ele precisou revelar ao mundo para chegar lá.
Se o mercado sério de agentes corporativos amadurecer, provavelmente será menos por “mais autonomia” e mais por disciplina em três camadas: avaliação, política de ferramentas e treinamento orientado à privacidade. O PA-DR é interessante exatamente porque avança nessa terceira frente sem fingir que prompt bonito resolve tudo.
