O ITBench-AA é um daqueles benchmarks que valem mais pelo que desmentem do que pelo placar em si. Em vez de medir respostas bonitas, ele mede se um agente consegue diagnosticar incidentes de infraestrutura com logs, traces, eventos e topologia de aplicação na mesa. E o resultado, por enquanto, é bem menos glamouroso do que o discurso de mercado sugere.

Durante os últimos meses, o mercado de IA se acostumou a falar de agentes como se a automação ampla de trabalho já estivesse praticamente resolvida. Na prática, porém, ainda existe uma diferença enorme entre ir bem em demos, copilotos e benchmarks mais “limpos” e operar com confiança em ambientes corporativos de verdade.

O ITBench-AA ajuda a colocar essa diferença em números.

Lançado pela Artificial Analysis em parceria com a IBM, com base no benchmark ITBench, ele avalia modelos em tarefas agentic de TI empresarial, começando por SRE. O foco aqui não é responder perguntas teóricas sobre infraestrutura. O agente recebe snapshots de incidentes em Kubernetes, com acesso a alertas, eventos, traces, métricas, logs e topologia da aplicação, e precisa identificar com precisão quais entidades são a causa raiz do problema.

E é justamente por isso que ele chama atenção.

o dado que mais importa não é quem ficou em primeiro

O melhor resultado no ITBench-AA SRE ficou com o Claude Opus 4.7, com 46,7%. Logo atrás aparecem GPT-5.5, com 45,8%, e Qwen3.7 Max, com 42,5%. Em qualquer benchmark genérico, esses números talvez fossem lidos como competitivos.

Todos os modelos frontier ficaram abaixo de 50%.

Isso faz do ITBench-AA um dos benchmarks agentic menos saturados da Artificial Analysis hoje. E esse detalhe importa mais do que a disputa pelo topo do ranking, porque mostra que o gargalo atual dos agentes não está em escrever bem ou parecer convincentes. Está em acertar, com consistência, diagnósticos operacionais em sistemas complexos.

Em TI empresarial, parecer plausível não basta.

Ou o agente identifica corretamente a causa raiz, ou ele joga o time para a direção errada.

por que esse benchmark é mais duro do que parece

Parte da dificuldade vem do próprio desenho da avaliação. O headline score do ITBench-AA usa uma métrica bem rígida: average precision at full recall. Na prática, o modelo só pontua se encontrar todos os elementos necessários da causa raiz sem deixar faltas para trás. Se houver falso negativo, a pontuação daquela tarefa vai para zero.

Pode soar severo, mas é uma severidade bastante coerente com o mundo real.

Quando uma empresa está lidando com incidente, indisponibilidade, degradação de serviço ou falha em rollout, meia resposta não resolve. Um agente que encontra um sintoma secundário, mas deixa passar a causa principal, não economiza trabalho. Ele aumenta o custo do incidente.

Além disso, o benchmark não mede uma única habilidade isolada. Ele combina leitura de artefatos heterogêneos, navegação por contexto técnico, raciocínio causal e disciplina operacional. O agente precisa cruzar sinais de observabilidade, descartar pistas enganosas e devolver uma saída estruturada em JSON com as entidades exatas responsáveis pelo problema.

Esse tipo de tarefa é mais próximo do trabalho de um engenheiro de produção ou de um time de plataforma do que de um chatbot bem treinado.

por que modelos tão fortes ainda ficam abaixo de 50%

O ITBench-AA sugere algumas respostas importantes.

A primeira é que operações de TI exigem raciocínio multietapas com alto custo de erro. Em incidentes reais, existem sintomas simultâneos, efeitos em cascata e artefatos que apontam para lugares diferentes. Nem sempre o sinal mais visível é a origem do problema.

A segunda é que mais passos não significam mais acerto. A própria Artificial Analysis destaca que a contagem de turnos varia quase 3 vezes entre modelos e que trajetórias mais longas não se convertem, automaticamente, em melhor desempenho. O GPT-5.5, por exemplo, ficou em 45,8% com média de 31 turnos por tarefa. Já o Gemini 3.1 Pro Preview usou em média 83 turnos e marcou 30%.

Ou seja: investigar mais não garante investigar melhor.

Em vários casos, os modelos parecem sobreanalisar o cenário e passam a confundir mecanismo de injeção de falha, sintomas colaterais ou dependências upstream com a causa raiz independente que realmente deveria ser apontada. Esse é um erro muito humano, aliás, mas em agentes ele aparece com uma confiança perigosa.

A terceira razão é estrutural. Ambientes corporativos são cheios de ambiguidade operacional. Um incidente pode envolver aplicação, rede, política de cluster, namespace, rollout, recurso esgotado e comportamento emergente ao mesmo tempo. Encontrar a menor combinação de entidades que explica o incidente exige precisão, não só fluência.

E é justamente essa precisão que ainda não está madura.

o que o ITBench original já vinha mostrando

O ITBench da IBM, publicado em artigo no arXiv, já trazia um sinal parecido antes mesmo da versão AA. No framework original, os agentes baseados em modelos de ponta resolveram apenas 13,8% dos cenários de SRE, 25,2% dos cenários de CISO e 0% em FinOps, em um conjunto inicial de 94 cenários reais.

Esses números não devem ser comparados diretamente ao placar do ITBench-AA, porque metodologia e escopo mudam. Mas contam a mesma história de fundo: quando a tarefa sai do chat e entra em automação operacional real, o desempenho cai de forma brusca.

Isso é especialmente relevante porque o plano dos criadores do benchmark é expandir a série para além de SRE, cobrindo também FinOps e CISO. Se os melhores modelos já sofrem para diagnosticar incidentes em Kubernetes, a tendência é que a discussão sobre automação confiável em segurança e gestão de custos fique ainda mais exigente.

por que isso importa para empresas agora

A leitura corporativa mais útil do ITBench-AA não é “agentes falharam”. É mais específica que isso.

O benchmark mostra que empresas ainda estão cedo demais para tratar agentes como operadores autônomos de IT ops sem supervisão forte.

Isso muda muita coisa na prática. Muda expectativa de ROI. Muda desenho de governança. Muda política de acesso. Muda o tipo de tarefa que vale automatizar primeiro.

Se o melhor modelo do mercado ainda fica abaixo de 50% em um benchmark voltado a diagnóstico de incidentes, o uso responsável hoje tende a estar mais em copiloto operacional, pré-triagem, organização de evidências e sugestão de hipóteses do que em resolução autônoma de incidentes críticos.

Em outras palavras, o valor existe, mas o nível de autonomia ainda não acompanha o hype.

Também existe um ponto econômico aqui. Em ambiente empresarial, erro de automação não é só erro técnico. Ele pode significar tempo maior de indisponibilidade, investigação desviada, alert fatigue, acionamento indevido de times e mudança errada em produção. Um agente que acerta menos da metade em tarefas desse tipo não reduz risco por padrão. Às vezes, ele apenas redistribui o risco para uma camada mais difícil de auditar.

o lado bom: finalmente um benchmark que mede algo que importa

Mesmo com resultados modestos, o ITBench-AA é uma notícia boa para o mercado.

Não porque mostre maturidade dos agentes, mas porque mede uma coisa que realmente interessa. Durante tempo demais, parte da indústria confundiu benchmark de laboratório com prontidão operacional. Esse tipo de avaliação ajuda a limpar a conversa.

O mérito do ITBench-AA está em aproximar o teste do ambiente de produção: shell access, snapshots reais, artefatos de observabilidade, scoring rigoroso e foco em causa raiz. É isso que permite separar agente impressionante em demo de agente útil em empresa.

E, do ponto de vista editorial, talvez essa seja a principal lição.

A corrida dos agentes continua avançando. Os modelos estão melhores, mais persistentes, mais baratos e mais integráveis. Mas benchmarks como o ITBench-AA lembram que a parte mais difícil não é fazer o agente falar como um especialista. É fazer o agente acertar como um especialista, sob ambiguidade, pressão e consequência operacional.

fechamento

O ITBench-AA não destrói a tese dos agentes. Ele faz algo mais valioso: força o mercado a trocá-la de estágio.

Em vez de assumir que IT ops já está pronto para autonomia ampla, o benchmark mostra que a maturidade atual ainda pede contenção, desenho cuidadoso e muita supervisão humana. Frontier models já impressionam em várias frentes, mas, quando o assunto é operação de TI empresarial com impacto real, eles continuam errando demais para receber as chaves sozinhos.

A janela mais inteligente agora não é comprar a promessa de automação total. É investir em automação assistida, observabilidade melhor, trilhas de auditoria e casos de uso em que o agente acelera o humano sem virar ponto único de falha.

O hype vende autonomia. O ITBench-AA, por enquanto, entrega realidade.

fontes