Avaliação automatizada de agentes de IA: confiança cresce, falhas não caem

O que aconteceu

Pesquisa do VentureBeat Pulse Research com 108 empresas detectou um movimento claro entre junho e julho: a proporção de organizações que confiam totalmente na avaliação automatizada de agentes de IA subiu de 5% para 13%. A queixa de que as avaliações não refletem os resultados do mundo real caiu de 29% para 19%, deixando de ser a principal objeção. Essa queda foi de dez pontos percentuais em um mês.

O problema é que a taxa de falhas que a avaliação deveria prever não acompanhou essa melhora. Quase metade das organizações (49%) afirmou ter lançado em produção, no último ano, um agente ou recurso baseado em LLM que passou pelas avaliações internas e depois causou uma falha visível para o cliente. Em junho, esse número era de 50%. Uma em cada quatro empresas (24%) relatou ter passado por isso mais de uma vez.

Contexto

Esta é a segunda onda do rastreador de confiabilidade de agentes da VentureBeat Pulse Research, e a primeira com instrumento idêntico ao do mês anterior. Por isso, funciona como a primeira leitura de direção: o que mudou, o que ficou estável e o que isso significa.

Em junho, a limitação mais citada da avaliação automatizada era justamente o baixo alinhamento com o mundo real. Em julho, essa reclamação perdeu força. A confiança subiu, mas a taxa de falhas não se mexeu. Os cortes por segmento explicam parte do fenômeno: quase todo o novo otimismo veio de empresas que ainda não foram queimadas por uma avaliação ruim.

Entre as organizações que já sofreram uma falha, apenas 4% confiam na avaliação automatizada. Entre as que nunca passaram por isso, 24% confiam.

Por que importa

O descompasso entre confiança e realidade é o ponto central. As empresas estão aumentando a aposta em avaliações automatizadas em um momento em que a capacidade dessas métricas de prever falhas reais não melhorou. Com quase metade das organizações registrando incidentes com agentes aprovados em evals, a confiança crescente pode estar sendo construída sobre uma base frágil.

O dado mais contraintuitivo é o comportamento das empresas que já foram prejudicadas. Em vez de reduzirem a automação, elas são as mais propensas a remover humanos do processo. A pesquisa aponta que ser queimado por uma avaliação ruim acelera a marcha em direção à autonomia, em vez de freá-la.

Impacto

No curto prazo, o resultado é um risco operacional maior: organizações podem ampliar o uso de agentes autônomos apoiadas em evals que ainda não demonstraram prever bem o comportamento em produção.

No médio prazo, a divergência entre os 4% de confiança entre os que falharam e os 24% entre os que não falharam sugere que a experiência real com avaliações ruins ainda não está gerando aprendizado coletivo. Sem ajustes no processo, a tendência é que a taxa de incidentes se mantenha ao redor da metade das empresas, mesmo com mais confiança nas ferramentas de avaliação.

O que muda

O que muda é a leitura de risco: a confiança na avaliação automatizada subiu rápido demais para o ritmo dos resultados. Empresas que já enfrentaram falhas não estão respondendo com cautela, mas com mais autonomia. Isso indica que a dor de um incidente não está sendo suficiente, sozinha, para conter a automação.

O que vem agora

Com a primeira leitura de direção em mãos, a próxima onda do rastreador deve mostrar se a confiança continua subindo e se a taxa de falhas finalmente vai se mover. A pergunta que fica é se as empresas vão tratar a avaliação automatizada como suficiente ou se vão buscar padrões mais robustos de validação antes de tirar o humano do loop.

Fontes

• VentureBeat — [Agentic reliability and evaluations: Enterprises that got burned by a bad eval are the most likely to remove humans from the loop, not the least](https://venturebeat.com/resources/agentic-reliability-and-evaluations-enterprises-that-got-burned-by-a-bad-eval-are-the-most-likely-to-remove-humans-from-the-loop-not-the-least)