IndicBankBench: IA bancária falha em até 56% dos testes na Índia

O que aconteceu

O IndicBankBench chegou ao arXiv em 24 de setembro de 2026, com o identificador arXiv:2609.29167. O benchmark reúne 799 casos de varejo bancário indiano, distribuídos em cinco domínios operacionais, um domínio de capacidade e recusa e vinte eixos primários de avaliação. Quem assina o trabalho não foi divulgado no resumo do artigo.

A novidade metodológica está no desenho do teste. Cada caso é avaliado em quatro etapas: segurança, ação e uso de ferramentas, adequação da resposta e qualidade da orientação. Uso de ferramentas e a maior parte das checagens de segurança são determinísticas. Um resolvedor estreito cuida apenas dos casos ambíguos de confirmação antes de uma escrita, e um juiz LLM separado avalia a adequação semântica da resposta.

Onze modelos passaram pelo benchmark. Cada caso rodou três vezes, e o artigo reporta a métrica de pass^3 estrito, que exige acerto nas três tentativas. O intervalo de confiabilidade estrita ficou entre 43,7% e 58,2%. Já o sucesso "ao menos uma vez" ficou entre 60% e 74%.

Contexto

Assistentes bancários não respondem só com texto. Eles precisam consultar informações específicas da conta do cliente e, em muitos casos, executar ações por meio de ferramentas, como registrar uma operação ou alterar um dado. Avaliar apenas a resposta final ignora erros que acontecem no meio do caminho.

O artigo lista quatro desses erros intermediários: o assistente pede uma informação que já tem, se apoia em contexto desatualizado, seleciona a conta errada ou escreve um valor inválido depois de ter declarado o valor correto. São falhas que uma métrica de resposta final simplesmente não captura.

O IndicBankBench foi construído para expor exatamente esse tipo de comportamento. Em vez de olhar só o que o modelo entrega no fim, ele acompanha cada etapa da execução e classifica o erro por estágio.

Por que importa

A distância entre 43,7%-58,2% e 60%-74% é o dado mais relevante do trabalho. O próprio artigo afirma que o sucesso "ao menos uma vez" pode exagerar a confiabilidade de um comportamento bancário. Na prática, um sistema que acerta a tarefa em uma tentativa de cada três parece melhor do que é quando o teste é repetido.

Isso muda a conta para bancos, fintechs e fornecedores de IA que apresentam números de acurácia. Uma taxa de 74% divulgada como desempenho pode corresponder a menos de 59% de acerto consistente. Para operações que mexem com saldo, transferência e dados pessoais, a diferença entre acertar sempre e acertar às vezes é a diferença entre um produto viável e um risco operacional.

A avaliação também separa dois perfis de falha. Os diagnósticos por caso distinguem sistemas que fazem perguntas desnecessárias daqueles que agem, mas não reconciliam o contexto do cliente nem resolvem o pedido por completo. Um assistente que pergunta demais irrita o usuário. Um que age sem conferir o contexto pode errar a conta.

Impacto

O IndicBankBench mira o varejo indiano, mas o método vale como referência para qualquer mercado com assistentes bancários em produção, incluindo o Brasil, onde bancos digitais já usam LLMs em atendimento e automação.

A adoção de pass^3 como métrica obrigaria fornecedores a rodar cada tarefa múltiplas vezes antes de anunciar desempenho. Isso encarece a avaliação e alonga os ciclos de teste, ao mesmo tempo que reduz o espaço para números inflados de demonstração.

O benchmark também desloca o foco das respostas para as ações intermediárias. Segurança, uso de ferramentas e adequação da resposta passam a ser medidas em separado, o que permite identificar em qual etapa o sistema quebra.

O que muda

Os autores liberaram os casos, o ambiente simulado e o harness de avaliação. Qualquer equipe pode reproduzir o teste sem depender de uma conta bancária real, o que reduz a barreira para auditoria externa de assistentes financeiros.

O juiz LLM usado para avaliar adequação semântica e o resolvedor estreito para confirmações ambíguas ficam expostos ao escrutínio de quem for replicar o trabalho. As checagens determinísticas de ferramentas e segurança, por outro lado, não dependem de julgamento de modelo.

O que vem agora

O artigo não informa um cronograma de atualização do IndicBankBench nem se haverá versões para outros países. Os onze modelos avaliados não foram identificados no resumo, e a lista completa deve estar no PDF do trabalho.

O caminho natural é que laboratórios e bancos usem os 799 casos como teste de regressão antes de liberar novas versões de assistentes. Quem já publica taxas de acurácia terá de decidir se passa a reportar pass^3 ou se explica qual métrica está usando.

Fontes

• arXiv cs.AI: IndicBankBench: Evaluating Safety and Reliability of Language Model Assistants in Indian Retail Banking (https://arxiv.org/abs/2609.29167)