Pesquisa do arXiv revela que modelos de linguagem são testados com problemas médicos já claros, mas falham quando o paciente inicia a conversa com queixas vagas — um defeito crítico para a adoção clínica segura.
Novo framework open-source e benchmark com 350 tarefas reais buscam resolver o problema de agentes de IA que falham ao operar na web do mundo real por longos períodos.
Estudo revela que um modelo de linguagem de 3 bilhões de parâmetros, após fine-tuning, atinge 39,12% de acurácia em problemas de raciocínio matemático para sinais, triplicando o desempenho original.
O LiveHouse-TS, novo benchmark vivo para modelos de séries temporais, mostra que rankings estáticos mudam drasticamente quando avaliados em dados futuros reais, com 17 datasets de 11 domínios.
Pesquisadores propõem o PlanPO, um método de RL que melhora agentes de IA em 27,2% em benchmarks multi-turn, superando o GRPO com custo adicional desprezível.
Framework DeAR propõe raciocínio agêntico descentralizado, com colaboração peer-to-peer entre agentes. Em 9 benchmarks, superou métodos recentes, indicando que a descentralização aumenta a precisão em tarefas de conhecimento intensivo.
Pesquisadores lançaram o ASI-Bench, primeiro benchmark que mede autonomia de IA em pesquisa científica. Resultados mostram queda de desempenho de 50,91 para 26,62 sem orientação humana, indicando que sistemas atuais ainda dependem fortemente de supervisão.
Estudo do arXiv mostra que medir a confiança intrínseca de LLMs (logit-based energy scoring) supera o método LLM-as-judge em 33,0% vs 16,6% no ranking de hipóteses científicas, com pico de 53,1%.
Estudo do arXiv mostra que prompts de estado explícito não melhoram a classificação de políticas de memória em LLMs como Llama-3.3-70B e GPT-OSS-120B, exigindo auditorias mais rigorosas.
Nova defesa 'Fool's Gold' para modelos de IA abertos envenena respostas quando controles de segurança são removidos, tornando-as falsificadas e perigosas para o próprio atacante.
