Paper Pilot: sistema de IA contra citações falsas em artigos

O que aconteceu

O pesquisador Ajinkya Kulkarni submeteu ao arXiv, em 17 de junho de 2026, um artigo que descreve o Paper Pilot, um sistema especialista human-in-the-loop para gerar manuscritos científicos com evidências rastreáveis. O texto foi classificado na área de Computer Science > Artificial Intelligence e recebeu o identificador arXiv:2608.28596.

O Paper Pilot adapta a metodologia Collaborative Agent Reasoning Engineering (CARE) ao desenvolvimento de manuscritos. O framework define oito portões de aprovação entre a ideia inicial e a afirmação final, com critérios explícitos de reprovação, classificação de afirmações, registro de auditoria, revisão consultiva por LLM e controle de revisão com evidência bloqueada. A proposta distingue afirmações fundamentadas na literatura de afirmações fundamentadas em artefatos, e exige que números e interpretações reportados permaneçam rastreáveis até a evidência aprovada.

A validação empírica inicial avaliou a camada de ancoragem de citações. O benchmark foi controlado, com pontuação mecânica, dois LLMs comerciais, artigos reais do arXiv e nenhum juiz baseado em LLM. Sob pressão de cobertura, redatores sem portões fabricaram até 25% das citações e nunca sinalizaram uma lacuna de evidência. Os mesmos modelos sob as regras do Paper Pilot produziram zero citações fabricadas e exibiram as lacunas plantadas como placeholders explícitos.

Contexto

Agentes baseados em modelos de linguagem de grande escala (LLMs) já participam de análise de literatura, redação e revisão em fluxos científicos. O problema, segundo o artigo, é de governança: ideias, métodos, resultados e afirmações se propagam por fluxos assistidos por IA sem aprovação humana obrigatória ou rastreabilidade no nível de artefato. Os sistemas existentes avançam a descoberta autônoma e a geração de manuscritos, mas não resolvem essa lacuna.

O Paper Pilot, ao contrário, posiciona a escrita assistida por LLM como um processo controlado de apoio à decisão humano-máquina, e não como autoria totalmente autônoma. O system prompt do framework foi liberado abertamente para uso em ChatGPT, Gemini, Claude ou ambientes institucionais. Isso permite que outras equipes repliquem a abordagem.

Por que importa

A fabricação de referências é um dos riscos mais conhecidos do uso de IA na ciência. Um índice de 25% de citações falsas em um cenário sem controle mostra o tamanho do problema. O Paper Pilot ataca isso com regras técnicas, e não apenas com recomendações: se a evidência não foi aprovada, o número não avança. Se falta uma fonte, o sistema cria um placeholder explícito em vez de inventar uma referência.

Para pesquisadores e editores, a existência de um benchmark mecânico, sem juiz LLM, também importa. A avaliação foi feita com papers reais do arXiv e pontuação automatizada, o que reduz o risco de viés na medição. O controle de revisão com evidência bloqueada (evidence-locked revision control) significa que alterações em números e interpretações precisam manter vínculo com a evidência já aprovada.

Impacto

No curto prazo, laboratórios que usam ChatGPT, Gemini, Claude ou LLMs institucionais podem testar o system prompt do Paper Pilot em seus fluxos de escrita. O framework oferece registro de auditoria e oito portões de aprovação que criam um trilho verificável entre a ideia e a afirmação publicada. Isso tende a mudar a forma como times de pesquisa usam IA: o modelo propõe, o pesquisador aprova ou reprova em pontos obrigatórios.

Os resultados preliminares de ancoragem de resultados, revisão e robustez adversarial apontam na mesma direção, mas não foram totalmente avaliados. O artigo afirma que essa avaliação completa fica para trabalhos futuros. Isso limita, por enquanto, a generalização dos achados para outras camadas do sistema.

O que muda

Na prática, o Paper Pilot transforma o LLM de um redator autônomo em um assistente supervisionado. O pesquisador vira dono do manuscrito e passa a ter poder de veto em cada um dos oito estágios. A classificação de afirmações separa o que é sustentado pela literatura do que é sustentado por artefatos, como resultados de experimentos ou análises. Isso muda a responsabilidade editorial dentro do fluxo de IA.

O que vem agora

O system prompt do Paper Pilot está liberado para uso imediato em ChatGPT, Gemini, Claude ou em ambientes institucionais de LLM. O próximo passo declarado pelo artigo é conduzir a avaliação completa das demais camadas, incluindo ancoragem de resultados, revisão e robustez adversarial. O artigo original está disponível no arXiv com o identificador 2608.28596.