ATHENA: busca neural de arquiteturas para transformadores em EHR

O que aconteceu

O ATHENA (Agentic Transfer across Hospitals for EHR Neural Architecture Search) foi submetido ao arXiv em 22 de agosto de 2026, sob o identificador arXiv:2608.21712v1. O framework, desenvolvido pelo grupo GatorAIM, automatiza a busca de arquiteturas para modelos Transformer usados em previsões clínicas baseadas em prontuários eletrônicos. Em seis tarefas de predição clínica e dois sistemas de saúde independentes, o ATHENA igualou ou superou quatro baselines de NAS em 9 de 12 avaliações hospitalares, com um orçamento de busca de 30. Além disso, mostrou seleção de arquitetura mais consistente em buscas repetidas. O código está disponível publicamente no GitHub, no repositório https://github.com/GatorAIM/ATHENA

O estudo, publicado como preprint, detalha dois mecanismos principais. O primeiro é um supernet de compartilhamento de pesos, pré-treinado uma única vez por hospital. Isso permite que arquiteturas candidatas sejam instanciadas como sub-redes herdadas e avaliadas por fine-tuning, em vez de pré-treinamento independente. O segundo é uma prioridade de arquitetura entre hospitais em duas camadas. A primeira camada recupera exemplos de arquiteturas de alto desempenho de sites de origem, com base em descritores de tarefas. A segunda estima os efeitos de componentes arquitetônicos usando regressão meta ancorada em SHAP (SHapley Additive exPlanations). Essas prioridades guiam uma busca multiagente com LLMs, junto com feedback de validação do hospital-alvo.

Contexto

Modelos baseados em Transformer são amplamente usados para previsão clínica a partir de EHRs, mas suas arquiteturas ainda exigem ajuste manual substancial. A configuração ótima pode variar entre tarefas e hospitais. A busca neural de arquiteturas (NAS) automatiza o design dessas redes, porém métodos convencionais são computacionalmente caros para modelos Transformer de EHR. Abordagens recentes de NAS guiadas por grandes modelos de linguagem (LLMs) reduzem o esforço manual no design da busca, mas tendem a conduzir cada busca de forma independente, sem reutilizar conhecimento arquitetural entre hospitais. O ATHENA ataca exatamente esse gargalo, propondo transferência de conhecimento entre instituições.

O framework introduz uma inovação prática: o supernet pré-treinado uma vez por hospital elimina a necessidade de treinar do zero cada arquitetura candidata. Combinado com a prioridade entre hospitais, que aproveita exemplos de sucesso de outros sites, o ATHENA reduz drasticamente o custo de busca. No estudo, a avaliação considerou duas redes de saúde independentes e seis tarefas clínicas, totalizando 12 combinações hospital-tarefa. Em 9 dessas combinações, o ATHENA superou ou igualou os baselines, e nas demais ficou próximo, com seleção mais estável ao longo das repetições.

Por que importa

Para hospitais e pesquisadores, o ATHENA reduz o tempo e o custo de ajustar modelos Transformer em ambientes clínicos. Em vez de depender de especialistas para configurar manualmente cada arquitetura, o sistema automatiza a busca, aproveitando conhecimento já validado em outras instituições. Isso é particularmente valioso para hospitais menores, com menos dados ou recursos computacionais. Ao usar fine-tuning de sub-redes herdadas, o framework também diminui a exigência de pré-treinamento completo, um dos maiores custos em NAS convencional. A consistência na seleção de arquiteturas é outro ganho: menos variabilidade estatística nos resultados reduz o risco de escolhas ruins por acaso.

Impacto

No curto prazo, o ATHENA pode acelerar a adoção de modelos Transformer em hospitais que já possuem dados em formato EHR. A reutilização do supernet pré-treinado por hospital e o compartilhamento de prioridades entre instituições criam uma infraestrutura mais enxuta. No médio prazo, a metodologia pode ser estendida para outras tarefas clínicas, como predição de readmissão, mortalidade ou tempo de internação, desde que haja descritores de tarefas adequados. A disponibilização do código no GitHub permite que a comunidade reproduza os experimentos e adapte o framework a novos contextos.

O que muda

Na prática, o ATHENA muda a forma como se projetam modelos de EHR baseados em Transformer. Em vez de cada hospital realizar buscas isoladas e descartáveis, há um mecanismo de transferência de conhecimento arquitetural. O uso de SHAP para estimar o efeito de cada componente da arquitetura adiciona interpretabilidade ao processo de busca, uma vantagem em domínios regulados como saúde. Além disso, a integração de LLMs multiagente com feedback de validação do hospital-alvo combina raciocínio linguístico com dados quantitativos, algo pouco explorado em NAS para EHR.

O que vem agora

Os próximos passos naturais incluem validar o ATHENA em um número maior de hospitais e tarefas clínicas, testando a robustez da transferência entre sistemas com perfis demográficos distintos. Também é possível investigar o impacto de diferentes descritores de tarefas na eficácia da recuperação de exemplos. Como o código está aberto, espera-se que grupos de pesquisa em bioinformática e IA clínica adotem e estendam a abordagem. O artigo completo está disponível na página do arXiv, com referências e citações abertas, além de ferramentas de exploração bibliográfica como Bibliographic Explorer e Connected Papers. O grupo GatorAIM pode incorporar o framework em projetos futuros de colaboração hospitalar.

Fontes

• arXiv cs.AI - ATHENA: Knowledge-guided agentic neural architecture search for AutoFormer-based electronic health record modeling (arXiv:2608.21712v1) - https://arxiv.org/abs/2608.21712