CABS+ otimiza fusão de modelos de IA com menos memória e 4x mais velocidade

O que aconteceu

Pesquisadores apresentaram o CABS+, uma extensão do método CABS (Conflict-Aware and Balanced Sparsification) para fusão de modelos de aprendizado de máquina. O artigo, disponível no arXiv (2608.12842), propõe duas inovações principais: Adaptive Weight Allocation (AWA), que otimiza coeficientes de fusão via busca sem gradiente, e uma função de aptidão assimétrica para equilibrar ganhos entre tarefas. Além disso, introduz o Relative Synergy Score (RSS), métrica para quantificar a capacidade de fusão de modelos e orientar a seleção.

Nos testes, o CABS+ foi comparado com CABS, AdaMerging e WUDIMerging em 27 datasets e 5 modelos (LLMs, modelos de linguagem de pequena escala e modelos de visão). Os resultados mostram melhora de 16,97% sobre AdaMerging e 12,93% sobre WUDIMerging, com estabilidade superior em diferentes números de tarefas e arquiteturas.

Contexto

Fusão de modelos é uma técnica que combina múltiplos modelos treinados para tarefas distintas em um único modelo multitarefa, sem retreinamento adicional. O método original CABS reduzia interferência entre parâmetros via poda estruturada e mascaramento sequencial, mas dependia de busca em grade para definir coeficientes, o que gerava complexidade exponencial. Além disso, sua otimização podia ser dominada por tarefas de alto desempenho, prejudicando o resultado geral.

Por que importa

A fusão de modelos é uma alternativa econômica ao treinamento conjunto, especialmente para empresas que precisam implantar múltiplas capacidades em um único sistema. O CABS+ reduz custos computacionais e de memória, tornando a técnica mais acessível para times com recursos limitados. A métrica RSS também oferece uma forma objetiva de decidir quais modelos podem ser fundidos com sucesso, evitando tentativa e erro.

Impacto

No curto prazo, o método pode acelerar experimentos de fusão em laboratórios de IA, reduzindo o tempo de desenvolvimento. No médio prazo, a economia de GPU (menos de 25% da memória do AdaMerging) pode viabilizar fusão de modelos em hardware menos robusto, ampliando o uso em startups e pesquisa acadêmica. A estabilidade observada em diferentes arquiteturas sugere aplicabilidade prática em cenários heterogêneos.

O que muda

O CABS+ elimina a necessidade de busca em grade, substituindo-a por uma busca sem gradiente mais eficiente. A função de aptidão assimétrica evita que tarefas dominantes distorçam a otimização. O RSS fornece um critério quantitativo para selecionar modelos candidatos à fusão, algo que antes era feito empiricamente.

O que vem agora

Os autores não anunciaram disponibilização de código, mas o artigo detalha a metodologia. Espera-se que a comunidade valide os resultados em outros conjuntos de dados e explore integração com técnicas de compressão. A pesquisa também abre caminho para estudos sobre fusão em larga escala com modelos maiores, como LLMs de bilhões de parâmetros.