Sistema divide especialistas MoE entre CPU e GPU e ganha 51,9% em prefill
Paper no arXiv propõe repartir especialistas de modelos MoE entre CPU e GPU conforme a carga de tokens de cada um. Nos testes com três LLMs, o prefill ficou até 51,9% mais rápido e o throughput de decode subiu até 39,5%.
