DeepSeek V4 Flash: líder em benchmarks, mas falha em tarefas reais
Modelo lidera rankings, mas testes com agentes mostram lacuna; DeepSeek aumenta preços do V4 Flash e Pro
O que aconteceu
O DeepSeek V4 Flash, que desde o lançamento lidera leaderboards e foi chamado por desenvolvedores de "total monster", tropeçou em testes do mundo real. A Composio rodou o modelo em oito harnesses de agentes — incluindo Claude Code, Codex e OpenCode — em 30 tarefas deliberadamente difíceis e multi-etapas, envolvendo ferramentas ao vivo como Gmail, GitHub, Slack e Google Sheets. De 240 execuções, 129 passaram (53,8%), e apenas seis dos 30 workflows foram concluídos com sucesso em todos os harnesses testados (VentureBeat).
Paralelamente, a DeepSeek anunciou que vai aumentar os preços do V4 Flash e do V4 Pro, modelos que viraram favoritos entre desenvolvedores que constroem assistentes de código e agentes (VentureBeat).
Contexto
A DeepSeek lançou o V4 Flash em beta público em 31 de julho e tornou o V4 Pro disponível de forma geral em 13 de agosto. O Flash tem 284 bilhões de parâmetros, focado em volume e velocidade; o Pro tem 1,6 trilhão de parâmetros, para workflows mais complexos. Ambos possuem capacidades de raciocínio flexíveis (low, high, max) e "modos de pensamento".
A empresa construiu sua reputação em modelos de altíssima capacidade a preços ultrabaixos, que provedores de fronteira não conseguem igualar. O aumento de preços parece, à primeira vista, minar esse apelo — mas também move a história além da narrativa já batida de "modelo chinês barato", à medida que casos de uso iniciais emergem e empresas descobrem onde cada modelo se encaixa em suas stacks.
Por que importa
Os resultados da Composio ilustram que orquestração, não capacidade bruta do modelo, pode decidir o sucesso em ambientes empresariais. O mesmo modelo produziu resultados substancialmente diferentes dependendo do harness, da configuração de ferramentas, do comportamento de cache, das tentativas e da stack do provedor. Para empresas que planejam usar agentes em produção, isso significa que benchmarks não bastam — é preciso testar em cenários reais.
O aumento de preços também importa: o V4 Flash e o V4 Pro eram vistos como opções de custo imbatível. Com a mudança, a DeepSeek sinaliza que está reposicionando seus modelos para casos de uso específicos, não apenas competindo por preço.
Impacto
No curto prazo, desenvolvedores e empresas precisarão avaliar o V4 Flash em seus próprios workflows, considerando a orquestração como fator crítico. A diferença entre 53,8% de sucesso e o topo dos leaderboards mostra que o desempenho real depende de infraestrutura e integração.
No médio prazo, a DeepSeek pode se consolidar como fornecedora de modelos para tarefas específicas, em vez de uma alternativa genérica de baixo custo. O aumento de preços pode reduzir a adoção inicial, mas também atrair um público que busca estabilidade e suporte.
O que muda
A percepção de que leaderboards refletem uso real cai por terra. O caso V4 Flash reforça que a avaliação de modelos precisa incluir testes com ferramentas reais e múltiplas configurações. Além disso, a política de preços da DeepSeek muda: o foco deixa de ser apenas "barato" e passa a ser "qualidade por caso de uso".
O que vem agora
A DeepSeek deve continuar ajustando preços e posicionamento, enquanto empresas e desenvolvedores testam o V4 Flash e o V4 Pro em cenários reais. A Composio e outros players de orquestração devem ganhar relevância, já que a escolha do harness se mostra tão importante quanto a escolha do modelo.