A equipe Qwen da Alibaba apresentou o QwenGyre, um framework de aprendizado por reforço (RL) online projetado para agentes de horizonte extremo (xlong-horizon): execuções que se estendem por horas, centenas de interações modelo-ambiente e cerca de 1M de tokens por rollout. O sistema foi validado no modelo principal da casa, o Qwen 3.8 2.4T, e entregou um ganho absoluto de 6.0 pontos no benchmark NL2RepoBench, subindo de 52.5% para 58.5% em 48 passos de treino, além de speedups de até 1.85x contra a configuração Colocate e 1.78x contra Async, segundo o paper no arXiv (2609.33848).
O que o framework resolve é um problema prático de escala. Em tarefas xlong, a variância de execução é alta: alguns rollouts terminam rápido, outros estouram timeout. Em uma topologia Colocate, o treino espera pelo rollout mais lento enquanto as GPUs ficam ociosas; em uma topologia Async, os pools de GPU fixos não se emprestam entre si. O QwenGyre divide os GPUs em células que podem servir rollouts ou abrigar réplicas completas de treino, com um scheduler que acompanha o waterlevel de execuções em fila e ativa e alterna células para treino assim que as restantes conseguem continuar atendendo o trabalho ao vivo. O tráfego de modelo passa por um proxy, então o harness segue rodando sem perceber a troca.
A segunda frente de engenharia é o processador de trajetórias. Harnesses como o Claude Code compactam contexto, criam sub-agentes e refazem chamadas; uma única execução vira uma árvore ramificada, e expandir todos os caminhos duplica prefixos compartilhados e inflaciona o custo de treino. O QwenGyre grava as chamadas como árvores de trajetórias com prefixos compartilhados, aplica pontuação parcial a execuções que estouraram timeout (o trabalho preservado ainda recebe reward; falhas do avaliador são excluídas, nunca tratadas como zero), limita a no máximo 5 trajetórias por execução (rank: main > main-summary > sub-agent > sub-agent-summary), deduplica alvos compartilhados e treina apenas tokens gerados pela política. O teto de 5 trajetórias manteve o score de treino sem teto e cortou o tempo de forward-backward em 25.2%, de acordo com o artigo.
Os números de performance vêm de execuções com Claude Code 2.1.220 como harness, orçamentos de GPU equivalentes e staleness casado. No modelo Qwen 3.6 122B, o QwenGyre entregou 1.42x-1.53x sobre Async e 1.36x-1.47x sobre Colocate no NL2RepoBench (48 passos); 1.57x sobre Async e até 1.82x sobre Colocate no DeepSWE (24 passos); e 1.38x-1.43x sobre Async com 1.81x-1.85x sobre Colocate no TerminalBench (24 passos). No flagship Qwen 3.8 2.4T, o QwenGyre completou 48 passos em 75.42 horas, contra 134.55 horas do Async e 91.47 horas do Colocate, com a taxa de avaliação passando de 52.48% para 58.54% — um caso em que o speedup sobre Colocate cai para 1.21x, porque muitas execuções ficaram perto do timeout e as GPUs de treino não se beneficiaram tanto da realocação.
Na comparação com outros frameworks agentic RL, o QwenGyre se diferencia pela realocação elástica de GPUs em células que trocam de papel durante o rollout (Megatron treina, SGLang serve rollouts) e pela abordagem black-box via proxy, sem exigir mudança no harness. VeRL, AReaL e Agent Lightning também rodam harnesses black-box, mas com estratégias diferentes de GPU e escalas de modelo distintas; o QwenGyre é o único dos quatro a declarar escala até 2.4T. Vale registrar que, ao contrário dos concorrentes listados, o paper não aponta para um repositório público de código — a comparação de speedups entre projetos não é direta, pois cada um mede em setup próprio.
Para o leitor brasileiro, o interesse prático é duplo. De um lado, o framework é uma peça de infraestrutura de treino, não um modelo pronto para inference: quem roda agentes longos localmente não consome o QwenGyre diretamente, mas o resultado é um Qwen 3.8 2.4T mais forte em tarefas de geração de repositório completo a partir de especificações. De outro, a técnica de realocação elástica de GPUs e o teto de 5 trajetórias por execução são padrões que provavelmente vão migrar para outros stacks open-source de RL, reduzindo o custo de treinar agentes que resolvem tarefas de horas em hardware próprio. O paper não declara licença nem data de release de código, então a reprodutibilidade continua pendente.
Fontes e referências
Encontrou uma informação que precisa de correção? Fale com a redação.