O Google Research publicou, com licença Apache-2.0, o Harness²: um framework que trata o harness do agente (a camada que orquestra ferramentas, contexto e ações) como algo que pode ser reescrito em tempo de teste, em vez de ser uma estrutura fixa que se ajusta por treinamento. Os pesos do modelo-executor permanecem congelados; o que muda é o harness que o rodeia.
O que o Harness² faz
- Reescreve o harness em tempo de teste com base no comportamento observado do executor, sem atualizar pesos.
- Propose / Probe / Compose: substitui rótulos de ground truth por contrastes comportamentais — compara o que o executor faz sob variações controladas do harness e extrai lições que alimentam a próxima iteração.
- Biblioteca de lições que se acumula entre tarefas: o mesmo executor melhora em tarefas novas sem re-treinar.
- Instalação em Linux: Python 3.12,
uv venv --python 3.12 .venv; source .venv/bin/activate; uv pip install -e '.[render]'; demo local comharness2-demo --output runs/demo --k 2. Execuções com modelo real exigem Node.js 20+, Google Cloud CLI e Vertex AI; o benchmark Harvey LAB adiciona Pandoc e Poppler; WorkBuddy-Bench exige Docker. O executor Codex entra via--substrate cx.
Resultados reportados (k=1, uma iteração)
| Executor / harness | WorkBuddy-Bench | JobBench | Harvey LAB |
|---|---|---|---|
| Gemini 3.5 Flash / OpenCode | 72.4 → 77.5 | 31.5 → 36.0 | 79.9 → 81.9 |
| Gemini 3.5 Flash / Codex | 74.5 → 77.5 | 33.9 → 35.3 | 71.6 → 75.6 |
| GLM-5 / OpenCode | 64.2 → 75.7 | 20.6 → 24.2 | 59.6 → 71.4 |
| GLM-5 / Codex | 64.4 → 75.3 | 23.6 → 24.8 | 58.1 → 65.9 |
Com k=5 execuções em paralelo, Gemini/OpenCode atinge 80.8 em WorkBuddy-Bench. O executor mais fraco (GLM-5) ganha mais com uma única iteração — em alguns cenários ultrapassa o Gemini de base após 1 passo — e o número de passos por tarefa cai em 3 dos 4 setups (Gemini/OpenCode: 25.4 → 21.9).
Baselines comparados: ReasoningBank 73.4 / 30.8 / 74.8; Harness Scaling 75.3 / 32.9 / 67.9; Meta-Harness 76.4 / 35.8 / 76.5.
Por que importa
- Pesos congelados, harness mutável: a otimização acontece na orquestração, não nos pesos — o modelo-executor não precisa de fine-tune por tarefa.
- Aprendizado entre tarefas: a biblioteca de lições permite transferir ganhos entre WorkBuddy, JobBench e Harvey LAB.
- Custo extra de execução: o framework roda múltiplas execuções por iteração — quem usar precisa isolar em sandbox e orçar o consumo adicional.
Como reproduzir
uv venv --python 3.12 .venv && source .venv/bin/activateuv pip install -e '.[render]'harness2-demo --output runs/demo --k 2(demo local, sem modelo externo)- Para execuções com modelo: Node.js 20+, Google Cloud CLI, Vertex AI (e Docker/Pandoc/Poppler conforme o benchmark).
O projeto é fruto de colaboração entre Google Cloud AI Research e Northwestern, e está aberto em github.com/google-research/harness2.
Fonte: MarkTechPost (18/10/2026), com dados do paper arXiv 2610.14224 e do repositório público.
Fontes e referências
Encontrou uma informação que precisa de correção? Fale com a redação.