O que é OmniParseBench
A Datalab lançou o OmniParseBench, um benchmark aberto de OCR para parsers de documentos. O conjunto tem 16.288 testes de sim/não em 2.937 páginas de 2.343 documentos, cobrindo 92 idiomas. O dataset e o código estão públicos.
Por que outro benchmark de OCR?
A Datalab aponta dois problemas nos benchmarks existentes. O olmOCR-bench mostrou que testes unitários de pass/fail funcionam, mas a Datalab o considera saturado — os sistemas de topo se separam por convenções de saída e overfitting, não por leitura real. Cada teste do olmOCR-bench cai em 1 bucket, definido pela origem da página.
O ParseBench da LlamaIndex divide parsing em 5 capacidades, cada uma com métrica própria. A Datalab argumenta que essas pontuações não compartilham unidade, então não podem ser comparadas nem combinadas.
Como funciona a pontuação
A nota final é a média de 3 famílias: texto, tabelas e layout. Cinco tipos de teste alimentam essas famílias:
- present: um texto, número ou equação aparece (texto)
- order: o texto A vem antes do texto B (texto)
- repeat: uma linha aparece exatamente N vezes (texto)
- table_cell: uma célula está sob cabeçalhos dados e ao lado de vizinhos dados (tabelas)
- layout_kind: o bloco que contém a linha é título, texto ou tabela (layout)
Números precisam casar dígito por dígito, embora 1.240 case com 1240. Equações são comparadas pelo que o KaTeX renderiza. Cada decisão é pass, fail, unsupported ou error — os dois últimos são excluídos de toda nota.
Nenhum modelo julga as saídas; o scorer é código aberto.
Cada teste carrega tags em 5 eixos: estrutura, renderização, papel, script e idioma. Scripts usam códigos ISO 15924; idiomas usam ISO 639-3. As tags nunca decidem o veredito ou a nota final — só selecionam testes, permitindo fatiar por qualquer combinação.
Resultados de lançamento
| Parser | Nota | Texto | Tabelas | Layout |
|---|---|---|---|---|
| Gemini 3.8 Flash* | 92,9 | 91,3 | 95,2 | 92,2 |
| Datalab accurate | 92,7 | 90,8 | 91,8 | 95,6 |
| Datalab balanced | 91,6 | 90,0 | 89,2 | 95,5 |
| Reducto | 90,8 | 85,4 | 91,2 | 95,8 |
| LlamaParse | 90,4 | 88,2 | 92,6 | 90,4 |
| Mistral OCR | 89,5 | 82,8 | 91,9 | 93,8 |
| Claude Sonnet 5.5* | 88,7 | 93,1 | 95,4 | 77,5 |
| GPT-5.6 Sol | 87,8 | 85,4 | 91,6 | 86,5 |
| Extend | 83,3 | 64,1 | 92,5 | 93,4 |
| Azure | 83,0 | 74,6 | 81,7 | 92,8 |
| Tesseract | — | 17,6 | 0,0 | unsupported |
*Usado na criação e verificação de pelo menos alguns testes, conforme a Datalab.
Os 3 sistemas de topo ficam dentro de 1,3 ponto. O Claude Sonnet 5.5 tem a melhor nota de texto (93,1) e tabelas (95,4), mas seu layout de 77,5 puxa a nota geral para 88,7. O Reducto lidera layout com 95,8.
O que muda para quem escolhe parser de documentos
O OmniParseBench responde a uma pergunta mais afiada que um leaderboard: "qual parser lida com documentos como os meus?" — porque as tags permitem fatiar por idioma, estrutura e papel. Para equipes que trabalham com documentos multilíngues (92 idiomas cobertos), tabelas complexas ou layouts não convencionais, o benchmark permite isolar exatamente a fatia que importa.
A nota é a proporção de testes que passam — não um score composto. Isso torna o resultado auditável: cada teste é uma pergunta sim/não sobre 1 página, com a derivação documentada (10 origens, incluindo XML JATS, camada de texto do PDF, páginas autorais, testes do olmOCR-bench, painéis de modelos e revisão humana).
Fontes
- Datalab — "OmniParseBench" (datalab.to/blog)
- MarkTechPost — "Datalab Releases OmniParseBench: An Open OCR Benchmark" (14/10/2026)
- Hugging Face — datalab-to/omni_parse_bench
- GitHub — datalab-to/omni_parse_bench
Fontes e referências
Encontrou uma informação que precisa de correção? Fale com a redação.