A Cloudflare lançou o Clef-omni, o novo membro open-weight da família Clef de modelos de decisão. Diferente dos modelos generativos convencionais, o Clef-omni retorna respostas tipadas com probabilidades — não gera texto. Ele pontua simultaneamente texto, imagem, áudio e vídeo em uma única chamada, eliminando as etapas de transcrição e legendagem que pipelines multimodais normalmente exigem.
O que é um modelo de decisão
Em vez de gerar texto, um modelo de decisão recebe um state e um esquema de perguntas e retorna uma probabilidade para cada opção permitida. O Clef-omni suporta 3 tipos de pergunta: noul (verdadeiro/falso), choice e score. O formato segue a API do Jev e SystemOne da TypeSafe AI.
Arquitetura e capacidades
O Clef-omni é pós-treinado a partir do Qwen3-Omni-30B-A3B-Instruct, mantendo o backbone de compreensão e removendo o caminho de saída texto-para-fala. O modelo executa uma única passagem de prefill sobre o payload completo — quadros de vídeo e áudio são sincronizados em uma sequência para processamento conjunto.
Um pequeno schema head joint pontua as opções: cada opção válida primeiro coleta evidências da entrada, e vetores de campo fazem cross-attention sobre o contexto completo para calcular scores de confiança. A Cloudflare congelou o backbone Qwen3 e treinou adaptadores LoRA com label smoothing e calibração Brier.
Capacidades de entrada no Workers AI:
- Imagens: até 4, PNG/JPEG/WebP, 64 a 1.024 tokens cada
- Áudio: até 4 cliques, WAV/MP3, 300 segundos cada
- Vídeo: até 2 cliques, MP4/WebM, 60 segundos cada, 2 fps
- Perguntas: 1 a 64 por requisição
Latência reportada: texto em ~130 ms (mediana), imagem em ~150 ms, vídeo de 21 segundos com som em ~1,5 segundos.
Benchmarks
A Cloudflare comparou Clef-omni contra Clef, Clef-flash e Jev no Decision Index:
- BANKING77 (macro-F1): 94,8 (Clef-omni) vs 94,20 (Clef) vs 90,93 (Clef-flash) vs 79,74 (Jev)
- CLINC150+OOS (macro-F1): 97,7 (Clef-omni) vs 97,43 (Clef) vs 66,77 (Clef-flash) vs 89,27 (Jev)
- Amazon ESCI: 57,8 (Clef-omni) — líder entre os 4 modelos
- When2Call (accuracy): 63,3 (Clef-omni) vs 80,97 (Jev) — onde o Jev lidera
- GPQA Diamond: 47,4 (Clef-omni) vs 78,3 (Jev) — onde o Clef-omni fica atrás
Ponto forte: classificação de intenção — liderança em BANKING77 e CLINC150+OOS. Ponto fraco: raciocínio difícil — abaixo do Clef em todos os 5 métricas de workflow reportados.
Preço e licenciamento
- Preço: $0.15 por milhão de tokens de entrada (vs $0.24 do Clef, $0.038 do Clef-flash, $0.042 do Jev)
- Licença: Apache-2.0 (open weights)
- Contexto hospedado: 64.000 tokens
- Self-hosting: testado em uma H200, ~64 GB de memória GPU em bfloat16
Por que importa
O Clef-omni ataca uma dor real em pipelines de agentes multimodais: a necessidade de transcrever áudio, legendar vídeo e processar cada modalidade separadamente antes de tomar uma decisão. Com uma única chamada que pontua todas as modalidades simultaneamente, a latência e a complexidade caem drasticamente.
Para quem constrói sistemas de triagem, moderação ou roteamento de conteúdo multimodal, o Clef-omni oferece um caminho mais direto: enviar o payload bruto e receber decisões tipadas com probabilidades calibradas.
Fontes:
Fontes e referências
Encontrou uma informação que precisa de correção? Fale com a redação.