A Meta publicou no dia 15 de outubro de 2026 o Muse Spark Open, um modelo de linguagem open-weight que marca a maior aposta da empresa em arquitetura mixture-of-experts até o momento. Com cerca de 816 bilhões de parâmetros totais e 42 bilhões ativados por token, o modelo combina multimodalidade nativa — texto, imagem, áudio e vídeo como entrada — com uma janela de contexto de até 1 milhão de tokens, tudo distribuído sem custo de licença através da Hugging Face.
A arquitetura emprega 62 camadas, cada uma com 256 experts, dos quais apenas 8 são selecionados por token via roteamento aprendido. A normalização específica para queries e keys (QK-norm) e os residual gates aprendidos garantem que as contribuições dos blocos MoE sejam combinadas de forma estável durante o treinamento. Na prática, o modelo exige memória de deploy equivalente a um LLM de 816B, mas o custo computacional por token se aproxima do de um modelo de 42B, o que o torna viável em clusters de escala datacenter mesmo com orçamento limitado.
A multimodalidade é nativa, não plug-in. Imagens e vídeo passam por um perception encoder de 1,8 bilhão de parâmetros, enquanto áudio entra por um pathway separado de feature extraction. A saída é exclusivamente textual, o que posiciona o Muse Spark Open como um agente de leitura e análise multimodal — capaz de processar documentos com diagramas, transcrições de áudio, frames de vídeo e texto corrido na mesma janela.
O treino foi orientado para tarefas de agente autônomo de código: leitura de bases extensas, refatoração multi-arquivo, debugging prolongado e uso de ferramentas. O contexto de 1 milhão de tokens permite que uma sessão de trabalho inteira — incluindo logs, código, documentação e conversas — caiba em uma única inferência, eliminando a fragmentação que modelos com janelas menores impõem.
Para quem opera em hardware local, a realidade é menos confortável: 816B de parâmetros exigem pelo menos 1,6 TB de VRAM em precisão de 16 bits, ou cerca de 800 GB em int8. Isso coloca o modelo fora do alcance de workstations individuais e dentro do domínio de clusters GPU com interconexão de alta largura de banda. A Meta, porém, distribui os pesos completos, permitindo que qualquer organização com infraestrutura adequada execute o modelo sem pagar royalties ou depender de uma API.
A escolha de abrir os pesos é estratégica. A Meta tem historicamente alternado entre modelos fechados (Llama 4, por exemplo) e versões abertas. Ao liberar o Muse Spark Open na Hugging Face sem restrições de uso comercial, a empresa posiciona o MoE como o próximo padrão de eficiência para agentes de IA, competindo diretamente com os modelos fechados de fronteira em tarefas de longo contexto.
Para o ecossistema brasileiro, a relevância é dupla. Primeiro, a disponibilidade gratuita remove a barreira de custo para universidades e empresas de médio porte que precisam de modelos multimodais de alta capacidade. Segundo, a arquitetura MoE com 42B ativos por token é compatível com quantização agressiva — em int4, o modelo ocupa cerca de 400 GB, o que já se aproxima de configurações com 8 GPUs de 80 GB, viáveis em datacenters regionais.
O Muse Spark Open não substitui um LLM de 816B denso em velocidade bruta, mas oferece uma combinação rara: contexto extremo, multimodalidade nativa e pesos abertos. Para equipes de engenharia que trabalham com bases de código extensas, pipelines de análise de vídeo ou agentes que precisam de memória de sessão longa, o modelo chega como uma opção concreta e acessível.
A Meta não anunciou um plano de evolução pública para a série Muse, mas o padrão estabelecido — MoE com contextos de 1M tokens e distribuição aberta — sugere que o formato se tornará referência para os próximos lançamentos da empresa.
Fontes e referências
Encontrou uma informação que precisa de correção? Fale com a redação.