A DeepSeek, empresa chinesa que já abalou o mercado de IA com seus modelos abertos, lançou o DeepSeek V4.1 Flash, uma atualização significativa que combina um backbone MoE de 552B parâmetros com um mecanismo de compressão de KV cache que reduz em quatro vezes o consumo de memória. O modelo foi disponibilizado sob licença MIT, com pesos disponíveis no Hugging Face e ModelScope, e já pode ser acessado via API com preços que começam em $0,20 por milhão de tokens de entrada.

O V4.1 Flash suporta contexto de até 1 milhão de tokens e saída de até 384 mil tokens, além de entrada visual, modos de raciocínio e sem raciocínio, chamadas de ferramentas e saída JSON. A arquitetura Causal Encoder-Decoder (CED) ativa apenas 16B parâmetros por token durante a decodificação e 8B durante o pré-processamento, o que melhora substancialmente a eficiência de custo para workloads de agentes de IA.

A compressão do KV cache é o destaque técnico do modelo. A combinação de reutilização de KV cache entre camadas no Compressed Sparse Attention 2 (CSA2) com cache FP4 reduz o footprint global do KV cache para 890 bytes por token, cerca de um quarto do tamanho correspondente no DeepSeek-V4-Flash. Uma otimização de deploy chamada SWA Bounded Replay reduz ainda o KV cache persistente para cerca de um oitavo do tamanho do modelo anterior.

O modelo atende a uma demanda crescente por modelos abertos que possam ser executados localmente ou em ambientes de auto-hospedagem. Com 192GB de memória unificada, plataformas como a AMD Ryzen AI Halo já rodam modelos de até 300B parâmetros, e o V4.1 Flash encaixa-se perfeitamente nesse cenário. Para desenvolvedores que precisam de um modelo de fronteira com licença permissiva, o V4.1 Flash oferece uma alternativa competitiva aos modelos fechados da OpenAI, Anthropic e Google.

A DeepSeek também publicou o paper técnico 'Pushing the Limits of KV Cache Compression', detalhando as otimizações de arquitetura que tornam o modelo viável em hardware de custo moderado. O trabalho é relevante para a comunidade de pesquisa em sistemas de IA, que busca reduzir os custos de inferência sem sacrificar qualidade.

O V4.1 Flash está disponível imediatamente na API da DeepSeek e em provedores como DeepInfra. Para quem prefere auto-hospedagem, os pesos no Hugging Face permitem instalação com frameworks como vLLM e Ollama. A licença MIT garante uso comercial irrestrito, o que o torna uma opção atraente para empresas que desejam integrar IA em seus produtos sem preocupações de licenciamento.

Fontes e referências

Eric
Eric

Editor responsável pela Gbyte News.

Mais deste colunista ↗

Encontrou uma informação que precisa de correção? Fale com a redação.