A DeepSeek publicou nesta semana o DeepSeek-V4.1-Flash, um modelo Mixture-of-Experts (MoE) multimodal com 552 bilhões de parâmetros de backbone e suporte a contextos de até 1 milhão de tokens. O lançamento, documentado no artigo técnico "Pushing the Limits of KV Cache Compression", foca em resolver o principal gargalo para o uso de agentes de IA de longa duração: o custo de computação e memória para processar entradas longas.
A arquitetura Causal Encoder-Decoder
A principal inovação do V4.1-Flash é a arquitetura Causal Encoder-Decoder (CED), que separa os parâmetros usados na fase de prefill (processamento da entrada) e na fase de decode (geração da saída). Durante o decode, o modelo ativa 16 bilhões de parâmetros por token. Durante o prefill, porém, ativa apenas 8 bilhões — exatamente a metade.
Isso significa que, para workloads de agentes de IA que envolvem entradas longas e saídas relativamente curtas, o custo computacional do prefill cai pela metade. Para um agente que processa documentos de 100 mil tokens e gera respostas de 2 mil tokens, a economia é significativa: o prefill, que normalmente consome a maior parte do tempo de processamento, passa a exigir metade da capacidade computacional.
Compressão de KV cache: 890 bytes por token
O segundo avanço é a combinação de duas técnicas para reduzir o footprint da KV cache: a Compressed Sparse Attention 2 (CSA2) com reutilização cross-layer de KV cache, e o cache de KV em FP4 (4 bits por parâmetro). Juntas, essas técnicas reduzem o footprint global da KV cache — que permanece sempre na HBM — para 890 bytes por token.
Para referência, o DeepSeek-V4-Flash anterior tinha um footprint cerca de 4 vezes maior. Isso significa que o V4.1-Flash cabe em aproximadamente 25% da memória de GPU que o modelo anterior exigia para o mesmo comprimento de contexto. Para um contexto de 100 mil tokens, a diferença é de centenas de gigabytes de HBM.
Além disso, a técnica SWA Bounded Replay reduz o footprint persistente da KV cache — que fica em SSD ou memória host — para cerca de 1/8 do tamanho anterior. Isso permite que modelos com contexto de 1 milhão de tokens sejam executados em hardware que, de outra forma, não teria capacidade de armazenamento.
Treinamento e desempenho
O V4.1-Flash foi pré-treinado em um corpus multimodal de 45 trilhões de tokens e passou por pós-treino extensivo. A DeepSeek afirma que o modelo entrega desempenho substancialmente melhor que o baseline V4-Flash em cenários agênticos de texto e multimodais, apesar do footprint de KV cache drasticamente menor.
Os checkpoints do modelo estão disponíveis no Hugging Face em formatos BF16, FP8 e NVFP4, com suporte nativo em vLLM, SGLang e transformers. Para quem opera infraestrutura de IA, o V4.1-Flash representa um avanço prático: menos memória, menos bandwidth, menor custo por token processado, com desempenho mantido ou superior.
A DeepSeek não detalhou os preços de inferência em sua nuvem, mas a disponibilidade dos pesos abertos permite que provedores e equipes de ML calculem o custo de execução local. Para agentes de IA que rodam 24/7 com contextos longos, a redução de 75% no footprint de KV cache é a diferença entre rodar em uma GPU de 96 GB e precisar de um cluster inteiro.
Fontes e referências
Encontrou uma informação que precisa de correção? Fale com a redação.