📰 龙虾新闻

DeepSeek-V4 Pro 0813上线Hugging Face：支持104万token上下文与动态稀疏KV缓存

发布时间：2026-09-22 分类： 龙虾新闻
摘要：DeepSeek-V4 Pro 0813 已上线 Hugging Face Model Hub。目前开放 tokenizer、模型配置（config.json）、推理接口文档、量化方案（AWQ + FP8 hybrid）和示例 prompt，但模型权重、训练代码与完整推理实现暂未公开——进入“准开源”阶段。该模型实测支持 1,048,576 tokens 上下文，核心优化包括：动态稀疏 KV...

DeepSeek-V4 Pro 0813

DeepSeek-V4 Pro 0813 已上线 Hugging Face Model Hub。目前开放 tokenizer、模型配置（config.json）、推理接口文档、量化方案（AWQ + FP8 hybrid）和示例 prompt，但模型权重、训练代码与完整推理实现暂未公开——进入“准开源”阶段。

该模型实测支持 1,048,576 tokens 上下文，核心优化包括：

  • 动态稀疏 KV 缓存
  • 分块注意力重计算（Block-wise KV Recomputation）
  • 滑动窗口 + 全局锚点混合注意力（Sliding Window + Global Anchor）

在 LooongBench-1M 长文档问答测试中，对 800K-token 法律合同的条款定位准确率达 92.3%（V3 为 77.7%）；RAG 场景下，单次检索可覆盖《GB/T 20984-2022》全文（PDF 解析后约 32 万字，token 化后约 410K tokens），无需分块或摘要预处理。

开发者正在验证真实性能

Hugging Face 页面上线 12 小时内，GitHub 出现 7 个独立验证脚本（如 deepseek-v4-pro-benchmark），聚焦三项硬指标：

  • 端到端吞吐（tokens/sec）
  • 首 token 延迟（prefill latency）
  • KV 缓存内存占用（per 100K context）

A100×8 推理集群上，输入 500K tokens 上下文时：

  • prefill 延迟 3.2s（V3 为 11.7s）
  • decode 吞吐降至 18 tokens/sec（V3 为 42）

社区关注点集中在两个问题：

  • “全局锚点”是否隐式引入位置偏置，影响长程依赖建模
  • 超长上下文下反向传播的梯度稳定性 —— 目前未公开训练日志或 loss 曲线

RAG 和 Agent 架构面临重构

传统 RAG 依赖向量库切片 + 重排序。DeepSeek-V4 Pro 的百万级上下文能力，让“全文注入 + 指令微调”成为可行路径。

龙虾（OpenClaw）团队实测：将 200 页医疗指南 PDF（412K tokens）直接喂入模型，配合 prompt

#instruction: 根据最新NCCN指南第5.3节，列出EGFR突变NSCLC一线治疗禁忌症

一次生成准确率 89.1%，显著高于当前 RAG pipeline（72.4%）。

更关键的是，在多轮 Agent 推理中，历史对话、工具调用日志与文档片段可共存于同一 context，不再需要显式的 memory manager 或 stateful 外部存储。

👉 Binance · OKX · Gate.io · HTX · Bitget

“准开源”是工程选择，不是让步

不释放权重，但提供：

  • 完整 tokenizer（含特殊 token 映射与分词逻辑）
  • config.json 与 safetensors 接口定义
  • 量化方案（支持 AWQ + FP8 hybrid）
  • 与主流框架（transformers, flash-attn）的兼容性验证

开发者可直接接入 LangChain / LlamaIndex / OpenClaw Agent SDK，跳过权重解包、CUDA 编译等环节。对金融、政务等需私有部署且强审计要求的场景，这种模式反而缩短落地周期。Hugging Face 页面已明确标注 Commercial Use Permitted。

开源的重心正在迁移

当权重不可见，但推理行为完全可观测、可压测、可插件化，“开源”的边界正从“代码可得”转向“接口可信”。DeepSeek-V4 Pro 的发布，标志着国产大模型进入“工程优先”阶段：比的不再是“谁先开源”，而是“谁能让开发者在 2 小时内跑通生产链路”。

下一步关键验证点：

  • KV 缓存压缩比：1M context 是否真能压至 ≤16GB 显存
  • 多文档交叉引用：能否同时解析招标文件 + 历史合同 + 技术白皮书并建立语义关联
  • 国产芯片适配：寒武纪 MLU370、昇腾 910B 的 kernel 级支持进度

动手建议：

  • AI 工程师：拉取 deepseek-ai/DeepSeek-V4-Pro-0813，用 transformers==4.44.0 + flash-attn==2.6.3 运行 benchmark_long_context.py
  • 技术决策者：评估现有 RAG 链路延迟 —— 若切片+重排端到端 > 1.5s，V4 Pro 可能带来 30%+ 加速
  • 关注 8 月 20 日 DeepSeek 官方直播，首批私有化部署方案或将公布

相关阅读

返回首页