📰 龙虾新闻

DeepSeek自研万卡集群与百亿参数模型开源，支持一键安装及多后端本地部署

发布时间：2026-07-14 分类： 龙虾新闻
摘要：DeepSeek半年内完成万卡集群自研、训练框架开发和两个百亿参数模型开源。国产AI工程化节奏，正在被重新定义。DeepSeek-LLM 和 DeepSeek-Coder 已上线 HuggingFace，支持 pip install deepseek 一键安装，原生接入 transformers，CUDA/ROCm 多后端本地部署，也提供 vLLM/Triton 封装的轻量推理服务。模型在中...

封面

DeepSeek半年内完成万卡集群自研、训练框架开发和两个百亿参数模型开源。国产AI工程化节奏，正在被重新定义。

DeepSeek-LLM 和 DeepSeek-Coder 已上线 HuggingFace，支持 pip install deepseek 一键安装，原生接入 transformers，CUDA/ROCm 多后端本地部署，也提供 vLLM/Triton 封装的轻量推理服务。模型在中文语义理解、128K 长上下文、代码生成（Python/JS/Go/Rust/C++ 全栈）上做了针对性优化。实测：7B 量化版可在单张 A10（24GB）或 A100（40GB）上运行（显存占用 <4GB）；13B 版本在双 A100 80GB 上吞吐达 18 tokens/s。中小团队不用定制硬件，开箱即用。核心不是“大”，而是“可控、可落、可迭代”：全部训练跑在自研智算集群（超 10,000 张国产 GPU 卡）上，用自研分布式训练框架 DeepSpeed-X（兼容 PyTorch，屏蔽 NCCL 差异，支持寒武纪、昇腾、A800 混训），任务调度延迟 <5ms，故障自动回滚粒度精确到 micro-batch。

自主可控：从芯片驱动到训练算子，全栈可见

DeepSeek 没用任何闭源训练组件。万卡集群统一纳管寒武纪 MLU370、昇腾 910B 和部分英伟达 A800，靠自研驱动层实现异构卡内存池化；DeepSpeed-X 重构梯度同步路径，在 RDMA+RoCE 网络下 AllReduce 带宽利用率拉到 92%，比标准 DeepSpeed 快 1.7 倍。FlashAttention-3 适配、FP8 混合精度训练器、动态 LoRA 微调引擎全部开源——开发者能完整复现训练流程，不只是下载权重。“栈底可见”对金融、政务等场景是刚需：模型血缘清晰、训练日志可审计、每个算子都可查源码。

交付速度：26 周走完全链路

主流开源模型周期：Llama 2（12 个月）、Qwen1.5（8 个月）、Phi-3（6 个月）。DeepSeek 把“数据清洗 → 预训练 → SFT → RLHF → 量化 → 部署”压到 26 周。关键在工程前置：预训练直接集成中文 Tokenizer（Unigram + 词典增强，中文分词 F1 99.2%）；SFT 数据用“三阶清洗”（规则过滤 → 小模型打分 → 人工抽检），单轮标注成本降 40%；RLHF 放弃 PPO，改用 DPO+GRPO 联合优化，32 卡集群 3 天收敛策略。结果：DeepSeek-LLM 在 CMMLU 达 82.6 分，超过 Qwen1.5-14B（81.3）；DeepSeek-Coder 在 HumanEval-CN 通过率 78.4%，比 CodeLlama-13B 高 12.1 个百分点。

工程落地性：百亿模型进机房，不挑服务器

OpenClaw v0.4.2 起已将 DeepSeek-Coder 设为默认代码 Agent 基座，VS Code 插件直连本地 API，无需云密钥。实测：一台 DELL R750（2×A10 24GB），加载 DeepSeek-Coder-13B-INT4 后，稳定支撑 3 并发 IDE 助手请求，平均响应延迟 <1.2s。模型提供三种推理接口：

  • 标准 REST API（兼容 Ollama/OpenRouter）
  • gRPC 流式服务（支持 token 流控与中断）
  • ONNX Runtime 导出包（ARM64/Linux-x86 双架构，专为边缘优化）

配图

HuggingFace 页面附带完整 Dockerfile 和 k8s 部署模板，含 GPU 资源限制、OOM 自动降级、HTTP 健康探针——这不是“能跑”，是“敢上生产”。

龙虾官网（yitb.com）已开通 DeepSeek 模型镜像加速通道，国内用户执行 yitb-cli pull deepseek/llm-7b 即可秒级拉取，绕过 HuggingFace 限速与认证。同时开放 DeepSeek-X 微调工作台（Beta）：上传私有代码库，30 分钟内生成领域专属 Coder 微调版本。

国产大模型正从“参数竞赛”转向“交付竞赛”。DeepSeek 的实践很实在：

  • 自主可控 = 把训练框架的关键模块写成可审计的 C++；
  • 交付速度 = 用工程手段砍掉冗余迭代，不是压榨人力；
  • 落地性 = 把 13B 模型塞进两块 A10，还跑出生产级吞吐。

接下来半年，真正的问题是：

  • 谁能把微调门槛压到“上传 Excel → 点击训练 → 下载 API Key”？
  • 谁能让政务系统在不连公有云的前提下，用 3 台旧服务器跑通 RAG+Agent 闭环？

答案不在论文里，在能开机就跑的 Docker 镜像中。
立即访问 HuggingFace 或 yitb.com/deepseek，用 transformers 加载第一个中文百亿模型——别等 Demo，现在就部署。

返回首页