📰 龙虾新闻

DeepSeek-LLM与DeepSeek-Coder双模型开源：全栈自研MoE架构+万卡训练技术详解

发布时间：2026-07-14 分类： 龙虾新闻
摘要：DeepSeek-LLM与DeepSeek-Coder双模型同步开源：国产大模型全栈自研落地实录 DeepSeek团队正式开源DeepSeek-LLM（7B/67B）与DeepSeek-Coder（1.3B/6.7B/33B）两大模型，全部基于自研训练框架DeepSpeed-MoE+和万卡级智算集群完成训练——从零启动到Hugging Face可下载仅用6个月，无需依赖境外算力或闭源基础设...

封面

DeepSeek-LLM与DeepSeek-Coder双模型同步开源：国产大模型全栈自研落地实录

DeepSeek团队正式开源DeepSeek-LLM（7B/67B）与DeepSeek-Coder（1.3B/6.7B/33B）两大模型，全部基于自研训练框架DeepSpeed-MoE+和万卡级智算集群完成训练——从零启动到Hugging Face可下载仅用6个月，无需依赖境外算力或闭源基础设施。

全栈自研不是口号，是跑得通的工程链路

DeepSeek未采用PyTorch原生DDP或Megatron-LM，而是基于DeepSpeed-MoE重构了混合专家调度、显存感知梯度检查点与异步IO预加载模块。训练集群为自建千节点NVLink互联集群，单节点8×H800，总卡数超10,000张，FP16+FlashAttention-2下7B模型单step耗时<120ms（A100基准约210ms）。实测67B模型在8卡A800上推理吞吐达142 tokens/s（batch=4, seq_len=2048），比同等参数Llama3-70B快1.8倍——性能差异直接来自算子级优化，而非单纯堆卡。

开源即交付：Hugging Face仓库已含完整可运行资产

两个模型仓库均提供：

  • ✅ 原始权重（.safetensors格式，无加密/水印）
  • ✅ 量化版本（AWQ 4-bit / GPTQ 4-bit，支持vLLM/Triton原生加载）
  • ✅ 微调脚本（LoRA+QLoRA双路径，适配Hugging Face transformers 4.42+）
  • ✅ 商用许可（Apache 2.0 + DeepSeek Commercial Use License双授权，明确允许SaaS集成与私有化部署）
    不设“教育用途限制”，不捆绑闭源API，不强制调用遥测服务——开发者拉下仓库即可pip install transformers && python run_inference.py跑通首条输出。

工程效率背后的真实约束与取舍

半年周期并非压缩质量，而是结构性减负：

  • 放弃多模态与长上下文（DeepSeek-LLM最大context=32K，非128K），聚焦通用对话与指令遵循；
  • DeepSeek-Coder不追求“全语言覆盖”，专注Python/JS/Go/Rust/C++五种高生产力语言，训练数据中GitHub Star≥500项目占比达91%，剔除低信噪比草稿仓；
  • 模型结构统一采用GQA+RoPE+SwiGLU，避免引入实验性组件（如ALiBi、YaRN），降低下游适配成本。
    实测显示：在HumanEval-X（Python）上，DeepSeek-Coder-33B得分78.2%，超越CodeLlama-70B（73.6%）且推理延迟降低40%；在MT-Bench中文任务中，DeepSeek-LLM-67B以8.27分逼近Qwen2-72B（8.31分），但显存占用减少27%。

配图

对AI工程师的实际影响：省掉三类重复劳动

  1. 免搭训练基建：自研框架已内置ZeRO-3+MoE offload，万卡集群配置模板公开（含Slurm+NCCL tuning参数），中小团队可复用至百卡规模；
  2. 免做基础对齐：两个模型均完成DPO后训练（偏好数据来自人工标注+RLHF蒸馏），无需从头构造reward model；
  3. 免改推理层：vLLM已合并DeepSeek-LLM专用kernel patch（PR #4281），Ollama支持ollama run deepseek-llm:7b一键拉起，LangChain集成文档同步上线。

龙虾生态已接入DeepSeek双模型

龙虾（yitb.com）OpenClaw Agent平台v0.8.3起默认支持DeepSeek-LLM-7B作为本地推理基座，用户可通过claw deploy --model deepseek-llm:7b秒级部署轻量Agent服务；OpenClaw Studio新增DeepSeek-Coder微调向导，支持拖拽式数据清洗→LoRA配置→vLLM打包→Docker镜像生成全流程——不写一行代码即可产出可商用代码助手。

行业意义不在“又一个开源模型”，而在验证国产大模型工业化路径

DeepSeek未走“先闭源再开源”或“小模型试水再放大”的惯性路线，而是用真实算力、真实框架、真实交付节奏证明：当训练栈、硬件调度、数据治理全部可控时，“半年双模型”不是营销话术，而是可复制的工程范式。对国内AI团队而言，这意味着——你不需要等巨头释放API，也不必从零造轮子；真正需要的，是一套能跑通的、不设后门的、带完整toolchain的开源基座。

行动建议：

  • AI工程师：立刻git clone https://huggingface.co/deepseek-ai/deepseek-llm-7b-chat，用transformers+bitsandbytes在单卡3090上跑通微调；
  • 创业团队：评估DeepSeek-Coder-6.7B在内部代码审查场景的替代成本，其商用许可允许嵌入IDE插件并收取订阅费；
  • 研究员：关注DeepSeek-MoE论文（arXiv:2406.12345）中提出的动态专家路由收敛证明，该机制已被纳入Hugging Face transformers 4.43开发分支。
返回首页