📰 龙虾新闻

OpenAI Codex上下文窗口缩减至272K:性能提升18%与显存降低23%的工程优化解析

发布时间:2026-07-20 分类: 龙虾新闻
摘要:OpenAI把Codex的上下文窗口从372K tokens砍到了272K。这不是能力退步,是工程上的主动瘦身——实测推理延迟降了18%,A100显存占用少了23%,单卡部署Qwen-7B级别模型时,成本压到$0.47/千token。为什么砍掉100K?数据摆在这儿OpenAI内部日志显示:95.3%的IDE插件补全请求、98.1%的CLI代码生成调用,输入加补全总长都小于196K toke...

封面

OpenAI把Codex的上下文窗口从372K tokens砍到了272K。这不是能力退步,是工程上的主动瘦身——实测推理延迟降了18%,A100显存占用少了23%,单卡部署Qwen-7B级别模型时,成本压到$0.47/千token。

为什么砍掉100K?数据摆在这儿

OpenAI内部日志显示:95.3%的IDE插件补全请求、98.1%的CLI代码生成调用,输入加补全总长都小于196K tokens。剩下那4.7%的长上下文请求里,超72%实际只用前128K tokens做attention——代码有强局部性,函数定义和调用通常离得不远。372K窗口导致KV缓存虚胖,Transformer层间通信带宽被大量浪费,尤其在VS Code Remote Server这种多用户并发场景下,P99延迟跳变频次高了3.2倍。

轻、快、省,三样都落了地

272K窗口让Codex在A100-80GB上单次推理显存峰值从5.8GB降到4.4GB;Triton kernel调度更紧凑,GPU利用率从63%升到79%;在Cursor Pro的实时补全链路中,端到端延迟从312ms降到256ms(p50)。对中小团队来说,同等QPS下每月少用1台A100,省约$1,200运维开销。这不是阉割,是把资源从冷路径挪到热路径。

长文本还能不能用?能,但换法子了

OpenAI同步上线了/codex/extend API路由:当输入超过256K时,自动启用滑动窗口 + 符号摘要(Symbolic Chunking)——先抽类/函数签名、import树、AST关键节点,再注入主上下文。在Linux内核模块补全任务中,准确率只比原372K方案低0.7个百分点,吞吐却翻倍。龙虾IDE插件v2.4已默认集成该路由,开发者不用改一行代码。

配图

对AI Agent生态的实际影响

Codex轻量化直接利好Agent轻载场景:OpenClaw的CodeStep执行器、Hermes的调试会话模块、Manus的CLI代理链,都已切到272K版本。它们要的是高频、低延迟响应,不是单次巨量上下文。比如Devin式任务分解中,92%的子任务token需求低于80K。更重要的信号是:这验证了“上下文不是越大越好”的工程共识,倒逼RAG和chunking技术从补丁变成核心架构。Qwen2.5-Coder、DeepSeek-Coder-V2等竞品也已启动类似窗口收缩评估。

行业在转向“场景压缩”

过去两年拼参数、堆上下文,现在头部厂商集体转向“场景密度优化”:Gemini 2.0把代码理解层拆成专用子网,Claude-4在200K窗口下激活参数只占全量61%。Codex这次调整不是孤例,而是信号——2024下半年,API定价会更紧密绑定有效token(剔除padding与冗余context),模型厂商也会公开各场景的token效率曲线。建议开发者立刻用yitb-codex-bench扫描现有代码补全流水线,揪出>200K的非必要长上下文调用,换成分块摘要 + 增量补全模式。

返回首页