OpenAI震撼发布o1大模型强化学习突破LLM推理极限

2024年9月13日 22:49

来源：机器之心

大语言模型还能向上突破，OpenAI再次证明了自己的实力。

北京时间9月13日午夜，OpenAI正式公开一系列全新AI大模型，旨在专门解决难题。这是一个重大突破，新模型可以实现复杂推理，一个通用模型解决比此前的科学、代码和数学模型能做到的更难的问题。

奥特曼表示，虽然o1的表现仍然存在缺陷，不过你在第一次使用它的时候仍然会感到震撼。

其次，o1给大模型规模扩展vs性能的曲线带来了一次上翘。它在大模型领域重现了当年AlphaGo强化学习的成功——给越多算力，就输出越多能，一直到超越人类水平。

也就是从方法上，o1大模型首次证明了语言模型可以进行真正的强化学习。

开发出首个AI软件工程师Devin的CognitionAI表示，过去几周一直与OpenAI密切合作，使用Devin评估o1的推理能力。结果发现，与GPT-4o相比，o1系列模型对于处理代码的智能体系统来说是一个重大进步。

最后在实践中，o1上线之后，现在ChatGPT可以在回答问题前先仔细思考，而不是立即脱口而出答案。就像人类大脑的系统1和系统2，ChatGPT已经从仅使用系统1（快速、自动、直观、易出错）进化到了可使用系统2思维（缓慢、深思熟虑、有意识、可靠）。这让它能够解决以前无法解决的问题。

从今天ChatGPT的用户体验来看，这是向前迈进一小步。在简单的Prompt下，用户可能不会注意到太大的差异，但如果问一些棘手的数学或者代码问题，区别就开始明显了。更重要的是，未来发展的道路已经开始显现。

总而言之，今晚OpenAI丢出的这个重磅炸弹，已经让整个AI社区震撼，纷纷表示tql、睡不着觉，深夜已经开始抓紧学习。接下来，就让我们看下OpenAIo1大模型的技术细节。OpenAIo1工作原理

在技术博客《LearningtoReasonwithLLMs》中，OpenAI对o1系列语言模型做了详细的技术介绍。

OpenAIo1是经过强化学习训练来执行复杂推理任务的新型语言模型。特点就是，o1在回答之前会思考——它可以在响应用户之前产生一个很长的内部思维链。

也就是该模型在作出反应之前，需要像人类一样，花更多时间思考问题。通过训练，它们学会完善自己的思维过程，尝试不同的策略，并认识到自己的错误。

在OpenAI的测试中，该系列后续更新的模型在物理、化学和生物学这些具有挑战性的基准任务上的表现与博士生相似。OpenAI还发现它在数学和编码方面表现出色。

在国际数学奥林匹克（IMO）资格考试中，GPT-4o仅正确解答了13%的问题，而o1模型正确解答了83%的问题。

模型的编码能力也在比赛中得到了评估，在Codeforces比赛中排名89%。

OpenAI表示，作为早期模型，它还不具备ChatGPT的许多实用功能，例如浏览网页获取信息以及上传文件和图片。

但对于复杂的推理任务来说，这是一个重大进步，代表了人工智能能力的新水平。鉴于此，OpenAI将计数器重置为1，并将该系列模型命名为OpenAIo1。

重点在于，OpenAI的大规模强化学习算法，教会模型如何在数据高度有效的训练过程中利用其思想链进行高效思考。换言之，类似于强化学习的ScalingLaw。

OpenAI发现，随着更多的强化学习（训练时计算）和更多的思考时间（测试时计算），o1的性能持续提高。而且扩展这种方法的限制与大模型预训练的限制有很大不同，OpenAI也还在继续研究。

评估

为了突出相对于GPT-4o的推理性能改进，OpenAI在一系列不同的人类考试和机器学习基准测试中测试了o1模型。实验结果表明，在绝大多数推理任务中，o1的表现明显优于GPT-4o。

o1在具有挑战性的推理基准上比GPT-4o有了很大的改进。

在一个官方演示中，o1-preview解答了一个非常困难的推理问题：当公主的年龄是王子的两倍时，公主的年龄与王子一样大，而公主的年龄是他们现在年龄总和的一半。王子和公主的年龄是多少？提供这个问题的所有解。

在2024年AIME考试中，GPT-4o平均只解决了12%(1.8/15)的问题，而o1在每个问题只有一个样本的情况下平均为74%(11.1/15)，在64个样本之间达成一致的情况下为83%(12.5/15)，在使用学习的评分函数对1000个样本重新排序时为93%(13.9/15)。13.9分可以跻身全美前500名，并且高于美国数学奥林匹克竞赛分数线。

OpenAI还在GPQADiamond基准上评估了o1，这是一个困难的智力基准，用于测试化学、物理和生物学方面的专业知识。为了将模型与人类进行比较，OpenAI聘请了拥有博士学位的专家来回答GPQADiamond基准问题。

实验结果表明：o1超越了人类专家的表现，成为第一个在该基准测试中做到这一点的模型。

这些结果并不意味着o1在所有方面都比博士更有能力——只是该模型更擅长解决一些博士应该解决的问题。在其他几个ML基准测试中，o1实现了新的SOTA。

启用视觉感知能力后，o1在MMMU基准上得分为78.2%，成为第一个与人类专家相当的模型。o1还在57个MMLU子类别中的54个上优于GPT-4o。思维链（CoT）

与人类在回答难题之前会长时间思考类似，o1在尝试解决问题时会使用思维链。通过强化学习，o1学会磨练其思维链并改进其使用的策略。o1学会了识别和纠正错误，并可以将棘手的步骤分解为更简单的步骤。o1还学会了在当前方法不起作用时尝试不同的方法。这个过程极大地提高了模型的推理能力。编程能力

基于o1进行了初始化并进一步训练了其编程技能后，OpenAI训练得到了一个非常强大的编程模型（o1-ioi）。该模型在2024年国际信息学奥林匹克竞赛（IOI）赛题上得到了213分，达到了排名前49%的水平。并且该模型参与竞赛的条件与2024IOI的人类参赛者一样：需要在10个小时内解答6个高难度算法问题，并且每个问题仅能提交50次答案。

针对每个问题，这个经过专门训练的o1模型会采样许多候选答案，然后基于一个测试时选取策略提交其中50个答案。选取标准包括在IOI公共测试案例、模型生成的测试案例以及一个学习得到的评分函数上的性能。

研究表明，这个策略是有效的。因为如果直接随机提交一个答案，则平均得分仅有156。这说明在该竞赛条件下，这个策略至少值60分。

OpenAI发现，如果放宽提交限制条件，则模型性能更是能大幅提升。如果每个问题允许提交1万次答案，即使不使用上述测试时选取策略，该模型也能得到362.14分——可以得金牌了。

最后，OpenAI模拟了Codeforces主办的竞争性编程竞赛，以展示该模型的编码技能。采用的评估与竞赛规则非常接近，允许提交10份代码。GPT-4o的Elo评分为808，在人类竞争对手中处于前11%的水平。该模型远远超过了GPT-4o和o1——它的Elo评分为1807，表现优于93%的竞争对手。

人类偏好评估

除了考试和学术基准之外，OpenAI还在更多领域的具有挑战性的开放式提示上评估了人类对o1-preview和GPT-4o的偏好。

在这次评估中，人类训练者对o1-preview和GPT-4o的提示进行匿名回答，并投票选出他们更喜欢的回答。在数据分析、编程和数学等推理能力较强的类别中，o1-preview的受欢迎程度远远高于GPT-4o。然而，o1-preview在某些自然语言任务上并不受欢迎，这表明它并不适合所有用例。

在需要更强大推理能力的领域，人们更青睐o1-preview。安全

思维链（CoT）推理为安全和对齐提供了新的思路。OpenAI发现，将模型行为策略整合到推理模型的思维链中，可以高效、稳健地教导人类价值观和原则。通过向模型教导自己的安全规则以及如何在上下文中推理它们，OpenAI发现推理能力直接有利于模型稳健性的证据：o1-preview在关键越狱评估和用于评估模型安全拒绝边界的最严格内部基准上取得了显著的改进。

OpenAI认为，使用思维链可以为安全和对齐带来重大进步，因为1）它能够以清晰的方式观察模型思维，并且2）关于安全规则的模型推理对于分布外场景更具稳健性。

为了对自己的改进进行压力测试，OpenAI在部署之前根据自己的安全准备框架进行了一系列安全测试和红队测试。结果发现，思维链推理有助于在整个评估过程中提高能力。尤其值得注意的是，OpenAI观察到了有趣的奖励黑客攻击实例。

数学能力：在高中AIME数学竞赛中，o1-mini(70.0%)与o1(74.4%)不相上下，但价格却便宜很多，并且优于o1-preview(44.6%)。o1-mini的得分（约11/15个问题）大约位于美国前500名高中生之列。

编码能力：在Codeforces竞赛网站上，o1-mini的Elo得分为1650，与o1(1673)不相上下，并且高于o1-preview(1258)。此外，o1-mini在HumanEval编码基准和高中网络安全夺旗挑战(CTF)中也表现出色。

STEM：在一些需要推理的学术基准上，例如GPQA（科学）和MATH-500，o1-mini的表现优于GPT-4o。o1-mini在MMLU等任务上的表现则不如GPT-4o，并且由于缺乏广泛的世界知识而在GPQA基准上落后于o1-preview。

人类偏好评估：OpenAI让人类评分员在各个领域具有挑战性的开放式提示上比较o1-mini和GPT-4o。与o1-preview类似，在推理密集型领域，o1-mini比GPT-4o更受欢迎；但在以语言为中心的领域，o1-mini并不比GPT-4o更受欢迎。

在速度层面，OpenAI比较了GPT-4o、o1-mini和o1-preview对一个单词推理问题的回答。结果显示，GPT-4o回答不正确，而o1-mini和o1-preview均回答正确，并且o1-mini得出答案的速度快了大约3-5倍。

如何使用OpenAIo1？

ChatGPTPlus和Team（个人付费版与团队版）用户马上就可以在该公司的聊天机器人产品ChatGPT中开始使用o1模型了。你可以手动选取使用o1-preview或o1-mini。不过，用户的使用量有限。

目前，每位用户每周仅能给o1-preview发送30条消息，给o1-mini发送50条消息。

是的，很少！不过OpenAI表示正在努力提升用户的可使用次数，并让ChatGPT能自动针对给定提示词选择使用合适的模型。

至于企业版和教育版用户，要到下周才能开始使用这两个模型。

至于通过API访问的用户，OpenAI表示达到了5级API使用量的开发者可以即刻开始使用这两个模型开始开发应用原型，但同样也被限了速：20RPM。什么是5级API使用量？简单来说，就是已经消费了1000美元以上并且已经是超过1个月的付费用户。请看下图：

OpenAI表示对这两个模型的API调用并不包含函数调用、流式传输（streaming）、系统支持消息等功能。同样，OpenAI表示正在努力提升这些限制。未来

OpenAI表示，未来除了模型更新之外，还将增加网络浏览、文件和图像上传等功能，以让这些模型变得更加有用。

「除了新的o1系列模型，我们计划继续开发和发布我们的GPT系列模型。」

参考内容：/p>

https://openai.com/index/introducing-openai-o1-preview/

https://openai.com/index/openai-o1-mini-advancing-cost-efficient-reasoning/

https://openai.com/index/learning-to-reason-with-llms/

https://x.com/sama/status/1834283100639297910

免责声明:OpenAI震撼发布o1大模型强化学习突破LLM推理极限文章转发自互联网，版权归其所有。
文章内容不代表本站立场和任何投资暗示。加密货币市场极其波动，风险很高，可能不适合所有投资者。在投资加密货币之前，请确保自己充分了解市场和投资的风险，并考虑自己的财务状况和风险承受能力。此外，请遵循您所在国家的法律法规，以及遵守交易所和钱包提供商的规定。对于任何因使用加密货币所造成的投资损失或其他损失，本站不承担任何责任。