AI幻觉：ChatGPT的“胡说八道”引发广泛关注，呼吁加强透明度与审查

2023年6月02日 09:32

OpenAI近日宣布了一种新的AI模型训练方法，旨在解决“AI幻觉”问题。该问题指的是聊天机器人使用编造的信息回应用户的情况，这使得输出结果缺乏可靠性。为了解决这个问题，OpenAI提出了一种名为“过程监督”的训练策略，通过奖励模型在推理过程中的每个正确步骤，鼓励其遵循人类思维的方法链，提高模型输出的可解释性。

一、OpenAI正寻求新方法对抗“AI幻觉”

据CNBC报道，OpenAI宣布计划采取一种新的AI模型训练方法，以解决“AI幻觉”难题。

1.什么是“AI幻觉”？

“AI幻觉”指的是聊天机器人用编造的信息进行回应，这是AI的自信反应。尽管模型可能看似在滔滔不绝地陈述事实，但实际内容却是“一本正经胡说八道”。这种幻觉在需要多步推理的领域尤为严重，其中一个环节上的逻辑错误就足以破坏整个解答过程。

2.OpenAI提出的解决策略：过程监督

为了解决幻觉问题，OpenAI提出了一种新的策略：在AI模型训练中引入过程监督的奖励机制。过程监督不仅奖励模型获得正确的最终结论，更要奖励模型在得出答案的过程中做出的每个正确推理步骤。

研究人员表示，过程监督的方法可以鼓励模型更好地遵循人类的“思维”方法链，从而提高AI输出的可解释性。这一方法被视为构建高一致性AGI（通用人工智能）的关键一步。

3.OpenAI 的研究进展和数据集

OpenAI的研究人员已经发布了一套附带数据集，其中包含80万个人类标注，用于训练描述在研究论文中提到的这套模型。这一数据集将帮助研究人员更好地理解和解决幻觉问题，使得模型能够具备解决挑战性推理问题的强大能力。

OpenAI公司的数学生成（mathgen）研究员Karl Cobbe表示，检测和缓解模型中的逻辑错误或幻觉是构建高一致性AGI的关键步骤之一。虽然OpenAI在过去没有采用过程监督方法，但他们希望通过这项研究解决幻觉问题，并使得模型能够更好地应对具有挑战性的推理问题。

通过引入过程监督和不断改进训练方法，OpenAI正在努力解决“AI 幻觉”问题，以提高AI模型的可靠性和可解释性，从而更好地服务于人类社会。

二、解决“AI幻觉”难题任重道远

随着人工智能技术的广泛应用，“AI幻觉”问题日益引起人们的担忧。例如，谷歌最近发布的聊天机器人 Bard 在描述詹姆斯·韦伯太空望远镜时出现错误描述。另外，ChatGPT在一份文件中引用了“不存在的”案件，律师在询问ChatGPT时也受到了误导。这些案例突显了“AI幻觉”问题的严重性和潜在后果。

OpenAI的新的训练方法引起了广泛讨论，但也有人对其提出质疑。电子隐私信息中心的高级顾问Ben Winters对该方法表示怀疑，认为需要进一步检查完整的数据集和示例才能确定其实际效果。布朗大学技术责任中心主任Suresh Venkatasubramanian认为，这项研究目前更多是初步观察，并缺乏相关证据支持。

三、在强调 ChatGPT局限性方面，OpenAI做得还不够

尽管OpenAI意识到 ChatGPT 的“AI幻觉”问题，但在强调ChatGPT的局限性方面还有待加强。OpenAI在ChatGPT主页上发布了一条警告，提醒用户可能会出现不正确的信息。然而，这样的警告对于ChatGPT这样一个容易被误解的强大技术成果来说还不够。OpenAI 应该投入更多精力明确强调 ChatGPT 无法稳定区分事实和“幻觉”。

一些人被ChatGPT的“胡说八道”所愚弄，这引发了广泛关注。虽然大多数案例没有造成严重后果，但个别案例的错误信息可能带来严重的后果。因此，人们应该足够重视这类 AI产品的局限性，并加强对其使用的合理性审查。

OpenAI的努力在于提高 ChatGPT的透明度和准确性。他们已经开始向用户强调模型的局限性，并努力改进其回答的一致性。然而，仍然需要更多的工作来解决这些问题。

为了应对“AI幻觉”，OpenAI提出了新的训练方法，即过程监督。这种方法奖励模型在推理过程中的每个正确步骤，而不仅仅是最终结论。通过鼓励模型遵循人类思维方法链，过程监督方法可能提高AI输出的可解释性。

尽管OpenAI的训练方法被视为一种解决方案，但仍然存在一些质疑。一些专家指出，仅靠这种方法可能不足以显著降低AI生成错误信息和不正确结果的问题。此外，他们还关注研究成果是否会全面纳入产品，并担心模型选择性地向公众发布信息。

对于 ChatGPT的用户来说，他们也需要加强对其局限性的认识。用户在使用AI产品时应当保持警觉，并谨慎验证其提供的信息。虽然ChatGPT可以在某些任务中发挥巨大作用，但其局限性需要引起足够的重视。

此外，媒体也应当承担起报道责任，准确传达AI产品的局限性和风险。只有通过共同的努力，才能建立一个更加可信赖和可解释的AI环境。

总之，OpenAI正在努力解决“AI幻觉”问题，并提出了新的训练方法。然而，这只是解决方案的一部分，仍然需要更多的工作来改进AI的透明度和准确性。用户和媒体也需要增强对AI产品局限性的认识，并采取相应的措施来验证和审查其输出信息。只有这样，才能建立一个更加可靠和负责任的AI生态系统。

免责声明:AI幻觉：ChatGPT的“胡说八道”引发广泛关注，呼吁加强透明度与审查文章转发自互联网，版权归其所有。
文章内容不代表本站立场和任何投资暗示。加密货币市场极其波动，风险很高，可能不适合所有投资者。在投资加密货币之前，请确保自己充分了解市场和投资的风险，并考虑自己的财务状况和风险承受能力。此外，请遵循您所在国家的法律法规，以及遵守交易所和钱包提供商的规定。对于任何因使用加密货币所造成的投资损失或其他损失，本站不承担任何责任。

AI幻觉：ChatGPT的“胡说八道”引发广泛关注，呼吁加强透明度与审查

元宇宙最新

元宇宙热门