• 元宇宙：本站分享元宇宙相关资讯，资讯仅代表作者观点与平台立场无关,仅供参考.

OpenAI在GPU资源限制下的短期路线图和未来展望

  • 2023年6月08日 09:39

近日，OpenAI创始人Sam Altman与Humanloop CEO Raza Habib以及其他20位开发者进行了一场闭门交流，讨论了OpenAI的现状和未来规划。HumanLoop是一家帮助开发者在大语言模型上构建应用的公司。



有参加了此次交流会的开发者表示，由于这是一次闭门交流，Altman表现出了开放的心态，讨论内容涵盖了开发者面临的实际问题，还延伸到了商业竞争、AI监管和开源等问题。

Raza Habib记录了这次对话的重要内容，并在网络上公布了相关内容。然而，随后根据OpenAI的要求，这些内容已被删除。这一删除行为引发了外界的强烈好奇和质疑。

有网友表示：“一家从互联网上收集信息做产品的公司，居然要求从互联网上‘删除’一篇文章，这种行为真的很讽刺。”

外界对于OpenAI删除文章的原因存在各种猜测。在HackNews上，一位现场参会者认为OpenAI删除文章是因为他们不希望在公开场合讨论一些重要的公司规划。还有网友认为，OpenAI这样做可能有炒作的嫌疑，毕竟GPU资源短缺已经不再是一个秘密，只需要看看英伟达的股价就能了解情况。


一、OpenAI对GPU资源的依赖

在Altman和Raza的讨论中，确认了OpenAI目前严重依赖GPU资源，这导致许多短期计划不得不推迟。一些大客户还抱怨API的可靠性和速度表现。Altman赞同这些观点，并解释说主要问题源于GPU供应不足。

目前，更长的32k上下文还无法完全推广。OpenAI仍然面临O(n^2)注意力扩展问题的挑战，这意味着尽管预计在今年实现10万到百万级令牌的上下文窗口，但进一步扩展需要突破性的研究。

微调API目前同样受到GPU资源的限制。由于尚未使用Adapters或LoRa等高效的微调方法，OpenAI的微调运行和管理仍然需要大量的计算资源。未来，微调的支持效果将会更好，OpenAI甚至可能为社区建立一个专门的模型市场。

专用容量产品也无法独善其身。OpenAI目前提供专用容量，为客户提供模型的私有副本。然而，要获得这项服务，客户需要预先支付10万美元。

随着大型语言模型和AI的广泛应用，各个AI企业对GPU的需求迫切程度达到了前所未有的水平。英伟达高端GPU芯片的价格已经达到每片数万美元，AI基础设施公司正在以数万台的价格购买这些芯片。马斯克也表示他已经为他的新AI初创公司X.AI购买了超过3万块英伟达顶级的H100 GPU芯片，每块价格超过3万美元。此外，Meta和微软也成为今年英伟达GPU的最大买家之一（Meta可能是第一名，因为Facebook、Instagram、WhatsApp和Messenger应用中有许多使用AI增强的功能需要GPU支持）。

这就是为什么Sam Altman表示OpenAI也非常缺乏GPU资源的原因。Sam Altman此前在媒体采访中公开强调了GPU的可用性如何影响OpenAI今年及以后的计划。


二、OpenAI的短期路线图

除了强调GPU的重要性外，Altman还分享了OpenAI的API近期路线图（暂定）。

Altman表示，2023年对于OpenAI的发展来说是重要的一年，他们有一些令人兴奋的计划和目标。

首要任务是推出价格更低、速度更快的GPT-4。总体而言，OpenAI希望通过不断改进模型和提高性能，使其更适合广泛的应用场景，并更好地满足客户需求。GPT-4的发布将是OpenAI在2023年的一个重要里程碑。

此外，OpenAI还计划改善API的可靠性和速度，以提供更好的用户体验。他们将投入更多资源来解决目前API使用过程中的一些限制和问题，以确保用户能够更高效地使用和集成OpenAI的技术。

Altman还提到，OpenAI计划加大对开发者社区的支持力度。他们计划在未来提供更多的文档、示例代码和教程，以帮助开发者更好地理解和使用OpenAI的技术。此外，OpenAI还考虑建立一个专门的模型市场，让开发者能够共享和交易自己训练的模型。

在AI安全方面，OpenAI将继续致力于研究和开发能够确保模型的安全性和可控性的方法。他们意识到大型语言模型的潜在风险，并将持续投入资源来解决这些问题，确保AI技术的发展与社会利益相符。

总的来说，OpenAI在短期路线图中关注的重点是改进模型性能、提高API的可靠性和速度，并加强对开发者社区的支持。他们希望通过这些努力为用户提供更好的体验，并推动AI技术的发展和应用。

元宇宙最新

元宇宙热门

Copyright © 2021.Company 元宇宙YITB.COM All rights reserved.元宇宙YITB.COM