新的人工智能训练技术旨在克服当前的挑战

OpenAI和其他领先的人工智能公司正在开发新的训练技术,以克服当前方法的局限性。这些新技术旨在解决在开发更大、更强大的语言模型时出现的意外延迟和复杂性,重点关注类人行为,以教导算法“思考”。

据报道,由十多位人工智能研究人员、科学家和投资者领导的新训练技术,支撑着OpenAI最近的“o1”模型(前称Q*和Strawberry),有潜力改变人工智能发展的格局。报告中的进展可能会影响人工智能公司持续需要的资源类型或数量,包括专用硬件和能源,以帮助开发人工智能模型。

o1模型旨在以模仿人类推理和思维的方式来处理问题,将众多任务分解为步骤。该模型还利用人工智能行业专家提供的专用数据和反馈来增强其性能。

自2022年OpenAI推出ChatGPT以来,人工智能创新激增,许多科技公司声称现有的人工智能模型需要扩展,无论是通过更多的数据还是改进的计算资源。只有这样,人工智能模型才能持续改进。

现在,人工智能专家报告了在扩大人工智能模型方面的局限性。2010年代是扩展的革命时期,但人工智能实验室Safe Superintelligence(SSI)和OpenAI的联合创始人Ilya Sutskever表示,人工智能模型的训练,特别是在理解语言结构和模式方面,已经趋于平稳。

“2010年代是扩展的时代,现在我们再次回到了奇迹和发现的时代。扩展正确的事物现在更为重要,”他们说。

近年来,人工智能实验室的研究人员在开发和发布比OpenAI的GPT-4模型更强大的大型语言模型(LLM)时经历了延迟和挑战。

首先是训练大型模型的成本,通常高达数千万美元。而且,由于系统复杂性导致的硬件故障等问题,最终分析这些模型的运行情况可能需要几个月。

除了这些挑战,训练过程需要大量的能源,往往导致电力短缺,从而干扰流程并影响更广泛的电网。另一个问题是大型语言模型使用的数据量巨大,以至于人工智能模型据说已经耗尽了全球所有可用数据。

研究人员正在探索一种被称为“测试时计算”的技术,以改善当前人工智能模型在训练或推理阶段的表现。该方法可以实时生成多个答案,以决定一系列最佳解决方案。因此,模型可以将更多的处理资源分配给需要类人决策和推理的困难任务。目标是使模型更准确和更有能力。

OpenAI的研究员Noam Brown分享了一个新方法如何取得惊人结果的例子。在上个月的旧金山TED人工智能会议上,Brown解释说:“让一个机器人在一手扑克中思考20秒,获得的提升效果与将模型规模扩大100,000倍并训练100,000倍的时间相同。”

与其简单地增加模型的大小和训练时间,这可以改变人工智能模型处理信息的方式,并导致更强大、更高效的系统。

据报道,其他人工智能实验室也在开发o1技术的版本,包括xAIGoogle DeepMindAnthropic。人工智能领域的竞争并不新鲜,但我们可能会看到新技术对人工智能硬件市场的重大影响。像Nvidia这样的公司,由于其产品的高需求,目前主导着人工智能芯片的供应,可能会受到更新的人工智能训练技术的特别影响。

Nvidia在十月成为全球最有价值的公司,其财富的增长在很大程度上归功于其芯片在人工智能阵列中的使用。新技术可能会影响Nvidia的市场地位,迫使公司调整其产品以满足不断变化的人工智能硬件需求。这可能为推理市场的新竞争者打开更多的机会。

一个新的人工智能发展时代可能即将来临,推动这一进程的是不断演变的硬件需求和更高效的训练方法,例如在o1模型中采用的方法。人工智能模型及其背后的公司的未来可能会被重塑,开启前所未有的可能性和更大的竞争。

另请参见:Anthropic呼吁对人工智能进行监管以避免灾难

想了解更多行业领袖关于人工智能和大数据的内容吗? 请查看人工智能与大数据博览会,该博览会将在阿姆斯特丹、加利福尼亚和伦敦举行。该综合活动与其他领先活动共同举办,包括智能自动化会议BlockX数字转型周

标签: , ,