DeepMind框架在LLMs的推理方面取得突破

谷歌DeepMind和南加州大学的研究人员揭示了一种提升大型语言模型(LLMs)推理能力的突破性方法。

他们的新的“SELF-DISCOVER”提示框架 – 本周在arXiV和Hugging Face上发布 – 超越了现有技术的重要进展,可能彻底改变OpenAI的GPT-4和Google的PaLM 2等领先模型的性能。

该框架承诺在解决具有挑战性的推理任务方面有显著的改进。它展示了显著的改进,与传统方法(如Chain of Thought)相比,性能提高了高达32%。这种新颖的方法围绕着LLMs自主发现任务内在推理结构以解决复杂问题。

在核心部分,该框架使LLMs能够自我发现和利用各种原子推理模块(如批判性思维和逐步分析)来构建明确的推理结构。

通过模仿人类解决问题的策略,该框架分为两个阶段:

  • 第一阶段涉及组成与任务内在相关的推理结构,利用一组原子推理模块和任务示例。
  • 在解码过程中,LLMs按照这个自我发现的结构来得出最终的解决方案。

在各种推理任务(包括Big-Bench Hard、Thinking for Doing和Math)的广泛测试中,自我发现的方法始终优于传统方法。值得注意的是,它在使用GPT-4进行的三个任务中分别达到了81%,85%和73%的准确率,超过了链式思维和计划和解决技术。

然而,这项研究的影响远不止于性能提升。

通过赋予LLMs增强的推理能力,该框架为解决更具挑战性的问题铺平了道路,并使AI更接近实现通用智能。研究人员进行的可转移性研究进一步突出了构成推理结构的普适适用性,与人类推理模式相一致。

随着技术的发展,SELF-DISCOVER提示框架等突破性进展代表了语言模型能力提升的重要里程碑,并展示了人工智能的未来。

(照片来自Unsplash的Victor)

另请参阅:英国在AI招聘方面超过美国

想要从行业领导者那里了解更多关于人工智能和大数据的知识吗?请查看在阿姆斯特丹、加利福尼亚和伦敦举办的AI&Big Data Expo。这个全面的活动与Digital Transformation WeekCyber Security&Cloud Expo同期举办。

探索由TechForge提供的其他即将举行的企业技术活动和网络研讨会here.

标签: , , , , , , , , , , , , , ,