想象一下，你和一个朋友正在玩一个游戏，你们的目标是只使用神秘的句子来传递秘密信息。你朋友的任务是猜测句子背后的秘密信息。有时候，你直接给出线索，而其他时候，你的朋友必须通过询问关于你给出的线索的是非问题来猜测信息。挑战在于，你们两个都希望确保彼此正确理解并达成一致的秘密信息。
麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员创建了一个类似的“游戏”，以帮助改进人工智能理解和生成文本的能力。这被称为“共识游戏”，它涉及到人工智能系统的两个部分 – 一个部分试图生成句子（类似于给出线索），另一个部分试图理解和评估这些句子（类似于猜测秘密信息）。
研究人员发现，通过将这种交互视为一个游戏，在特定规则下使AI的两个部分共同努力达成对正确信息的一致意见，可以显著提高AI对问题给出正确和连贯答案的能力。他们在各种任务上测试了这种新的游戏化方法，如阅读理解、解决数学问题和进行对话，并发现它在各个方面都帮助AI表现更好。
传统上，大型语言模型有两种回答方式：直接从模型生成答案（生成查询）或使用模型对一组预定义答案进行评分（判别查询），这可能导致不同且有时不兼容的结果。使用生成方法，“美国总统是谁？”可能会得到一个直接的答案，比如“乔·拜登”。然而，判别查询可能会在评估相同答案时错误地质疑这个事实，比如“巴拉克·奥巴马”。
那么，我们如何调和互相不兼容的评分程序，以实现连贯、高效的预测呢？
“想象一种帮助语言模型理解和生成文本的新方法，就像一个游戏。我们开发了一种无需训练的、博弈论方法，将整个过程视为一个复杂的线索和信号游戏，其中生成器试图使用自然语言向鉴别器发送正确的信息。他们使用的不是国际象棋棋子，而是单词和句子，”麻省理工学院电气工程和计算机科学博士生、CSAIL成员Athul Jacob说道。“我们在这个游戏中导航的方式是找到‘近似均衡’，从而得到一种称为‘均衡排序’的新解码算法。这是一个非常令人兴奋的演示，展示了将博弈论策略引入其中如何解决语言模型在提高可靠性和一致性方面面临的一些重大挑战。”
在许多任务上进行测试时，如阅读理解、常识推理、数学问题解决和对话，团队的算法始终改善了这些模型的表现。使用ER算法与LLaMA-7B模型甚至超过了更大模型的结果。“考虑到它们已经具有竞争力，人们已经在这方面工作了一段时间，但我们看到的改进程度能够超过一个大小是它十倍的模型，这是一个令人愉快的惊喜，”Jacob说道。
游戏开始
“外交”是一个设定在第一次世界大战前的欧洲的战略棋盘游戏，玩家在游戏中通过谈判联盟、背叛朋友和征服领土来取胜，而不使用骰子，完全依靠技巧、策略和人际操纵。2022年11月，包括Jacob在内的计算机科学家们开发了一个名为“Cicero”的AI代理程序，它在这个需要前述技能的七人游戏中达到了人类水平的能力，但使用的是自然语言。这部分启发了共识游戏的数学原理。
虽然AI代理的历史要远早于OpenAI的软件于2022年11月进入聊天界面，但有充分的证据表明它们仍然可以扮演你善意但病态的朋友的角色。
共识游戏系统通过达成一致作为一种协议来确保准确性和对模型原始见解的忠实。为了实现这一点，该方法通过迭代调整生成和鉴别组件之间的交互，直到它们就能准确反映现实并与其初始信念一致的答案达成共识。这种方法有效地弥合了这两种查询方法之间的差距。
在实践中，将共识游戏方法应用于语言模型查询，特别是问答任务，确实涉及到重大的计算挑战。例如，当使用像MMLU这样有数千个问题和多项选择答案的数据集时，模型必须将机制应用于每个查询。然后，它必须在每个问题及其可能的答案之间达成生成和鉴别组件的共识。
该系统在一个小学的数学应试中遇到了困难。它无法生成错误答案，而这是理解如何得出正确答案的过程中的关键组成部分。
“过去几年在战略决策和语言生成方面取得了令人印象深刻的进展，但我们刚刚开始探索如何将这两者结合起来。均衡排序是朝着这个方向迈出的第一步，但我认为我们还能做很多工作，将其扩展到更复杂的问题，”Jacob说道。
未来的工作方向包括通过整合当前方法的输出来增强基础模型。这是特别有前景的，因为它可以在各种任务中产生更多的事实和一致的答案，包括事实性和开放式生成。这种方法显著提高基础模型的性能的潜力很大，这可能导致ChatGPT和类似的语言模型在人们日常使用中产生更可靠和准确的输出。
“尽管现代语言模型，如ChatGPT和Gemini，已经通过聊天界面解决了各种任务，但从这些模型生成响应的统计解码过程几十年来一直没有改变，”谷歌研究科学家Ahmad Beirami说道，他没有参与这项工作。“麻省理工学院的研究人员提出的建议是一种创新的博弈论框架，通过解决共识游戏的均衡来从语言模型解码。研究论文中报告的显著性能提升是令人鼓舞的，为语言模型解码带来了潜在的范式转变，可能引发一系列新的应用。”
Jacob与麻省理工学院-IBM沃森实验室研究员Yikang Shen以及麻省理工学院电气工程和计算机科学助理教授Gabriele Farina和Jacob Andreas共同撰写了这篇论文，Jacob Andreas也是CSAIL成员。他们在本月早些时候的国际学习表示（ICLR）会议上展示了他们的工作，并被评为“焦点论文”。这项研究还在2023年12月的NeurIPS R0-FoMo研讨会上获得了“最佳论文奖”。
