你是否曾被问到一个你只知道部分答案的问题？为了给出更有见地的回答，你最好的选择是打电话给一个对该主题更有知识的朋友。
这种协作过程也可以帮助大型语言模型（LLMs）提高其准确性。然而，教会LLMs识别何时应该与另一个模型协作回答问题一直很困难。麻省理工学院计算机科学与人工智能实验室（CSAIL）的研究人员设想了一种更自然的方法，而不是使用复杂的公式或大量标记数据来明确模型应该何时合作。
他们的新算法称为“Co-LLM”，可以将通用基础LLM与更专业的模型配对，并帮助它们协同工作。当前者构建答案时，Co-LLM会审查其响应中的每个单词（或标记），以查看何时可以从专家模型调用更准确的答案。这个过程使得对医疗提示、数学和推理问题等的回复更加准确。由于在每次迭代中不需要专家模型，这也使得响应生成更加高效。
为了决定基础模型何时需要专家模型的帮助，该框架使用机器学习来训练一个“切换变量”，或一个可以指示两个LLM响应中每个单词能力的工具。这个切换变量就像一个项目经理，寻找应该调用专家的领域。例如，如果你要求Co-LLM列举一些灭绝的熊种类，两个模型将共同起草答案。通用LLM开始构建回复，切换变量在可以插入专家模型的更好标记的部分进行干预，比如添加熊种灭绝的年份。
“通过Co-LLM，我们实际上是在训练一个通用LLM在需要时‘打电话’给专家模型，”麻省理工学院电气工程与计算机科学博士生、CSAIL成员、该方法新论文的主要作者Shannon Shen说。 “我们使用特定领域的数据来教基础模型了解其对应模型在生物医学任务和数学推理问题等领域的专业知识。这个过程自动找到基础模型难以生成的数据部分，然后指示基础模型切换到在类似领域上预训练的专家LLM。通用模型提供‘支架’生成，当它调用专业LLM时，促使专家生成所需的标记。我们的研究结果表明，LLMs以一种自然的方式学习协作模式，类似于人类识别何时需要调用专家来填补空白。”
灵活性与事实性的结合
想象一下，要求一个通用LLM列出某种特定处方药的成分。它可能会错误地回答，这就需要专业模型的专业知识。
为了展示Co-LLM的灵活性，研究人员使用了像BioASQ医疗数据集这样的数据，将基础LLM与不同领域的专家LLM配对，例如Meditron模型，该模型在未标记的医疗数据上进行了预训练。这使得算法能够帮助回答生物医学专家通常会收到的询问，例如命名导致特定疾病的机制。
例如，如果你单独要求一个简单的LLM列出某种特定处方药的成分，它可能会错误地回答。通过增加一个专注于生物医学数据的模型的专业知识，你将得到更准确的答案。Co-LLM还会提醒用户在哪里需要仔细核对答案。
Co-LLM性能提升的另一个例子是：当被要求解决一个数学问题，如“a3 · a2 如果 a=5”，通用模型错误地计算出答案为125。随着Co-LLM训练模型与一个名为Llemma的大型数学LLM进行更多协作，它们共同确定正确的解决方案是3,125。
Co-LLM给出的回复比微调的简单LLM和独立工作的未调优专业模型更准确。Co-LLM可以指导两个训练方式不同的模型协同工作，而其他有效的LLM协作方法，如“Proxy Tuning”，需要所有组件模型以相似的方式进行训练。此外，这种基线要求每个模型同时使用以生成答案，而麻省理工学院的算法仅在特定标记上激活其专家模型，从而实现更高效的生成。
何时请求专家
麻省理工学院研究人员的算法强调，更紧密地模仿人类团队合作可以提高多LLM协作的准确性。为了进一步提高其事实精度，团队可能会借鉴人类自我纠正的方式：他们正在考虑一种更强大的延迟方法，当专家模型未给出正确响应时可以回溯。这一升级将允许Co-LLM进行纠正，以便算法仍然可以给出令人满意的回复。
团队还希望在有新信息可用时（仅通过训练基础模型）更新专家模型，以保持答案尽可能最新。这将使Co-LLM能够将最新信息与强大的推理能力相结合。最终，该模型可以协助处理企业文档，利用其拥有的最新信息进行相应更新。Co-LLM还可以训练小型私有模型与更强大的LLM协作，以改善必须保留在服务器内的文档。
“Co-LLM提供了一种有趣的方法来学习在两个模型之间进行选择，以提高效率和性能，”多伦多大学副教授、Vector Institute副研究主任Colin Raffel说，他并未参与该研究。“由于路由决策是在标记级别进行的，Co-LLM提供了一种细粒度的方法，将困难的生成步骤延迟到更强大的模型。模型-标记级别路由的独特组合也提供了许多类似方法所缺乏的灵活性。Co-LLM为开发专门模型生态系统以超越昂贵的单体AI系统的重要工作做出了贡献。”
Shen与其他四位CSAIL成员共同撰写了这篇论文：博士生Hunter Lang ’17, MEng ’18；前博士后和苹果AI/ML研究员Bailin Wang；麻省理工学院电气工程与计算机科学助理教授Yoon Kim，以及麻省理工学院-IBM沃森AI实验室的教授和Jameel Clinic成员David Sontag博士’10。他们的研究部分得到了国家科学基金会、国家防御科学与工程研究生（NDSEG）奖学金、麻省理工学院-IBM沃森AI实验室和亚马逊的支持。他们的工作在计算语言学协会年会上进行了展示。
