机器学习模型可能会出错，并且使用起来可能很困难，因此科学家们开发了解释方法，以帮助用户理解何时以及如何信任模型的预测。
然而，这些解释通常很复杂，可能包含数百个模型特征的信息。有时，它们以多方面的可视化形式呈现，对于缺乏机器学习专业知识的用户来说，可能难以完全理解。
为了帮助人们理解人工智能的解释，麻省理工学院的研究人员使用大型语言模型（LLMs）将基于图表的解释转化为通俗易懂的语言。
他们开发了一个两部分的系统，将机器学习解释转换为一段人类可读的文本，然后自动评估叙述的质量，以便最终用户知道是否可以信任它。
通过向系统提供几个示例解释，研究人员可以根据用户的偏好或特定应用的要求定制其叙述描述。
从长远来看，研究人员希望在此技术基础上进行扩展，使用户能够在现实环境中向模型询问其如何得出预测的后续问题。
“我们这项研究的目标是迈出第一步，让用户能够与机器学习模型进行全面的对话，讨论它们做出某些预测的原因，以便他们能够更好地决定是否听取模型的意见，”电气工程与计算机科学（EECS）研究生、该技术论文的主要作者亚历山德拉·齐特克（Alexandra Zytek）说。
她的论文合作者包括麻省理工学院的博士后萨拉·皮多（Sara Pido）、EECS研究生萨拉·阿尔内盖米什（Sarah Alnegheimish）、法国国家可持续发展研究院的研究主任劳尔·贝尔蒂-埃奎尔（Laure Berti-Équille）以及资深作者卡利扬·维拉马查尼（Kalyan Veeramachaneni），他是信息与决策系统实验室的首席研究科学家。该研究将在IEEE大数据会议上进行展示。
阐明解释
研究人员专注于一种流行的机器学习解释类型，称为SHAP。在SHAP解释中，为模型用于做出预测的每个特征分配一个值。例如，如果模型预测房价，一个特征可能是房子的地点。地点将被分配一个正值或负值，表示该特征对模型整体预测的影响程度。
通常，SHAP解释以条形图的形式呈现，显示哪些特征最重要或最不重要。但对于具有超过100个特征的模型，这种条形图很快就会变得难以处理。
“作为研究人员，我们必须在视觉呈现上做出很多选择。如果我们选择只显示前10个特征，人们可能会想知道未出现在图中的其他特征发生了什么。使用自然语言可以减轻我们做出这些选择的负担，”维拉马查尼说。
然而，研究人员并不是利用大型语言模型生成自然语言的解释，而是使用LLM将现有的SHAP解释转化为可读的叙述。
齐特克解释说，通过仅让LLM处理过程中的自然语言部分，可以限制在解释中引入不准确性的机会。
他们的系统称为EXPLINGO，分为两个部分协同工作。
第一个组件称为NARRATOR，使用LLM创建符合用户偏好的SHAP解释的叙述描述。通过最初向NARRATOR提供三到五个书面示例叙述，LLM将在生成文本时模仿该风格。
“与其让用户尝试定义他们想要的解释类型，不如让他们直接写出他们想看到的内容更容易，”齐特克说。
这使得NARRATOR能够通过展示不同的一组手动书写的示例，轻松定制以适应新的用例。
在NARRATOR创建通俗易懂的解释后，第二个组件GRADER使用LLM对叙述进行四个指标的评分：简洁性、准确性、完整性和流畅性。GRADER会自动向LLM提供NARRATOR的文本和它所描述的SHAP解释。
“我们发现，即使LLM在执行任务时出错，它在检查或验证该任务时通常不会出错，”她说。
用户还可以自定义GRADER，为每个指标赋予不同的权重。
“例如，在高风险情况下，可以想象将准确性和完整性权重设置得比流畅性高得多，”她补充道。
分析叙述
对于齐特克和她的同事们来说，最大的挑战之一是调整LLM，使其生成自然听起来的叙述。他们添加的控制风格的指导越多，LLM引入错误的可能性就越大。
“大量的提示调整用于逐一查找和修复每个错误，”她说。
为了测试他们的系统，研究人员使用了九个带有解释的机器学习数据集，并让不同的用户为每个数据集编写叙述。这使他们能够评估NARRATOR模仿独特风格的能力。他们使用GRADER对每个叙述解释在所有四个指标上进行评分。
最终，研究人员发现他们的系统能够生成高质量的叙述解释，并有效地模仿不同的写作风格。
他们的结果表明，提供几个手动书写的示例解释大大改善了叙述风格。然而，这些示例必须仔细书写——包括比较词，如“更大”，可能导致GRADER将准确的解释标记为不正确。
基于这些结果，研究人员希望探索可以帮助他们的系统更好地处理比较词的技术。他们还希望通过为解释添加合理化来扩展EXPLINGO。
从长远来看，他们希望利用这项工作作为迈向一个互动系统的垫脚石，用户可以向模型询问有关解释的后续问题。
“这将在很多方面帮助决策。如果人们不同意模型的预测，我们希望他们能够快速弄清楚他们的直觉是否正确，或者模型的直觉是否正确，以及这种差异来自哪里，”齐特克说。
