人工智能模型在识别图像中的模式时往往比人眼更准确，但并非总是如此。如果一名放射科医生使用人工智能模型来帮助她确定患者的X光片是否显示出肺炎的迹象，那么她应该在什么时候相信模型的建议，什么时候应该忽略它呢？
麻省理工学院（MIT）和MIT-IBM沃森人工智能实验室的研究人员表示，定制的入职培训过程可以帮助这位放射科医生回答这个问题。他们设计了一个系统，教导用户何时与人工智能助手合作。
在这种情况下，培训方法可能会发现放射科医生相信模型的建议的情况，但实际上模型是错误的。该系统会自动学习她应该如何与人工智能合作，并用自然语言描述这些规则。
在入职培训期间，放射科医生会根据这些规则进行与人工智能的合作练习，并接收有关她的表现和人工智能的表现的反馈。
研究人员发现，这种入职培训程序使人类和人工智能在图像预测任务中的合作准确率提高了约5%。他们的研究结果还表明，仅仅告诉用户何时相信人工智能的建议，而没有进行培训，会导致更差的表现。
重要的是，研究人员的系统是完全自动化的，因此它可以根据人类和人工智能执行特定任务的数据来学习创建入职培训过程。它还可以适应不同的任务，因此可以在许多人类和人工智能模型共同工作的情况下进行扩展和使用，例如社交媒体内容管理、写作和编程。
“很多时候，人们在使用这些人工智能工具时没有任何培训来帮助他们确定何时会有帮助。这与人们使用几乎所有其他工具的方式不同，几乎总会有一些教程。但是对于人工智能来说，这似乎是缺失的。我们试图从方法论和行为角度解决这个问题，”社会与工程系统博士项目（IDSS）的研究生、该研究的第一作者Hussein Mozannar说道。
研究人员设想，这样的入职培训将成为医疗专业人员培训的重要组成部分。
“例如，可以想象，使用人工智能进行治疗决策的医生首先必须进行类似我们提出的培训。我们可能需要重新思考从继续医学教育到临床试验设计的一切，”资深作者David Sontag说道，他是麻省理工学院（MIT）电子工程与计算机科学系（EECS）的教授，是MIT-IBM沃森人工智能实验室和MIT Jameel诊所的成员，也是计算机科学与人工智能实验室（CSAIL）临床机器学习小组的负责人。
该论文的作者还包括麻省理工学院（MIT）电气工程与计算机科学专业的本科生Jimin J. Lee、IBM研究的高级研究科学家Dennis Wei，以及MIT-IBM沃森人工智能实验室的研究人员Prasanna Sattigeri和Subhro Das。该论文将在神经信息处理系统会议上进行展示。
不断演进的培训
现有的人工智能与人类合作的入职培训方法通常由人类专家为特定用例制作的培训材料组成，这使得它们难以扩展。一些相关技术依赖于解释，即人工智能告诉用户每个决策的置信度，但研究表明解释很少有帮助，Mozannar说。
“人工智能模型的能力不断发展，因此人类有可能从中受益的用例也在不断增加。与此同时，用户对模型的认知也在不断变化。因此，我们需要一个随着时间演进的培训过程，”他补充道。
为了实现这一点，他们的入职培训方法是通过数据自动学习的。它是基于一个包含许多任务实例的数据集构建的，例如从模糊图像中检测交通信号灯的存在。
系统的第一步是收集人类和人工智能执行此任务的数据。在这种情况下，人类将尝试在人工智能的帮助下预测模糊图像是否包含交通信号灯。
系统将这些数据点嵌入到潜在空间中，潜在空间是数据的一种表示形式，其中相似的数据点更接近。它使用算法发现这个空间中人类与人工智能错误合作的区域。这些区域捕捉到人类相信人工智能的预测，但预测是错误的，反之亦然。
也许当图像显示夜间高速公路时，人类错误地相信人工智能。
在发现这些区域之后，第二个算法利用一个大型语言模型，用自然语言描述每个区域作为一条规则。该算法通过寻找对比例子来迭代地微调该规则。它可能将这个区域描述为“当是夜间高速公路时忽略人工智能”。
这些规则用于构建培训练习。入职培训系统向人类展示一个示例，例如夜间模糊的高速公路场景，以及人工智能的预测，并询问用户图像是否显示交通信号灯。用户可以回答是、否，或使用人工智能的预测。
如果人类回答错误，他们将被展示正确答案以及这些任务实例上人类和人工智能的表现统计数据。系统对每个区域都会进行这样的操作，在培训过程结束时，重复人类回答错误的练习。
“在那之后，人类已经学到了关于这些区域的一些东西，我们希望他们将来能够从中获得更准确的预测，”Mozannar说。
入职培训提高准确性
研究人员在两个任务上与用户测试了这个系统——在模糊图像中检测交通信号灯和回答多项选择题（涉及生物学、哲学、计算机科学等多个领域）。
他们首先向用户展示了一张卡片，上面有关于人工智能模型的信息，包括它是如何训练的以及在广泛类别上的性能分析。用户被分为五组：一些只看到了这张卡片，一些经过了研究人员的入职培训程序，一些经过了基准入职培训程序，一些经过了研究人员的入职培训程序，并得到了何时应该相信或不相信人工智能的建议，其他人只得到了这些建议。
只有研究人员的入职培训程序而没有建议显著提高了用户的准确性，在交通信号灯预测任务上提高了约5%的性能，而不会减慢他们的速度。然而，对于回答问题的任务，入职培训效果不如预期。研究人员认为这是因为人工智能模型ChatGPT在每个答案中都提供了解释，表明是否应该相信它。
然而，仅提供建议而没有入职培训则产生了相反的效果——用户不仅表现更差，而且花费更多时间进行预测。
“当你只给某人建议时，他们似乎会感到困惑，不知道该怎么做。这会使他们的过程偏离轨道。人们也不喜欢被告知该做什么，这也是一个因素，”Mozannar说。
他补充说，仅提供建议可能会对用户造成伤害，如果这些建议是错误的。另一方面，入职培训的最大限制是可用数据的数量。如果没有足够的数据，入职培训阶段的效果就不会那么好。
未来，他和他的合作者希望进行更大规模的研究，评估入职培训的短期和长期效果。他们还希望利用未标记的数据进行入职培训，并找到有效减少区域数量而不遗漏重要示例的方法。
“人们正在随意采用人工智能系统，而事实上，人工智能确实具有巨大的潜力，但这些人工智能代理有时仍然会犯错误。因此，对于人工智能开发人员来说，设计帮助人们知道何时可以依赖人工智能建议的方法至关重要，”华盛顿大学保罗·G·艾伦计算机科学与工程学院（Paul G. Allen School of Computer Science and Engineering）的名誉教授Dan Weld说道，他与这项研究无关。“Mozannar等人创造了一种创新的方法，用于识别人工智能可信的情况，并以一种能够促进更好的人工智能与人类团队互动的方式向人们描述这些情况。”
这项工作部分由MIT-IBM沃森人工智能实验室资助。
