麻省理工学院和宾州州立大学的研究人员进行的一项新研究表明，如果大型语言模型被用于家庭监控，它们可能会在监控视频显示没有犯罪活动的情况下建议报警。
此外，研究人员研究的模型在标记哪些视频需要警方干预方面并不一致。例如，一个模型可能会标记一个显示车辆入室盗窃的视频，但不标记另一个显示类似活动的视频。模型之间常常对是否对同一视频报警存在分歧。
此外，研究人员发现，在大多数居民为白人的社区中，一些模型相对较少标记视频以供警方干预，控制其他因素后仍然如此。这表明，模型表现出受社区人口统计特征影响的固有偏见，研究人员表示。
这些结果表明，模型在如何将社会规范应用于描绘类似活动的监控视频时存在不一致性。研究人员称这种现象为规范不一致，这使得预测模型在不同背景下的行为变得困难。
“在高风险环境中到处部署生成性人工智能模型的快速行动、破坏事物的操作方式值得更多的思考，因为这可能会造成相当大的伤害，”共同资深作者阿希亚·威尔逊（Ashia Wilson）说，她是电气工程与计算机科学系的利斯特兄弟职业发展教授，也是信息与决策系统实验室（LIDS）的首席研究员。
此外，由于研究人员无法访问这些专有人工智能模型的训练数据或内部工作原理，因此无法确定规范不一致的根本原因。
虽然大型语言模型（LLMs）目前可能尚未在真实监控环境中部署，但它们正在用于其他高风险环境中的规范性决策，例如医疗保健、抵押贷款和招聘。威尔逊表示，这些模型在这些情况下可能会表现出类似的不一致性。
“人们隐含地认为这些LLMs已经学习或能够学习某种规范和价值观。我们的工作表明情况并非如此。也许它们所学习的只是任意的模式或噪声，”首席作者肖米克·贾因（Shomik Jain）说，他是数据、系统与社会研究所（IDSS）的研究生。
威尔逊和贾因在论文中与共同资深作者达娜·卡拉奇（Dana Calacci）博士’23一起合作，后者是宾州州立大学信息科学与技术学院的助理教授。该研究将在AAAI人工智能、伦理与社会会议上进行展示。
“一个真实、迫在眉睫的实际威胁”
该研究源于一个包含数千个亚马逊Ring家庭监控视频的数据集，该数据集由卡拉奇在2020年建立，当时她是麻省理工学院媒体实验室的研究生。Ring是一家智能家居监控摄像头制造商，2018年被亚马逊收购，向客户提供一个名为Neighbors的社交网络，客户可以在该平台上分享和讨论视频。
卡拉奇之前的研究表明，人们有时会利用该平台对社区进行“种族把关”，通过根据视频对象的肤色来判断谁属于该社区，谁不属于。她计划训练自动为视频添加字幕的算法，以研究人们如何使用Neighbors平台，但当时现有的算法在字幕生成方面并不够好。
随着大型语言模型的爆炸性发展，该项目进行了转变。
“有人使用现成的生成性人工智能模型查看视频、提醒房主并自动报警的真实、迫在眉睫的实际威胁是存在的。我们想了解这有多危险，”卡拉奇说。
研究人员选择了三种大型语言模型——GPT-4、Gemini和Claude——并向它们展示了来自卡拉奇数据集的在Neighbors平台上发布的真实视频。他们向模型提出了两个问题：“视频中发生了犯罪吗？”和“模型会建议报警吗？”
他们让人类对视频进行注释，以识别是白天还是夜晚、活动类型以及对象的性别和肤色。研究人员还使用人口普查数据收集了视频录制地区的人口统计信息。
不一致的决策
他们发现，所有三个模型几乎总是表示视频中没有犯罪发生，或者给出了模棱两可的回答，尽管39%的视频确实显示了犯罪。
“我们的假设是，开发这些模型的公司采取了保守的做法，限制模型可以说的内容，”贾因说。
但即使模型表示大多数视频没有犯罪，它们仍然建议对20%到45%的视频报警。
当研究人员深入分析社区人口统计信息时，他们发现一些模型在以白人居多的社区中较少建议报警，控制其他因素后仍然如此。
他们对此感到惊讶，因为模型没有获得关于社区人口统计的任何信息，而视频仅显示了距离房屋前门几码的区域。
除了询问模型关于视频中的犯罪情况外，研究人员还促使它们提供做出这些选择的理由。当他们检查这些数据时，发现模型在以白人居多的社区中更可能使用“送货工人”等术语，而在居民中有较高比例的有色人种的社区中则使用“入室盗窃工具”或“观察财产”等术语。
“也许这些视频的背景条件给模型带来了这种隐含的偏见。很难判断这些不一致性来自何处，因为对这些模型或它们所训练的数据缺乏透明度，”贾因说。
研究人员还对视频中人们的肤色在模型是否建议报警中没有发挥显著作用感到惊讶。他们推测这是因为机器学习研究界一直专注于减轻肤色偏见。
“但很难控制可能存在的无数偏见。这几乎就像打地鼠游戏。你可以减轻一种偏见，但另一种偏见可能会在其他地方冒出来，”贾因说。
许多减轻技术需要在一开始就知道偏见。如果这些模型被部署，一家公司可能会测试肤色偏见，但社区人口统计偏见可能会完全被忽视，卡拉奇补充道。
“我们对模型可能存在的偏见有自己的刻板印象，企业在部署模型之前会进行测试。我们的结果表明，这还不够，”她说。
为此，卡拉奇和她的合作者希望开展的一个项目是一个系统，使人们更容易识别和报告人工智能偏见及其对企业和政府机构的潜在危害。
研究人员还希望研究大型语言模型在高风险情况下做出的规范性判断与人类做出的判断之间的比较，以及大型语言模型对这些场景的理解事实。
这项工作部分由IDSS的对抗系统性种族主义倡议资助。
