有人可能会争辩说，医生的主要职责之一是不断评估和重新评估各种可能性：医疗程序成功的几率是多少？患者是否有发展严重症状的风险？患者何时应该返回进行更多测试？在这些关键的思考中，人工智能的兴起承诺能够降低临床环境中的风险，并帮助医生优先照顾高风险患者。
尽管人工智能具有潜力，麻省理工学院电气工程与计算机科学系（EECS）、Equality AI和波士顿大学的研究人员在一篇新评论中呼吁监管机构对人工智能进行更多监督，该评论发表在《新英格兰医学杂志人工智能》（NEJM AI）2023年10月的期刊上，此前美国卫生与公众服务部（HHS）民权办公室（OCR）根据《平价医疗法案》（ACA）发布了一项新规则。
在5月，OCR发布了一项最终规则，该规则禁止在“患者护理决策支持工具”中基于种族、肤色、民族来源、年龄、残疾或性别的歧视，这一新术语涵盖了在医学中使用的人工智能和非自动化工具。
该最终规则是对乔·拜登总统在2023年发布的关于安全、可靠和可信赖的人工智能开发与使用的行政命令的回应，旨在通过关注防止歧视来推动健康公平。
根据EECS的高级作者和副教授Marzyeh Ghassemi的说法，“这一规则是向前迈出的重要一步。”Ghassemi与麻省理工学院阿卜杜勒·拉蒂夫·贾米尔健康机器学习诊所（Jameel Clinic）、计算机科学与人工智能实验室（CSAIL）以及医学工程与科学研究所（IMES）有联系，她补充说，该规则“应当指导对已经在临床子专业中使用的非人工智能算法和临床决策支持工具进行以公平为驱动的改进。”
自1995年首个人工智能设备（PAPNET测试系统，一种用于宫颈筛查的工具）获得批准以来，美国食品药品监督管理局（FDA）批准的人工智能设备数量在过去十年中急剧增加。截至10月，FDA已批准近1000种人工智能设备，其中许多旨在支持临床决策。
然而，研究人员指出，尽管大多数美国医生（65%）每月使用这些工具来确定患者护理的下一步，但没有监管机构监督临床决策支持工具产生的临床风险评分。
为了解决这一问题，贾米尔诊所将在2025年3月举办另一场监管会议。去年的会议引发了教职员工、来自世界各地的监管者和行业专家之间关于健康领域人工智能监管的一系列讨论和辩论。
哈佛医学院生物医学信息学系主任、NEJM AI主编Isaac Kohane评论道：“临床风险评分比‘人工智能’算法更不透明，因为它们通常只涉及少数几个变量，并以简单模型连接。”他补充道：“尽管如此，即使这些评分也仅仅与用于‘训练’它们的数据集以及专家选择在特定队列中选择或研究的变量一样好。如果它们影响临床决策，就应该与其更近期且复杂得多的人工智能相关工具保持相同的标准。”
此外，尽管许多决策支持工具不使用人工智能，研究人员指出，这些工具同样在延续医疗保健中的偏见方面负有责任，并需要监督。
Equality AI首席执行官、共同作者Maia Hightower表示：“由于嵌入电子病历中的临床决策支持工具的激增以及它们在临床实践中的广泛使用，监管临床风险评分面临重大挑战。”她补充道：“这样的监管仍然是必要的，以确保透明度和非歧视。”
然而，Hightower补充说，在即将上任的政府下，临床风险评分的监管可能会被证明是“特别具有挑战性的，因为其强调放松监管并反对《平价医疗法案》和某些非歧视政策。”
