根据国际航空运输协会发布的2022年报告，飞机失事的风险是0.11。换句话说，平均而言，一个人需要每天乘坐飞机25,214年，才有100%的机会经历致命事故。作为最安全的交通方式之一，受高度监管的航空业让麻省理工学院的科学家们认为，它可能成为监管医疗人工智能的关键。
麻省理工学院电气工程与计算机科学系（EECS）和医学工程科学研究所的助理教授Marzyeh Ghassemi和麻省理工学院航空航天学院的H.N. Slater教授Julie Shah对人工智能模型透明度的挑战感兴趣。在2023年初的交谈中，他们意识到航空业可以作为一个模型，确保边缘化患者不会受到有偏见的人工智能模型的伤害。
Ghassemi同时也是麻省理工学院Abdul Latif Jameel机器学习医疗诊所（Jameel Clinic）和计算机科学与人工智能实验室（CSAIL）的首席研究员，Shah随后招募了一支跨学科的研究团队，包括麻省理工学院、斯坦福大学、美国科学家联合会、埃默里大学、阿德莱德大学、微软和加利福尼亚大学旧金山分校的研究人员、律师和政策分析师，开展了一个研究项目，其结果最近被接受并发表在《算法、机制和优化中的公平和获取》会议上。
“我认为我们的合著者中有很多人对人工智能的潜在积极社会影响感到兴奋，尤其是最近的进展，”第一作者Elizabeth Bondi-Kelly说道，她现在是密歇根大学EECS系的助理教授，当项目开始时她是Ghassemi实验室的博士后。“但我们也持谨慎态度，并希望制定管理潜在风险的框架，因此我们正在寻找这样的框架的灵感。”
Sanneman指出，当今的医疗人工智能与一个世纪前的航空业有相似之处。根据麦基纳克公共政策中心的说法，尽管20世纪20年代被称为“航空黄金时代”，但致命事故“令人不安地众多”。
国家运输安全委员会（NTSB）安全建议部门的现任负责人Jeff Marcus最近发表了一篇关于国家航空月的博客文章，指出尽管20世纪20年代发生了许多致命事故，但1929年仍然是历史上“最糟糕的一年”，报告了51起事故。按照今天的标准，这将是每年7000起事故，或者每天20起事故。为了应对20世纪20年代高发的致命事故，卡尔文·柯立芝总统于1926年通过了被称为《航空商业法》的里程碑式立法，该法案通过商务部对航空旅行进行监管。
但相似之处并不止于此——航空业随后进入自动化的路径与人工智能类似。人工智能的可解释性一直是一个有争议的话题，因为人工智能的“黑匣子”问题，这让人工智能研究人员争论在可能使用户盲目遵循模型指导之前，模型必须“解释”其结果的程度。
“20世纪70年代，自动化程度越来越高……自动驾驶系统负责警告飞行员有关风险的事项，”Sanneman补充道。“当飞行员对自动化系统的工作方式没有清楚的认识时，可能会出现一些困惑。”
如今，成为商业航空公司机长需要1500小时的飞行时间以及仪器培训。根据研究人员的论文，这个严格而全面的过程大约需要15年，包括学士学位和副驾驶员工作。研究人员认为，广泛的飞行员培训的成功可能成为在临床环境中培训医生使用人工智能工具的潜在模型。
该论文还提出鼓励报告不安全的医疗人工智能工具，就像联邦航空管理局（FAA）对飞行员的做法一样，通过“有限豁免权”，允许飞行员在做出不安全行为后保留执照，只要这是无意的。
根据世界卫生组织发布的2023年报告，高收入国家的每10名患者中，平均有1人在接受医院护理时受到不良事件（即“医疗错误”）的伤害。
然而，在当前的医疗实践中，临床医生和医护人员常常担心报告医疗错误，不仅因为与内疚和自我批评有关的担忧，还因为强调对个人的惩罚，如吊销医疗执照，而不是改革使医疗错误更有可能发生的系统。
“在医疗领域，当错误发生时，患者会受到伤害，”Ghassemi在最近发表在《自然人类行为》杂志上的评论中写道。“这个现实对于已经面临复杂护理问题、人员短缺和负担过重的医疗人工智能社区来说，构成了不可接受的伦理风险。”
美国科学家联合会的卫生公平政策经理Grace Wickerson认为，这篇新论文是一个更广泛的治理框架的重要补充，但目前还没有建立起来。“我认为我们可以利用现有的政府权力做很多事情，”他们说。“医疗保险公司可以通过不同的方式支付医疗人工智能，以确保在购买或报销技术时考虑到公平性，国家卫生研究所可以资助更多研究，使算法更具公平性，并建立这些算法的标准，然后由食品和药物管理局在他们试图弄清楚医疗公平意味着什么以及如何在他们目前的权力范围内进行监管时使用。”
除了监管活动外，该论文还提出了其他创造安全医疗人工智能工具的激励机制的机会，例如绩效支付计划，其中保险公司奖励医院的良好表现（尽管研究人员认识到这种方法需要额外的监督才能公平）。
那么，研究人员认为创建一个适用于医疗人工智能的工作监管体系需要多长时间？根据该论文，“NTSB和FAA的调查和执法分别由国会在数十年间创建”。
Bondi-Kelly希望这篇论文是AI监管的一个重要组成部分。在她看来，“理想的情况是，我们所有人都阅读这篇论文，并受到启发，从航空业中应用一些有益的经验教训，以帮助AI在部署过程中防止一些潜在的AI伤害。”
除了Ghassemi、Shah、Bondi-Kelly和Sanneman之外，麻省理工学院的合著者还包括高级研究科学家Leo Anthony Celi和前博士后Thomas Hartvigsen和Swami Sankaranarayanan。该研究的资金部分来自麻省理工学院CSAIL METEOR奖学金、Quanta Computing、大众基金会、美国国立卫生研究院、赫尔姆霍兹职业发展教授职位和CIFAR Azrieli全球学者奖。
