在美国食品药品监督管理局（FDA）批准一种药物之前，它必须证明其安全性和有效性。然而，FDA并不要求了解药物的作用机制才能获得批准。这种接受结果而不解释的做法引发了一个问题，即为了获得FDA的批准，安全有效的人工智能模型的“黑匣子”决策过程是否必须完全解释。
这个话题是12月4日星期一在麻省理工学院阿卜杜勒·拉蒂夫·贾米勒机器学习健康诊所（Jameel Clinic）的人工智能和健康监管政策会议上讨论的众多议题之一，该会议引发了教职员工、来自美国、欧盟和尼日利亚的监管机构以及行业专家之间的一系列讨论和辩论，涉及人工智能在健康领域的监管。
随着机器学习的快速发展，人们对于监管机构是否能够跟上步伐并在确保各自国家在创新方面保持竞争力的同时，减少有害影响的可能性仍然存在不确定性。为了促进坦诚和开放的讨论环境，Jameel Clinic的活动高度策划，面向100名与会者，通过实施查塔姆休斯规则进行辩论，允许发言者匿名讨论有争议的观点和论点，而不被识别为信息来源。
Jameel Clinic的目标不是举办一个围绕人工智能在健康领域产生轰动的活动，而是为监管机构提供一个了解人工智能最前沿进展的空间，同时允许教职员工和行业专家提出针对人工智能在临床设置和药物研发中的监管框架的新的或不同的方法。
人工智能在医学中的作用比以往任何时候都更加重要，因为该行业面临着后疫情时代劳动力短缺、成本增加（“不是薪资问题，尽管普遍认为是这样，”一位发言者说），以及医疗保健专业人员高度疲劳和辞职率高的问题。一位发言者建议，临床人工智能部署的优先事项应更加关注操作工具，而不是患者诊断和治疗。
一位与会者指出，“明显缺乏教育是所有相关方面的问题，不仅包括开发者社区和医疗系统，还包括患者和监管机构。”鉴于医生通常是临床人工智能工具的主要用户，许多在场的医生恳请监管机构在采取行动之前咨询他们。
数据可用性是大多数与会AI研究人员关注的一个关键问题。他们抱怨缺乏数据使他们的人工智能工具无法有效运作。许多人面临诸如知识产权限制访问或仅仅是缺乏大型高质量数据集等障碍。“开发者无法花费数十亿美元来创建数据，但FDA可以，”一位发言者在活动中指出。“存在价格不确定性可能导致对人工智能的投资不足。”来自欧盟的发言者们吹捧了一套义务政府向人工智能研究人员提供健康数据的系统的发展。
在这一整天的活动结束时，许多与会者建议延长讨论，并赞扬了精心策划和封闭环境，这创造了一个有利于人工智能在健康领域监管的开放和富有成效的讨论空间。一旦确认未来的后续活动，Jameel Clinic将开展类似性质的额外研讨会，以保持动力并让监管机构了解该领域的最新发展。
“任何监管系统的北极星都是安全，”一位与会者承认。“世代思维源于此，然后向下工作。”
