在6.C40/24.C40（计算伦理）课程的一次会议上，教授阿曼多·索拉尔-莱扎马向他的学生提出了一个他常常在麻省理工学院计算机辅助编程小组的研究中问自己的同样不可能的问题：
“我们如何确保机器只做我们想要的事情，而不是其他的？”
在这个被一些人视为生成性人工智能的黄金时代，这似乎是一个紧迫的新问题。但索拉尔-莱扎马，麻省理工学院的杰出计算机教授，迅速指出，这场斗争与人类本身一样古老。
他开始重述希腊神话中米达斯王的故事，这位国王被赋予了将他所触碰的任何东西变成黄金的神力。可预见的是，当米达斯不小心将他所爱的人变成镀金石像时，这个愿望反而适得其反。
“小心你所要求的，因为它可能以你意想不到的方式被实现，”他说，警告他的学生们，其中许多人是有志于成为数学家和程序员。
他翻阅麻省理工学院的档案，分享模糊的黑白照片幻灯片，讲述编程的历史。我们听说了1970年代的皮格马利翁机器，它需要极其详细的提示，以及90年代末需要数年时间和800页文档才能编程的计算机软件。
虽然在当时这些过程都很了不起，但它们花费的时间太长，无法及时到达用户。它们没有留下自发发现、玩耍和创新的空间。
索拉尔-莱扎马谈到了构建现代机器的风险，这些机器并不总是尊重程序员的提示或红线，并且同样能够造成伤害，也能拯救生命。
电气工程专业的高年级学生蒂图斯·罗斯勒点头表示理解。罗斯勒正在撰写关于自动驾驶汽车伦理的最终论文，并权衡当一辆假设的自动驾驶汽车撞死行人时，谁在道德上负责。他的论点质疑技术进步背后的基本假设，并考虑多种有效的观点。它依赖于功利主义的哲学理论。罗斯勒解释道：“大致上，根据功利主义，道德的做法是为最多的人带来最大的好处。”
麻省理工学院的哲学家布拉德·斯科，与索拉尔-莱扎马共同开发并共同教授这门课程，向前倾身并做笔记。
一门需要技术和哲学专业知识的课程
计算伦理课程将在2024年秋季首次开设，是通过计算教育的共同基础创建的，这是麻省理工学院施瓦茨曼计算学院的一项倡议，旨在将多个部门聚集在一起，开发和教授新课程，并推出将计算与其他学科相结合的新项目。
讲师们轮流授课。斯科，劳伦斯·S·洛克菲勒哲学教授，带来了他学科的视角，以审视当今伦理问题的更广泛影响，而索拉尔-莱扎马，麻省理工学院计算机科学与人工智能实验室的副主任和首席运营官，则通过他的视角提供了见解。
斯科和索拉尔-莱扎马参加彼此的讲座，并根据反馈调整后续课程。引入实时相互学习的元素使课堂讨论更加动态和响应。与哲学或计算机科学的研究生一起分解本周主题的讨论和生动的讨论结合了课程内容。
“外部人士可能会认为这是一门确保麻省理工学院培养的新计算机程序员总是做正确事情的课程，”斯科说。然而，这门课程的设计故意是为了教学生不同的技能。
哲学教授卡斯帕·哈雷决心创建一门有影响力的学期课程，不仅仅是给学生讲授对与错，他在担任计算的社会和伦理责任副院长时构思了计算伦理的想法。哈雷招募了斯科和索拉尔-莱扎马作为首席讲师，因为他知道他们能够做出更深刻的事情。
“深入思考这门课程中出现的问题需要技术和哲学的专业知识。麻省理工学院没有其他课程将这两者并列，”斯科说。
这正是吸引高年级学生阿莱克·韦斯托弗报名的原因。这位数学和计算机科学的双学位学生解释道：“很多人都在谈论人工智能在五年内的发展轨迹。我认为参加一门能让我更深入思考这个问题的课程是很重要的。”
韦斯托弗表示，他对哲学感兴趣是因为对伦理的关注和区分对与错的愿望。在数学课上，他学会了写下问题陈述，并立即清楚自己是否成功解决了问题。然而，在计算伦理课程中，他学会了如何为“棘手的哲学问题”撰写论证，这些问题可能没有单一的正确答案。
例如，“我们可能关心的一个问题是，如果我们构建能够做任何人类能做的工作的强大人工智能代理，会发生什么？”韦斯托弗问。“如果我们与这些人工智能的互动达到这种程度，我们应该给它们支付薪水吗？我们应该多关心它们的需求吗？”
没有简单的答案，韦斯托弗认为他将来在工作中会遇到许多其他困境。
“那么，互联网是在摧毁世界吗？”
学期开始时深入探讨人工智能风险，或“人工智能是否对人类构成生存风险”的概念，解构自由意志、我们大脑在不确定性下如何做出决策的科学，以及关于人工智能的长期责任和监管的辩论。第二个更长的单元集中在“互联网、万维网和技术决策的社会影响”上。学期末则关注隐私、偏见和言论自由。
一个课堂主题专门探讨了一个挑衅性的问题：“那么，互联网是在摧毁世界吗？”
高年级学生凯特琳·奥戈正在攻读6-9课程（计算与认知）。她自称“技术怀疑论者”，正是因为能够在这样的环境中审视这些问题，她才选择了这门课程。
在一个听力受损的母亲和一个有发展性障碍的小妹妹的家庭中长大，奥戈成为了默认的家庭成员，负责拨打服务提供商的电话以获得技术支持或编程iPhone。她利用自己的技能做兼职修理手机，这使她对计算产生了深厚的兴趣，并为她铺平了通往麻省理工学院的道路。然而，在她第一年的一个著名暑期奖学金中，她开始质疑消费者如何受到她所帮助编程的技术的影响的伦理问题。
“我与技术的所有接触都是从人、教育和个人联系的角度出发，”奥戈说。“这是我热爱的一个小众领域。围绕公共政策、技术和文化的文科课程是我最大的热情之一，但这是我上过的第一门涉及哲学教授的课程。”
接下来的一周，斯科讲授人工智能中的偏见角色，而奥戈明年将进入职场，但计划最终上法学院以专注于相关问题的监管，四次举手提问或分享反对意见。
斯科深入研究了COMPAS，一个有争议的人工智能软件，它使用算法预测被指控犯罪的人再次犯罪的可能性。根据2018年ProPublica的一篇文章，COMPAS可能会将黑人被告标记为未来的罪犯，并以两倍于白人被告的速度给出错误的积极结果。
课堂讨论专注于确定这篇文章是否值得得出COMPAS系统存在偏见并应被停止的结论。为此，斯科介绍了两种不同的公平理论：
“实质公平是指特定结果可能是公平或不公平的想法，”他解释道。“程序公平则是关于产生结果的程序是否公平。”然后介绍了一系列相互矛盾的公平标准，课堂讨论了哪些是合理的，以及它们对COMPAS系统得出的结论。
稍后，两位教授上楼到索拉尔-莱扎马的办公室，讨论当天的练习进展。
“谁知道呢？”索拉尔-莱扎马说。“也许五年后，所有人都会嘲笑人们对人工智能生存风险的担忧。但我在这门课中看到的一个主题是，学习如何超越媒体话语来处理这些辩论，并深入思考这些问题。”
