九月份，一群人聚集在麻省理工学院媒体实验室，参加音乐家乔丹·鲁德斯和两位合作者的音乐会。其中一位是小提琴家兼歌手卡米拉·贝克曼，她曾与鲁德斯合作过。另一位是一个非正式称为jam_bot的人工智能模型，这是鲁德斯与麻省理工学院团队在前几个月共同开发的，首次公开亮相，仍在不断完善中。
在整个演出过程中，鲁德斯和贝克曼交换着经验丰富的音乐家之间的信号和微笑，彼此找到节奏。鲁德斯与jam_bot的互动则暗示了一种不同且陌生的交流方式。在一段受巴赫启发的二重奏中，鲁德斯在演奏几小节后，让人工智能继续以类似的巴洛克风格演奏音乐。每当模型轮到自己时，鲁德斯的脸上会流露出一系列表情：困惑、专注、好奇。在作品结束时，鲁德斯向观众承认：“这是一种非常有趣但又非常具有挑战性的结合。”
鲁德斯是一位备受赞誉的键盘手——根据《音乐雷达》杂志的一项投票，他被认为是有史以来最优秀的键盘手，以与白金销量、格莱美获奖的前卫金属乐队梦剧场的合作而闻名，该乐队将在今年秋季进行40周年巡演。他还是一位独立艺术家，最新专辑“Permission to Fly”于9月6日发布；一位通过详细在线教程分享技能的教育者；以及软件公司Wizdom Music的创始人。他的作品结合了严格的古典基础（他在9岁时开始在朱莉亚德音乐学院学习钢琴）与即兴创作的天赋和实验的热情。
去年春天，鲁德斯成为麻省理工学院艺术、科学与技术中心（CAST）的访问艺术家，与麻省理工学院媒体实验室的响应环境研究小组合作，创建新的人工智能音乐技术。鲁德斯在这一项目中的主要合作者是媒体实验室的研究生兰斯洛特·布兰查德，他研究生成性人工智能的音乐应用（受他自己在古典钢琴学习的启发），以及专注于互动、动能、光和时间基础媒体的艺术家兼工程师佩里·纳塞克。该项目由约瑟夫·帕拉迪索教授监督，他是响应环境小组的负责人，也是鲁德斯的长期粉丝。帕拉迪索于1994年以物理和工程的简历来到媒体实验室，并在设计和制造合成器以探索他的前卫音乐品味的同时，担任教授。他的小组有通过新颖用户界面、传感器网络和非常规数据集探索音乐前沿的传统。
研究人员的目标是开发一个机器学习模型，以传达鲁德斯独特的音乐风格和技巧。在一篇论文中，鲁德斯与麻省理工学院音乐技术教授埃兰·埃戈齐共同撰写，阐述了他们所称的“共生的技艺”的愿景：让人类和计算机实时二重奏，从他们共同演奏的每个二重奏中学习，并在现场观众面前创作出值得表演的新音乐。
鲁德斯提供了布兰查德训练人工智能模型所需的数据。鲁德斯还提供了持续的测试和反馈，而纳塞克则尝试为观众可视化技术的方式。
“观众习惯于在许多音乐会上看到灯光、图形和场景元素，因此我们需要一个平台，让人工智能与观众建立自己的关系，”纳塞克说。在早期演示中，这表现为一个雕塑装置，每当人工智能改变和弦时，照明就会发生变化。在9月21日的音乐会上，鲁德斯身后安装的一组花瓣形面板通过基于人工智能模型活动和未来生成的编排而生动起来。
“如果你看到爵士乐手之间进行眼神交流并互相点头，这会让观众期待接下来会发生什么，”纳塞克说。“人工智能实际上是在生成乐谱，然后演奏它。我们如何展示接下来会发生什么并传达这一点？”
纳塞克从零开始在媒体实验室设计和编程了这个结构，得到了布莱恩·梅顿（机械设计）和卡洛·曼多利尼（制造）的协助，部分运动源自访问学生马达夫·拉瓦卡雷开发的实验性机器学习模型，该模型将音乐映射到空间中移动的点。这个动能雕塑能够以从微妙到戏剧性的速度旋转和倾斜，区分了音乐会中人工智能的贡献与人类表演者的贡献，同时传达了其输出的情感和能量：例如，当鲁德斯主导时，它轻轻摇摆，或者在人工智能模型生成庄重和弦的即兴慢板时，像花朵一样卷曲和展开。后者是纳塞克最喜欢的演出时刻之一。
“最后，乔丹和卡米拉离开了舞台，让人工智能充分探索自己的方向，”他回忆道。“这个雕塑让这个时刻变得非常强大——它让舞台保持活力，并增强了人工智能演奏和弦的宏伟性质。观众显然被这一部分吸引，坐在座位的边缘。”
“目标是创造一种音乐视觉体验，”鲁德斯说，“展示可能性并提升水平。”
音乐的未来
布兰查德以音乐变换器作为模型的起点，这是一种由麻省理工学院助理教授安娜·黄开发的开源神经网络架构，她于九月份加入麻省理工学院教职工。
“音乐变换器的工作方式与大型语言模型类似，”布兰查德解释道。“就像ChatGPT生成最可能的下一个单词一样，我们的模型会预测最可能的下一个音符。”
布兰查德使用鲁德斯自己演奏的从低音线到和弦再到旋律的元素对模型进行了微调，鲁德斯在纽约的录音室录制了这些元素的变体。在此过程中，布兰查德确保人工智能能够实时响应鲁德斯的即兴创作。
“我们重新构思了这个项目，”布兰查德说，“从模型假设的音乐未来的角度出发，这些未来仅仅是基于乔丹的决定而实现的。”
正如鲁德斯所说：“人工智能如何响应——我如何与它对话？这就是我们所做的前沿部分。”
另一个优先事项浮现出来：“在生成性人工智能和音乐领域，你会听到像Suno或Udio这样的初创公司，它们能够根据文本提示生成音乐。这些都非常有趣，但缺乏可控性，”布兰查德说。“对于乔丹来说，能够预见将要发生的事情是很重要的。如果他看到人工智能将做出他不想要的决定，他可以重新启动生成或有一个紧急停止开关，以便他可以重新控制。”
除了给鲁德斯一个屏幕预览模型的音乐决策外，布兰查德还构建了不同的模式，音乐家可以在演奏时激活——例如，提示人工智能生成和弦或主旋律，或启动呼应模式。
“乔丹是所有事情的策划者，”他说。
乔丹会怎么做
尽管驻留期已经结束，合作者们仍然看到许多继续研究的路径。例如，纳塞克希望尝试更多鲁德斯可以直接与他的装置互动的方式，例如通过电容传感。 “我们希望未来能够更多地利用他的细微动作和姿势，”纳塞克说。
虽然麻省理工学院的合作专注于鲁德斯如何使用工具来增强自己的表演，但很容易想象其他应用。帕拉迪索回忆起与这项技术的早期接触：“我演奏了一段和弦序列，而乔丹的模型正在生成旋律。就像有一个乔丹·鲁德斯的音乐‘蜜蜂’在我铺设的旋律基础上嗡嗡作响，做着乔丹会做的事情，但受我演奏的简单进程的限制，”他回忆道，脸上流露出当时的喜悦。“你将看到为你最喜欢的音乐家提供的人工智能插件，你可以将其带入自己的作品中，带有一些旋钮让你控制细节，”他推测。“这就是我们正在开启的那种世界。”
鲁德斯也渴望探索教育用途。因为他录制的样本用于训练模型与他用于学生的耳训练习相似，他认为该模型本身有朝一日可以用于教学。“这项工作不仅仅具有娱乐价值，”他说。
对人工智能的探索是鲁德斯对音乐技术兴趣的自然延续。“这是下一步，”他相信。然而，当他与其他音乐家讨论这项工作时，他对人工智能的热情常常遭遇抵制。“我可以对感到受到威胁的音乐家表示同情或理解，我完全理解，”他承认。“但我的使命是成为推动这项技术朝积极方向发展的那个人。”
“在媒体实验室，思考人工智能和人类如何结合以造福所有人是非常重要的，”帕拉迪索说。“人工智能将如何提升我们所有人？理想情况下，它将做许多技术所做的事情——将我们带入一个更具能力的视野。”
“乔丹走在前列，”帕拉迪索补充道。“一旦他建立起来，其他人就会跟随。”
与麻省理工学院的即兴演奏
媒体实验室在鲁德斯的驻留之前就引起了他的注意，因为他想尝试由响应环境的另一位成员、纺织研究员伊尔曼迪·维卡索诺博士（PhD ’24）创建的编织键盘。从那时起，“对我来说，这是一种发现，了解麻省理工学院音乐界正在发生的酷事，”鲁德斯说。
去年春天，鲁德斯在两次访问剑桥期间（在他的妻子、戏剧和音乐制作人丹妮尔·鲁德斯的协助下），审查了帕拉迪索电子音乐控制器课程的最终项目，课程大纲中包括他自己过去表演的视频。他在埃戈齐教授教授的互动音乐系统课程中带来了一个名为Osmose的新手势驱动合成器，埃戈齐的资历包括共同创作视频游戏“吉他英雄”。鲁德斯还向作曲班提供了即兴创作的建议；与麻省理工学院笔记本电脑乐团和艺术学者项目的学生音乐家一起演奏了他与斯坦福大学研究人员共同创作的触摸屏乐器GeoShred；并在麻省理工学院空间声音实验室体验了沉浸式音频。在他最近一次于九月份访问校园时，他为麻省理工学院的埃默森/哈里斯项目的钢琴家教授了一堂大师课，该项目为67名学者和研究员提供了音乐学院级别的音乐指导支持。
“每次我来到大学时，我都会感到一种兴奋，”鲁德斯说。“我感到，哇，我所有的音乐想法、灵感和兴趣以一种非常酷的方式汇聚在一起。”
