想象一下一个能够追踪你每一个动作并建议与你个人舞蹈风格相匹配的音乐的音响。这就是“Be the Beat”的理念，这是麻省理工学院课程4.043/4.044 (互动智能)的多个项目之一，由建筑系的Marcelo Coelho教授授课，并在2024年12月的第38届NeurIPS（神经信息处理系统）年会上展示。NeurIPS是一个竞争激烈且享有盛誉的会议，专注于人工智能和机器学习领域的研究与科学，吸引了超过16,000名与会者汇聚在温哥华，是展示前沿发展的首要场所。
该课程探讨了大型语言对象这一新兴领域，以及人工智能如何扩展到物理世界。“Be the Beat”在舞蹈的创意可能性上进行了变革，而其他学生的作品则跨越了音乐、讲故事、批判性思维和记忆等学科，创造了生成性体验和新的人与计算机互动形式。这些项目共同描绘了人工智能的更广泛愿景：超越自动化，催化创造力，重塑教育，重新构想社会互动。
Be the Beat
由麻省理工学院机械工程与设计专业的Ethan Chang和机械工程与音乐专业的Zhixing Chen共同创作的“Be the Beat”是一个由人工智能驱动的音响，能够根据舞者的动作建议音乐。舞蹈在历史和文化中一直受到音乐的引导，但将舞蹈与音乐创作结合的概念却很少被探索。
“Be the Beat”为人机协作的自由舞蹈创造了一个空间，使舞者能够重新思考舞蹈与音乐之间的传统动态。它使用PoseNet来描述动作，以便大型语言模型分析舞蹈风格，并查询API找到具有相似风格、能量和节奏的音乐。与音响互动的舞者表示，他们对艺术表达有了更多的控制，并将音响描述为发现舞蹈流派和创造性编舞的新颖方法。
为你解谜
由艺术、文化与技术项目的最近毕业生Mrinalini Singha SM ’24和哈佛大学设计研究生院的最近毕业生Haoheng Tang共同创作的“为你解谜”是一个旨在培养年轻学习者批判性思维和事实核查技能的教育游戏。该游戏利用大型语言模型（LLM）和一个有形界面，创造了一个沉浸式的调查体验。玩家作为公民事实核查员，回应由游戏界面生成的AI“新闻警报”。通过插入卡带组合以提示后续的“新闻更新”，他们在模糊的场景中导航，分析证据，并权衡相互矛盾的信息，以做出明智的决策。
这种人机互动体验通过消除触摸屏界面，挑战了我们的新闻消费习惯，取而代之的是一个触觉丰富的模拟设备，替代了无休止的滚动和快速阅读。通过将慢媒体的优势与新的生成媒体结合，该游戏促进了深思熟虑的、具身的互动，同时使玩家能够更好地理解和挑战当今极化的媒体环境，在这个环境中，错误信息和操控性叙事盛行。
记忆望远镜
由麻省理工学院媒体实验室研究合作者Keunwook Kim创作的“记忆望远镜”是一种通过将面对面互动这一深具人性化的体验与先进的人工智能技术相结合，创造集体记忆的设备。受到我们如何使用显微镜和望远镜来检查和揭示隐藏和不可见细节的启发，记忆望远镜允许两个用户“看进”彼此的脸庞，利用这种亲密的互动作为创造和探索他们共享记忆的入口。
该设备利用OpenAI和Midjourney等AI模型，引入不同的美学和情感解读，从而形成一个动态的集体记忆空间。这个空间超越了传统共享相册的局限，提供了一个流动的、互动的环境，在这里，记忆不仅仅是静态的快照，而是活生生的、不断发展的叙事，由用户之间持续的关系塑造。
叙事机器人
由哈佛大学设计研究生院的学生Xiying (Aria) Bao和Yubo Zhao创作的“叙事机器人”是一个互动投影仪，通过使用大型语言模型的影子木偶剧共同创作和共同表演儿童故事。用户可以按下快门“捕捉”他们希望出现在故事中的主角，并将手影（如动物形状）作为主要角色的输入。系统随后在引入新的影子角色时发展故事情节。故事通过投影仪呈现，作为影子木偶剧的背景，同时通过扬声器叙述，用户在转动曲柄时实时“播放”。通过将视觉、听觉和身体互动结合在一个系统中，该项目旨在激发影子游戏讲故事的创造力，并实现多模态的人机协作。
完美语法
由Karyn Nakamura ’24创作的“完美语法”是一件视频艺术作品，探讨运动和视频背后的句法逻辑。该项目利用人工智能操控视频片段，探索运动和时间的流动性如何被机器模拟和重建。Nakamura的作品受到哲学探究和艺术实践的启发，质疑感知、技术与塑造我们世界体验的运动之间的关系。通过通过计算过程重新构想视频，Nakamura研究了机器如何理解和表现时间和运动的流逝的复杂性。
