想象一下,你的任务是派遣一组足球运动员到一个场地上评估草坪的状况(这当然是他们可能会做的任务)。如果你随机选择他们的位置,他们可能会在某些区域聚集在一起,而完全忽视其他区域。但是如果你给他们一个策略,比如在场地上均匀分布,你可能会得到一个更准确的草坪状况图。
现在,想象一下需要在不仅仅是两个维度上分布,而是在十个甚至一百个维度上。这就是麻省理工学院计算机科学与人工智能实验室(CSAIL)研究人员正在提前应对的挑战。他们开发了一种基于人工智能的“低差异采样”方法,这种方法通过在空间中更均匀地分布数据点来提高模拟的准确性。
一个关键的新颖之处在于使用图神经网络(GNN),这使得点可以“交流”并自我优化以获得更好的均匀性。他们的方法标志着在机器人技术、金融和计算科学等领域的模拟中的一个重要增强,特别是在处理复杂的多维问题时,这对于准确的模拟和数值计算至关重要。
“在许多问题中,你可以越均匀地分布点,就越能准确地模拟复杂系统,”新论文的主要作者、麻省理工学院CSAIL博士后T. Konstantin Rusch说。“我们开发了一种叫做消息传递蒙特卡洛(MPMC)的方法来生成均匀间隔的点,使用几何深度学习技术。这进一步使我们能够生成强调对当前问题特别重要的维度的点,这在许多应用中是非常重要的。模型的基础图神经网络使得点之间可以‘对话’,实现了比以前的方法更好的均匀性。”
他们的工作已在《美国国家科学院院刊》九月号上发表。
带我去蒙特卡洛
蒙特卡洛方法的理念是通过随机采样来了解一个系统。采样是选择一个总体的子集以估计整个总体的特征。历史上,这种方法早在18世纪就被使用,当时数学家皮埃尔-西蒙·拉普拉斯利用它来估计法国的人口,而无需逐个计算每个人。
低差异序列,即具有低差异性(即高均匀性)的序列,如Sobol’、Halton和Niederreiter,长期以来一直是准随机采样的黄金标准,它用低差异采样取代了随机采样。它们广泛应用于计算机图形学和计算金融等领域,从期权定价到风险评估,在这些领域中,均匀填充空间的点可以导致更准确的结果。
团队提出的MPMC框架将随机样本转化为高均匀性的点。这是通过使用GNN处理随机样本来最小化特定的差异度量来实现的。
使用人工智能生成高度均匀的点的一个重大挑战是,通常测量点均匀性的方法计算速度非常慢且难以处理。为了解决这个问题,团队转向了一种更快、更灵活的均匀性度量,称为L2差异性。对于高维问题,当这种方法单独使用时不够,他们使用了一种新颖的技术,专注于点的重要低维投影。通过这种方式,他们可以创建更适合特定应用的点集。
团队表示,这一影响远远超出了学术界。例如,在计算金融中,模拟在很大程度上依赖于采样点的质量。“使用这些类型的方法,随机点通常效率低下,但我们生成的低差异点则提高了精度,”Rusch说。“例如,我们考虑了一个来自计算金融的经典问题,维度为32,我们的MPMC点在性能上比以前的最先进的准随机采样方法提高了四到24倍。”
蒙特卡洛中的机器人
在机器人技术中,路径和运动规划通常依赖于基于采样的算法,这些算法引导机器人通过实时决策过程。MPMC的均匀性改善可能导致更高效的机器人导航和实时适应,例如自动驾驶或无人机技术。“事实上,在最近的一篇预印本中,我们证明了我们的MPMC点在应用于现实世界的机器人运动规划问题时,比以前的低差异方法提高了四倍,”Rusch说。
“传统的低差异序列在其时代是一个重大进展,但世界变得更加复杂,我们现在解决的问题通常存在于10、20甚至100维的空间中,”CSAIL主任、麻省理工学院电气工程和计算机科学教授Daniela Rus说。“我们需要更智能的东西,能够随着维度的增长而适应。GNN在我们生成低差异点集的方式上是一个范式转变。与传统方法不同,传统方法中点是独立生成的,而GNN允许点之间‘交流’,使网络学习以减少聚类和间隙——这些是典型方法的常见问题。”
展望未来,团队计划使MPMC点对每个人更加可及,解决当前为每个固定数量的点和维度训练新GNN的限制。
“应用数学的许多领域使用连续变化的量,但计算通常只允许我们使用有限数量的点,”斯坦福大学统计学教授Art B. Owen说,他并未参与这项研究。“一个多世纪的差异性领域使用抽象代数和数论来定义有效的采样点。本文使用图神经网络来找到与连续分布相比具有低差异的输入点。这种方法在小问题中已经非常接近已知的最佳低差异点集,并在计算金融的32维积分中显示出巨大的潜力。我们可以期待这是使用神经方法寻找数值计算良好输入点的众多努力中的第一个。”
Rusch和Rus与滑铁卢大学研究员Nathan Kirk、牛津大学DeepMind人工智能教授及前CSAIL成员Michael Bronstein,以及滑铁卢大学统计与精算科学教授Christiane Lemieux共同撰写了这篇论文。他们的研究部分得到了Schmidt Futures的AI2050计划、波音公司、美国空军研究实验室和美国空军人工智能加速器、瑞士国家科学基金会、加拿大自然科学与工程研究委员会以及EPSRC图灵人工智能世界领先研究奖学金的支持。