爱尔兰哲学家乔治·贝克莱，以其非物质主义理论而闻名，曾著名地思考道：“如果一棵树在森林中倒下，而周围没有人听到，它会发出声音吗？”
那么，人工智能生成的树呢？它们可能不会发出声音，但在适应城市植物以应对气候变化等应用中，它们仍然至关重要。为此，麻省理工学院计算机科学与人工智能实验室（CSAIL）、谷歌和普渡大学的研究人员开发了新颖的“Tree-D Fusion”系统，将人工智能和树木生长模型与谷歌的自动树木数据相结合，创建现有城市树木的准确3D模型。该项目产生了北美首个规模庞大的60万个环境意识、可模拟的树木模型数据库。
麻省理工学院电气工程与计算机科学（EECS）助理教授、MIT CSAIL首席研究员以及新关于Tree-D Fusion的论文的共同作者萨拉·比里表示：“我们正在将数十年的林业科学与现代人工智能能力结合起来。这使我们不仅能够识别城市中的树木，还能预测它们如何生长以及随着时间的推移如何影响周围环境。我们并没有忽视过去30年在理解如何构建这些3D合成模型方面的工作；相反，我们正在利用人工智能使这些现有知识在北美乃至全球的城市中更广泛地适用。”
Tree-D Fusion建立在之前使用谷歌街景数据进行的城市森林监测工作基础上，但通过从单张图像生成完整的3D模型向前发展。尽管早期的树木建模尝试仅限于特定社区，或在规模上面临准确性挑战，但Tree-D Fusion能够创建包含通常隐藏特征的详细模型，例如在街景照片中不可见的树木背面。
该技术的实际应用远不止于观察。城市规划者可以利用Tree-D Fusion展望未来，预测生长的树枝可能与电线缠绕的地方，或识别出战略性树木布局可以最大化降温效果和改善空气质量的社区。团队表示，这些预测能力可能会将城市森林管理从被动维护转变为主动规划。
布鲁克林（以及许多其他地方）有一棵树在生长
研究人员采用了一种混合方法，使用深度学习创建每棵树形状的3D包络，然后使用传统的程序模型根据树木的属来模拟真实的树枝和叶子模式。这种组合帮助模型预测树木在不同环境条件和气候情景下的生长情况，例如不同的局部温度和不同的地下水可用性。
如今，随着全球城市面临气温上升，这项研究为城市森林的未来提供了新的视角。在与麻省理工学院可感知城市实验室的合作中，普渡大学和谷歌团队正在开展一项全球研究，重新构想树木作为活的气候屏障。他们的数字建模系统捕捉了季节间阴影模式的复杂舞蹈，揭示了战略性城市林业如何有望将炎热的城市街区转变为更自然降温的社区。
比里说：“每当街道测绘车辆经过城市时，我们不仅仅是在拍摄快照——我们在实时观察这些城市森林的演变。这种持续的监测创造了一个生动的数字森林，反映其物理对应物，为城市提供了一个强大的视角，以观察环境压力如何影响树木的健康和生长模式。”
基于人工智能的树木建模已成为追求环境正义的盟友：通过前所未有的细节绘制城市树冠，来自谷歌人工智能自然团队的一个姐妹项目帮助揭示了不同社会经济区域之间绿色空间获取的差异。“我们不仅仅是在研究城市森林——我们在努力培养更多的公平，”比里说。该团队现在正与生态学家和树木健康专家密切合作，以完善这些模型，确保随着城市扩展其绿色树冠，利益能够平等地惠及所有居民。
这是一阵微风
虽然Tree-D Fusion在该领域标志着一些重大的“增长”，但树木对计算机视觉系统来说是独特的挑战。与当前3D建模技术能够很好处理的建筑物或车辆的刚性结构不同，树木是自然的变形者——在风中摇摆，与邻近的树木交织在一起，并在生长过程中不断改变其形态。Tree-D Fusion模型是“可模拟的”，因为它们可以根据环境条件估计未来树木的形状。
比里说：“这项工作的令人兴奋之处在于它推动我们重新思考计算机视觉中的基本假设。虽然像摄影测量或NeRF（神经辐射场）这样的3D场景理解技术在捕捉静态物体方面表现出色，但树木需要新的方法来考虑它们的动态特性，甚至轻微的微风也能瞬间改变它们的结构。”
该团队创建粗略结构包络以近似每棵树形状的方法已被证明非常有效，但某些问题仍未解决。也许最棘手的是“纠缠树问题”；当邻近的树木相互生长时，它们交织的树枝形成了一个当前没有任何AI系统能够完全解开的难题。
科学家们将他们的数据集视为未来计算机视觉创新的跳板，他们已经在探索超越街景图像的应用，计划将他们的方法扩展到iNaturalist和野生动物相机陷阱等平台。
普渡大学博士生李在铉表示：“这只是Tree-D Fusion的开始。与我的合作者一起，我设想将该平台的能力扩展到行星规模。我们的目标是利用基于人工智能的洞察力为自然生态系统服务——支持生物多样性，促进全球可持续发展，并最终造福我们整个星球的健康。”
比里和李的共同作者包括乔纳森·黄，Scaled Foundations的人工智能负责人（前谷歌）；以及来自普渡大学的其他四人：博士生李在铉和李博生，遥感教授兼院长席位的费松林，助理教授叶瑞明，以及计算机科学教授兼副主任贝德里奇·贝内斯。他们的工作基于美国农业部（USDA）自然资源保护服务的支持，并得到了美国农业部国家食品与农业研究所的直接支持。研究人员本月在欧洲计算机视觉会议上展示了他们的研究成果。
