在你走出门之前，应该拿上雨伞吗？提前查看天气预报只有在预报准确的情况下才会有帮助。
空间预测问题，如天气预报或空气污染估计，涉及根据其他地点已知值预测新地点变量的值。科学家通常使用经过验证的方法来确定对这些预测的信任程度。
但麻省理工学院的研究人员表明，这些流行的验证方法在空间预测任务中可能会严重失效。这可能会导致人们相信某个预报是准确的，或者某种新的预测方法是有效的，而实际上并非如此。
研究人员开发了一种评估预测验证方法的技术，并用它证明了两种经典方法在空间问题上可能是实质性错误的。然后，他们确定了这些方法失效的原因，并创建了一种新方法，旨在处理用于空间预测的数据类型。
在真实和模拟数据的实验中，他们的新方法提供了比两种最常见技术更准确的验证。研究人员使用现实的空间问题评估每种方法，包括预测芝加哥奥黑尔机场的风速和预测美国五个大都市地区的气温。
他们的验证方法可以应用于一系列问题，从帮助气候科学家预测海表温度到帮助流行病学家估计空气污染对某些疾病的影响。
“希望这将导致人们在提出新的预测方法时进行更可靠的评估，并更好地理解这些方法的表现如何，”麻省理工学院电气工程与计算机科学系（EECS）副教授、信息与决策系统实验室成员、数据、系统与社会研究所成员以及计算机科学与人工智能实验室（CSAIL）附属研究员Tamara Broderick说。
Broderick在论文中与首席作者、麻省理工学院博士后David R. Burt和EECS研究生Yunyi Shen共同合作。该研究将在国际人工智能与统计会议上进行展示。
评估验证
Broderick的团队最近与海洋学家和大气科学家合作，开发可以用于具有强空间成分问题的机器学习预测模型。
通过这项工作，他们注意到传统的验证方法在空间环境中可能不准确。这些方法保留一小部分训练数据，称为验证数据，并用它来评估预测器的准确性。
为了找到问题的根源，他们进行了彻底的分析，确定传统方法对空间数据的假设是不恰当的。评估方法依赖于关于验证数据和希望预测的数据（称为测试数据）之间关系的假设。
传统方法假设验证数据和测试数据是独立且同分布的，这意味着任何数据点的值不依赖于其他数据点。但在空间应用中，这通常并非如此。
例如，科学家可能使用来自EPA空气污染传感器的验证数据来测试预测保护区内空气污染的方法的准确性。然而，EPA传感器并不是独立的——它们的设置是基于其他传感器的位置。
此外，验证数据可能来自城市附近的EPA传感器，而保护区位于农村地区。由于这些数据来自不同的位置，它们可能具有不同的统计特性，因此并不是同分布的。
“我们的实验表明，当验证方法所做的假设失效时，在空间情况下会得到一些非常错误的答案，”Broderick说。
研究人员需要提出一个新的假设。
特定空间
专门考虑空间上下文，即数据来自不同位置，他们设计了一种假设验证数据和测试数据在空间上平滑变化的方法。
例如，两个相邻房屋之间的空气污染水平不太可能发生剧烈变化。
“这种规律性假设适用于许多空间过程，它使我们能够创建一种在空间域中评估空间预测器的方法。据我们所知，没有人对出错的原因进行系统的理论评估，以提出更好的方法，”Broderick说。
要使用他们的评估技术，用户只需输入他们的预测器、希望预测的位置和验证数据，然后系统会自动完成其余的工作。最后，它估计预测器在相关位置的预报准确性。然而，有效评估他们的验证技术被证明是一个挑战。
“我们不是在评估一种方法，而是在评估一种评估。因此，我们必须退后一步，仔细思考，并创造性地考虑我们可以使用的适当实验，”Broderick解释道。
首先，他们设计了几个使用模拟数据的测试，这些数据虽然具有不现实的方面，但允许他们仔细控制关键参数。然后，他们通过修改真实数据创建了更现实的半模拟数据。最后，他们使用真实数据进行了几次实验。
使用来自现实问题的三种数据类型，例如根据位置预测英格兰公寓的价格和预测风速，使他们能够进行全面评估。在大多数实验中，他们的方法比他们比较的任何传统方法都更准确。
未来，研究人员计划将这些技术应用于改善空间环境中的不确定性量化。他们还希望找到其他领域，在这些领域中规律性假设可以提高预测器的性能，例如时间序列数据。
这项研究部分由国家科学基金会和海军研究办公室资助。
