在一个风电场中识别出一台故障涡轮机，涉及查看数百个信号和数百万个数据点，这就像在干草堆中寻找一根针。
工程师们通常使用深度学习模型来简化这个复杂的问题，这些模型可以检测每台涡轮机在一段时间内重复测量的异常，称为时间序列数据。
但是，由于数百台风力涡轮机每小时记录数十个信号，训练一个深度学习模型来分析时间序列数据既昂贵又繁琐。更复杂的是，模型在部署后可能需要重新训练，而风电场运营商可能缺乏必要的机器学习专业知识。
在一项新研究中，麻省理工学院的研究人员发现，大型语言模型（LLMs）在时间序列数据的异常检测方面具有更高的效率。重要的是，这些预训练模型可以直接使用，无需额外的调整。
研究人员开发了一个名为SigLLM的框架，其中包括一个将时间序列数据转换为LLM可以处理的基于文本的输入的组件。用户可以将这些准备好的数据输入模型，并要求其开始识别异常。LLM还可以用于预测未来的时间序列数据点，作为异常检测流程的一部分。
虽然LLMs在异常检测方面无法超越最先进的深度学习模型，但它们的表现与其他一些人工智能方法相当。如果研究人员能够提高LLMs的性能，这个框架可以帮助技术人员在重型机械或卫星等设备出现问题之前标记潜在问题，而无需训练一个昂贵的深度学习模型。
“由于这只是第一次迭代，我们并没有指望第一次就能达到目标，但这些结果表明，利用LLMs进行复杂的异常检测任务是有机会的，”电气工程与计算机科学（EECS）研究生、SigLLM论文的第一作者Sarah Alnegheimish说。
她的合著者包括EECS研究生Linh Nguyen；法国国家可持续发展研究院的研究主任Laure Berti-Equille；以及资深作者、信息与决策系统实验室的首席研究科学家Kalyan Veeramachaneni。该研究将在IEEE数据科学与高级分析会议上进行展示。
现成的解决方案
大型语言模型是自回归的，这意味着它们可以理解序列数据中的最新值依赖于之前的值。例如，像GPT-4这样的模型可以使用前面的单词预测句子中的下一个单词。
由于时间序列数据是顺序的，研究人员认为LLMs的自回归特性可能使其非常适合检测这种类型数据中的异常。
然而，他们希望开发一种避免微调的技术，微调是工程师在少量特定任务数据上重新训练通用LLM的过程，以使其在某一任务上成为专家。相反，研究人员直接使用现成的LLM，无需额外的训练步骤。
但在他们能够部署之前，他们必须将时间序列数据转换为语言模型可以处理的基于文本的输入。
他们通过一系列转换来实现这一点，这些转换捕捉时间序列中最重要的部分，同时用最少的标记表示数据。标记是LLM的基本输入，更多的标记需要更多的计算。
“如果你不非常小心地处理这些步骤，你可能会最终切掉一些重要的数据部分，失去那些信息，”Alnegheimish说。
一旦他们弄清楚如何转换时间序列数据，研究人员开发了两种异常检测方法。
异常检测方法
对于第一种方法，他们称之为Prompter，他们将准备好的数据输入模型，并提示其定位异常值。
“我们不得不多次迭代，以找出一个特定时间序列的正确提示。理解这些LLMs如何摄取和处理数据并不容易，”Alnegheimish补充道。
对于第二种方法，称为Detector，他们使用LLM作为预测器，从时间序列中预测下一个值。研究人员将预测值与实际值进行比较。较大的差异表明实际值可能是异常值。
在Detector中，LLM将成为异常检测流程的一部分，而Prompter将独立完成任务。在实践中，Detector的表现优于Prompter，后者产生了许多假阳性。
“我认为，在Prompter方法中，我们要求LLM跳过太多障碍。我们给它一个更难解决的问题，”Veeramachaneni说。
当他们将这两种方法与当前技术进行比较时，Detector在他们评估的11个数据集中的7个上优于基于变换器的人工智能模型，即使LLM不需要任何训练或微调。
未来，LLM还可能能够为其预测提供简单的语言解释，以便操作员能够更好地理解为什么LLM将某个数据点识别为异常。
然而，最先进的深度学习模型在性能上远远超过LLMs，这表明在LLM可以用于异常检测之前仍然需要做很多工作。
“要达到与这些最先进模型一样好的水平，需要什么？这是我们现在面临的百万美元问题。基于LLM的异常检测器需要成为游戏规则的改变者，才能证明这种努力的合理性，”Veeramachaneni说。
展望未来，研究人员希望看看微调是否能提高性能，尽管这将需要额外的时间、成本和培训专业知识。
他们的LLM方法也需要30分钟到2小时才能产生结果，因此提高速度是未来工作的关键领域。研究人员还希望深入研究LLMs，以了解它们如何执行异常检测，希望找到提高其性能的方法。
“在处理像时间序列中的异常检测这样复杂的任务时，LLMs确实是一个有力的竞争者。也许其他复杂任务也可以用LLMs来解决？”Alnegheimish说。
这项研究得到了SES S.A.、Iberdrola和ScottishPower Renewables以及现代汽车公司的支持。
