在一系列两部分的文章中,麻省理工学院新闻探讨了生成性人工智能的环境影响。在这篇文章中,我们将探讨为什么这项技术如此资源密集。第二篇文章将调查专家们正在做些什么来减少生成性人工智能的碳足迹和其他影响。
围绕生成性人工智能的潜在好处的兴奋感,从提高工人生产力到推动科学研究,难以忽视。尽管这项新技术的爆炸性增长使得在许多行业快速部署强大的模型成为可能,但这种生成性人工智能“淘金热”的环境后果仍然难以确定,更不用说减轻了。
训练生成性人工智能模型所需的计算能力,通常具有数十亿个参数,例如OpenAI的GPT-4,可能需要惊人的电力,这导致二氧化碳排放增加,并对电网造成压力。
此外,在现实世界应用中部署这些模型,使数百万用户在日常生活中使用生成性人工智能,然后微调模型以提高其性能,长时间内消耗大量能源,即使在模型开发之后。
除了电力需求外,训练、部署和微调生成性人工智能模型所使用的硬件需要大量水来冷却,这可能会对市政水供应造成压力,并破坏当地生态系统。生成性人工智能应用的增加也刺激了对高性能计算硬件的需求,增加了其制造和运输带来的间接环境影响。
“当我们考虑生成性人工智能的环境影响时,不仅仅是你插上电脑时消耗的电力。还有更广泛的后果,涉及到系统层面,并基于我们采取的行动而持续存在,”麻省理工学院材料科学与工程系教授、麻省理工学院新气候项目的脱碳使命负责人Elsa A. Olivetti说。
Olivetti是2024年论文“生成性人工智能的气候与可持续性影响”的资深作者,该论文由麻省理工学院的同事共同撰写,以响应学院范围内的征文,探讨生成性人工智能对社会的积极和消极转型潜力。
数据中心的高需求
数据中心的电力需求是导致生成性人工智能环境影响的一个主要因素,因为数据中心用于训练和运行流行工具(如ChatGPT和DALL-E)背后的深度学习模型。
数据中心是一个温控建筑,容纳计算基础设施,如服务器、数据存储驱动器和网络设备。例如,亚马逊在全球拥有超过100个数据中心,每个数据中心大约有50,000台服务器,公司利用这些服务器支持云计算服务。
尽管数据中心自1940年代以来就存在(第一个数据中心于1945年在宾夕法尼亚大学建立,以支持第一台通用数字计算机ENIAC),但生成性人工智能的兴起显著加快了数据中心的建设速度。
“生成性人工智能的不同之处在于它所需的功率密度。从根本上说,这只是计算,但一个生成性人工智能训练集群可能消耗的能源是典型计算工作负载的七到八倍,”影响论文的首席作者、麻省理工学院气候与可持续性联盟(MCSC)的计算与气候影响研究员Noman Bashir说。
科学家们估计,北美数据中心的电力需求从2022年底的2,688兆瓦增加到2023年底的5,341兆瓦,部分原因是生成性人工智能的需求。根据经济合作与发展组织的数据,全球数据中心的电力消耗在2022年上升至460太瓦。这使得数据中心成为全球第11大电力消费者,位于沙特阿拉伯(371太瓦)和法国(463太瓦)之间。
到2026年,数据中心的电力消耗预计将接近1,050太瓦(这将使数据中心在全球名单中上升到第五位,位于日本和俄罗斯之间)。
虽然并非所有数据中心的计算都涉及生成性人工智能,但这项技术是能源需求增加的主要驱动因素。
“新数据中心的需求无法以可持续的方式满足。公司建设新数据中心的速度意味着大部分电力必须来自化石燃料发电厂,”Bashir说。
训练和部署像OpenAI的GPT-3这样的模型所需的电力很难确定。在2021年的一篇研究论文中,谷歌和加州大学伯克利分校的科学家估计,仅训练过程就消耗了1,287兆瓦时的电力(足以为大约120个美国普通家庭供电一年),产生约552吨二氧化碳。
虽然所有机器学习模型都必须进行训练,但Bashir解释说,生成性人工智能独特的问题在于训练过程的不同阶段中能源使用的快速波动。
电网运营商必须有办法吸收这些波动以保护电网,他们通常会使用柴油发电机来完成这项任务。
推理带来的影响增加
一旦生成性人工智能模型被训练,能源需求并不会消失。
每次使用模型时,例如个人请求ChatGPT总结一封电子邮件,执行这些操作的计算硬件都会消耗能源。研究人员估计,ChatGPT的查询消耗的电力约为简单网页搜索的五倍。
“但普通用户对此并没有太多思考,”Bashir说。“生成性人工智能界面的易用性以及对我行为环境影响缺乏信息意味着,作为用户,我没有太多动力减少对生成性人工智能的使用。”
在传统人工智能中,能源使用在数据处理、模型训练和推理之间相对均匀分配,推理是使用训练好的模型对新数据进行预测的过程。然而,Bashir预计,生成性人工智能推理的电力需求最终将占主导地位,因为这些模型在许多应用中变得无处不在,推理所需的电力将随着未来版本模型的增大和复杂化而增加。
此外,生成性人工智能模型的保质期特别短,受到对新人工智能应用需求上升的驱动。公司每几周发布新模型,因此用于训练先前版本的能源会被浪费,Bashir补充道。新模型通常在训练时消耗更多能源,因为它们通常比前代模型具有更多参数。
虽然数据中心的电力需求可能在研究文献中受到最多关注,但这些设施消耗的水量也有环境影响。
冷却数据中心需要使用冷却水来吸收计算设备产生的热量。Bashir表示,估计每消耗一千瓦时的电力,数据中心需要两升水进行冷却。
“仅仅因为这被称为‘云计算’并不意味着硬件生活在云中。数据中心存在于我们的物理世界中,由于它们的用水,它们对生物多样性有直接和间接的影响,”他说。
数据中心内部的计算硬件带来了自身的、间接的环境影响。
虽然很难估计制造一个GPU(能够处理密集生成性人工智能工作负载的一种强大处理器)所需的电力,但这将超过制造一个简单CPU所需的电力,因为制造过程更复杂。GPU的碳足迹因材料和产品运输相关的排放而加重。
市场研究公司TechInsights估计,三大主要生产商(NVIDIA、AMD和Intel)在2023年向数据中心发货了385万块GPU,较2022年的267万块有所增加。预计这一数字在2024年将以更大的百分比增长。
该行业正走在一条不可持续的道路上,但Bashir表示,有办法鼓励支持环境目标的生成性人工智能的负责任发展。
他、Olivetti和他们的麻省理工学院同事认为,这将需要全面考虑生成性人工智能的所有环境和社会成本,以及对其感知利益的详细评估。
“我们需要一种更具上下文的方式来系统性和全面地理解这一领域新发展的影响。由于改进的速度,我们还没有机会赶上我们测量和理解权衡的能力,”Olivetti说。