Vijay Gadepally,麻省理工学院林肯实验室的高级员工,领导着多个项目,旨在提高计算平台及其上运行的人工智能系统的效率。Gadepally在这里讨论了生成性人工智能在日常工具中的日益使用、其隐藏的环境影响,以及林肯实验室和更广泛的人工智能社区可以采取的一些减少排放的方法,以实现更绿色的未来。
问:您在生成性人工智能在计算中的使用方面看到哪些趋势?
答:生成性人工智能利用机器学习(ML)根据输入到ML系统中的数据创建新内容,如图像和文本。在LLSC,我们设计并构建了一些世界上最大的学术计算平台,近年来,我们看到需要高性能计算以支持生成性人工智能的项目数量激增。我们还看到生成性人工智能正在改变各种领域和行业——例如,ChatGPT已经在课堂和工作场所的影响速度超过了监管的跟进速度。
我们可以想象在未来十年左右,生成性人工智能的各种用途,比如驱动高能力的虚拟助手、开发新药物和材料,甚至改善我们对基础科学的理解。我们无法预测生成性人工智能将被用于所有的事情,但我可以肯定地说,随着越来越多复杂算法的出现,它们的计算、能源和气候影响将继续迅速增长。
问:LLSC正在使用哪些策略来减轻这种气候影响?
答:我们始终在寻找使计算更高效的方法,因为这样可以帮助我们的数据中心充分利用其资源,并使我们的科学同事能够以尽可能高效的方式推动他们的领域向前发展。
例如,我们通过进行简单的更改来减少硬件的电力消耗,类似于离开房间时调暗或关闭灯。在一次实验中,我们通过强制实施功率上限,将一组图形处理单元的能耗减少了20%到30%,对其性能影响最小。这项技术还降低了硬件的工作温度,使GPU更易于冷却并延长使用寿命。
另一种策略是改变我们的行为,使其更加关注气候。在家中,我们中的一些人可能会选择使用可再生能源或智能调度。我们在LLSC也使用类似的技术——例如,在温度较低或当地电网能源需求较低时训练AI模型。
我们还意识到,计算中消耗的许多能源往往是浪费的,就像水漏增加了您的账单,但对您的家没有任何好处。我们开发了一些新技术,允许我们在计算工作负载运行时进行监控,然后终止那些不太可能产生良好结果的工作。令人惊讶的是,在许多情况下,我们发现大多数计算可以在不影响最终结果的情况下提前终止。
问:您做过的一个减少生成性人工智能程序能耗的项目是什么?
答:我们最近构建了一个气候感知的计算机视觉工具。计算机视觉是一个专注于将AI应用于图像的领域;例如,在图像中区分猫和狗、正确标记图像中的对象,或寻找图像中的感兴趣组件。
在我们的工具中,我们包含了实时碳排放监测,提供有关模型运行时我们当地电网排放多少碳的信息。根据这些信息,我们的系统将在高碳强度时自动切换到更节能的模型版本,通常具有更少的参数,或在低碳强度时切换到更高保真度的模型版本。
通过这样做,我们在一到两天的时间内看到碳排放减少了近80%。我们最近将这一想法扩展到其他生成性人工智能任务,如文本摘要,并发现了相同的结果。有趣的是,使用我们的技术后,性能有时会有所提高!
问:作为生成性人工智能的消费者,我们可以做些什么来帮助减轻其气候影响?
答:作为消费者,我们可以要求我们的AI提供商提供更大的透明度。例如,在Google Flights上,我可以看到各种选项,指示特定航班的碳足迹。我们应该从生成性人工智能工具中获得类似的测量,以便根据我们的优先事项做出有意识的决策,选择使用哪个产品或平台。
我们还可以努力更好地了解生成性人工智能的排放情况。我们中的许多人对车辆排放很熟悉,比较生成性人工智能的排放情况可能会有所帮助。例如,人们可能会惊讶地发现,一次图像生成任务大约相当于驾驶一辆汽油车行驶四英里,或者充电一辆电动车所需的能量与生成大约1,500个文本摘要所需的能量相同。
在许多情况下,如果客户知道权衡的影响,他们会乐于做出妥协。
问:您对未来有什么看法?
答:减轻生成性人工智能的气候影响是全球各地人们正在努力解决的问题,目标相似。我们在林肯实验室做了很多工作,但这只是冰山一角。从长远来看,数据中心、AI开发者和能源网需要共同努力,提供“能源审计”,以发现其他独特的方法来提高计算效率。我们需要更多的合作伙伴关系和更多的合作,以便向前推进。
如果您有兴趣了解更多信息,或与林肯实验室在这些努力上合作,请联系Vijay Gadepally。