来自东京理科大学（TUS）的研究人员开发了一种方法，使大型人工智能模型能够选择性地“遗忘”特定类别的数据。
人工智能的进步提供了能够彻底改变各个领域的工具，从医疗保健到自动驾驶。然而，随着技术的进步，其复杂性和伦理考量也在增加。
大型预训练人工智能系统的范式，例如OpenAI的ChatGPT和CLIP（对比语言-图像预训练），重新塑造了人们对机器的期望。这些高度通用的模型能够以一致的精度处理各种任务，已被广泛应用于专业和个人使用。
然而，这种多功能性是有代价的。训练和运行这些模型需要巨大的能量和时间，提出了可持续性问题，并且需要比标准计算机更昂贵的尖端硬件。更糟糕的是，通用性可能会在应用于特定任务时降低人工智能模型的效率。
例如，“在实际应用中，几乎不需要对所有类型的对象类别进行分类，”负责该研究的副教授Irie Go解释道。“例如，在自动驾驶系统中，仅识别有限的对象类别，如汽车、行人和交通标志，就足够了。
“我们不需要识别食物、家具或动物种类。保留不需要识别的类别可能会降低整体分类准确性，并导致操作上的劣势，例如浪费计算资源和信息泄露的风险。”
一个潜在的解决方案是训练模型“遗忘”冗余或不必要的信息——简化其过程，仅专注于所需的内容。虽然一些现有方法已经满足了这一需求，但它们往往假设用户可以访问模型的内部架构和参数。然而，用户通常无法获得这样的可见性。
由于商业和伦理限制，“黑箱”人工智能系统更为常见，隐藏了其内部机制，使传统的遗忘技术变得不切实际。为了解决这一差距，研究团队转向无导数优化——一种不依赖于模型内部工作机制的方式。
通过遗忘推进
这项研究将在2024年神经信息处理系统（NeurIPS）会议上展示，介绍了一种称为“黑箱遗忘”的方法。
该过程通过迭代轮次修改输入提示（输入到模型的文本指令），使人工智能逐渐“遗忘”某些类别。副教授Irie与共同作者Yusuke Kuwana和Yuta Goto（均来自TUS）以及来自NEC公司的Takashi Shibata博士合作进行了这项工作。
在实验中，研究人员针对CLIP，这是一种具有图像分类能力的视觉语言模型。他们开发的方法基于协方差矩阵自适应进化策略（CMA-ES），这是一种旨在逐步优化解决方案的进化算法。在这项研究中，CMA-ES被用来评估和优化提供给CLIP的提示，最终抑制其对特定图像类别的分类能力。
随着项目的推进，出现了挑战。现有的优化技术在针对大量目标类别时难以扩展，导致团队设计了一种新的参数化策略，称为“潜在上下文共享”。
这种方法将潜在上下文——由提示生成的信息表示——分解为更小、更易管理的部分。通过将某些元素分配给单个标记（单词或字符），同时在多个标记之间重用其他元素，他们显著降低了问题的复杂性。关键是，这使得即使在广泛的遗忘应用中，该过程在计算上也是可行的。
通过对多个图像分类数据集的基准测试，研究人员验证了黑箱遗忘的有效性——成功使CLIP“遗忘”约40%的目标类别，而无需直接访问人工智能模型的内部架构。
这项研究标志着首次成功在黑箱视觉语言模型中引发选择性遗忘，展示了良好的结果。
帮助人工智能模型遗忘数据的好处
除了其技术创新外，这一创新在任务特定精度至关重要的现实应用中具有重要潜力。
简化专用任务的模型可以使其更快、更高效，并能够在较低功率的设备上运行——加速人工智能在以前被认为不可行的领域的应用。
另一个关键用途在于图像生成，其中遗忘整个视觉上下文类别可以防止模型无意中创建不良或有害的内容，无论是冒犯性材料还是错误信息。
也许最重要的是，这种方法解决了人工智能最大的伦理难题之一：隐私。
人工智能模型，特别是大型模型，通常在可能无意中包含敏感或过时信息的大型数据集上进行训练。要求删除这些数据——尤其是在倡导“被遗忘权”法律的背景下——面临重大挑战。
重新训练整个模型以排除问题数据既昂贵又耗时，但不加以解决的风险可能会产生深远的后果。
“重新训练大型模型消耗巨大的能量，”副教授Irie指出。“‘选择性遗忘’或所谓的机器遗忘，可能为这个问题提供有效的解决方案。”
这些以隐私为中心的应用在医疗保健和金融等高风险行业中尤为相关，这些行业的操作中敏感数据至关重要。
随着全球推进人工智能的竞争加速，东京理科大学的黑箱遗忘方法为未来指明了重要方向——不仅使技术更具适应性和效率，还为用户增加了重要的保护措施。
尽管滥用的潜力依然存在，但选择性遗忘等方法表明，研究人员正在积极应对伦理和实际挑战。
另见：为什么QwQ-32B-Preview是值得关注的推理人工智能
想了解更多来自行业领袖的人工智能和大数据信息吗？ 请查看人工智能与大数据博览会，该活动将在阿姆斯特丹、加利福尼亚和伦敦举行。该综合活动与其他领先活动共同举办，包括智能自动化会议、区块链博览会、数字化转型周和网络安全与云博览会。
在这里探索其他即将举行的企业技术活动和由TechForge提供的网络研讨会。
