如今推动最苛刻机器学习应用的深度神经网络模型已经变得如此庞大和复杂，以至于它们正在突破传统电子计算硬件的极限。
光子硬件可以利用光进行机器学习计算，提供了一种更快且更节能的替代方案。然而，有些类型的神经网络计算是光子设备无法执行的，这需要使用离芯片电子设备或其他技术，这些技术会影响速度和效率。
基于十年的研究，麻省理工学院及其他地方的科学家们开发了一种新的光子芯片，克服了这些障碍。他们展示了一种完全集成的光子处理器，能够在芯片上以光学方式执行深度神经网络的所有关键计算。
该光学设备能够在不到半纳秒的时间内完成机器学习分类任务的关键计算，同时实现超过92%的准确率——这一性能与传统硬件相当。
该芯片由相互连接的模块组成，形成一个光学神经网络，采用商业铸造工艺制造，这可能使该技术的规模化和与电子设备的集成成为可能。
从长远来看，光子处理器可能会为计算要求高的应用（如激光雷达、天文学和粒子物理学的科学研究或高速电信）带来更快和更节能的深度学习。
“在许多情况下，模型的性能并不是唯一重要的事情，获取答案的速度也很重要。现在我们有了一个能够在纳秒时间尺度上运行神经网络的端到端系统，我们可以开始在更高的层面上思考应用和算法，”来自量子光子学与人工智能小组的访问科学家Saumil Bandyopadhyay（’17，MEng ’18，PhD ’23）说，他是新芯片论文的第一作者。
Bandyopadhyay的论文合作者包括Alexander Sludds（’18，MEng ’19，PhD ’23）；Nicholas Harris（PhD ’17）；Darius Bunandar（PhD ’19）；Stefan Krastanov，前RLE研究科学家，现在是马萨诸塞大学阿默斯特分校的助理教授；Ryan Hamerly，RLE的访问科学家和NTT Research的高级科学家；Matthew Streshinsky，前诺基亚硅光子学负责人，现在是Enosemi的联合创始人兼首席执行官；Michael Hochberg，Periplous, LLC的总裁；以及Dirk Englund，电气工程与计算机科学系教授，量子光子学与人工智能小组的首席研究员和RLE的高级作者。该研究今天在Nature Photonics上发表。
利用光进行机器学习
深度神经网络由许多相互连接的节点或神经元层组成，这些节点对输入数据进行操作以产生输出。深度神经网络中的一个关键操作涉及使用线性代数进行矩阵乘法，这在数据从一层传递到另一层时对数据进行转换。
但除了这些线性操作外，深度神经网络还执行非线性操作，帮助模型学习更复杂的模式。非线性操作，如激活函数，使深度神经网络能够解决复杂问题。
在2017年，Englund的团队与Marin Soljačić实验室的研究人员一起，展示了一种可以用光进行矩阵乘法的单光子芯片上的光学神经网络。
但当时，该设备无法在芯片上执行非线性操作。光学数据必须转换为电信号并发送到数字处理器以执行非线性操作。
“光学中的非线性是相当具有挑战性的，因为光子之间的相互作用并不容易。这使得触发光学非线性非常耗能，因此构建一个可以以可扩展方式做到这一点的系统变得具有挑战性，”Bandyopadhyay解释道。
他们通过设计称为非线性光学功能单元（NOFUs）的设备克服了这一挑战，这些设备结合了电子学和光学，在芯片上实现非线性操作。
研究人员在光子芯片上构建了一个光学深度神经网络，使用三层执行线性和非线性操作的设备。
一个完全集成的网络
在开始时，他们的系统将深度神经网络的参数编码为光。然后，演示于2017年论文中的一组可编程分束器对这些输入执行矩阵乘法。
数据随后传递到可编程NOFUs，这些NOFUs通过将少量光引流到光电二极管来实现非线性函数，光电二极管将光信号转换为电流。这个过程消除了对外部放大器的需求，消耗的能量非常少。
“我们在整个过程中始终保持在光学域，直到最后我们想读取答案。这使我们能够实现超低延迟，”Bandyopadhyay说。
实现如此低的延迟使他们能够在芯片上高效地训练深度神经网络，这一过程被称为原位训练，通常在数字硬件中消耗大量能量。
“这对于在光信号的域内处理的系统（如导航或电信）尤其有用，但也适用于希望实时学习的系统，”他说。
光子系统在训练测试中实现了超过96%的准确率，在推理中实现了超过92%的准确率，这与传统硬件相当。此外，该芯片在不到半纳秒的时间内执行关键计算。
“这项工作表明，计算——本质上是输入到输出的映射——可以编译到新的线性和非线性物理架构上，从而实现计算与所需努力之间根本不同的扩展法则，”Englund说。
整个电路使用与生产CMOS计算机芯片相同的基础设施和铸造工艺制造。这可能使芯片能够以规模化的方式制造，使用经过验证的技术，几乎不引入错误到制造过程中。
扩大他们的设备规模并将其与相机或电信系统等现实世界电子设备集成将是未来工作的主要重点，Bandyopadhyay说。此外，研究人员希望探索可以利用光学优势以更快和更高能效训练系统的算法。
这项研究部分得到了美国国家科学基金会、美国空军科学研究办公室和NTT Research的资助。
