其他
一文读懂光学计算 | 综述荐读
自2010年代初以来，学术界和工业界对光学计算的兴趣再度高涨，其中大部分兴奋点都集中在用于神经网络处理的专用光学计算机上。自20世纪60年代以来，光学计算一直是一个定期研究的课题：包括20世纪80年代和90年代初的神经网络研究，并提出了各种各样的光学计算方案和架构。
在近期发表在《自然·物理学评论》的一篇文章中，康奈尔大学的Peter L. McMahon系统地解释了光学为何、以及如何能够在计算速度或能效方面优于电子学，并列举了在设计光学计算机时可以利用的11种光学特性。
/目·录/
一、光学计算再次掀起热潮二、光学计算机需要战胜什么？三、光学计算的11个特征3.1. 带宽3.2. 空间并行性3.3. 几乎无耗散的动力学3.4. 低损耗传输3.5. 光束和“电线”可以交叉，电线则不能3.6. 光束可以高速可编程地转向；而电线要么是固定的，要么只能缓慢地重新配置3.7. 扇入（求和）和扇出（复制）在光学中的作用不同3.8. 单向传播3.9. 绝热、最小作用和最小功率耗散原理的不同实现方式3.10. 光的量子特性可在室温下获得3.11. 波物理学四、......但光速并不快五、光学计算机 v.s. 电子计算机5.1. 避免或减轻输入和输出瓶颈/开销5.2. 不要试图直接与数字电子处理器较量5.3. 结合多种光学特性，尝试获得优势六、精心设计后，光学计算将带来数量级优势
自2010年代初以来，业界和学术界对光学计算的兴趣再次高涨。光学计算机至少在某些任务上优于电子计算机的基本物理基础是什么？
事实上，任何光学计算机要想在实践中取得优势，都可能需要利用其中一个以上的特性；成功的光学计算机设计必须经过精心设计，以避免出现瓶颈或开销超过光学优势。本文将讨论其中的一些误区以及可以采取的缓解方法。
电子处理器设定的高标准导致人们对光学计算的前景一度持悲观态度。鉴于CMOS技术的不断改进，那么，为什么现在人们对光学计算（包括商业发展）又重新燃起了热情？对光学计算的主要批评之一是，光学晶体管无法与电子晶体管竞争。
目前，人们对光学计算的兴趣主要集中在光学计算机架构上，而不是基于用光学晶体管复制数字逻辑。业界的主要目标不是试图构建通用数字计算机，而是构建专用模拟计算机。这两种转变——向特殊用途和模拟处理的转变，都很重要。试图用光学技术构建性能卓越的通用处理器仍然遥不可及，这主要是因为人们希望通用处理器不会出错（例如，会计师希望电子表格中的数字完全正确），而人们只知道如何用数字逻辑实现无差错机器；要构建数字逻辑，就必须使用满足高标准的光学晶体管。不过，我们也可以制造专门针对特定应用的光学处理器，这些应用并不需要完全无差错运行。
目前，专用光学计算机正瞄准几个应用领域：包括神经网络、科学计算、组合优化和密码学。所有这四个应用领域都以矩阵-矢量乘法过程为关键算法原型，而这正是当前光学计算研究的主要目标。傅立叶变换和卷积适用于神经网络、科学计算和密码学，因此在目前的研究中占有重要地位。
在过去几十年中，光学相关器已多次作为商业产品发布，因此，即使在商业上，这也不是一个新方向，而是一个已焕发新活力的方向。此外，在为神经网络进行计算方面也有很大的发展，这些计算并没有明确设计为矩阵-向量乘法或卷积。所有这四个应用领域的一个共同点是，通过光学方法执行的子程序即使存在一些误差（噪声），仍然非常有用。这一因素至关重要，因为任何模拟计算机（包括模拟光学计算机）都很难达到大于10比特的有效精度，因此模拟光学计算机的应用应能承受这种程度的噪声。
神经网络是一个特别好的选择，因为至少在推理过程中（而不是训练过程中），神经网络的精度不会大幅下降，即使它们只能进行精度低于8比特的整数运算。任何模拟神经网络处理器（包括模拟光学处理器）都会担心在执行深度神经网络时可能会积累错误。最近，科学家们对这一问题进行了理论分析，得出的结论是，即使在相关噪声的情况下，噪声累积的有害影响也可以得到缓解。在对深度光学神经网络（有60个光学执行层）的模拟中显示，仅导致有效低位精度的非相关噪声产生的精度与使用8比特整数运算执行相同神经网络的数字电子处理器相同或更好，也就是说，模拟预测与标准数字电子执行相比，神经网络光学执行中的误差积累不会对精度产生明显影响。对于模拟光学处理器、神经网络的所有应用而言，有关抗噪声能力的直觉和模拟最终都需要通过光学实验来验证。
有了这样的背景，我们现在就可以更全面地回答为什么光学计算领域再次掀起热潮。第一个原因是神经网络的崛起：在过去十年中，神经网络已成为机器学习的主流方法，并变得极其耗费计算资源。这引起了人们对专门用于神经网络的替代硬件方法的浓厚兴趣，而神经网络对噪声的内在适应能力使其非常适合模拟光学实现。
其次，CMOS的改进不足以满足应用需求：尽管CMOS硬件已经取得了显著进步，但对于神经网络和其他一些应用（如组合优化）来说，CMOS硬件未来的预期改进也不如用户所愿，并将限制应用能力。例如，神经网络的参数数量——衡量其规模和计算需求的标准之一，的增长速度远远超过了硬件改进的速度，这主要是因为人们发现，规模的扩大往往会带来能力或精度的提高。
第三，光子学硬件有了巨大进步：在消费电子和光通信行业的推动下，光子设备的规模、速度和能效在上一次光神经网络热潮之后的30年里取得了巨大进步。例如，三星公司现在推出了像素达2亿的照相机，功率仅为10 W的每秒400千兆比特光收发器也已投入商用。在这一时期，光子集成电路也得到了发展和商业化，为体形光学器件提供了微型化的替代品；光学材料和器件也有了长足的发展。
电子领域（CMOS和超越CMOS技术）的一个补充趋势是开发用于神经网络处理的专用电子芯片，这为神经网络光学计算机的发展提供了进一步支持。在许多情况下，这些芯片还能进行模拟而非数字矩阵-矢量乘法运算；这一事实促使人们开发出了在模拟硬件上训练神经网络的方法，其中许多方法也适用于模拟光学神经网络。模拟和数字电子神经网络芯片通常都采用数据流架构，尤其是收缩阵列架构。它们还经常采用内存计算的概念，这意味着存储神经网络权重矩阵元素的物理元素同时也是进行权重乘法运算的物理元素；通常情况下，存储的值只能缓慢更新，但这对于神经网络推理或其他需要多次重复使用权重的情况是可以接受的。
在这种架构中，光信号编码的信息流经处理元件，如空间光调制器像素阵列、马赫-泽恩德干涉仪网、相变存储器单元横杆或微波谐振器网络。模拟电子神经网络处理器与模拟光学神经网络处理器的结构相似，这使得光计算机设计师可以借鉴电子处理器界的见解。结构上的相似性也使我们更容易预测未来电子和光子实现的性能比较。并不是每台神经网络光计算机都基于与电子神经网络处理器相似的架构：偏离架构是有充分理由的，但在架构和算法具有可比性的情况下，性能分析就会变得更加简单，因为我们不必区分不同算法和不同架构的影响，而可以专注于基本的物理差异：有多少并行元素，数据通过它们发送的速度有多快等等。同样，许多用于组合优化的专用电子处理器与同一应用领域的光学方法在架构和算法上也有相似之处。
在这篇文章中，我们仅限于讨论经典光学计算，而不会回顾光学在构建量子计算机方面的优势；我们也不会试图将经典光学计算机与光量子计算机进行比较，只想说两者都在与经典数字电子计算机竞争，但其潜在优势所针对的应用却大相径庭。
在讨论光学计算机如何打败电子计算机之前，让我们先简单介绍一下光学计算机的对手是什么，以及为什么电子处理器的竞争如此激烈。这其中既有硬件方面的因素，也有算法或软件方面的因素。
在硬件方面，基于CMOS晶体管的电子处理器具有巨大的并行性，每个芯片上的晶体管多达 ~1011个，工作时钟频率在~1 GHz到~10 GHz之间，开关能量小于10 aJ（即小于10-17J）。这些特性使得现代处理器拥有巨大的计算吞吐量：例如，英伟达H100处理器45每秒可执行4×1015次8位标量乘法运算，相当于每个时钟周期并行执行约4×106次乘法运算；该芯片的功耗小于1,000 W。
在软件方面，在改进基于晶体管的硬件方面付出了50多年努力的同时，在算法设计方面也付出了50多年的努力，在某些情况下，算法带来的好处几乎与硬件的改进相当。在许多情况下，算法的设计或明或暗地针对当时或现有的硬件类型进行了优化，从而提高了新硬件范式的准入门槛。
我们在下文中列出了光学本身或利用光学进行计算的方式的11个特征，这些特征是构建光学计算机的要素；这些特征可以解释光学如何带来更微妙但正确的优势。
并非所有这些特征对获得光学计算优势都同等重要，但我们也没有按重要性排序，部分原因是确定这种排序需要了解未来光学计算机最终最依赖哪些成分。不过，在下一节中，我们将讨论如何使用这些特性，并就哪些特性最有可能成为关键发表看法。
1）带宽
光子学的带宽B比电子学大约100,000倍。光子学的带宽约为500THz，而电子电路的带宽通常约为5GHz（图 1a）。小型模拟电子电路的带宽可以大于5GHz，小型数字电子电路的时钟频率也可以大于5GHz，但用于计算系统的模拟和数字电子设备都会受到延迟的限制，速度往往不能超过≪5GHz，而且自2000年代中期以来，还受到功率耗的限制。
光子技术的大带宽带来了两个潜在优势：
- 大规模频率多路复用并行性
例如，在一个频率梳中可以有>107条梳状线，在一个长光纤环腔中可以有>109个频率模式；每个梳状线（频率模式）所代表的数据都可以并行处理（图1b）：不仅可以单独处理（即按元素处理），还可以对不同频率模式中的数据进行相加或相乘等操作。光频模式的并行性通常在光通信中得到利用，波分复用技术可使单模光纤的通信速率大于每秒1013比特。
这种技术也可用于计算；例如，在相干线性光子处理器上实现了带宽为B ~ 5THz的水库计算。
- 光学系统的快速动力学
光学系统的动力学可以非常快，这可以转化为非常高的运行速度，进而带来更高的计算吞吐量和更低的延迟：如果使用光学的全部带宽，操作延迟的极限τdelay≳1/B，对于光学来说比电子学小约100,000倍。
不过，从带宽角度看光学的潜在优势有一些微妙之处。首先，τ延迟的带宽限制只是一个限制，如果设备的传播长度使得光穿过设备所需的时间长于1/B（也就是说，光速限制开始占据主导地位），延迟可能会更长。需要注意的是，当传播延迟在总延迟中占主导地位时，仍有可能通过流水线技术(pipelining)从带宽受限的快速吞吐量中获益，例如，向系统发送多个光脉冲，其间距大于时间脉冲宽度~1/B，但小于传播延迟。然而，由于电子计算机也可以（而且通常也会）利用流水线技术，因此在进行性能比较时需要再次谨慎。
另一个微妙之处在于，单个现代电子晶体管在典型负载下的延迟时间约为1ps，因此，如果在单个开关的层面上将光子学与电子学进行比较，光学的带宽优势将远远小于 ~100,000倍。在整个芯片层面，电子处理器的时钟频率比电路延迟所显示的速度慢10-100倍，这主要是由于功率耗散的限制。相比之下，光子处理器的功耗很低；因此，在系统层面上，光学器件结合了固有带宽和低耗散，可实现约100,000倍的潜在全系统带宽优势。
2）空间并行性
光子系统可以利用大量(>106)并行空间模式。在约2.5cm−2的面积上使用>108个空间模式的消费电子产品已经实现，这说明在实践中可以实现大规模并行。学术界也开发出了控制多种模式的先进集成光子学设备（图1c）。
对于光被限制在单个二维平面内的光子系统，如二维光子集成电路，光子元件的密度可高达~106cm−2，我们可以粗略地认为每个元件都能并行执行一个或多个计算操作（如乘法）。编写一个或多个运算而不只是一个运算有多种原因。例如，如前所述，空间中的单个分量可并行作用于多个频率模式，或多个偏振模式。另一种情况是，根据人们对操作的定义和对单个元件的定义，一个元件可以在光通过它的一次过程中自然地执行多个操作，例如一个50:50耦合器可以执行两次乘法和两次加法。
虽然这个元件密度的绝对值很高，但我们应将其与CMOS电子技术中的空间并行性进行比较，后者的晶体管密度约为1010cm−2。作为另一个比较点，举一个未来候选电子技术的例子，IBM制造的基于相变存储器交叉条阵列的模拟矩阵-矢量-乘法器内核，在约0.6平方毫米的芯片面积内拥有65,536个相变存储器单元。这相当于每平方厘米约107个单元的密度，每个单元可以理解为每个时钟周期执行一次标量模拟乘法运算。
在这种二维光子集成电路环境下，光学在可制造元件的纯密度方面与电子学相比处于劣势，因为电子学的晶体管密度比片上光子学的元件密度大104倍。这种比较可以说是最贴切的，因为在大多数情况下，基于晶体管的电子处理器是最理想的系统。不过，还可以进行其他比较。即使二维光子学也能比二维微波电子学具有空间并行性优势：例如，光子晶体腔（谐振器）的面积可达~1μm2，而电子微波谐振器通常要大几个数量级。
然而，如果使用第三空间维度，光学可能会在空间并行性方面获得几个数量级的优势，因为电子学实际上仅限于非常有限的三维集成。典型的现代电子芯片很薄，只有1毫米左右，而且只有几十层，而光学处理器通过体晶体或多模光纤等传播，厚度可达几厘米甚至几米。然而，在NAND存储器的具体案例中，电子集成电路已经扩展到 128层：这表明，对于存储器而非计算而言，光子学在三维空间的扩展比电子学的优势要小。
关于空间并行性，还有一个重要的补充观点：重要的不仅是可制造元件的密度或数量，还有在实践中可并行使用的元件数量。换句话说，元件密度的提高并不一定意味着计算性能的相应提高。现代CMOS电子处理器通常只能在一个时钟周期内切换一小部分（例如3%）晶体管，这主要是由于冷却方面的限制。如果考虑到在功率耗散的限制下有多少元件可以实际并行操作，那么二维光子集成电路在空间并行性方面与电子集成电路相比，其劣势可能要小于元件制造密度本身所显示的。
作为光学计算空间并行性的一个例子，自由空间光学处理器的原型已利用商用空间光调制器实现，这些调制器拥有 ~106-107个可控像素，使其成为构建高度并行系统的有用工具。通过一个具有~5 × 105像素的光学装置，每次通过的光可并行计算~5 × 105的标量乘法。对于不需要空间光调制器可编程性的应用（如神经网络推理），制造元表面提供了实现更大并行性的途径：根据成像系统空间-带宽乘积与面积的线性比例，我们预计可以利用~10 × 10平方厘米的面积，创建基于元表面的矩阵乘法或卷积，其预编像素（参数）大于109个。
3）几乎无耗散的动力学
光子在自由空间光学装置中传播时几乎没有能量损耗，仅靠传播就能进行计算。(在某些芯片上，光子的传播甚至几乎没有能量损耗：例如，铌酸锂薄膜芯片的波导传播损耗为0.06 dB cm−1。
那么，究竟需要进行多少计算呢？我们考虑线性光学系统和非线性光学系统的情况。
- 线性光学
通过光传播进行计算的一个例子是，单透镜可以有效地对照射到它上面的光进行二维傅立叶变换：光相关器和光神经网络中的卷积层（图1d）都利用了这一现象。更一般地说，光在线性光学系统中的传播可以用矩阵-矢量乘法来模拟，因此只需将空间模式中编码矢量（维数为N）的光照射到光学系统上，就能进行矩阵-矢量乘法。
- 非线性光学
在光通过非线性光学系统传播时，也可以看到可用于计算的近乎无耗散的动力学。例如，光在具有非零二阶非线性光学易感性(χ(2))的光学介质中传播时，一般会产生和频生成和差频生成过程，其中输出端的光振幅是输入端两个频率的光振幅的乘积。非线性光动力学可以实现非线性数学函数：这在深度神经网络和更广泛的计算中至关重要。
此外，正如多个空间光束在线性光学系统中的传播可以看作是矩阵-矢量乘积一样，多个空间光束在非线性光学系统中的传播可以实现矩阵-矢量乘积的高维概括，即涉及n + 1阶张量的张量收缩，其中n是非线性光学感度χ(n)的阶数。这是一个令人印象深刻的计算特性：在最低阶非线性n = 2的情况下，仅仅通过光在系统中的传播，所进行的计算就是一个包含~N3次乘法运算的张量收缩，其中N又是空间模式的数量。
光学非线性的阶数越高，光在系统中的单次传播所进行的计算量就越大，因为这涉及到更高阶的张量。
- 具体优势
在光学中几乎可以无耗散地进行计算，这是有好处的。首先，我们有可能利用无耗散动力学来执行计算，所耗费的能量比在有大量耗散的不同平台（如电子平台）上所需的能量更少。
第二个好处是性能更高。耗散不仅会导致计算耗费更多能量，还会限制处理器的时钟速度和并行性，最终限制其总计算吞吐量（每秒操作次数）和延迟。现代CMOS电子处理器的时钟速度和晶体管的三维密度都受限于从中提取散热的能力。通过显著降低每次运算的散热量，就有可能显著提高时钟速度和空间并行性（单位体积内同时执行的运算次数）。
就三维芯片而言，光子学在耗散方面比电子学有另一个潜在优势：虽然芯片中电能的损耗通常是由于能量损耗点产生热量（例如导线的电阻加热），但光子学中的情况可能完全不同，因为光能的损耗通常不是由于吸收和随之产生的热量，而是由于散射。例如，硅光子集成电路中的波导就属于这种情况，这表明如果构建三维硅光子芯片，芯片内波导的损耗主要不会导致发热，而是会导致光子在芯片内散射，直到出现在表面。总之，光学中近乎无耗散的动力学使三维光子芯片的制造成为可能，而这种芯片不会像三维电子芯片那样面临极端的散热挑战，即使发生少量的光子耗散，如果是由于散射，也不会在芯片的主体内引起发热，因此，只要避免使用吸收光子的元件，我们甚至不必担心残余光子损耗会造成热管理方面的困难。
不过，这些好处也有一个障碍，那就是输入/输出成本：计算的输入数据如何加载，结果如何读出？如果输入数据来自电子存储器，而计算结果需要存储在电子存储器中，那么即使计算本身几乎可以“免费”进行，我们也需要将电子数据转换到光域以进行数据输入，然后再将光答案转换回电子域。这种内存访问和转换通常还涉及数模转换和模数转换，将耗费大量能源（与太赫兹的光带宽相比，速度有限）。
幸运的是，这种能量成本只与输入矢量的大小N成比例，而执行的计算量可能与N2（线性传播）或N3（或更高的幂；非线性传播）成比例，因此，对于足够大的N，输入和输出的能量成本与电子处理器计算所需的成本相比是很小的。同样，对于足够大的N维向量，输入和输出所需的时间与电子处理器进行N2复杂度或N3复杂度计算所需的时间相比也非常少。一般来说，系数的加载（如线性传播中的矩阵元素）也需要耗费能量和时间，但这可以在多次运行中摊销，如神经网络的分批推理。
4）低损耗传输
光“远距离”传输信息的能量成本远低于电信号，这主要是因为电线单位长度的信号衰减（能量损耗）远高于光纤或波导。
首先，电子设备之间的光通信需要将信号从电信号转换成光信号，再转换回电信号，而转换设备需要耗费能源。另外，沿着导线传输电信号所需的能量会随着导线长度的增加而增加，因为导线的电阻会随着长度的增加而增加；但这并不是问题的全部：对于细导线（如CMOS电子处理器中使用的导线），导线延迟会随着长度的增加而二次增长，为了缓解这一问题，需要使用中继器来恢复延迟与长度的线性比例关系，而中继器也有能量成本（与驱动晶体管的开关有关）。
对于片上光子处理器，AIM Photonics等商业代工厂生产的氮化硅波导在波长~1,600-1,640nm时的损耗为~0.06 dB cm−1，在电信C波段（~1,530-1,565nm）时的损耗小于 0.25 dB cm−1。
自由空间和片上光学处理器的一个重要注意事项是，尽管元件之间的传播损耗可能很低，但当光传播到元件或从元件传播出来时，通常会产生反射或散射损耗（如折射率不匹配导致的菲涅尔反射）。因此，光学处理器仍需精心设计，以避免总体光损耗过大。
光学的低损耗传输特性已在电子计算机中得到利用：数据中心的光链路、甚至芯片之间的直接光链路，都利用光在从几厘米到几米的长度范围内传递信息。未来，预计甚至单个芯片内的某些通信最终也可能使用光学技术。
光尚未用于单个电子处理器芯片内的通信，特别是短距离通信的一个主要原因是，在光域和电域之间传输信号的光电元件需要耗费空间和能源，只有当信号需要传输的距离足够长时，才值得支付这些费用。然而，光学计算机原则上可以利用光学技术，在所有长度范围内实现低能耗、几乎无耗散的信息传输，而且无需为信号传输支付空间或能量成本：因为信号已经是光学的了。但需要注意的是，光学处理器将不可避免地需要使用一些能量进行转换，例如，加载计算的初始输入数据和/或读出最终答案，这通常需要在电场中进行。但是，在计算过程中发生的能量转换及其成本是可以避免的。
5）光束和“电线”可以交叉，电线则不能
在许多情况下，光学非线性几乎可以忽略不计：不仅在自由空间环境中如此，在光功率较低、传播长度较短的材料中也是如此；非正式地说：我们在普通光学环境中没有光剑。在这种情况下，光束可以相互穿过而不会产生串扰。同样，芯片上的光导线（波导；图2b）也能以极低的串扰进行交叉；不仅在原理上如此，在实际应用中也会出现制造缺陷。
相比之下，电线需要有自己的隔离物理空间区域，除了不能相互穿过外，即使只是相互靠近，也往往会产生串扰。
这种差异为光子处理器提供了可能性，使其比电子处理器更紧凑，因为互联是造成处理器尺寸的一个重要因素，尽管由于衍射、散射和不必要的反射，使用光束传递信息并非没有自身的串扰问题。
我们可以将光束交叉的能力理解为许多自由空间空间多路复用卷积和矩阵向量乘法光学实现的关键因素。例如，在使用透镜阵列进行扇出的矩阵矢量乘法器的实现中（图3b），输入矢量和扇出副本之间的光线会交叉。这种交叉原则上支持在小体积内实现大卷积和密集矩阵向量乘法。光学开关（图2c）提供了另一个光束交叉可实现更紧凑设计的例子。
6）光束可以高速可编程地转向；而电线要么是固定的，要么只能缓慢地重新配置
自由空间光束可以轻易地重新定向（例如，使用声光偏转器，延迟时间为微秒量级）（图2d），从而实现可重新配置的光互连（图 2c）。
相比之下，芯片上的电线在制造时是固定的，连接处理器、电路板或机架之间互连节点的电线只能缓慢移动（通常为几秒量级）。电子处理器通常通过使用多跳通信（依靠发送方和接收方之间有一条涉及一些中间节点的路径）和交换（在固定的网络拓扑结构中实现信号的快速重路由）来缓解固定网络的缺点。这些策略的代价是延迟增加和潜在的带宽瓶颈。
7）扇入（求和）和扇出（复制）在光学中的作用不同
复制要并行处理的数据（扇出）和汇总多个并行处理单元的输出（扇入）是并行处理的重要基本原理。两者在光学中的实现方式与电子学不同，也有不同的取舍。在数字处理器中，扇入和扇出通常保持在低于10的水平，因此每当需要更大的扇入/扇出时，就必须使用多个缓冲级（从而进一步延迟）。
在自由空间中，可以通过将光束引向空间中的一个共同点（例如，通过使用透镜；图3a）来对空间模式编码的信号进行扇入；图3a），在该点可以安装光电探测器（如果下一步处理需要将光信号转换为电信号）、全息元件（将不同方向的光束合并为一个方向的光束，但会损失光功率）或增强器（可以放大合并后的光束并重新发射单一光信号）。
从概念上讲，将单个空间模式的信号扇出到多个空间模式的过程在自由空间中也很容易实现，基本上不需要任何特殊的工程努力（图 3b）：想象一下一个向多个方向发射信号的光学显示屏（如手机上的发光二极管显示屏）--多个人从不同的有利位置观看显示屏，都能看到相同的图像，我们可以解释为显示屏上的数据被复制了多个副本，并传输给了不同的接收器。
空间模式的扇入和扇出也可以很容易地在集成光子学平台中实现。然而，在片上环境中，光的传播实际上通常被限制在单个平面内，而在自由空间中，信号自然会在所有三个维度内传播，这就使得扇入和扇出的程度更高。因此，在自由空间环境中使用光学扇入或扇出，比使用片上电子处理器（也是准平面）更容易获得优势。
到目前为止，我们已经讨论了空间模式下的扇入和扇出。对于使用频率或时间模式的光学计算机，扇入和扇出可通过其他方式实现。例如，可以通过调制光频梳在频域中将作为电子信号输入的数据扇出，也可以使用波分复用技术（包括片上平台）进行加权扇入。
要说明光扇进或光扇出为何或何时比电扇进或电扇出更有优势，不妨考虑光学的带宽和低损耗传输，以及光束可以交叉。然而，光学的扇入/扇出可能性与光学的带宽、低损耗传输和光束交叉的潜在优势截然不同，因此将光学中的扇入和扇出视为可用于光计算架构的特殊功能是很有意义的，尽管它们也可能使用光学的其他功能来良好运行。
事实上，找出潜在优势的来源可能相当微妙。例如，扇入可以说在实现矢量-矢量或矩阵-矢量乘法引擎方面发挥了重要作用，这些引擎每次乘法使用的光能极少：在这种情况下，无论矢量大小如何，实现矢量-矢量点积的特定信噪比所需的光能都是固定的，但光电子扇入也能实现类似的效率，在这种情况下，求和是在电域中进行的。
与数字-电子方法相比，纯模拟电子方法计算矢量-矢量点积的能耗也更低，因此，对于任何使用光扇入的计算方案，我们都可以问：哪一部分潜在优势来自于以模拟而非数字方式执行求和，哪一部分来自于使用光学而非电子技术？
8）单向传播
我们可以很容易地构建出自然单向传播的光学系统（例如，如果在系统的一部分形成一个光腔，情况就会变得更加复杂）。相比之下，电信号可以反向传播（图3c）。在电子处理器中，反向传播（从输入到其他输入，或从输出到输入）可能会导致不必要的动态变化以及不必要的功耗。在某些模拟架构中，这种差异使光学比电子更具优势。
尽管反向传播是电路的一个普遍特征：如果电路中没有缓冲器或二极管等隔离元件，只要两个连接的电路节点之间存在电压差，它们之间就会有电流流过，即使这两个节点是输入端；但对反向传播的担忧主要出现在模拟交叉阵列处理器中，与它们的扇入阶段以及潜行路径问题有关。模拟光学矩阵-矢量-乘积引擎通常采用单向传播，避免了模拟电子矩阵-矢量-乘积引擎（即交叉条阵）中出现的一些问题，而且光学提供自然隔离的概念更为宽泛，可在计算中发挥作用。
需要注意的是，虽然如果光线不通过任何界面，完全的单向传播是可能的，但任何有用的光学处理器都至少涉及一些界面（例如，光线从空气进入玻璃透镜），因此会产生一些不可避免的反射。可以通过适当选择几何形状和材料来减少反射，但永远无法完全消除。在许多情况下，例如光学处理器的紧凑性和系统中反射的大小（换句话说，单向性）之间可能存在工程上的权衡。
9）绝热、最小作用和最小功率耗散原理的不同实现方式
一般物理学原理：如绝热性、最小作用原理和最小能量耗散原理，可导致物理系统启发式地解决优化问题；这些原理的变体可用于构建优化机器（如伊辛机）。鉴于优化在机器学习，尤其是神经网络中的核心作用，设计用于执行优化的计算机通常也非常适合执行机器学习；因此，优化方面的优势也完全可以转化为机器学习方面的优势。
同样，我们也可以将偏微分方程的求解问题重塑为变分优化问题，从而将物理学优化原理应用于更广泛的计算领域。
例如，费马光学的最短时间原理指出，光在两点间移动的时间最小的路径（图3d）。费曼用路径积分公式解释了这一原理，即光可以走所有可能的路径，但只有建设性干涉的路径才有实质性贡献，而传播时间与费马解法相差甚远的路径则是破坏性干涉。这一观点可能有助于思考如何设计使用费马大定理的优化机器。相比之下，费马原理在电路中并没有直接的类似物；因此，利用费马原理进行优化的计算机更自然地可以尝试用光学来创建。
昂萨格的最小能量耗散原理既适用于光学，也适用于电子学，但由于基础物理学的不同，其行为和由此产生的计算性能可能会有所不同。例如，光学中的激光和参量振荡器在增益等于损耗时有一个阈值，它们首先在损耗最小的模式中振荡，这一事实可用于设计光学伊辛机（图3e）。包括振荡器在内的电路也具有启发式能量耗散最小化的动力学特性，但它们与激光器或光参量振荡器并不完全相同，一般来说具有不同的行为。
使用昂萨格原理的光学系统是否或在何种情况下比电子系统更具优势，这还是一个未决问题，但光学计算机的设计者可能希望探索这种可能性。这个问题涉及多个方面：如果光学和电子动力学方程完全相同，那么出于本文所述的其他一些原因（如带宽），光学系统仍有可能比电子系统更具优势。
然而，我们还可以问，除了更高的带宽导致更快的时间尺度，或更大的空间并行性导致更大的系统规模之外，底层方程之间的差异是否会导致不同的行为？换句话说，这些差异超出了迄今为止得出的其他光学与电子学的区别。
10）光的量子特性可在室温下获得
我们可以在室温下存储和处理用单个光频光子编码的信息，也可以在室温下以低噪声探测单个光子。这与微波频率的情况截然不同，在微波频率中，室温下的热噪声会迅速淹没存储在单光子中的任何信息，因此无法进行低噪声单光子探测（图4a）。微波光子的量子特性可在约10mK的温度下获得，但这种低温通常只能通过稀释制冷机来实现，而稀释制冷机既笨重又昂贵（金钱和能源）。
对于经典信息处理而言，由于可以操作和测量少量光子，因此与可靠运行所需的更多光子相比，能量成本可能更低。在室温下产生和测量光的挤压态也是可能的；挤压态的噪声降低可能会被证明有助于经典信息处理，例如，在固定的能量预算（光子平均数量）下实现更高的数字精度。
光学中缺乏强烈的单光子非线性，这在无串扰的信息交流中是一种优势，但在处理光子数量较少的信息时可能成为一种劣势，而单光子检测则可以规避这一问题（图4b）。检测过程本身的非线性是一个可以利用的特点，但也可以利用光检测来概率性地诱导多种光学模式的非线性操作。
在这篇文章中，我们不考虑量子信息处理；在这里，当我们谈到在量子环境中运行时，我们指的是光由光子组成，我们在如此低的功率下运行，以至于光的量子噪声和离散性质与计算机的运行建模相关。利用纠缠等量子现象构建量子计算机的话题令人兴奋，但超出了本文的讨论范围。
11）波物理学
观察单个光子的波性很容易：在马赫-泽恩德干涉仪中观察单个光子的干涉是本科生的实验（图4c），而在片上光子处理器中光子的相干性得到了很好的保存；但观察单个电子的波性却很困难。即使在先进的片上电子传输实验中，电子相干长度也小于~250μm，1μm至20μm之间的值更为典型，而且仅在低温条件下。
电子的波浪特性之所以难以观测和利用，是因为需要低温：片上电子相干长度比片上光子相干长度更依赖于材料宿主的特性。因此，尽管光子和电子的波粒二象性都是量子物理学的一部分，但我们仍将光子的波物理学可及性视为其量子性质可及性的一个单独优势。
与此相对应的是，尽管观察单个电子的波性质并不现实，但电子学中微波信号的波现象却可以很容易地被观察到并用于计算。然而，这些并不是单个电子的波现象，而是由许多微波光子组成的信号的波现象。这种区别在工程学上的一个关键后果是，电子微波信号的波长很长（例如，千兆赫信号的波长为厘米级），这就明显限制了可能的空间平行性，而光频光子信号则可能实现平行性：这就导致了光学相对于电子学（尤其是微波）的潜在优势。需要注意的是，一种完全不同的微波信号也可以产生并用于计算：微波频率的声波。这些波尽管频率低，但波长却很短，但传播速度却比光子信号慢得多（声速而非光速）这是用它们进行计算的一个不利因素。
套用记者H.L. Mencken的说法，光学计算的潜在优势有一个简洁、合理且错误的解释：光速快。
光速经常被认为是光计算将比电子计算机获得更大速度优势的一个因素，但这是一种误导，因为光信号和电信号的传播速度大致相同：在真空中，光（和微波）的传播速度为 c；在硅光子波导中，光的传播速度为~0. 4c；在印刷电路板上的导线中，信号的传播速度约为0.43c；在CMOS电子电路中，信号的传播速度约为0.2c，或在经过精心设计的CMOS导线中≈0.5c。
真空中的光速与CMOS电子处理器中信号在导线中的传播速度仅相差5倍，因此光速并不是光学的关键区别。将“光速计算”的概念视为光学计算机的目标而非优势原因更为有用。光速为计算机的运行速度提供了一个物理极限，而光学计算机工程师的一个目标框架是设计一台计算机，利用光学的优势（如前所述），在尽可能小的体积内达到特定计算任务的这一极限，从而尽可能缩短计算的总时间。
这一框架隐含了计算机的延迟目标（从提供输入到输出答案需要多长时间）：这可能很重要，尤其是在实时计算场景中；但通常我们感兴趣的是提高计算机的吞吐量或能效。对吞吐量的优化可能涉及并行执行计算操作数量的最大化，而对能效的优化可能涉及系统耗散的最小化，这两者都与确保计算机的延迟达到光速所设定的饱和状态没有太大关系。
——“光速计算”不仅是一个目标而非原因，而且只是光学计算机可能实现的几个目标之一。
在本节中，我们将介绍一些光学计算机的设计策略，这些策略可能会使光学计算机比电子计算机更具优势。
我们可以通过三个主要的计算性能指标来取得优势：延迟、吞吐量和能效。在设计光学计算机时，应针对三者中的哪一个（或哪一个组合）取决于用户的目标，但光学技术如何能在所有三个指标上都取得优势，还是有论据可循的。
需要注意的是，计算机还有其他一些重要指标，如尺寸、稳健性、成本、安全性（易受黑客攻击）和准确性。例如，我们没有理由相信光学计算机能比所有可能的电子计算机提供更高的精度，因此精度并不是我们期望的光学优势指标，相反，我们的目标通常是在特定精度下实现延迟、吞吐量和/或能效方面的优势。同样，其他指标也提供了其他约束条件，光学计算机必须满足这些约束条件，才能在某些特定使用情况下具有竞争力。
现在，我们以机器学习推理（更具体地说，图像中的人脸识别）为例，简要介绍这些指标。延迟（也称延时）是指从计算机获得输入图像开始，计算机对图像中的人名做出预测所需的时间。吞吐量指的是每秒可以进行多少次推理；对于图像中的人脸识别，吞吐量指标是每秒处理的图像。请注意，一般情况下（1/延迟）≠吞吐量；通过流水线，吞吐量可以远远高于延迟的倒数。一个直观的例子是，考虑一家使用装配线（流水线）生产汽车的工厂：从开始到结束，工厂生产一辆汽车可能需要1天时间（延迟），但每天生产的汽车总数可达数百辆（吞吐量）。能效是指计算机在完成一次推理计算并达到指定精度时所消耗的能量；对于图像中的人脸识别，能效指标是每处理一张图像消耗多少焦耳。
在对这三个指标进行优化时，可能会有所取舍，因此在开始设计计算机之前，必须确定自己的目标是什么。例如，虽然最大限度地减少延迟有时是主要目标（如在高频交易中），但提高处理器的吞吐量或能效往往是更重要的目标：在许多情况下，目标将涉及所有三个指标，如最大限度地提高吞吐量和能效，但延迟必须满足特定目标（如在神经网络推理中；在许多应用中，如语言翻译，我们可能要求延迟小于1秒）。
尽管在优化计算机性能指标时通常会有所取舍（例如，在延迟和吞吐量之间），但以下策略应有助于设计可优化任何延迟、吞吐量和能效组合的计算机。
1）避免或减轻输入和输出瓶颈/开销
光学计算机一般不完全依靠光学元件运行：计算机的某些输入通常来自电子设备，和/或计算机的输出最终来自电子设备。例如，如果光学处理器用于判断自动驾驶汽车前是否有行人行走，其输出需要电子化，以便输入到汽车的控制系统中，后者可以利用这些信息来驱动刹车。如果处理器使用神经网络，神经网络的训练参数很可能存储在电子存储器中，并需要以某种方式输入处理器。遗憾的是，光学和电子之间的接口会造成速度上的重大瓶颈，并成为处理器能耗的主要来源。要使光学处理器在延迟、吞吐量或能效方面比电子处理器更具优势，就必须在处理器架构设计上尽量减少光信号和电信号之间的传输以及模拟信号和数字信号之间的转换所带来的负面影响。
一个重要的缓解策略是，输入的数据应尽可能重复使用：一旦支付了将电子数据发送到光处理器的时间和能源成本，我们就希望尽可能多地从这些数据中获益。这既适用于转换成光信号的数据，也适用于可能仍然是电信号但输入处理器需要时间和能源成本的数据。光信号的重复使用可以通过各种形式的光存储器以及通过扇出复制来实现。因此，光计算机设计人员通常会尽可能提高扇出系数。在光学矩阵-矢量乘法器中，扇出更多份输入矢量是可取的，而且很可能是必要的，这样才能比电子计算机获得更大的优势。
作为重复使用电子控制信号的一个例子，执行神经网络推理（而非训练）的光学处理器可将神经网络权重加载到静态功耗很小或没有静态功耗的移相器中，然后通过对这些权重进行多次推理计算（例如，通过批处理单个推理）来多次使用这些权重。这样就可以摊销加载权重的时间和能源成本。光子神经网络处理器中数据重复使用的另一个例子是卷积神经网络：相同的卷积核可以应用于输入数据的许多不同子集，因此核权重至少在概念上可以一次加载并多次使用。
一般的设计原则是，在其他条件相同的情况下，每比特输入数据的计算次数越多越好。这一原则本质上就是传统计算机架构中最大化算术强度的概念。数据重用是实现这一目标的方法之一，但一个重要的补充概念方法是选择计算任务，使该任务的光学处理器执行的计算复杂度随输入数据大小而快速扩展。
一个关键的实际情况是，就目前CMOS电子设备的速度和能耗而言，光学处理器似乎需要支持非常大的N值（例如 N > 104），才能达到交叉点，开始在矩阵-矢量乘法的基础上提供吞吐量或能效优势。这一事实促使人们扩大光学矩阵-矢量乘法处理器的规模，并设计出计算复杂度大于 O(N2) 的光学处理器。从这个角度来看，组合优化（如伊兴解）对光学计算来说是一个很有吸引力的问题。
当光学处理器从电子存储器中加载数据时，不仅需要支付存储器访问的费用（电子处理器也需要支付该费用），还需要支付将数据从电信号转换为光信号的费用，而且可能还需要支付数模转换的费用。由于光学处理器加载数据的成本通常比电子处理器大，因此有强烈的动机为光学处理器选择具有更高内在数据重用性或更高算法复杂性的算法。这种软硬件协同设计能带来相当大的改进，而不是根据目前电子处理器上运行良好的算法来固定算法，并试图强行将光学处理器设计成以同样的方式运行。
虽然尽量减少和补偿输入数据的成本至关重要，但避免数据输出的时间或能源成本过高也同样重要。同样，在光学处理器内进行尽可能多的计算和数据缩减，也有利于减少需要输出的数据量。这一设计原则促使我们选择相对于输出大小需要大量计算的算法。举例来说，机器学习推理通常就是如此：对于整体计算来说，答案可能只有几十比特，输出的是输入数据的预测类别。
2）不要试图直接与数字电子处理器较量
可以说，要制造出在吞吐量或能效上超越电子处理器的光处理器，最大的挑战在于克服电子到光学和光学到电子转换技术的性能限制。如果从电子数据开始（这是最常见的情况），并希望计算出的答案最终能在电子设备中得到（这也是最常见的情况），那么就别无选择，只能采用上述策略，并希望能够摊销输入/输出成本。
不过，考虑到最先进的CMOS电子处理器体积庞大，而且它们在处理已经存在于电子设备中的数据方面具有先天优势，因此现代光学处理器很可能不会首先在传统电子处理工作流程中获得取代加速器的优势；相反，我们可以瞄准那些输入和/或输出天然是光学的应用，这样就可以消除转换成本。
例如，在自动驾驶汽车、显微镜或光谱学等应用中，输入通常是来自相机的图像的机器学习应用：我们可以用光学神经网络取代相机和随后的电子神经网络，直接处理眼前的场景。如果最终输出将是电子数据，也不必用光学取代所有电子图像处理计算：可以采用光学预处理光学图像数据的策略，对其进行智能编码；这样从光学到电子的输出转换带宽就比一开始就将图像数字化要低得多，从而在延时、吞吐量和能效方面带来好处。
虽然图像处理可以省去输入转换阶段，因为输入可以直接是光学的，但输入和输出都是光学的应用可能更有希望立即攻克。光通信的输入和输出都是光信号，但目前的方法需要经过多个阶段，将光信号转换为电信号进行电子处理，然后再转换回光域。这使得光通信信号处理自然成为全光信号处理的目标，全光信号处理可减少延迟、提高吞吐量并改善能效。
许多神经网络模型已经大到无法在单个电子处理器上运行的程度，这促使人们设计专门用于神经网络处理的光互连。这一趋势为神经网络处理作为光学处理器的应用提供了另一个动力：如果电子处理器竞争也需要支付光学和电子之间转换所产生的相对较高的能源成本，那么这些转换成本至少不是使用光学处理器的唯一劣势。我们可以将光学互联数据中心中用于执行神经网络处理的单个处理器视为一个输入和输出均为光学的系统，因此从这个角度来看，尝试用光学处理器取代它是一个很有前景的候选方案。
3）结合多种光学特性，尝试获得优势
这一点听起来可能很老套，但却很重要：任何光学处理器要想比最好的同类电子处理器更具优势，最有可能需要利用的不仅是光学的一种特性，而且还需要精心组合其中的几种特性。
例如，仅仅利用光学在单一空间模式下的大带宽（即使我们暂时忽略输入/输出瓶颈），可能也不足以带来吞吐量上的优势，因为电子处理器通过巨大的空间并行性（在现代芯片中拥有1011个晶体管）来弥补较低的带宽。同样，仅仅依靠空间并行性可能也是不够的：尽管光学的空间并行性相当可观，尤其是在三维系统中，但晶体管的空间并行性通常更加惊人。
不过，如果能在单个系统中结合光学的带宽和空间并行特性，就有可能超越电子技术。例如，想象一下能以10太赫兹的时钟频率并行处理107个空间模式的数据，或者并行处理107个空间模式的数据，每个空间模式有107个频率模式；换句话说，有1014个并行的空间-频率模式。不过，我们还可以有更多的空间和频率模式，这只是一个例子，而不是约束。虽然如何充分利用光学所提供的带宽和空间并行性的组合还远未解决，但结合光学中几乎可以无耗散地执行操作这一事实，光学在超越电子学方面大有可为。
准确预测技术的未来是很困难的，但我们可以合理地假设，在这篇文章探讨的11项特性中，带宽、空间并行性和几乎无耗散的动态特性最有可能在未来的光学处理器中发挥关键作用，从而在延迟、吞吐量或能效方面带来整体优势。然而，许多其他功能最终也可能发挥重要作用，因此不应被忽视。
迄今为止，许多光学处理器的演示都展示了利用光学的某些特性进行计算的原理验证，这种方式可能会带来优势，但系统并没有适当地利用其他一些可用的特性，最终导致原型机不如当前的电子处理器。
在文章的最后，文章作者Peter L. McMahon表示，要想在短期内制造出在吞吐量或能效（或两者）方面都比电子处理器有较大优势的光学处理器，最有可能的途径是构建一个自由空间光学矩阵-矢量乘法器，利用大空间并行性和几乎无耗散的动态。由于矢量维度为N ≈ 104，矩阵大小为N × N，只要系统能以每纳秒进行一次矩阵-矢量乘法的速度运行，并且用于输入和输出的周围电子设备能以最先进的能效运行，就有希望取得优势。
这样的系统需要精心的光学和电子工程设计才能实现：这是一项重大的工程，其难度不容低估；但它全部基于现有的技术组件，原则上可以适当扩展。McMahon认为，这种候选架构在短期内最有前途，主要是因为它已经得到了充分的研究，而且许多必要的构件都相当先进。
最后，下面列举了一些悬而未决的重大挑战，如果这些挑战得到解决，我们将大大接近实现实际有用的光学计算机：
- 光处理器架构设计。要设计出能最有效地利用光学特性获得优势的光处理器架构，是一项重大挑战。现有的光处理器架构（使用自由空间或集成光子学）其中一些已有几十年的历史，显然并非最佳架构，因此我们有机会发明经过改进或全新的设计来应对这一挑战。
- 应用。我们需要找到光学处理器的理想应用领域。利用光计算取得优势的主要障碍之一是与输入/输出相关的问题，因此我们希望找到有价值的应用，从而避免或减轻输入/输出瓶颈和成本。
- 非线性。非线性在许多计算中都至关重要，而低能、快速、小尺寸、可可靠制造的非线性将是一个有用的构件。这种非线性不一定是全光非线性：光电子非线性也可能有用，不过一般来说，人们可以希望从全光非线性的更高带宽和可能更低的能耗中获益。
- 级联性。在许多计算中，例如在深度神经网络中，输入数据不是通过一个函数而是通过一系列函数输入的。因此，计算的光学实现通常需要将光信号多次通过同一光学装置或多个不同的光学装置（或两者兼而有之）。这就要求能够在时间或空间上级联光学过程。
- 三维设计与制造。空间并行性可通过使用三维空间得到大幅提升，如果耗散保持在较低水平，这将为电子技术提供优势。另外，利用三维空间实现模式间的长程耦合（以及与光学传输原理相关的优势）也能带来好处；这里的关键问题是如何设计和制造可编程、大规模、高密度的三维处理器。
- 电子和光电元件的能源成本。光学处理器的能耗成本通常由计算机电子部件的能耗成本主导。许多光学计算方案都能从大量高速、低功耗、低成本的探测器、模数转换器、调制器和数模转换器阵列中获益，甚至需要它们来提供优势。提高这些组件的能效是一项重要挑战。
- 规模。大多数光计算方案都依赖于并行性：无论是频率或时间多路复用，还是空间多路复用或两者的结合，这也是它们实现优于电子技术的部分原因。然而，吞吐量和能效优势通常只有在系统规模（即并行操作数量）非常大时才能体现。大多数光学计算方案都面临着巨大的扩展挑战，无法实现实际优势；在某些情况下，我们甚至还没有关于如何扩展的切实可行的路线图。
- 稳健性、可靠性和制造变化。尽管许多光学元件（如手机等消费电子设备和光纤通信系统中出现的光学元件）通常都非常可靠，但许多正在考虑用于光学计算机的光学技术在鲁棒性（例如，在温度变化或机械振动等环境扰动下的性能）、可靠性（例如，在正常运行条件下保持正常工作的可能性）和制造差异（例如，制造出来的器件在规格上与设计值的差异有多大）方面都面临挑战。一般来说，对于可能用于光学计算机的每种光子技术平台，都存在如何稳定（被动或主动）它的问题。
- 存储。为了避免电子和光学之间的转换成本，以及避免电子存储器访问成本（即使在电子计算机中也是主要成本），我们通常希望能够存储数据，以便在光学处理中使用。
- 突破量子极限。实现光能耗最小化的途径之一，是在光的量子特性不容忽视的情况下运行光学计算机。例如，通过使用超低光功率，信号由少量光子组成，并由单光子探测器测量。需要注意的是，光学计算机将不可避免地涉及一些电子设备，即使只是用于控制或读出，而电子设备的能耗成本往往是最主要的，因此，只有在某些情况下，最大限度地降低光功率才会带来巨大的好处。尽管如此，在这些情况下，无论是设计架构还是实现实用设备，都有许多工作要做，这些设备都能从量子机制中获益。
考虑到电子处理器的先进程度，构建一台在任何指标上都优于电子计算机的光学计算机都是一项挑战。不过，光学计算的物理学原理表明，如果光学计算机经过精心设计，对于某些类别的任务、尤其是那些涉及已采用光学格式的数据或计算与数据比率非常高的任务，它们可能会在延迟、吞吐量或能效方面带来数量级的优势。
相关阅读：光量子计算芯片取得重大突破，加速从大型光学到集成光学的转变
刷新世界纪录！中国科学家构建“九章三号”光量子计算原型机
激光技术照亮量子计算之路
华科大实现光量子计算的里程碑：纠缠门保真度首次突破99%
光子学人才将弥合量子鸿沟
#光子盒视频号开通啦！你要的，这里全都有#
每周一到周五，我们都将与光子盒的新老朋友相聚在微信视频号，不见不散！
|qu|cryovac>你可能会错过：|qu|cryovac>