电力就是一切,电力限制了可以建造什么,客户可以部署什么,以及地球可以维持什么。”

思科通用硬件组的思科研究员 Rakesh Chopra 在 OIF 网络研讨会

 

随着数据流量的增长、对低延迟网络的追求,以及对高效资源聚合的需求将数据中心流量推向极限,在数据中心接口中集成光学技术越来越受到关注。光互连在电路板级和芯片级都正在成为数据传输的关键参与者,为当前的数据传输限制提供解决方案,并提高了处理速度,具有显著节能的潜力。这篇技术公告文章重点介绍实现线性直接驱动 (LDD) 光学接口的好处,对可实现高速数据互连的电光协同仿真方法的需求,以及 Synopsys 112G 以太网 PHY IP 和 OpenLight 光学引擎之间的硅演示的结果。

为什么数据中心消耗这么多能源?

在当今的数字时代,电影流媒体、视频上传和网上银行等常规在线活动只是数据中心能源消耗的冰山一角。“ChatGPT”等复杂平台的引入极大地改变了这一格局,使 Google 基本搜索等较简单的网络功能的能耗看起来相对较小。现代数字领域如今受到尖端云计算、人工智能、5G 网络快速扩张、自动驾驶汽车的发展和加密货币挖矿这类能源密集型活动的沉重电力需求的影响。

 

数据中心这些不断增长的电力需求使网络硬件成为整体运营成本的重要因素。人们正在转向设计每比特能效更高的下一代网络组件。如图 1 所示,在过去的 12 年里,虽然系统总带宽增加了 80 倍,但系统总功率仅增加了 22 倍。OIF 在其 2022 年报告中指出,随着每比特(每秒)消耗的功率一直在稳步下降,功率效率持续提高。然而,这种提高并没有跟上需求。图 1 的一个显著趋势是,与其他系统组件相比,主机和可插拔光学模块中的 SerDes 功耗不成比例地快速增加。这突出表明,在我们开发下一代更高速的电气接口时,迫切需要专注于降低 SerDes 的功耗。

图 1:持续发展 - 12 年内带宽增加了 80 倍。来源:400G 以上速率展望 - 思科

订阅 Synopsys IP 技术公告

包括深度技术文章、白皮书、视频、即将举行的网络研讨会、产品公告等等。

使光学器件更靠近交换机芯片,通过消除对另一个重计时器的需求并减少对复杂均衡方案的需求,提供了更短、损耗更低的电气通道,并进一步节省功率。在这种情况下,共封装光学器件 (CPO) 和线性可插拔光学器件 (LPO) 的重要性日益凸显。据 Lightcounting 估计,LPO/CPO 端口预计将占 2026 年至 2028 年间安装的 800G 和 1.6T 端口总数的 30% 以上,这凸显了 LPO/CPO 端口在数据中心技术领域的日益重要性。

推动光学器件进入数据中心的 3 大主要趋势

1. 人工智能创造了数据流量的井喷式增长

我们正处于人工智能的 iPhone 时刻。”

Nvidia 创始人兼首席执行官黄仁勋

业务和消费者流量的激增主要由阿里巴巴、亚马逊、Facebook、谷歌和微软等超大规模数据中心运营商管理,正在推动网络流量大幅增长。这种增长需要在数据处理和传输方面取得进步,以适应高吞吐量应用,特别是随着扩展语言处理系统等人工智能模型对计算需求的不断加剧。这些发展导致功耗和带宽要求增加。为了解决这个问题,在机架级别实现直接连接 GPU 的光学互连正在成为一种解决方案,这种解决方案能够减少功耗和延迟。与此同时,人工智能行业,尤其像 OpenAI 的 ChatGPT 这样的大型语言模型,正在经历重大转变。Dell'Oro 集团预测,到 2027 年,这些 AI 模型中管理数十亿或数万亿参数所必需的加速服务器将占服务器市场的近 50%。

图 2:人工智能服务器占总市场的百分比。来源:Dell'Oro 集团数据中心 IT

2. 网络扁平化以实现低延迟

图 3:机架中的互连增加 5 到 10 倍。来源:Meta

为了应对人工智能/机器学习应用的增长,数据中心网络架构正在向扁平化结构进行战略转变,旨在减少高速操作的延迟。这种转变涉及从传统拓扑结构转向更多配置(如图 2 所示),这一变化在云和超大规模数据中心尤为明显。这些数据中心越来越大,日益模块化和同质化,工作负载分布在许多虚拟机和主机上。通过简化网络层次结构,扁平化可显著减少数据点之间的跳数,从而降低延迟并提高网络性能。

3. 机架中同质资源的聚合

图 4:通过计算、存储、缓存和交换机实现光互连

数据中心机架内计算资源标准化的趋势要求改进资源聚合方法,越来越依赖于光互连的高容量和适应性。在典型的数据中心机架设置中,从通用 CPU 到专用 GPU 和加速器等各种处理器通过 PCIe 和 CXL 路径与网络接口卡互连,因此,能够满足有效互连的需求至关重要。目前,直接连接铜 (DAC) 电缆通常用于机架内连接,而光学模块则处理更广泛的网络和外部通信。这些对数据传输和通信至关重要的组件估计约占数据中心总功耗的 25-30%。

共封装光学器件 (CPO) 和线性驱动可插拔器件 (LPO) 可提高网络能效

光互连在数据中心中越来越重要,尤其是在解决铜缆效率下降的高数据速率(接近于 224 Gbps)环境中的电气铜缆互连限制方面。这导致需要更密集的互连网络,而这反过来又增加了功耗。然而,光学解决方案可以扩大覆盖范围,并在数据中心拓扑中提供可扩展性。该行业正朝着光学互连的方向发展,以缓解延迟和信号完整性问题,从而促进数据中心的扩展。目前正在努力将可插拔光学器件的功耗从当前 8 pJ/bit 降低到板载光学器件的 6 pJ/bit,目标是显著降低 25%。如图 5 所示,共封装光学器件有望进一步提高功率效率(目标是 3 pJ/bit)。

图 5:光互连的发展过程:可插拔到板载再到共封装

市场越来越要求将光学元件集成在尽可能靠近计算元件的位置,最好是在同一封装内。这种集成趋势带来了重大挑战,特别是在共封装光学器件中激光器的热灵敏度方面。当电气元件在工作过程中升温时,可能会导致环境温度上升,可能超过激光器 70 摄氏度左右的最佳工作范围。这种温度升高会对激光性能产生不利影响,从而在这些集成光学解决方案的开发和实施中构成关键障碍。

什么是线性直接驱动?

图 6:常规重定时接口图 (a) 与直接驱动/线性接口图 (b)

线性驱动,通常称为直接驱动,代表了光学互连技术的重要发展。如图 6 所示,与传统设置相比,线性驱动系统的结图明显更简单。在此配置中,取消了通常存在于可插拔光学器件上的 DSP。相反,交换机 ASIC 的 PHY 直接驱动可插拔模块上的光学引擎。该光学引擎不包含重定时器或 DSP,但配备了线性放大器。这种简化的方法可以实现更紧凑、更高效的设计,使系统不那么复杂,但功能也很强大。

 

线性驱动的主要优点之一是大幅降低功耗。通过从可插拔光学器件上移除 DSP,线性驱动系统可以使功耗降低 25%。这种效率在数据中心环境中至关重要。在这些环境中,电力成本是一个重要的问题。此外,简化的设计不仅降低了复杂性,还可能降低制造成本。线性驱动保持了传统系统的可插拔性,提供了即插即用操作,因而成为现代数据中心的实用高效解决方案,旨在优化其电源效率,但不影响可插拔光学器件的灵活性和便利性。

 

尽管有其优势,但线性驱动带来了一些需要仔细考虑的挑战。向更复杂的 SerDes 转变以启用直接驱动功能需要先进的设计与实施技能。如果没有专用 DSP,管理信号完整性就变得更具挑战性,这会给交换机 ASIC 的 PHY 保持高性能带来额外的压力。由于热负荷可能增加,这种情况也加剧了对有效热管理的需求。确保交换机 ASIC 的 PHY 和光学模块之间的兼容性是另一项关键挑战,这通常需要协同仿真和协同设计的协调策略。

电子光子协同设计

传统上,电子芯片设计师使用 EDA 工具对激光器或调制器等光子元件及其电气元件进行建模。这些设计更侧重于优化电子器件,通常通过电气等效元件简化光子元件的建模。但是,这种方法在高数据速率(例如 PCIe 6.0 和 224G SerDes)下存在限制。在复杂的光子电路中,光学反射、串扰、噪声、色散和非线性等因素对性能有着至关重要的影响。将光学信号或元件模拟为电气等效元件可能会造成性能估计不准确的风险,从而对这些设计的商业可行性构成威胁。因此,一种全面的电子光子协同设计方法(尊重两个领域的独特特性),对于这些高级系统的准确建模和成功实施至关重要。

Synopsys 和 OpenLight 正在为线性驱动开辟道路

Synopsys 携手与 Juniper Networks 成立的光电企业 OpenLight,展示了线性电光电子链路收发器的光眼性能。如图 8 所示,该演示采用 Synopsys 的 112G 以太网 PHY IP,专为长距离 (LR) 通道而设计,可驱动 OpenLight 光子集成电路 (PIC)。以太网 PHY IP 以 106 Gbps 的速度运行,使用先进的均衡方案有效补偿超过 13dB 的路径损耗,可实现 1.46 dB 的 TDECQ(发射器色散眼图闭合四相)。OpenLight PIC 可集成到可插拔光学器件和共封装外形中,是收发器光学侧的核心。它利用 OpenLight 的硅光子技术,集成了集成式 PIC 激光器和高速电吸收调制器。该系统实现了 7.16x10^-7 这一令人印象深刻的平均运行误码率 (BER),展现了卓越的端到端、无重定时电气光学电气 (E-O-E) 链路性能。

图 7:ECOC 2023 期间展示的线性驱动演示

总结

随着数据速率达到 800Gbps 及更高,光互连变得越来越重要,为电气互连在延迟、带宽和功耗效率方面的局限性提供了解决方案。Synopsys 凭借其经过硅验证的 112G 和 224G 以太网 PHY IP,引领着线性驱动光学器件的发展。为了支持这些进步,Synopsys 提供了用于统一电子和光子设计的 OptoCompiler 和用于光子仿真的 OptSim 等工具,以及用于电子电路仿真的 PrimeSim SPICE 和 PrimeSim HSPICE。

Synopsys IP 技术公告

深度技术文章、白皮书、视频、网络研讨会、产品公告等等。

继续阅读