Broadcom 的 Tomahawk 51.2 Tbps 交换机芯片于 2022 年 8 月推出,是 800G 以太网时代已经到来的最新证明。这款芯片可以容纳 64 个 800GbE 端口的超高带宽!高速以太网的发展始于 2014 年,Arista、Broadcom、Microsoft、Mellanox 和 Google 在那一年成立了以太网联盟,现称为“以太网技术联盟”。从那时起,已有超过45名成员采用该技术。推动 200G 以太网、400G 以太网和如今的 800G 以太网发展的原因是,诸如高性能计算、5G 和深度学习应用等各种应用对于处理和传输高性能工作负载的迫切需求——更何况在云、端之间传输所有这些应用数据所需的总带宽。2020 年,以太网技术联盟推出了 800G 规范,该规范已经得到 IEEE 802.3 标准委员会和工作组的批准。通过使用高速接口,超大规模数据中心可以支持不断增长的为计算机、交换机、重定时器、NIC、光模块等设计的 SoC 中的以太网数据速率。以太网标准为设计和制造此类 SoC 及其支持的设备所需的互操作接口提供了参考框架。

800G 以太网控制器和 PHY 解决方案可通过多种方式满足数据密集型应用的可扩展和高数据速率连接要求。本文介绍了一种使用 Synopsys MAC、PCS 和 PHY IP,并经过硅验证且鲁棒的 800G 以太网实现方案。芯片公司可将其作为参考指南,以更快地实现自己的以太网 SoC 设计。

对 800G 以太网的需求

交换机在过去 12 年里不断发展,处理能力从 640G 发展到 102.4T,单 lane 可支持 10G 至 100G及更高的以太网速度,从 64 到 512 通道的交换机能力,以及从 QSFP+ 到 QSFPDD800/OSFP 的可插拔连接器,如图 1 所示。800G 以太是最新的 51.2T 交换机及支持它的 800G 可插拔板卡的核心。

图 1:在过去 12 年里,交换能力从 640G 发展到 102.4T

订阅 Synopsys IP 技术公告

包括深度技术文章、白皮书、视频、即将举行的网络研讨会、产品公告等等。

带 DAC 的 800G 以太网芯片可用于机架内通信,还可作为标准可插拔光学器件的接口。400G 可插拔设备在插入线卡面板后能够提供高达 400G 的以太网,针对此类设备的标准现已广泛应用于 HPC 领域的光架构中。非常重要的一点是,800G 以太网设计的外观必须符合行业标准的外形尺寸和连接器接口。更换为其他可插拔设备后,还必须具有互操作性。全面的互操作性能够提供可信的概念证明,让设计抢得先机。一旦标准获得批准,您将会遥遥领先。下一代 800G 模块可使每个端口的带宽翻倍。图 2 显示了 Dell’Oro 集团在 2022 年 OCP 峰会上呈现的统计数据,据该集团预测,到 2025 年,800G 可插拔设备将超越 400G。由于通道数量增加两倍,数据中心不必完全更改端口配置就能处理 800G 以太网,从而使过渡变得更容易。

图 2:到 2025 年,800G 可插拔设备预计将超越 400G

剖析强大的 800G 以太网实现

为了让采用者能够立即部署先进的高带宽、可互操作以太网技术,他们需要这个经过验证的 800G 以太网实现方案作为参考。Synopsys 已交付了经过硅验证的 800G 以太网实现,其中使用了[在子系统中全组件植入]。Synopsys 800G 以太网实现基于 8 个通道,单通道 100Gb/s 速率。800G 架构由新的介质访问控制 (MAC) 和物理编码子层 (PCS) 组成,基本上重新利用了两组现有的 400G 以太网逻辑,并将数据分布在八个 106.25 Gbps 物理通道上。由于重用了 400G 以太网 PCS 逻辑,因此前向纠错模块得以保留,可以轻松兼容现有的物理层规范。然而,SoC 设计人员需要开发芯片来支持 800G 以太网,以满足所有发送和接收数据路径单元的要求,从而实现最低的延迟和更高的带宽,同时最大限度地减少功耗过大问题或成本损失。保持与较慢速度的向后兼容性也很重要,这将确保 800G 以太网和更高速的以太网被无缝采用并集成到现有数据中心。

为了在 200G/400G/800G 网络中同时提供这种能力,逻辑区域和物理区域出现了多种挑战。想要在满足最小程度的延迟、功耗和面积要求的同时,达到更快的时钟速度、并行路径和复杂的信令要求,是很难兼顾的。要想确保最低延迟和低重传率,需要的是高效的 FEC,以补偿更快通信速度固有的更高误码率。

图 3 显示了一种 800G 芯片的参考原理图,该芯片具有 8 通道的 100G SerDes、800G PCS、MAC、测试逻辑和应用接口。实现芯片成功的关键之一在于,应用软件接口应具有强大的可测试性、可调试性功能。

图 3:具有 8 通道 100G Serdes 的 800G 芯片框图

Synopsys 800G 以太网实现旨在用作下一代数据中心网络等网络接口的设计。为了跟上不断增加的 CPU、总线和存储带宽,机架服务器或刀片服务器必须支持来自网络接口卡 (NIC) 的 800Gb/s 总吞吐量。为此,SerDes 的速度需要达到每通道 100G,还需要使用布线技术。此类技术需要通过双轴铜缆或光纤来支持每个物理通道 100 Gb/s 的速度。鉴于端点带宽的增加,机架顶部 (TOR) 交换机的上行链路需要从 8 通道、400 Gb/s SerDes 转变为 8 通道、800 Gb/s SerDes,同时最好保持相同的每通道输出能力和覆盖范围。为了在多路同时切换的情况下保持系统的整体性能,并补偿不断增加的串扰,设计人员开始在设计中大幅增加裕量。设计中经过精心优化的封装信号位置图可以帮助缓解任何 IR 压降问题,封装堆叠以及晶粒上的出线和封装的通畅比以往任何时候都更加重要。51.2T 交换机的完成需要多个纵向和横向 800G 以太晶粒。这些可重复使用的两种方向的晶粒块可以在晶粒的各个边缘构造和多次复制,以尽量减小整个晶粒边长。封装出线、信号完整性和电源完整性分析为 800G 以太网晶粒块的基本布局规划奠定了基础。硬化的 800G 以太网测试芯片涉及多方面的专业知识,旨在优化晶粒边缘、SerDes、PCS 和 MAC 设计。为了进行重定时、应用流水线技术或优化延迟、功耗和面积,需要全面了解端到端数据路径。最后,这还涉及使用从 RTL 到 GDS 的 SoC 级完整流程来进行前端和后端集成,以及使用 EDA 工具开展密切合作以进行投片。

图 4 显示了一种端到端 800G 实现的用例,其中包括 51.2T 交换机、800G 可插拔设备、大范围 DAC 或有源铜缆(用于机架内通信),以及 800G 可插拔光学器件(用于扩大覆盖范围)。

图 4:端到端 800G 实现用例 

结语

除了支持目标面积、延迟、性能、功耗和信号完整性的硅 IP 外,SoC 设计人员还需要所有必要的文档和可交付产品来实现快速集成。Synopsys 多年来一直是以太网 IP 的领先开发商,在制定 800G 以太网和更高速以太网的规范方面发挥着不可或缺的作用。如今,Synopsys 已推出经过硅验证的 800G 以太网实现方案,客户可以参考这种方案来成功实现自己的芯片。Synopsys 为 112G 以太网 PHY、PCS 和 MAC 提供易于集成的交付产品,并提供专家级支持,通过缩短总体设计周期和帮助产品更快地上市,使客户的工作更加容易。

Synopsys IP 技术公告

深度技术文章、白皮书、视频、网络研讨会、产品公告等等。

继续阅读