迁移至 400G/800G：第二部分

图2：IEEE P802.3ck 的时间表截至 2020年8月

许多数据中心经理认为IEEE P802.3ck的时间表将使行业落后于计划。因此，正在考虑其他选择。一个选项（部署更多通道 【扩展】）已被用于达到 400G。800G 采用 100G 电气标准，2021 年交付早期预标准产品。为了达到1.6T，数据中心可以扩展到200G通道或扩展到16通道。我们解决了最终迁移到 1.6T 的问题。

试图达到下一个速度平台的一个根本挑战是决定是增加光纤的数量，还是使用多路复用来增加每根光纤的信号传输波长数量。再一次，这是一个棘手的问题。

WDM 是一种常见的数据中心方法，它使用不同波长的光在同一根光纤上创建多个数据路径。两种流行的单模WDM技术是粗波分复用（CWDM）和密集波分复用（DWDM）。CWDM 针对更少的信道和更短的覆盖范围应用进行了优化，使其成为成本更低的 WDM 选项。DWDM 经过优化，可在单根光纤上实现尽可能多的容量，使其昂贵且主要适用于长距离网络。

以太网 CWDM 技术的示例包括 CLR4, CWDM4 和 FR4。正如“4”所示，这些技术使用四种波长，每种波长都带有一个数据通道（1270 nm、1290 nm、1310 m 和 1330 nm）。这使数据中心运营商能够支持比双工光纤连接更高的吞吐量。

WDM选项可以提供更多的波长（例如，FR8使用八个波长）。附加功能需要价格更高的光学模块，但更远距离的应用可以证明成本增加的合理性。

数据中心和大型企业网络的当前趋势是采用光纤密集的网状架构，优化东西方流量（通常是 10X的南北流量）——仍然是脊叶方向，但网络层较少，并且通常以更高的服务器连接速度为目标。最大连接量位于服务器连接的边缘。服务器代表开销；因此，交换机越少（延迟越低）越好。

如今，大多数脊叶网络都有几个层。数据中心的大小（要连接的服务器数量）决定了网络交换层的数量，这也决定了连接到交换机的最大叶交换机数量。通常最低层位于服务器机架 （ToR） 的顶部。这种设计对于传统的小型（低辐射）交换机是最佳的，可提供更少的低速服务器附件。ToR 交换机将与机架中的服务器数量大致匹配。由于机架内的所有链路，服务器和 ToR 交换机之间的短而低成本的连接通常使用低成本的铜缆连接电缆 （DAC）。

转向更高半径的交换机意味着，即使您仍在使用相同的 32 端口交换机，连接服务器的通道数也是原来的两倍（每个交换机端口八条）。这提供了一个有趣的机会。有了更高的 radix 交换机，您现在可以迁移到一个设计，在该设计中，多个 ToR 叶交换机被单层 1 叶交换机取代。这个单一的交换机现在可以支持大约四个服务器机柜。结构化布线连接减少数量的服务器叶交换机，无论是行尾 （EoR） 还是行中 （MoR）。消除 ToR 交换机意味着更少的跳频、更低的应用延迟和更便宜、更高效的设计。

图8：更高的半径开关可实现更高效的 EoR/MoR 设计

该应用的理想解决方案将要求每个光学模块使用八个连接来保持半径。通过使用成本较低的 MM 光学器件以及新的 400GSR8 应用支持，可在 100 米 OM4 布线中为八个 50 Gb 服务器连接保持更低的成本。展望未来，802.3db 标准的开发目标是在相同的 MMF 基础设施上将车道速度提高一倍至 100 Gb¹。这非常适合密度更高的 AI/ML 群集，它绝对需要更高的服务器网络速度，但不需要需要更高成本的 SM 光学器件的更长网络链路。

链接数量

数据中心中链路卷的任何讨论都必须从无处不在的服务器开始，这是网络中数量最多的元素。在当今的配置中，服务器现在以100G和更高版本连接。这些附件的光纤用例涉及成本较低的基于 VCSEL 的多模光纤，必须在链路两端实现。鉴于即使是中等规模的数据中心，服务器的数量也非常庞大，因此所需的光学端口组合数量使得该应用的成本非常敏感。

然而，当您转向更高的网络层时，光纤的数量会根据交换机的半径和其他架构考虑因素而迅速减少。此外，距离通常超过施加在多模上的100米短距离限制，使单模技术成为唯一可行的选择。

好消息是，可插拔单模光学器件的价格持续下降。因此，我们看到 100G 以太网占据了数据中心交换机端口市场的更大份额。但关于传输类型的对话必须远远超出可插拔光学器件的成本。它还必须包括对总渠道成本的分析，以及数据中心的预期增长及其迁移路线图。在做出任何决定之前，请考虑以下问题。

数据中心容量建立在物理光纤布线的基础上，必须不断适应新的光纤，通过保留尽可能多的数据信号来提高数据传输的速度和效率。光纤布线和连接会丢失一定数量的信号（物理定律），但其性能一直在提高。如今，超低损耗 （ULL） 组件的设计超出了行业标准限制，为使用预端接布线系统的光学应用提供支持。“超低损耗”是什么意思？

人们普遍认为，预端接系统具有超低损耗性能。但是，如果没有 ULL 标准，如何比较性能？换言之，如果您为 ULL 绩效付费，您如何知道自己获得了金钱的价值？

多年来，以太网和光纤通道应用的带宽演变导致了通道损耗预算和通道长度的大幅减少。表 1 显示，对于多模和单模信道，布线信道的插入损耗 （IL） 要求越来越严格。传统上，预端接MPO干线和MPO/LC盒的光学性能参数以盒的插入损耗（IL）和回波损耗（RL）表示，单位为dB（包括干线连接器）。目前，市场上性能最好的系统声称 IL 性能为 0,35 dB。

表1：多模和单模通道的插入损耗要求

这些性能数据基于图 12 所示的配置，该配置专为使用国际标准规定的电缆衰减的 100GBase-SR4 应用而设计。

图12：100GBase-SR4 应用的通道配置的标准衰减

SYSTIMAX ULL解决方案将出色的光学性能与统计方法相结合，确保Il和RL的真正超低损耗性能。

康普的光纤性能计算器可用于设计布线通道并验证应用的功能，包括最大链路长度。

以下配置表明，即使连续有六个暗盒，通道长度也超过了标准应用长度（请参阅标记的应用）。

康普支持我们的产品性能，为许多支持的光学应用提供保修。SYSTIMAX光纤性能计算器设计工具和应用支持指南是针对SYSTIMAX应用保证的。

根据康普的25-Year延长产品和应用保修（“系统保修”）条款，SYSTIMAX系统规格包含应用保证，确保指定的布线和光学应用符合其中规定的性能规格，符合SYSTIMAX性能规格。

系统保修和SYSTIMAX规格详细说明了我们的系统保修和SYSTIMAX应用保证的条款和条件。此处提供当前发布的 25-Year延长产品和应用保修。

当前SYSTIMAX系统规格和应用保证可在SYSTIMAX应用保证中找到。

在绿地项目中，网络和设施设计人员拥有创造更高速度基础设施的奢侈品（和挑战），从第一天起就可以使用400G, 800G甚至1.6T。那么，这究竟需要什么呢？以下是从头开始设计更高速基础设施时需要考虑的一些趋势和见解。

端口密度： 对于叶脊开关应用，市场倾向于每个开关的最高半径（端口数）。为了实现最有效的设计，网络将交换机结构层（扁平）的数量降至最低。较新的 ASIC 支持更多的 I/O，但随着速度的提高，通道速率和半径之间存在权衡。然而，Radix是减少给定网络大小的交换机数量的关键。如图 14 所示，典型的超大规模数据中心包含约 100,000 台服务器；只有两层网络交换机才能支持这种规模的网络。这在一定程度上是由于快速发展的ASIC和模块，它们能够实现更高的半径开关和更高的容量网络。

图14：更高的半径有助于减少开关数量

收发器技术： 如第 I 部分所述，400G 的两个主要外形尺寸是 QSFP-DD 和 OSFP。两个端口均支持一个机架单元 （1RU） 交换机中最多 32 个端口，并接受 LC、MPO、SN （OSPF） 和 CS 连接器。主要区别在于 QSFP-DD 向后兼容 QSFP+ 和 QSFP28，而 OSFP 需要适配器才能向后兼容。OSFP 收发器也专为 800G 设计，也可能具有更长的保质期。每个 ASIC I/O 必须通过收发器映射到单个光端口，以保持交换机的半径。布线基础设施还必须将这些光学端口映射到服务器链路。

布线和架构： 电缆路径需要考虑非常高的光纤数电缆，特别是在骨干网和数据中心互连中。利用占地面积更小的新布线设计，如 200 微米和可卷式带状光纤，将有助于最大限度地减少电缆布线和弯曲半径问题。无论规模大小，绿地数据中心都需要为云架构做好准备。这涉及使用“叶脊”架构的服务器到服务器通信的优化直接路径。这种设计允许任何计算和存储设备上的应用程序以可预测、可扩展的方式协同工作，无论它们在数据中心内的物理位置如何。该结构具有固有的冗余性，因为多个交换资源分布在数据中心，以帮助确保更好的应用程序可用性。总织物带宽可以通过将边缘端口的数量乘以边缘端口的速度或脊端口的数量乘以脊端口的速度来计算。如果没有超额认购，这两个数字将是相同的。

许多现有安装被设计为使用八、12 或 24 光纤子单元 MPO 干线的低损耗或超低损耗。然而，400G 和 800G 应用使用 16 根光纤到收发器进行优化。虽然基于 16 光纤的设计简化了绿地应用的迁移和分支，但使用 8、12 或 24 光纤子单元干线构建的现有安装仍可能支持更快的八进制应用。

在决定哪种配置最有意义时，需要考虑以下几点：信道损耗性能、端点之间的光纤数量、光纤类型（SM、OM4, OM5）、极性、MPO 中继电缆长度和性别。

通道性能，包括 IL 和 RL，应使用手持式测试设备进行测试和记录，以满足 SM 和 MM 应用要求。可以运行像SYSTIMAX光纤性能计算器这样的康普应用，以验证信道性能作为起点。

自 20 世纪 90 年代以来，已有 12 条光纤子单元干线电缆。当时，它们对双工应用有效。随着行业从双工应用转向使用 MPO 连接器的多对应用，增加了 8、24 和（最近）16 光纤亚基。这些是受欢迎的补充，因为支持新的八进制应用需要在端点之间有足够的光纤计数。在某些情况下，数据中心可以利用其现有的布线来满足新的需求，假设各位置之间的通道中的光纤总数能够实现过渡。如果位置之间的光纤数量与 16 或 8 光纤分组一致，则可以使用分线阵列电缆过渡到网络端口。

例如，在具有LC双工端口的面板之间由干线电缆中的144根光纤组成的验证通道作为前接口可以使用八个双工LC连接器到MPO16的阵列电缆终止到收发器（图15）。144 光纤通道在一个 RU 中最多可支持其中九条阵列电缆。管理这些光纤通道的其他阵列选项也可以实现连接。同样，16 光纤端口也可以分支到远端的双工服务器端口。

图15：通过传统通道连接的 16 光纤交换机端口

例如，图 16 所示为一个经过验证的通道，该通道由在以 LC 双工端口为前接口的面板之间的干线电缆中的 144 根光纤组成。

图16：16 光纤交换机端口分解为双工服务器端口

还有 400G 和 800G 应用，将 8 条 50G 或 100G 通道划分为 2 x 4 通道应用，用于 200G 或 400G 部署。对于这些应用，传统 MPO8 干线的连接可以利用 MPO16 到 2x MPO8 阵列组件，如图 17 所示。

图17：2 个 MPO8-to-MPO16 阵列

使转换组件能够充分利用现有光纤的另一种方法是将干线电缆端接到内联适配器包。这对于利用现有光纤是有效的，但可能会带来电缆管理挑战。如果未正确实施，分支长度和端口位置可能会搁置容量。确保端口已本地化并位于机架或机柜内，以实现充分利用。  

有关销钉和非销钉连接的注意事项： 由于基于 MPO 的收发器具有内部定位销，因此其连接设备或跳线必须在设备侧非定位。如果使用 MPO 转换电缆，请使用适配器将电缆的另一端连接到干线电缆。如果干线电缆连接也已固定，则转换电缆必须非固定至非固定。如果干线电缆未固定，则必须固定设备电缆的配套端。技术人员需要确保将正确的端头连接到每侧，以避免因固定电线而损坏光学器件。

关于极性的一句话： 虽然该行业一直在转向方法B极性，因为它在双工和多光纤连接方面很简单，但其他传统极性方案仍然部署在数据中心。如果已安装通道的性能和光纤数量满足应用需求，则可以使用定制的过渡电缆连接到高速收发器。

802.3bs

IEEE 引入了几个支持 400G 应用的新标准。做出了一个重要的决定，引入一个新的调制方案，PAM4。PAM4 使电气和光学通道能够发展到比传统 NRZ 调制实际速度更高的速度。PAM4有效地将车道速率——25G到50G——以及车道数量——增加一倍到四倍到八倍。因此，400G 光收发器现已标准化。

802.3 厘米

该标准解决了 MMF 上的 400G，引入了对四对 （400GBASE-SR4.2） 和八对 （400GBASE-SR8） 的支持。这两种应用都使用 VCSEL，与 SMF 替代方案相比，VCSEL 继续提供更高的带宽，同时保持更低的成本和功耗设计。SR4.2 和 SR8 还使用专为高容量、高速服务器链路设计的 100 米短距离 MMF 收发器。这一点值得注意，因为随着速度的提高，铜缆必须变得越来越短。同时，更高的辐射能力通过消除 TOR 开关帮助网络层崩溃。低成本的 MMF 光学到服务器连接支持这种设计并节省成本。

802.3ck（草案）

随着 PAM4 的推出，支持更高速度的下一步是将电信号和光信号的通道速率提高到 100G。这是待定 802.3ck 标准的重点。完成后，该标准将对 400G 应用的每比特成本产生积极影响，并将启用 800G 模块（800G MAC 速率通过 IEEE Beyond 400G 研究小组提出）。本标准即将完成，应在 2022 中完成。

802.3cu

802.3cu 引入了 100G 和 400G 模块（现在基于 100G 通道），并添加了 DR、FR、LR、ER 选项。命名选项现在包括通道计数；400GBASE-FR4 使用两条 2 km 距离的光纤 （F） 定义了四个波长的 100G 的四个通道。任务小组无法就10公里的距离（LR4）达成一致，并同意最大距离为6公里。因此，创建了一个新的命名法（400GBASE-LR4-6），其中“6”代表6公里 - 与通用“L”相比，这表示10公里的覆盖范围。

虽然802.3cu标准是在802.3ck标准之前完成的，但长期来看，100G电气通道与100G光学通道相匹配。这将减少 25G 和 50G 标准所需的齿轮箱速率匹配需求。预计未来通用光学接口将合并到100G，促进了几代ASIC的向后兼容性。

802.3db（草案）：

在撰写本文时，802.3db工作组继续添加MMF实现，以802.3cm的速度增加这些实现。这些新实施将车道速率提高到 100G，车道计数为 8，为 100 米 OM4 的 400G 和 800G 奠定了基础。MMF 服务器连接是一个主要关注点。鉴于这些连接的体积很大，因此光学器件的成本很重要。由于许多到第 1 层（叶）链路的服务器可能位于行内且非常短，因此 802.3db 寻求优化小于 50 米的应用程序。在命名中添加“VR”可识别 50 米的覆盖范围，而 SR 将继续表示 100 米的覆盖范围。预期应用包括使用 8 根光纤的 400GBASE-SR4，QSFP-DD 光纤保留在 8 个通道，以匹配 ASIC I/O 容量。因此，16 光纤实现将用于 2X400G SR4。还提供 800G 容量。但是，由于目前没有 IEEE 800G MAC，此标准尚未解决 800GBASE-SR8。

随着 100G I/O 交换机端口速度翻倍，相同的 400G 布线策略和更高的带宽 MMF 可以支持向 800G 模块的过渡。800G 可插拔 MSA 正在利用八进制模块和 100G 电气通道的引入，为 800G 光学应用制定实施协议。工程师正在迅速增加对 2x400、4x200 和 8x100 等分线选项的支持；然而，目前需要 800G MAC 的应用仍然有限。

IEEE 已经启动了一个研究小组，以帮助过渡到下一个以太网速率更高的平台。800G当然在地图上，1.6T及以上的路径也在探索中。随着工作的开始，引入了许多新的目标。该研究组有广泛的行业参与，包括认为网络生态系统需要标准的最大网络运营商。

这些标准很有可能被用于开发新的模块策略，以达到 1.6T。光纤互联网网络论坛（OIF）目前正在开发3.2T光学引擎，这是一种小型版的收发器，经过优化，可以“共同包装”在交换ASIC旁边。

该行业的多源协议 （MSA） 联盟正在努力加速开发和采用新的或新的网络技术。在某些情况下，例如添加 800G 实施，MSA 工作可能会导致在行业标准完成之前开发新技术。

800G 可插拔 MSA

在2019年9月中，形成了800G可插拔MSA。IEEE在100G VCSEL上的工作仍在进行中，因此MSA选择为流行的8x100G SR MMF选项进行低成本单模替换。目标是提供早期市场、低成本的 800G SR8 解决方案，使数据中心能够支持低成本的服务器应用。800G 可插拔模块支持增加交换机半径和减少每个机架的服务器数量

图18：8x100、2x400 GbE 模块

400G BiDi MSA

在 2018年7月 中，400G BiDi MSA 的成立旨在促进采用可互操作的 400G 光收发器，通过 MMF 实现 100 米双向传输。在2019年9月中，MSA宣布发布其400G-BD4.1.0规格的版本2，用于100米MMF的400G光学接口。该规范将 100G BiDi 用于以太网应用，并与广泛部署的并行 MMF 布线基础设施兼容。400G-BD4.2 解决了短距离应用问题，包括交换机之间现代数据中心的关键高容量应用。虽然这些是向前迈出的重要一步，但它们并没有使技术超越IEEE 802.3cm标准。

图19：400G MMF Bi-Di 和 SMF

100G Lambda MSA

在 2020年10月 中，100G Lambda MSA Group 宣布了其 400 千兆以太网规格，该规格支持 PAM4-enabled, 100G-per-wavelength 传输长达 10 km。400G-LR4-10 标准适用于长达 10 km 的双工单模链路。它依赖于 100G PAM4-modulated光信号的四波长复用。除此之外，它还确保了各种形状的光学收发器的多供应商互操作性。目前，100G Lambda MSA集团正在解决超过10公里的延伸规格。

图20：单 Lambda PAM4 QSFP

OSFP MSA

OSFP MSA 是在 2016年11月 中创建的，专注于为高速网络应用定义下一代、向前兼容的可插拔模块外形。在2021年5月中，该小组发布了800G OSFP模块的OSFP 4.0规范。 800G虽然 OSFP 模块从一开始就设计为支持 800G，但 OSFP 4.0 规格增加了对双 LC、双 Mini-LC、双 MPO 和八 SN/MDC 光纤连接器选项的双 400G00G 和八 100G 分支模块的支持。

图21：OSFP-LS 模块

QSFP-DD MSA

在 2021年5月 中，QSFP-DD MSA 小组发布了其 QSFP-DD/QSFP-DD800/QSFP112 硬件规范6.0的修订版 2。修订版本更新了 QSFP-DD，并引入了 QSFP-DD800 和 QSFP112。其他变更包括支持 100G 电气主机接口，并添加了 QSFP-DD800 和 QSFP112 机械和电路板定义。它还增加了 QSFP112 电气和管理时序，并支持更高的 25 瓦模块额定功率。

图22：QSFP-DD 收发器

许多大型数据中心运营商认为，在设置极具挑战性的实施时间表的同时，迫切需要提高网络效率。权力问题继续笼罩着整个行业，影响着每一个决定。能源消耗是网络对数据中心应用征收的沉重税项，随着我们考虑未来的网络速度，能源消耗将变得更加沉重。增加链路容量是提高效率的重要工具，但当然，要做到这一点的技术需要不断发展。图 23 显示了随着速度的提高而预期的成本和功耗改善。

图23：更高的速度减少了所需的链路数量，并降低了数据中心网络的每比特功率。

共封装光学器件 （CPO） 是将功率要求降低到几皮焦耳并设定 3.2T 更高光学 IO 速度的好机会。实现这一目标意味着解决一些困难的技术挑战，并重新构想网络供应链及其运作方式。如果一切都到位，我们可以在2025年的某个时候看到市售的CPO；否则，这个时间表可能会被推回。

图24：QSFP-XD 16 通道，每通道 100G

另一方面，有一条路径可以看到可插拔模块的发展以满足这些网络速度，而不需要CPO。Andy Bechtolsheim 在 OFC ’21 上的演讲为 CPO 和可插拔设备之间的竞争奠定了基础，并引入了新的 OSFP-XD MSA。基于 800G OSFP 模块规格，OSFP-XD MSA 将通道数从 8 增加一倍至 16。这些通道将在 100G 下运行，并提供 1.6T 的模块容量。其想法是，ASIC到模块的电气挑战可以用已知的技术来解决。功率估计为 ≈10 pJ，使其处于 1.6T 生成的目标范围内。与 CPO 相比，上市时间更快，风险更低。

图25：OSFP MSA 引入了下一代规格“OSFP-XD”或具有 16 个电气 I/O 和预期 200G/通道功能的超密度

如图 26 所示，达到 3.2T 最可能需要 200G 电气/光学通道 （16 * 200G）。如果通道速率不增加，那么并行光纤或波长的数量将需要增加一倍 - 并且这两种选择都不理想（并且可能不可行）。

考虑提高电车道速率是一项艰巨的工作。自2019年5月1以来，IEEE802.3ck工作组一直在制定这一100G电气标准，目前预计将在2022年底完成他们的工作。 100G新的IEEE项目将采取后续步骤，包括200G电信号。这项工作可能非常具有挑战性，目前的估计表明这项技术可能在2025年准备就绪。

无论初始路径是可插拔模块还是 CPO，200G 电气 I/O 似乎都是必要的步骤。鉴于其架构的优势，CPO 倡导者将他们通往 200G 的道路视为自然的下一步。然而，那些支持模块方法的人认为他们可以扩展OSFP-XD以兼容200G。在他们看来，节点数量的减少使整体目标得以实现，因为硅的进步将降低功率要求。

乍一看，似乎非常多的潜在基础设施合作伙伴争相与您建立业务关系。愿意向您出售光纤和连接服务的提供商从不缺乏。但是，当仔细观察并思考对网络的长期顺利运行至关重要的各项因素时，选择范围开始缩小。这是因为人们需要的不仅仅是光纤和连接，更要寻求推动网络发展。而这正是康普脱颖而出的关键。