本指南为 400G 数据中心网络提供一份设计工作表。它并不规定通用拓扑,也不声称所有标称 400G 的设备都可互换。在将设计转化为物料清单(BOM)之前,请完成计算和验证记录。
1. 定义工作负载与端点映射
记录服务器和存储接口、流量方向、预期并发量以及应用目标。区分标称端点速率与实测需求。识别维护或故障状态下的需求,而不仅仅是正常运行状态下的需求。
创建端口排程表,列出面向主机的链路、交换机间链路以及下一阶段规划扩展。管理端口应单独列入另一份排程表。
2. 明确计算容量
使用一致的单位并展示假设条件:
接入容量 = 活跃的面向端点链路数 × 每条链路速率
上联容量 = 活跃上联数 × 每条上联速率
接入与上联带宽比 = 接入容量 ÷ 上联容量
以一个示例叶交换机为例,其拥有 32 条 100G 主机链路和 8 条 400G 上联,两者总和均为 3.2 Tb/s。一条上联故障后剩余 2.8 Tb/s,带宽比从 1:1 变为约 1.14:1。这是端口算术,并非无阻塞转发或应用有效吞吐量的证明。
记录实际交换机架构、流量分布和故障域如何影响该模型。
3. 验证每个接口实现
| 层面 | 所需记录 |
|---|---|
| 主机 | 确切设备、端口及支持的工作模式 |
| 互连 | 两端完整模块或组件标识符 |
| 光路径 | 光规格、光纤、连接器、映射及损耗限值 |
| 软件 | 版本、所需功能及适用的支持条件 |
| 安装 | 散热、供电、安装及维护通道 |
将主机支持与光互操作性分开检查。兼容的连接器和相同的速率并不能构成一条已验证的路径。R25R49
4. 定义网络服务
明确路由、分段、网关位置以及任何叠加网络需求。VXLAN 封装和 EVPN 控制平面行为解决叠加网络设计的不同部分。在配置计划中保留底层可达性、MTU 和运维职责。R30R31
避免仅仅因为功能可用就启用它。每个额外的控制机制都应服务于明确的需求,并具备验证方法。
5. 审查物理密度
统计模块、线缆路由、面板位置和维护间隙。包含确切满配配置的散热和供电需求。如果设计为连接器或更换工作留下的空间不足,机架单元密度优势可能消失。
物料清单应区分必需安装部件、备件以及待验证的候选部件。
6. 在预部署前定义验收
明确流量模型、数据包大小、方向、持续时间及通过标准。使用合适的隔离设施进行破坏性基准测试。RFC 2544 提供了实验室方法,而 RFC 6815 则警告不要在生产网络上不加批判地使用该方法。R46R47
分阶段验证物理链路、转发、预期服务及代表性应用。测试已批准的故障,并记录剩余容量和服务影响。
完成的设计包包含容量模型、端口映射、已验证的互连矩阵、软件基线和验收计划。它们共同确立了 400G 网络旨在实现的目标以及如何支持该结论。
配套工程示意图
以下配图用于说明本篇设计思路,图中英文术语可结合文末释义阅读;不代表实测结果、认证配置或随货清单。
专业术语说明
- BOM 物料清单Bill of Materials
- 物料清单,列出网络设计中所有必需组件、数量和规格的详细列表。本文中用于将设计转化为可采购的部件清单,并区分必需安装件、备件和待验证候选件。
- VXLAN 虚拟可扩展局域网Virtual Extensible LAN
- 一种网络虚拟化技术,通过封装实现叠加网络,扩展二层网络范围。本文中用于说明叠加网络设计需明确封装与控制平面行为,并保留底层可达性和 MTU 等配置。
- EVPN 以太网VPNEthernet VPN
- 一种基于 BGP 的控制平面协议,用于在叠加网络中分发 MAC/IP 可达性信息。本文中与 VXLAN 并列,强调两者解决叠加网络设计的不同部分,需分别规划。
- RFC 2544 基准测试方法RFC 2544
- IETF 发布的网络互连设备基准测试方法标准,定义吞吐量、延迟、丢包率等测试流程。本文中作为实验室测试方法引用,但需注意 RFC 6815 对其在生产网络上的不加批判使用提出警告。
- RFC 6815 生产网络测试注意事项RFC 6815
- IETF 发布的信息性文档,指出 RFC 2544 测试方法可能不适用于生产网络,因其可能造成破坏性影响。本文中用于提醒在验收测试时需使用隔离设施,避免影响生产业务。
资料来源
资料核对:
参数、兼容性与操作步骤应结合文中引用资料、完整型号及实际软件版本核对。配图为工程示意。
- Cisco 100GBASE QSFP Modules Data Sheet
- Cisco transceiver-to-device compatibility matrix
- RFC 7348: Virtual eXtensible Local Area Network (VXLAN)
- RFC 8365: A Network Virtualization Overlay Solution Using EVPN; RFC 7432: BGP MPLS-Based EVPN
- RFC 2544: Benchmarking Methodology for Network Interconnect Devices
- RFC 6815: Applicability Statement for RFC 2544


