AI 以太网交换网络设计：从 GPU 流量到可验证的物料清单

AI 以太网交换网络的设计应围绕那些会拖慢工作负载的通信，而不是围绕产品目录中速度最快的交换机。起点是流量模型：哪些服务器之间交换数据、同时有多少服务器参与通信，以及当某条路径不可用时作业会受到什么影响。随后将交换机、适配器和互连作为一套系统来选择。

本方案适用于新建 GPU 集群或受控扩容。它描述的是一种工程方法，而不是针对未指定服务器的预验证配置。

在确定规模之前先分离网络

建立四类流量记录：GPU 到 GPU 通信、存储访问、应用或服务流量，以及管理流量。共享基础设施可能是合适的，但设计必须考虑同时产生的需求，并说明隔离策略。与集合通信操作同时发生的存储检查点，可能暴露出平均接口利用率无法显示的瓶颈。

对每类记录，确定端点接口、预期并发数、跨机架路径以及故障期间所需的行为。将适配器映射到实际的服务器拓扑。仅凭 GPU 数量无法确定所需的网络端口数量。

将流量矩阵转化为端口预算

分别计算面向服务器的链路和上联链路的标称容量。作为一个说明性示例，32 条 200 Gb/s 接入链路在一个方向上提供 6.4 Tb/s。八条 800 Gb/s 上联链路提供相同的标称总量。丢失一条上联链路后剩余 5.6 Tb/s，使标称接入与上联带宽比从 1:1 增加到约 1.14:1。

这些是规划计算，不是有效吞吐量结果。真正有用的问题是：剩余路径能否承载故障期间必须维持的业务流量。单条流、路径分布不均或下游级超售仍可能限制性能。

将平台与拥塞策略一起验证

在批准硬件清单之前，先选定交换机操作系统版本、适配器固件和驱动基线。如果设计依赖某种特定的自适应路由能力，请核实其文档中说明的硬件、接口和版本限制。不要假设每一代 Spectrum 都实现相同的行为。R07

对于 RoCE，要在整条路径上定义流量分类、队列映射、拥塞通知和端点响应。NVIDIA 的 Cumulus 文档区分了无损和有损 RoCE 配置；基于 PFC 的无损配置并不是在所有流量上不加区分地启用暂停行为的理由。运行测试必须证明所选配置适用于预期工作负载。R08

让每一条物料清单条目都服务于一个连接

设计对象	实施记录必须包含的内容
主机连接	服务器、插槽、适配器型号、端口和软件基线
接入链路	两端端点、目标模式、模块或线缆组件、布线长度
交换网络链路	叶交换机和脊交换机的逻辑端口、容量和故障组分配
光通道	光纤类型、连接器和极性、配线面板和实测损耗
运维	管理访问、电源馈送、批准的备件和恢复流程

分别记录物理笼座和逻辑端口。双端口模块和主机散热安排可能同时改变组件数量和兼容性。仅描述为“800G OSFP”的模块并不是完整的链路规格。R01

分三个关口逐步推进交换网络

第一，调试一条具有代表性的主机到交换机路径，验证识别、协商模式和错误计数器。第二，用受控流量测试多路径交换网络，包括预期中最繁忙的通信模式。第三，以递增的并发数运行预期应用或集合通信工作负载，并在受控故障后重复约定的测试。

将有效吞吐量、完成时间、尾延迟等长尾表现和相关拥塞指标与配置一起保留。只有在工作负载和测量条件等效时才比较各次运行结果。

当项目具备拓扑、端口计划、已验证链路清单、故障状态容量计算和验收计划时，就可以进入采购评审。这套材料使所提议的交换网络在下达大批设备订单之前就具有可解释性。

配套工程示意图

以下配图用于说明本篇设计思路，图中英文术语可结合文末释义阅读；不代表实测结果、认证配置或随货清单。