800G RoCE 交换网络的合理性取决于 AI 工作负载的通信模式，而非 800G 交换机的可获得性。架构必须协调主机接入、路径容量和拥塞行为。一条高速的单条链路无法弥补共享路径容量不足或 RDMA 协议栈集成不当的问题。
将通信映射到服务器拓扑
记录服务器平台、GPU 与适配器布局、主机接口位置以及预期的应用传输方式。明确哪些流量留在服务器内部，哪些流量穿越交换网络。将计算通信、存储访问和管理作为独立的设计决策，即使它们共享部分物理基础设施。
统计活跃的网络端点数量，而不是用 GPU 数量乘以假定的适配器速率。实际的服务器设计决定了接入方式和本地性。
明确容量假设
将端点、叶交换机和脊交换机的端口规划一起制定。以一个示例叶交换机为例，十六条 800G 端点链路提供 12.8 Tb/s 的标称接入容量。十六条等速率上联提供相同的总和。这种 1:1 的算术关系并不能证明在所有流量模式下都能达到完整的应用有效吞吐量或无阻塞行为。
| 架构问题 | 为何会改变设计 |
|---|---|
| 哪些作业并发运行？ | 决定同步需求可能在何处累积 |
| 端点如何分布？ | 改变跨机架流量和路径需求 |
| 必须容忍何种故障？ | 决定故障期间必须维持的业务流量和受影响的作业 |
| 集群将如何扩展？ | 预留有意义的端口，而非任意百分比 |
同时包含正常状态和降级状态的计算。一个满足正常流量需求但无法支持所需故障条件的交换网络，其服务能力与具有弹性的设计不同。
选择一致的拥塞策略
RoCE 行为取决于端点与网络的协同配置。建立流量分类、队列映射、拥塞通知以及适用的流控配置文件。NVIDIA 在特定的 Cumulus 版本中记录了有损和无损 RoCE 配置文件；因此，PFC 并非设计和测试的通用替代品。R08
路径分发特性也存在平台和软件限制。不要假设每个基于 Spectrum 的系统都提供相同的自适应路由行为。R07
验证每条物理链路
独立于物理笼座记录逻辑端口。在两端匹配协议、通道排列、端口模式、支持的组件和散热格式。当聚合模块容量与单个逻辑链路速率被混淆时，NVIDIA 的双端口和散热区分尤为重要。R01
架构应产出一份经过验证的链路矩阵，而不是一份带有相似速率标签的松散设备列表。
在工作负载层定义验证
从传输和端点正确性开始，然后指定具有代表性的集合通信测试和应用运行。NCCL Tests 可以支持定义明确的验证工作流，但测试设置、主机放置和软件版本必须与结果一同记录。没有这些条件的基准测试数字不是可迁移的性能承诺。R11
发布架构时，应同时发布其工作负载假设、支持的组件基线、拥塞策略和验收计划。使用单独的部署检查清单来执行配置和上线。架构的目的是解释为何这些决策应作为一个整体。
配套工程示意图
以下配图用于说明本篇设计思路，图中英文术语可结合文末释义阅读；不代表实测结果、认证配置或随货清单。
专业术语说明
- RoCE 基于融合以太网的远程直接内存访问RDMA over Converged Ethernet
- 在以太网上承载 RDMA（远程直接内存访问）的协议。数据传输可由适配器卸载，减少处理器参与和内核数据复制；并非所有过程都完全绕过 CPU。部署时需核对端点、拥塞控制和整条路径。
- PFC 基于优先级的流量控制Priority-based Flow Control
- 一种链路层流控机制，可为不同优先级流量独立暂停。本文指出 PFC 并非设计和测试的通用替代品，需结合有损/无损 RoCE 配置文件及具体 Cumulus 版本使用。
- NCCL Tests 集合通信测试套件NCCL Tests
- NVIDIA 集合通信库的测试工具，用于验证多 GPU 间通信性能。本文强调其可支持验证工作流，但测试设置、主机放置和软件版本必须与结果一同记录，否则基准数字不可迁移。
- Cumulus 网络操作系统Cumulus
- NVIDIA 旗下的开源网络操作系统，支持多种 RoCE 配置。本文提及 NVIDIA 在特定 Cumulus 版本中记录了有损和无损 RoCE 配置文件，说明配置行为受版本约束。
- Spectrum 交换机系列Spectrum
- NVIDIA 的以太网交换机芯片及系统系列。本文提醒不要假设每个基于 Spectrum 的系统都提供相同的自适应路由行为，路径分发特性存在平台和软件限制。
延伸阅读
资料来源
资料核对：
参数、兼容性与操作步骤应结合文中引用资料、完整型号及实际软件版本核对。配图为工程示意。