NDR 400G InfiniBand 设计：端点数量、拓扑与验收

NDR 集群的起点是端点清单，而不是交换机数量。相同数量的服务器，如果 HCA 数量、活动端口或轨道分配不同，所需的交换网络可能截然不同。一个站得住脚的设计会将这份清单与拓扑、精确的互连列表以及工作负载验收计划关联起来。

将此方法用于新建 InfiniBand 计算网络或有限扩展。存储、外部服务和带外恢复访问应单独描述，即使部分基础设施是共用的。

统计活动交换网络端口

令 H 等于服务器数量乘以每台服务器的活动 InfiniBand 端口数。对于一个示例性的 64 台服务器集群，每台服务器有一个活动的 400 Gb/s HCA 端口，则 H 为 64。每台服务器两个活动端口则 H 为 128；这并不会自动定义这些端口应如何分配到轨道或交换机。

验证每个确切的适配器订购变体是否支持所需的 InfiniBand 模式。ConnectX 系列名称或 400 GbE 描述并不能证明某个特定的面向以太网的变体是适合此交换网络的 HCA。请使用适配器手册和适用的兼容性信息。R51R06

在订购端口之前选择拓扑

当端点数量和弹性要求适合时，单级交换可以减少组件数量。两级叶交换机–脊交换机交换网络会消耗额外的交换机端口和链路，但可以形成更清晰的扩展边界。

考虑一个示例性的双叶交换机布局，每个叶交换机有 32 个面向主机的 400G 端口和 32 个上联端口。每个叶交换机具有 12.8 Tb/s 的标称接入容量和相同的标称上联容量。如果这些上联分散在四个脊交换机上，则每个叶交换机使用八条链路连接到每个脊交换机。每个脊交换机则从两个叶交换机接收 16 条面向叶交换机的链路。该设计需要 64 条主机链路和 64 条叶交换机–脊交换机链路：总共 128 条逻辑链路。

这种计算并不能验证特定交换机、证明每种流量模式的无阻塞行为，或考虑选定的多轨道策略。它只是审查拓扑的一个透明起点。

将逻辑链路与连接器笼座分开

NDR 交换机系统可以通过物理连接器布置暴露多个逻辑链路。统计预期模式下的可用逻辑端口，然后将其映射到笼座和批准的组件。QM97XX 文档是特定系统的参考，而不是面板照片或聚合模块标签。R52

不要在没有检查实现的情况下，通过将每个逻辑链路乘以二来估算光模块数量。传统的单端口光链路在两端各使用一个模块；双端口模块和分支组件需要按通道级别计数。DAC 和有源铜缆组件遵循不同的采购结构。

包含交换网络控制和恢复

层面	设计决策
主机	HCA 标识、PCIe 位置、活动端口和轨道映射
交换	叶交换机/脊交换机角色、可用端口和支持的运行模式
交换网络控制	子网管理归属、弹性和分区策略
互连	确切的组件或模块、路由和通道映射
恢复	管理访问、配置备份和批准的备件

单独列出管理设备和软件授权。连接的管理端口并不能证明交换网络控制服务已配置、在需要时已获得许可，或已测试恢复。

结合工作负载验收交换网络

首先调试物理链路。在运行大型作业之前，确认拓扑发现、预期路径和错误行为。然后测试代表性的消息大小、节点数量和通信模式。保存每个结果的软件版本、测试时长和并发数。

在受控窗口内运行约定的故障场景，并记录应用影响，而不仅仅是链路恢复。移交应包括端口映射、线缆登记表、交换网络控制配置、验收证据以及备件与已安装部件的映射。这些是扩展集群而无需重新发现其假设所需的记录。

配套工程示意图

以下配图用于说明本篇设计思路，图中英文术语可结合文末释义阅读；不代表实测结果、认证配置或随货清单。