链路建立只是 AI 网络的第一道测试

本文目录

绿色链路指示灯只回答了一个狭窄的问题：接口已建立连接。它们并不能说明分布式作业是否使用了预期的传输方式、流量在大规模下是否保持均衡，或者应用是否达到其完成时间目标。

AI 网络应通过一系列越来越贴近实际的测试来验收。每个阶段应回答不同的问题，并保留足够的上下文，以便另一位工程师能够复现。

首先证明物理配置

将已安装的设备、适配器、模块和线缆标识与批准的链路规划进行比对。记录运行速率、端口模式和相关诊断信息。在定义的时间间隔内检查错误计数器，而不是依赖单张截图。

将软件基线连同这些结果一起保存。版本化的平台支持很重要，因为一个经过验证的适配器系列并不能作为所有操作系统、驱动程序和固件组合的证据。R10

确认应用正在使用预期的接口和通信机制。检查双向以及跨相关机架边界的连通性。对于 RoCE，检查主机和交换机上配置的流量类别和拥塞策略；NVIDIA 文档中关于有损和无损配置文件的说明表明，为什么不存在适用于所有端口的通用 PFC 启用指令。R08

通过低并发测试不应终止此阶段。添加设计必须处理的流量模式，包括那些属于生产需求一部分的竞争性传输。

集合通信引入了与点对点流不同的工作负载。NVIDIA 的 nccl-tests 提供了集合通信测试，并报告不同的算法带宽和总线带宽指标。这些指标必须保留其定义；它们不能与物理端口速率互换。R11

记录集合通信类型、消息大小范围、GPU 和进程放置、节点数量、软件版本和重复次数。进行同类比较。更大的测试可能同时改变多个变量，因此较低的结果是需要调查的症状，而不是交换机有缺陷的直接证据。

运行具有固定工作负载定义的代表性作业。测量对其所有者重要的结果，例如完成时间或定义的步骤时间分布。记录存储活动、放置和竞争性工作，以免将明显的网络变化与其他瓶颈混淆。

一个示例性验收记录可能如下所示：

在涉及弹性的情况下，仅在受控环境或维护窗口内引入批准的故障。记录中断的作业、存活容量和恢复操作——而不仅仅是接口恢复的时间。

未经批准的方法，不要对生产服务运行侵入性实验室基准测试。RFC 2544 定义了基准测试框架，而 RFC 6815 特别警告不要将此类测试应用于生产网络。R46 R47

当证据支持约定的需求时，验收即完成。仅仅因为每个端口都已启动或捕获了一个有吸引力的吞吐量数字，验收并未完成。

以下配图用于说明本篇设计思路，图中英文术语可结合文末释义阅读；不代表实测结果、认证配置或随货清单。

RoCE（基于融合以太网的远程直接内存访问）RDMA over Converged Ethernet: 在以太网上承载 RDMA（远程直接内存访问）的协议。数据传输可由适配器卸载，减少处理器参与和内核数据复制；并非所有过程都完全绕过 CPU。部署时需核对端点、拥塞控制和整条路径。
PFC（基于优先级的流量控制）Priority-based Flow Control: 一种链路层流量控制机制，允许在特定优先级上暂停流量以防止丢包。在RoCE网络中用于实现无损传输，但并非所有端口都需要启用，需根据拥塞策略配置。
集合通信Collective Communication: 分布式计算中多个进程或节点之间的一种通信模式，如广播、归约、全归约等。在AI训练中用于同步梯度或参数，其性能测试需使用专用工具如nccl-tests。
nccl-testsnccl-tests: NVIDIA提供的用于测试NCCL（NVIDIA集合通信库）性能的工具集，可测量算法带宽和总线带宽等指标。这些指标定义不同，不能与物理端口速率直接比较。
RFC 2544RFC 2544: IETF发布的网络互连设备基准测试方法学，定义了吞吐量、延迟、丢帧率等测试。适用于实验室环境，但RFC 6815警告不要将其用于生产网络。
RFC 6815RFC 6815: IETF发布的信息性文档，指出将RFC 2544等基准测试应用于生产网络可能造成中断，建议仅在受控环境或维护窗口进行。

资料核对：2026-09-17

参数、兼容性与操作步骤应结合文中引用资料、完整型号及实际软件版本核对。配图为工程示意。