为 GPU 训练分离存储与计算网络

一个 GPU 集群同时传输多种数据。训练工作节点交换模型信息，存储系统提供输入数据，检查点则产生周期性的写入突发。一个有用的网络设计应从分别测量这些流量开始。

一个有记录可查的架构

CoreWeave 描述了采用 BlueField-3 存储以太网和独立的 ConnectX-7/Quantum-2 GPU 网络的 H200 节点。其 64 节点、CPU 驱动的 fio 读取测试报告了约 500 GiB/s 的聚合吞吐量。这是一项存储测试，而非训练速度对比或 GPUDirect Storage 测量。CoreWeave 的测试与方法

CoreWeave 的 B200 生产公告独立指出，每个八 GPU 实例配备一个 BlueField-3 DPU 和八个 ConnectX-7 HCA。B200 架构

将工作负载追踪转化为网络需求简报

对于拟议的部署，记录输入读取量、检查点大小、检查点间隔以及同时写入的 rank 数量。包括常规训练期间的数据加载器活动，而不仅仅是作业的第一分钟。然后在存储测试运行时测量 GPU 集合通信流量。

将三个验收问题分开考虑：

• 每个节点能否获得其应用所需的存储带宽？
• 检查点活动是否会改变集合通信完成时间或训练步长？
• 在预期的隔离策略下，一个租户是否会对另一个租户造成可测量的减速？

一个通过隔离带宽测试的设计仍可能无法通过上述某个问题。测试组合工作负载能使结果对应用团队更有用。

有意识地分配功能

在采购简报中，为每个接口分配一个角色：GPU 通信、存储、外部访问或管理。说明 DPU 是否会运行基础设施服务，以及由哪个软件镜像提供这些服务。NVIDIA 的 CoreWeave 案例描述了基于 DOCA 的网络和租户隔离功能；仅存在 BlueField 卡并不能证明这些服务已配置。NVIDIA 客户案例

扩展前先验证

在单个节点、单个机架和预期的生产切片上运行相同的测试。保持块大小、读写混合、队列深度、进程数、数据集大小和缓存状态不变。报告每节点和聚合结果。增加一个受控的链路故障测试，并设定商定的恢复目标。

使用这些证据来选择适配器数量、网络容量和存储连接。在发出采购订单前，要求提供完整的订购代码、服务器认证、协议、固件和线缆配对信息。

本解决方案是一个基于第三方部署的工程框架。它不复制 CoreWeave 的专有实现，也不证明任何特定目录变体已在那里部署。

来源核查日期：2026 年 10 月 10 日。本文讨论第三方证据或明确标注的工程场景；它不构成经销商的交付历史、当前库存或确切 SKU 部署的证明。