本文目录

评估用于AI推理的800Gb/s InfiniBand

800Gb/s接口应纳入系统规划。在选择之前,需确定推理工作负载的哪一部分在等待通信,以及主机能否有效利用所提议的连接。

从生产平台参考开始

CoreWeave于2026年3月发布的HGX B300版本中提到了ConnectX-8、Quantum-X800和BlueField-3。该报告称,在DeepSeek-R1上,其集合通信带宽结果相比其H200平台提升了1.95倍。这是包含多项变更的整系统对比,而非更换网卡所带来的实测增益。CoreWeave的B300发布

利用该报告确定相关架构,然后围绕您自己的模型和服务目标构建测试。

确定需要改进的方面

对于推理服务,需在约定的并发量下,区分首令牌时间、令牌间延迟、端到端请求延迟和吞吐量。记录输入和输出长度、精度、模型版本、并行设置和批处理策略。更高的聚合数值可能掩盖交互式用户体验变差的结果。

在更换硬件之前,先运行通信剖析。确定限制路径是GPU内存、GPU纵向扩展通信、主机I/O、存储还是节点间网络。结果应解释为何更大的横向扩展带宽与该工作负载相关。

同时验证端点和交换机

物料清单应指定完整的适配器订购代码、服务器插槽和电源配置、操作协议、交换机平台、线缆端点和支持的软件版本。确认所提供的组件是预期的卡外形规格还是系统专用模块。

对于InfiniBand方案,要求供应商在提议的组合上演示链路协商和集合通信测试。熟悉的连接器或匹配的标称速率不足以证明兼容性。

构建可重复的验收运行

基线和候选系统使用相同的模型和服务参数。记录预热策略和测试时长。在目标延迟下比较性能,然后在有竞争流量和受控故障的情况下重复测试。保持计算和网络变更可见,以便买家理解比较实际衡量的内容。

采购决策应包括运营适配性:监控、更换流程、驱动支持和扩展计划。如果站点无法维护,技术上更快的配置仍可能是错误选择。

产品范围边界

CoreWeave来源标识的是产品系列,而非另一供应商目录中的订购代码。它并不证明特定Q3400或Q3450交换机变体的部署。系列级应用证据可以支持此选择讨论;确切的硬件认证和商业可用性必须另行验证。

来源核查日期:2026年10月10日。本文讨论第三方证据或明确标注的工程场景;它不构成经销商的交付历史、当前库存或确切SKU部署的证明。

资料来源

资料核对: