本文目录精确定义服务器接入在实际故障边界计算容量分离传输、叠加网络和工作负载需求将 RoCE 视为端到端设计接受路径,而不仅仅是叶交换机配套工程示意图

叶交换机将服务器接口连接到更广泛的网络服务。仅凭端口数量来选择交换机,会遗留主机接入、上联容量、叠加网络行为和工作负载性能等问题。应从服务器及其必须交换的流量出发,然后选择文档化能力符合该需求的平台。

精确定义服务器接入

列出服务器网卡型号、介质、所需链路速率和物理路由。将铜缆服务器接入与光接口或直连接口区分开;速率标签并不能确立可互换的介质。记录主机是单连接、双连接还是使用特定的受支持聚合配置。

对于光链路,需识别两端的实现方式。Cisco 100G 产品组合包含不同的光模块和线缆选项,因此“100G 兼容”并非完整的链路规格。R25

在实际故障边界计算容量

考虑一个示例叶交换机,具有 48 个 25G 服务器链路和 6 个 100G 上联。标称服务器侧容量为 1.2 Tb/s,上联容量为 0.6 Tb/s,产生 2:1 的接入与上联带宽比。丢失一个上联会将该比例变为 2.4:1。这些比例并不预测应用有效吞吐量;它们揭示了一个必须根据流量方向和并发性进行检查的假设。

确定弹性目标是针对一条链路、一个脊交换机还是整个叶交换机。这些故障消耗的容量不同,并可能影响不同的服务器。

分离传输、叠加网络和工作负载需求

需求 必须验证的内容
IP 传输 可达性、路由稳定性、MTU 和路径分布
叠加网络服务 正确的端点接入、分段和控制平面行为
主机连接 受支持的网卡/端口/介质组合及预期冗余
RoCE 工作负载 在代表性负载下一致的端点和交换网络拥塞行为
运维 可观测的错误、可恢复的访问和可重复的配置

VXLAN 提供封装机制,而基于 EVPN 的设计为叠加网络增加了控制平面方法。它们的存在并不能确立完整的运行设计。定义实际需要哪些平台特性和规模限制。R30R31

将 RoCE 视为端到端设计

高端口带宽不足以建立有效的 RDMA 路径。当应用使用 RoCE 时,需对齐端点配置、队列处理、拥塞通知和适用的流量控制策略。使用所选 Nexus 平台和版本的指南;未经审查,不要跨 ASIC 代际复制设置。R24

传统服务器网络不应仅因交换机支持就继承额外的无损网络复杂性。仅包含工作负载所证明合理的特性。

接受路径,而不仅仅是叶交换机

从主机接入和链路诊断开始,然后验证路由或叠加网络服务。以预期的并发性运行代表性流量,捕获错误和拥塞指标,并在受控故障后重复相关检查。设备级基准不应作为应用结果呈现。

最终设计应解释为什么所选的接口、上联和软件功能是必要的。将服务器到端口映射、已验证的互连、容量假设和测试证据与采购请求一起保留。

配套工程示意图

以下配图用于说明本篇设计思路,图中英文术语可结合文末释义阅读;不代表实测结果、认证配置或随货清单。

工程示意图 1 — Nexus 叶交换机设计:将服务器接口与交换网络需求相匹配

工程示意图 2 — Nexus 叶交换机设计:将服务器接口与交换网络需求相匹配

专业术语说明

VXLAN 虚拟可扩展局域网VXLAN
一种网络虚拟化封装技术,通过将二层帧封装在 UDP 中,实现跨三层网络的叠加网络。本文中用于说明叠加网络需要控制平面配合,其存在不构成完整运行设计。
EVPN 以太网 VPNEVPN
一种基于 BGP 的控制平面协议,常用于 VXLAN 叠加网络,提供端点可达性和分段信息。本文强调基于 EVPN 的设计增加了控制平面方法,但需定义实际所需的平台特性和规模限制。
RoCE 基于融合以太网的远程直接内存访问RoCE
在以太网上承载 RDMA(远程直接内存访问)的协议。数据传输可由适配器卸载,减少处理器参与和内核数据复制;并非所有过程都完全绕过 CPU。部署时需核对端点、拥塞控制和整条路径。
RDMA 远程直接内存访问RDMA
允许具备相应能力的适配器直接在主机内存之间传输数据的机制,可减少内核数据复制和处理器负担。仍需软件建立连接、注册内存,并满足设备、驱动和网络条件。
MTU 最大传输单元MTU
网络接口可传输的最大数据包大小。本文在 IP 传输需求中要求验证 MTU,以确保路径支持所需帧长,避免分片或丢包。

延伸阅读

资料来源

资料核对:

参数、兼容性与操作步骤应结合文中引用资料、完整型号及实际软件版本核对。配图为工程示意。