2024年2月16日发(作者:松栋)
供数据中心的H3C S12510-X:性能、可扩展性和高可用性测试结果2013 年 3 月
H3C S12510-X 性能与可扩展性执行摘要H3C 委托网络测试公司 (Network Test) 验证H3C S12510-X 数据中心核心交换机的性能和可扩展性。这是迄今为止所做过的最大的公共 40G 以太网交换机测试。另一组测试涉及很大规模 10G 以太网测试。这些基准测试程序数值的亮点包括:• 迄今为止所做过的最大的公共 40G 以太网测试:128 端口,其线路速率单播吞吐量高达每秒 5 Tbit/s。• 在所有 10G 以太网测试(480 端口)中,线路速率吞吐量超出 5 Tbit/s。• 对于 128 主机和 128,000 主机,吞吐量和延迟几乎相同。• 2层交换、IPv4 和 IPv6 路由来说,延迟实际上完全相同。• 多播流量线路速率吞吐量,使用第 2 层 IGMPv3 侦听和第 3 层 PIM-SM 路由• 对以启用的许多特性和协议传送的性能无任何影响• 对损失主要组成部分的用户流量无影响,为高可用性配备多层冗余• 在改变系统映像时,无停机时间,具有在线软件升级 (ISSU)支持功能• 正确支持 TRILL 和 FCoE,两个主要协议,用于下一代数据中心网络
关于这些测试此项目中接受测试的装置是 H3C S12510-X 数据中心核心交换机。大多数 40G 以太网测试,均配备 LSX1QGS16EA 16-端口线卡。大多数 10G 以太网测试,均配备 LSX1TGS48EA 48 端口线卡。在涉及多种特性和协议的 40G 以太网测试中,我们使用了 LSX1QGS16EA 线卡和现成的 LSX1QGS12EC 12-端口线卡,具有先进的控制平面能力。这些内容在“叠加测试”一节中有详细描述。此项目的主要测试仪器是 Spirent TestCenter,配备有 HyperMetrics fX 和 HyperMetrics dX 模块,分别供 40G 以太网和 10G 以太网测试之用。所有测试均使用了多模光纤电缆,我们校准了 Spirent TestCenter,将延迟测量值减去电缆传播时间。本文档中所描述的每项测试均使用由三部分组成的结构:“为何重要”解释了在企业联网的情况下对度量标准或特性进行测试的重要性,“我们做了什么”描述了测试方法,而“我们的发现”则涵盖了测试结果。页 2
H3C S12510-X 性能与可扩展性测试结果
单播吞吐量为何重要:交换机最根本的功能就是转送流量,所有的流量,甚至于在尽可能最大负载下的流量。交换机能够在不丢失幀的情况下转送流量的速率越高,其吞吐量就越大。对于许多数据中心和基于云的应用程序,高吞吐量是唯一重要的转换要求。我们做了什么:吞吐量在RFC 1242中被定义为装置能够在不丢失幀的情况下转送所有提供的流量之最大速率,是交换机测试中的基本衡量标准。我们使用在 RFCs 2544和2889中所描述的行业标准方法。在大量的第 2 层和第 3 层性能测试中,我们全部加载了 H3C S12510-X。在对 40G 以太网的测试中,我们以线路速率向所有 128 个接口提供流量。(正如前面所提到的,这是迄今为止所做过的最大的公共 40G 以太网测试。)在对 10G 以太网的测试中,我们以线路速率向所有 480 个接口提供流量。在上述两种情况下,H3C S12510-X 均以最大数量的 40G 以太网或 10G 以太网接口予以全部加载。在所有测试中,Spirent Testcenter 发送 RFC4814 伪随机MAC地址流量。这些基准涉及全连接单播流量,意即 Spirent TestCenter 提供流量给所有端口,指定给所有其他端口。再次强调一下,此乃对交换结构最有压力的测试个案。为了涵盖所有可能的第 2 层和第 3 层测试个案,我们在八个不同的交换机配置情况下重复了单播吞吐量测试,供 40G 以太网和 10G 以太网测试:• 第 2 层模式 (1 VLAN),测试仪器仿效每端口一台主机• 第 2 层模式,每40G端口有 1,000 台主机(总共 多达 128,000 台主机)
• 第 2 层模式,每10G端口有 74 台主机(总共 多达 35,520 台主机)
• 第 3 层模式,静态路由,每端口 1 个VLAN 和 1 个IPv4 子网,每端口 1 台IPv4 主机• 第 3 层模式,静态路由,每端口有多达 253 台 IPv4 主机(总共 16,192 台主机)• 第 3 层模式,OSPFv2 路由,每端口 30 个概况 LSA(链路状态广告)(总共 14,400 路由)• 第 3 层模式,静态路由,每端口 1 个 VLAN 和 1 个 IPv6 子网,每端口 1 台 IPv6 主机• 第 3 层模式,静态路由,每端口有 10 台 IPv6 主机 (总共 4,800 台主机)• 第 3 层模式,OSPFv3 路由,每端口 15 个概况 LSA(链路状态广告)(总共 7,200 路由)对于这些测试中的每一项测试,我们均以 60 秒的网速提供单播测试流量,并使用不同尺寸的幀重复每项测试。除了在
RFC 2544(从 64 至 1,518 字节)中所指定的七种标准幀长度,我们还用 2,176字节幀(通常在数据中心处理以太网光纤通道 (FCoE) 储存流量时见到)进行测试;还使用 9,216字节巨型幀,通常用于涉及批量数据传输的应用。我们的发现在每一项吞吐量测试中,H3C S12510-X 以理论上的最大速率提供流量。在 40G 以太网和 10G 以太网的测试中,H3C S12510-X 从未丢失过幀,即使所有测试均涉及压力最大的负载。页 3
H3C S12510-X 性能与可扩展性40G 以太网吞吐量在所有 40G 以太网吞吐量测试中, H3C S12510-X 所公布的结果均完美无缺。在所有测试个案中,幀丢失均为零。图 1 显示涉及第 2 层和第 3 层 IPv4 流量的 40G 以太网单播吞吐量测试的结果。注意在涉及幀长为 1,024 字节或更大的测试中,总吞吐量超出每秒 5 Tbit/s,可能最大的速率。图1: 40G 以太网单播吞吐量,第 2 层和 IPv4 流量页 4
H3C S12510-X 性能与可扩展性图 2 显示测量 IPv6 单播吞吐量的测试结果。在此,最大幀长度增加到 78 字节以适应较大的 IPv6 报头(40 字节,比较 IPv4 的 20 字节),以及由 Spirent TestCenter 嵌入各个幀的“签字字段”以测量延迟和幀排序。谈及排序,H3C
S12510-X 在每项测试个案中均按顺序提供所有的幀。至于在第 2 层和 IPv4 吞吐量测试中,H3C S12510-X 在涉及幀长度为 1,024 字节及更长的测试中,移动 IPv6 流量的速率超过每秒 5 Tbit/s,最大可能的速率。图2: 40G 以太网单播吞吐量,IPv6 流量页 5
H3C S12510-X 性能与可扩展性10G 以太网吞吐量图 3 显示对 10G 以太网第 2 层和 IPv4 第 3 层单播吞吐量测试的结果,具有对各种尺寸幀的理论上最大速率,还显示比较。在每一项测试中,H3C S12510-X 的吞吐量相当于理论上的最大速率。对于巨型幀,该H3C S12510-X 以每秒 4.790 Tbit/s 的速率移动流量,此配置最大可能的 速率。图3: 10G 以太网单播吞吐量,第 2 层和 IPv4 流量在所有涉及 10G 以太网接口的 IPv6 测试个案中,H3C S12510-X 还提供线路速率吞吐量。图 4对 10G 以太网 IPv6 单播吞吐量测试结果的总结。页 6
H3C S12510-X 性能与可扩展性图4: 10G 以太网单播吞吐量,IPv6 流量单播延迟为何重要:在许多数据中心,延迟 – 交换机加到各个幀上的延时 – 至少如吞吐量一样重要。对于延迟涉及声音与视讯的敏感应用确实重要,延迟还成为所有实时应用的重要度量标准。在某些垂直产业,如财务服务、数据中心设计,非常注重尽可能减少延迟。我们做了什么:根据 RFC 2544 要求,我们以吞吐量速率测量延迟 – 在此个案,以线路速率 – 在所有的测试中。所有交换机均有负载对比延迟曲线,当速率接近吞吐量速率时,曲线急剧攀升。在生产网络中,使用率很少达到百分之一百,平均和最大延迟将低于从 RFC 2544 测试中得到的结果。因为我们同时测量延迟和吞吐量,所以同样的测试条件适用 – 128 40G 以太网接口或 480 10G 以太网接口 – Spirent
TestCenter 按全连接模式测试流量。页 7
H3C S12510-X 性能与可扩展性我们的发现在 40G 以太网和 10G 以太网测试中,整个测试个案的平均和最大延迟都非常一致。交换与路由测试之间以及 IPv4 和
IPv6 之间的变化极少,从而提议不管所提供的流量种类如何,延迟总是一致的。40G 以太网单播延迟图 5 显示涉及第 2 层和 IPv4 流量的 40G 以太网单播延迟测试的结果。结果在左边显示平均延迟,在右边显示最大延迟。在所有测试个案中平均和最大延迟非常一致。在将第 2 层流量移动至第 3 层,或将交换移动至 OSPF (开放式最短路径优先)路由中,无延迟处罚。事实上,每端口 1 台主机(总共 128 台)与每端口 1,000 台主机(总共 128,000 台,系统的最大值)其延迟几乎相同。换言之,当交换机处理来自其他主机的流量时,高达并包括最大可能数量的主机,而延迟却并不增加。图5: 40G 以太网单播延迟,第 2 层和 IPv4 流量页 8
H3C S12510-X 性能与可扩展性图 6 显示对涉及 IPv6 流量的 40G 以太网单播测试的结果这里也一样,在从交换至路由配置,或从一个端口一台主机到一个端口许多主机转发中,无延迟罚款。图6: 40G 以太网单播延迟,IPv6 流量页 9
H3C S12510-X 性能与可扩展性10G 以太网单播延迟图 7 显示对 10G 以太网第 2 层和 IPv4 单播延迟的测试结果。与 40G 以太网测试一样,在多个测试个案中,平均和最大延迟非常一致。这里也一样,对不同流量种类,无延迟罚款。图7: 10G 以太网单播延迟,第 2 层和 IPv4 流量页 10
H3C S12510-X 性能与可扩展性我们还对 IPv6 单播测试流量的延迟进行了测量。再次在此重复,包含全连接流量的负载,以每次测试 60 秒的时间提供给所有 480 10G 以太网交换机端口。图 8显示对 IPv6 单播延迟测试的结果,其中平均延迟在左边,最大延迟在右边。图8: 10G 以太网单播延迟,IPv6 流量多播吞吐量为何重要:IP 多播显示数据中心流量重要的增长百分比。现有用途如流化媒体增补的视频会议;财务服务行业使用的股票报价和贸易应用;搜索引擎使用的群集服务以及其他基于多播的应用。某些数据中心交换机仅处理在第 2 层环境并具有 IGMP 侦听功能的多播,而其他交换机则使用 IGMP 侦听和稀疏模式协议无关组播 (PIM-SM) 路由相结合的方法,处理第 2 层和第 3 层任务。作为一个多层次装置,H3C S12510-X 处理第 2
层和第 3 层的职责。页 11
H3C S12510-X 性能与可扩展性我们做了什么:H3C S12510-X 支持多达 2,000 个多播路由 (mroutes)。我们想要演示高多播路由可扩展性,然而我们也想显示从许多资源路由多播流量的能力(对于有许多参加者的视频会议应用这是一项主要要求)。我们还想进一步显示大量经由 H3C S12510-X 的多播复制。为了满足这些要求,我们使用 40G 以太网配置,其中 16 个端口充当运行 PIM-SM 的多播路由器,其余 112 个端口充当使用 IGMPv3 侦听功能的第 2 层交换机接口。我们还对 Spirent TestCenter 测试仪器进行了配置,以向 125 不同 IP 多播组地址提供流量。当 16 个信号传送器都向同一个 125 多播组提供流量时,交换机必须设定 2,000 多播路由。这是此类路由和交换相结合的多播路由的最大可能数量。在 10G 以太网配置中,48 个端口充当运行 PIM-SM 的多播路由器,而其余 432 个端口充当使用 IGMP 侦听功能的第 2
层交换机接口。Spirent TestCenter 向 40 个不同的 IP 多播组地址提供流量。当 48 个信号传送器都向同一个 40 多播组提供流量时,交换机必须设定 1,920 多播路由。在此再次重复,这是此类路由和交换结合中最大可能数量的多播路由。在单播性能测试中,我们提供了各种尺寸的幀,从 64 到 9,216 字节,持续时间为 60 秒,为各个测试项目测量吞吐量。我们的发现:如在单播测试中一样,H3C S12510-X 在所有吞吐量测试中以线路速率转送多播流量。我们的发现如在单播测试中一样,H3C S12510-X 在所有吞吐量测试中以线路速率转送多播流量。页 12
H3C S12510-X 性能与可扩展性40G 以太网多播吞吐量因为交换机可以将一个多播包复制到许多目的地,所以多播流量可以比总输入率高得多。个案情况确实如下:Spirent
TestCenter 仪器提供流量给 16 个入端口,然后 H3C S12510-X 将流量以线路速率转送给 112 个出口(接收器)端口。图 9 总结了供 40G 以太网测试的多播流量。在 40G 以太网环境,H3C S12510-X 以线路速率转送所有多播流量而无任何丢失,无论帧长如何。图9: 40G 以太网多播吞吐量,混合层第 2 层/第 3 层模式页 13
H3C S12510-X 性能与可扩展性10G 多播流量图 10 总结了对 10 Gbit/s 多播吞吐量测试的结果。图10: 10G 以太网多播吞吐量,混合层第 2 层/第 3 层模式多播延迟为何重要:许多多播应用对延迟高度敏感。其中有些,如视频会议,由于人体的耐受性,能够感觉到因为音频或视频质量降低而造成的些微额外延迟。在其他情况下,诸如用于财务服务行业的基于多播的报价和贸易应用,重要的收入可能就依附在每个多播包上。于是,网络架构师就注重于重新设计数据中心,以榨取出可能性最小的延迟,特别是对基于多播的应用。我们做了什么:我们在执行吞吐量测试过程中测量延迟。因为它在每一幀的进出时,均对其标记时间,Spirent TestCenter
就能够测量出每一帧的延迟时间。从这些测量中,我们就能够导出平均和最大延迟测量值。页 14
H3C S12510-X 性能与可扩展性我们的发现在 40G 以太网测试中,无论帧尺寸如何,平均和最大多播延迟总是远远低于 40 微秒。对于 1,518 字节尺寸的帧(802.3 以太网标准中最大的一种),延迟在所有情况下均远远低于 50 微秒,在 40G 以太网和
10G 以太网测试中情况均如此。的确,在所有测试中,对于尺寸为 512 字节和以下的帧,多播延迟,均远远低于 20 微秒。在 10G 以太网测试中,平均和最大多播延迟对于 2,176(FCoE-帧长)与 9,216 巨型帧来说就较长。这一结果并不令人吃惊,因为将这些长得多的帧复制到成百上千个目的地端口,是需要额外时间的。对单播延迟的告诫同样适用于多播延迟:当提供负载低于百分之百网络使用率时,延迟就将更低。行业标准的 RFC 基准为压力测试,旨在显示交换机性能的绝对局限。40G 以太网多播延迟图 11显示对 40G 以太网多播延迟测试的结果。图11: 40G 以太网多播延迟页 15
H3C S12510-X 性能与可扩展性10G 以太网多播延迟图 12 总结了对 10G 以太网多播延迟测试的结果。图12: 10G 以太网多播延迟页 16
H3C S12510-X 性能与可扩展性高可用性测试为何重要:在数据中心交换过程中,对最大正常运行时间的要求甚至于比对高性能的要求更为基本:毕竟,具有出色性能的交换机如果其部件出故障,那么其性能再好也无济于事。H3C 的数据中心交换机具有内建的多层冗余,以避免出现由于部件出故障而造成的停机 时间。此高可用性方法也扩大到 H3C 的 Comware 7 交换机软件,该软件使用模块化设计。任何一个模块出故障(例如路由后台程序)不会影响系统的其余部分。而且 Comware 7 支持在线软件升级 (ISSU),能够更换交换机映像而无需使系统脱机。此特性允许进行升级和降级,使网络管理员能够随需将映像版本向前和向后滚动。我们做了什么:我们故意造成五个主要系统部件出故障,同时提供控制和数据平面流量,此后验证用户经历零帧丢失。这些故障部件为:• 风扇框• 电源• 交换网• 主控板 (MPU)• 具有 OSPF 的 MPU 平滑重启我们重复了所有这些测试,以及 ISSU 测试,用 40G 以太网和 10G 以太网线卡,在两种情况下,机架均被插满。在风扇托架和电源测试中,我们从机架上拆下然后重新插入这些部件。在交换结构和 MPU 测试中,我们从命令行重启这些部件,迫使故障转移至一冗余部件。另外,我们升级和降级 Comware 交换机软件,再次同时从 Spirent TestCenter 测试仪器中提供流量,然后验证零帧丢失。在用于 ISSU 测试的两种版本的 Comware 软件中,一种版本软件支持 BGP 路由而另一种则不支持。我们使用两种检验方法,在 Comware 命令行验证升级和降级:我们检验了版本号,也试图执行 BGP 命令。我们的发现H3C S12510-X 在任一高可用性测试中,均未丢失过帧,皆用 10G 以太网和 40G 以太网线卡。在所有测试中,任一部件故障 – 无论是风扇托架、电源、交换结构、MPU 或 OSPF (开放式最短路径优先)程序 – 均未造成帧丢失。另外,H3C S12510-X 在线软件升级和降级取得成功,并再次用 40G 以太网和 10G 以太网线卡。简言之,在任一高可用性测试中,用户的控制或数据平面流量均未受到中断。页 17
H3C S12510-X 性能与可扩展性数据中心的新方向:TRILL 和 FCoE
众多链接的透明互连 (TRILL)为何重要:TRILL,如RFC 6325所描述,增强企业网的可靠性和可扩展性。作为对传统的生成树协议 (STP) 的替代,TRILL
在故障周围提供比 STP 更快的会聚,将链路状态路由带至第 2 层网络。TRILL 的 “active-active”设计与 STP(屏蔽双绞线)的“active-passive”方法相比,大大地增加带宽,而 STP (屏蔽双绞线)端口总是有一半处于阻塞状态。TRILL 能够约束第 2 层广播域,对云及虚拟化应用是一项重要的考量。TRILL 的混合路由桥,又称 “RBridges”,允许成千上万个虚拟机在单一第 2 层域内迁移而不受广播风暴的 威胁。我们做了什么:我们的目标是验证 H3C 交换机在由核心和接入交换机组成的 TRILL 网络内转送单播和多播流量的能力。我们最初构造的测试平台,其中 H3C S12510-X 和 H3C S10508-V 交换机充当 TRILL 核心,而 H3C 5800v2 交换机充当
TRILL 接入交换机。图 13 显示此“核心”配置。
图13: H3C TRILL 测试平台页 18
H3C S12510-X 性能与可扩展性仿效连着的主机,Spirent TestCenter 提供流量给 VLANs 1000 和 1001内的接入交换机,同时核心交换机使用 VLAN
3000 转送流量。 我们在交换机之间配置了 VLAN 中继端口,仅转送来自 VLAN 3000 的流量,迫使所有交换机在 VLAN
之间路由。我们还验证了所有交换机均能够作为 TRILL 邻居从其他交换机上进行查看。为了验证 TRILL 网络转送单播流量的能力,我们提供双向流量给 VLANs 1000 和 1001 内的接入交换机。然后我们用多播流量重复测试,其中发射机附着在一个接入交换机上,而接收器附着在另一个接入交换机上。我们还验证多播流量并不因为仅在接入 VLAN 中的选定端口预订多播组而被淹没。多播测试结束之后,我们验证 TRILL 网络并未将多播流量转送至多播组的非会员。最后,我们重复单播和多播测试,其中 H3C S12510-X 充当接入交换机而非核心交换机。
我们的发现运行 TRILL 的 H3C交换机在单播和多播测试情况中,递送所有流量而毫无帧丢失。而且,在多播测试中,TRILL 网络并未将流量洪泛至非预期的目的地。最后,H3C S12510-X 在 TRILL 核心和切入角色中,起到同样良好的作用。页 19
H3C S12510-X 性能与可扩展性以太网光纤通道 (FCoE)为何重要:FCoE 使能的交换机能够将先前的存储网络流量与 LAN 流量一起结合进单一网络。聚合的网络提供资本支出和运营成本利益;需要购买较少的设备,以及以太网比专用储存网络易于维护和运行。FCoE,压缩在以太网帧内的光纤通道流量,还保护储存流量免遭延迟变化(抖动)和帧丢失,虽然有新东西添加进以太网。这些添加包括基于优先级的流量控制(PFC,描述见 IEEE specification 802.1Qbb );增强的传输选择 (ETS,描述见
IEEE specification 802.1Qaz);以及 data center bridging extensions (DCBX) 和逻辑链接发现协议 (LLDP)。我们做了什么:我们的目标是验证 H3C S12510-X 登录进 FCoE 光纤的能力;使用 FCoE 网络在特殊的虚拟储存区域网
(VSAN) 内转送流量;登出光纤通道;以及验证在登出光纤通道后,不能转送流量。我们构建了一个测试平台,其中 H3C S12510-X 的接口充当 FCoE 光纤端口 (VF_Ports)。Spirent TestCenter 模拟 FCoE
储存目标,用其接口充当 VN_Ports。为了演示 FCoE 在 H3C 交换机之间的互操作性,我们在测试平台上使用了 H3C S12510-X 和 H3C S10508-V 重复了测试。于此,我们在交换机之间配置了接口以充当 VE_Ports。图 14 显示供单一交换机和双交换机测试的 FCoE 测试平台。图14: 用一台或两台交换机的 FCoE 测试平台页 20
H3C S12510-X 性能与可扩展性我们的发现H3C S12510-X 成功演示了 FCoE 支持并正确递送以太网主干网上的储 存流量。H3C S12510-X 还与 H3C S10508-V 进行互操作并演示相同、完全的 FCoE 支持。在此重申,交换机正确转送预期的流量。叠加测试为何重要:虽然迄今为止所描述的基准在描述系统性能局限方面做出了出色的成绩,但是设计时的企图是一次测量一种度量标准或协议。在生产网络中,交换机同时做多项工作:它们转送单播和多播流量。它们可能处理 IPv4 和 IPv6 流量。以太网 MAC 和 IP 路由表可能在或接近它们极限的情况下操作。可能有 ACL (访问控制列表)到位供安全使用,以及 sFlow 启动供连网监控。大于描述系统对任何给定协议的限制,验证交换机能够处理许多同时发生的任务而性能无降级情况发生,也是十分重要的。我们做了什么:我们启动多项协议和特性,并且在 H3C 的 40G 以太网线卡上运行吞吐量测试,以决定有无帧丢失情况的发生。在这些测试中,我们对 Spirent TestCenter 进行了配置,提供路由和交换流量,将推动控制平面性能的所有极限。除了广告最大数量的 OSPFv2 和 OSPFv3 路由外,我们还充分装载了多播路由和 IGMP 侦听表。我们还装载了所支持的最大数量的 ACL(访问控制列表)并启动 sFlow 监控。我们用两个不同的 40G 以太网线路接口运行这些测试:• 如此处描述的大多数测试,用了 16 端口 H3C LSX1QGS16EA 40G 以太网线路接口。• 用来现有的 12-端口 H3C LSX1QGS12EC 线路接口。这是先进的版本,将支持更多的 ACL(访问控制列表)和大得多的单播和多播路由表。下表比较用于测试的属性,其中所有属性均为有效的。注意具有 LSX1QGS12EC,尺寸大得多的路由、ARP(地址解析协议)和邻居发现表。即使非常大的服务提供商网络也很少超出 50,000 OSPF(开放式最短路径优先)路由,更不必说 255,600 网络。属性总40G QSFP+ 端口OSPFv2 总结 LSA(链路状态广告)OSPFv3 内区 LSA(链路状态广告)ACL(访问控制列表)IPv4 主机IPv6 主机IGMPv3 多播组sFlow 监控LSX1QGS16EA1289,9842,280500 每端口有1291292,000启动LSX1QGS12EC24255,60055,2004,000 每端口有16,3819962,000启动页 21
H3C S12510-X 性能与可扩展性当所有特性均被启动时,我们对 Spirent TestCenter 进行了配置以提供下列流量等级综合包:• 以线路速率 80% 运行的 IPv4 单播• 以线路速率 10% 运行的 IPv6 单播• 以线路速率 10% 运行的 IPv4 单播加在一起,这三个等级提供给所有接口最大的负载。如其他地方所描述的吞吐量和延迟,OSPF(开放式最短路径优先)流量发往所有通告的summary路由。我们在 60 秒的持续时间内,提供长度最短的帧(64 字节供 IPv4 单播和多播,以及 78 字节供 IPv6 单播)。每次测试后,我们检查帧传输和接收数,以判断交换机是否丢失任何流量。我们的发现即使多协议和特性启动,在控制和数据平面可扩展性的限制内,H3C S12510-X 在高负载的情况下未丢失任何帧。这些测试证明 H3C 线路接口在生产环境中处理交换机所执行的许多任务的能力,同时仍旧毫无丢失地转送所有流量页 22
H3C S12510-X 性能与可扩展性总结在其中最大的公共 40G 以太网交换机测试中,以线路速率超过 5 Tbit/s 取得吞吐量,对其本身是重大的成果 – 然而
H3C S12510-X 在这套基准中远远超过这点。此数据中心核心交换机已证明对于任何种类的单播流量,无论是第 2 层以太网、IPv4 或 IPv6,在转送性能或延迟方面毫无区别。而且吞吐量和延迟是几乎相同的,不管其是 H3C S12510-X 交换的流量,或者是将其路由至在 OSPF 上受支持的最大数量路由。H3C S12510-X 在处理多播流量时,也提供有能力的执行者。当以或接近其最大多播路由数运行时,H3C S12510-X 在所有测试中均递送线路速率吞吐量。高可用性测试验证在 H3C S12510-X 中的多层冗余,确保用户的流量不会在一旦一个或多个系统部件故障时被中断。并且,在线软件升级 (ISSU) 支持工作情况正如预期;我们能够升级和降级系统映像而对用户流量并无干扰。TRILL 和 FCoE 在数据中心的重要性正日趋增长,H3C S12510-X 处理这两项协议得心应手。测试验证了 TRILL 网络能够按照预期要求转送单播和多播流量,而无帧丢失。在融合储存/数据联网领域,H3C S12510-X 登录进储存光纤并如期转送
FCoE 流量,也无帧丢失。基准测试一般不时孤立一项协议并压力测试该协议,然而我们远远超过这点。我们一次启动许多特性进行全套最终测试。在路由和交换启动,ACLs 和 sFlow 监控到位的情况下,我们提供交换和路由流量、单播和多播流量以及 IPv4 和 IPv6 的复杂结合。我们做所有这一切同时使交换控制平面受制于其最大极限。即使按 40G 以太网速率,H3C 仍旧毫无丢失地转送所有流量。设计下一代数据中心的架构师,需要证明联网设备能够处理前所未有的性能和可扩展性方面的挑战。这些测试结果有助于证明 H3C S12510-X 有能力经受当今的流量负载及今后的流量负载。
页 23
H3C S12510-X 性能与可扩展性附录 A:关于网络测试网络测试 (Network Test) 是独立的第三方测试实验室及工程服务咨询公司。我们的核心能力是对联网设备和实况网络的性能、安全和符合性进行评估。我们的客户包括设备制造商、大企业、服务提供商、产业联盟和行业出版物。
附录 B:硬件和软件版本测试此附录描述了用于此测试平台的软件版本。Network Test 公司于 2012 年 11 月和 12 月在中国北京华三通信技术公司
(H3C) 的实验室进行了所有的基准测试。部件H3C S12510-XSpirent TestCenter版本Comware 7.1.035, 0005版;Comware 7.1.037, 0006 版(仅供 ISSU 测试用)4.11.0156.000附录 C:免责声明Network Test Inc. 已竭尽全力确保所有测试程序均以极大的精确度与准确度进行,但承认错误在所难免。Network Test
Inc. 对使用本文档内信息而导致的损坏不承担责任。本文档内提及的所有商标分别为各个拥有人的财产。2013031500 版本。© Network Test Inc 2013 年版权所有。保留一切权利。Network Test Inc.31324 Via Colinas, Suite 113 • Westlake Village, CA 91362-6761 • USA+1-818-889-0011 • • info@
2024年2月16日发(作者:松栋)
供数据中心的H3C S12510-X:性能、可扩展性和高可用性测试结果2013 年 3 月
H3C S12510-X 性能与可扩展性执行摘要H3C 委托网络测试公司 (Network Test) 验证H3C S12510-X 数据中心核心交换机的性能和可扩展性。这是迄今为止所做过的最大的公共 40G 以太网交换机测试。另一组测试涉及很大规模 10G 以太网测试。这些基准测试程序数值的亮点包括:• 迄今为止所做过的最大的公共 40G 以太网测试:128 端口,其线路速率单播吞吐量高达每秒 5 Tbit/s。• 在所有 10G 以太网测试(480 端口)中,线路速率吞吐量超出 5 Tbit/s。• 对于 128 主机和 128,000 主机,吞吐量和延迟几乎相同。• 2层交换、IPv4 和 IPv6 路由来说,延迟实际上完全相同。• 多播流量线路速率吞吐量,使用第 2 层 IGMPv3 侦听和第 3 层 PIM-SM 路由• 对以启用的许多特性和协议传送的性能无任何影响• 对损失主要组成部分的用户流量无影响,为高可用性配备多层冗余• 在改变系统映像时,无停机时间,具有在线软件升级 (ISSU)支持功能• 正确支持 TRILL 和 FCoE,两个主要协议,用于下一代数据中心网络
关于这些测试此项目中接受测试的装置是 H3C S12510-X 数据中心核心交换机。大多数 40G 以太网测试,均配备 LSX1QGS16EA 16-端口线卡。大多数 10G 以太网测试,均配备 LSX1TGS48EA 48 端口线卡。在涉及多种特性和协议的 40G 以太网测试中,我们使用了 LSX1QGS16EA 线卡和现成的 LSX1QGS12EC 12-端口线卡,具有先进的控制平面能力。这些内容在“叠加测试”一节中有详细描述。此项目的主要测试仪器是 Spirent TestCenter,配备有 HyperMetrics fX 和 HyperMetrics dX 模块,分别供 40G 以太网和 10G 以太网测试之用。所有测试均使用了多模光纤电缆,我们校准了 Spirent TestCenter,将延迟测量值减去电缆传播时间。本文档中所描述的每项测试均使用由三部分组成的结构:“为何重要”解释了在企业联网的情况下对度量标准或特性进行测试的重要性,“我们做了什么”描述了测试方法,而“我们的发现”则涵盖了测试结果。页 2
H3C S12510-X 性能与可扩展性测试结果
单播吞吐量为何重要:交换机最根本的功能就是转送流量,所有的流量,甚至于在尽可能最大负载下的流量。交换机能够在不丢失幀的情况下转送流量的速率越高,其吞吐量就越大。对于许多数据中心和基于云的应用程序,高吞吐量是唯一重要的转换要求。我们做了什么:吞吐量在RFC 1242中被定义为装置能够在不丢失幀的情况下转送所有提供的流量之最大速率,是交换机测试中的基本衡量标准。我们使用在 RFCs 2544和2889中所描述的行业标准方法。在大量的第 2 层和第 3 层性能测试中,我们全部加载了 H3C S12510-X。在对 40G 以太网的测试中,我们以线路速率向所有 128 个接口提供流量。(正如前面所提到的,这是迄今为止所做过的最大的公共 40G 以太网测试。)在对 10G 以太网的测试中,我们以线路速率向所有 480 个接口提供流量。在上述两种情况下,H3C S12510-X 均以最大数量的 40G 以太网或 10G 以太网接口予以全部加载。在所有测试中,Spirent Testcenter 发送 RFC4814 伪随机MAC地址流量。这些基准涉及全连接单播流量,意即 Spirent TestCenter 提供流量给所有端口,指定给所有其他端口。再次强调一下,此乃对交换结构最有压力的测试个案。为了涵盖所有可能的第 2 层和第 3 层测试个案,我们在八个不同的交换机配置情况下重复了单播吞吐量测试,供 40G 以太网和 10G 以太网测试:• 第 2 层模式 (1 VLAN),测试仪器仿效每端口一台主机• 第 2 层模式,每40G端口有 1,000 台主机(总共 多达 128,000 台主机)
• 第 2 层模式,每10G端口有 74 台主机(总共 多达 35,520 台主机)
• 第 3 层模式,静态路由,每端口 1 个VLAN 和 1 个IPv4 子网,每端口 1 台IPv4 主机• 第 3 层模式,静态路由,每端口有多达 253 台 IPv4 主机(总共 16,192 台主机)• 第 3 层模式,OSPFv2 路由,每端口 30 个概况 LSA(链路状态广告)(总共 14,400 路由)• 第 3 层模式,静态路由,每端口 1 个 VLAN 和 1 个 IPv6 子网,每端口 1 台 IPv6 主机• 第 3 层模式,静态路由,每端口有 10 台 IPv6 主机 (总共 4,800 台主机)• 第 3 层模式,OSPFv3 路由,每端口 15 个概况 LSA(链路状态广告)(总共 7,200 路由)对于这些测试中的每一项测试,我们均以 60 秒的网速提供单播测试流量,并使用不同尺寸的幀重复每项测试。除了在
RFC 2544(从 64 至 1,518 字节)中所指定的七种标准幀长度,我们还用 2,176字节幀(通常在数据中心处理以太网光纤通道 (FCoE) 储存流量时见到)进行测试;还使用 9,216字节巨型幀,通常用于涉及批量数据传输的应用。我们的发现在每一项吞吐量测试中,H3C S12510-X 以理论上的最大速率提供流量。在 40G 以太网和 10G 以太网的测试中,H3C S12510-X 从未丢失过幀,即使所有测试均涉及压力最大的负载。页 3
H3C S12510-X 性能与可扩展性40G 以太网吞吐量在所有 40G 以太网吞吐量测试中, H3C S12510-X 所公布的结果均完美无缺。在所有测试个案中,幀丢失均为零。图 1 显示涉及第 2 层和第 3 层 IPv4 流量的 40G 以太网单播吞吐量测试的结果。注意在涉及幀长为 1,024 字节或更大的测试中,总吞吐量超出每秒 5 Tbit/s,可能最大的速率。图1: 40G 以太网单播吞吐量,第 2 层和 IPv4 流量页 4
H3C S12510-X 性能与可扩展性图 2 显示测量 IPv6 单播吞吐量的测试结果。在此,最大幀长度增加到 78 字节以适应较大的 IPv6 报头(40 字节,比较 IPv4 的 20 字节),以及由 Spirent TestCenter 嵌入各个幀的“签字字段”以测量延迟和幀排序。谈及排序,H3C
S12510-X 在每项测试个案中均按顺序提供所有的幀。至于在第 2 层和 IPv4 吞吐量测试中,H3C S12510-X 在涉及幀长度为 1,024 字节及更长的测试中,移动 IPv6 流量的速率超过每秒 5 Tbit/s,最大可能的速率。图2: 40G 以太网单播吞吐量,IPv6 流量页 5
H3C S12510-X 性能与可扩展性10G 以太网吞吐量图 3 显示对 10G 以太网第 2 层和 IPv4 第 3 层单播吞吐量测试的结果,具有对各种尺寸幀的理论上最大速率,还显示比较。在每一项测试中,H3C S12510-X 的吞吐量相当于理论上的最大速率。对于巨型幀,该H3C S12510-X 以每秒 4.790 Tbit/s 的速率移动流量,此配置最大可能的 速率。图3: 10G 以太网单播吞吐量,第 2 层和 IPv4 流量在所有涉及 10G 以太网接口的 IPv6 测试个案中,H3C S12510-X 还提供线路速率吞吐量。图 4对 10G 以太网 IPv6 单播吞吐量测试结果的总结。页 6
H3C S12510-X 性能与可扩展性图4: 10G 以太网单播吞吐量,IPv6 流量单播延迟为何重要:在许多数据中心,延迟 – 交换机加到各个幀上的延时 – 至少如吞吐量一样重要。对于延迟涉及声音与视讯的敏感应用确实重要,延迟还成为所有实时应用的重要度量标准。在某些垂直产业,如财务服务、数据中心设计,非常注重尽可能减少延迟。我们做了什么:根据 RFC 2544 要求,我们以吞吐量速率测量延迟 – 在此个案,以线路速率 – 在所有的测试中。所有交换机均有负载对比延迟曲线,当速率接近吞吐量速率时,曲线急剧攀升。在生产网络中,使用率很少达到百分之一百,平均和最大延迟将低于从 RFC 2544 测试中得到的结果。因为我们同时测量延迟和吞吐量,所以同样的测试条件适用 – 128 40G 以太网接口或 480 10G 以太网接口 – Spirent
TestCenter 按全连接模式测试流量。页 7
H3C S12510-X 性能与可扩展性我们的发现在 40G 以太网和 10G 以太网测试中,整个测试个案的平均和最大延迟都非常一致。交换与路由测试之间以及 IPv4 和
IPv6 之间的变化极少,从而提议不管所提供的流量种类如何,延迟总是一致的。40G 以太网单播延迟图 5 显示涉及第 2 层和 IPv4 流量的 40G 以太网单播延迟测试的结果。结果在左边显示平均延迟,在右边显示最大延迟。在所有测试个案中平均和最大延迟非常一致。在将第 2 层流量移动至第 3 层,或将交换移动至 OSPF (开放式最短路径优先)路由中,无延迟处罚。事实上,每端口 1 台主机(总共 128 台)与每端口 1,000 台主机(总共 128,000 台,系统的最大值)其延迟几乎相同。换言之,当交换机处理来自其他主机的流量时,高达并包括最大可能数量的主机,而延迟却并不增加。图5: 40G 以太网单播延迟,第 2 层和 IPv4 流量页 8
H3C S12510-X 性能与可扩展性图 6 显示对涉及 IPv6 流量的 40G 以太网单播测试的结果这里也一样,在从交换至路由配置,或从一个端口一台主机到一个端口许多主机转发中,无延迟罚款。图6: 40G 以太网单播延迟,IPv6 流量页 9
H3C S12510-X 性能与可扩展性10G 以太网单播延迟图 7 显示对 10G 以太网第 2 层和 IPv4 单播延迟的测试结果。与 40G 以太网测试一样,在多个测试个案中,平均和最大延迟非常一致。这里也一样,对不同流量种类,无延迟罚款。图7: 10G 以太网单播延迟,第 2 层和 IPv4 流量页 10
H3C S12510-X 性能与可扩展性我们还对 IPv6 单播测试流量的延迟进行了测量。再次在此重复,包含全连接流量的负载,以每次测试 60 秒的时间提供给所有 480 10G 以太网交换机端口。图 8显示对 IPv6 单播延迟测试的结果,其中平均延迟在左边,最大延迟在右边。图8: 10G 以太网单播延迟,IPv6 流量多播吞吐量为何重要:IP 多播显示数据中心流量重要的增长百分比。现有用途如流化媒体增补的视频会议;财务服务行业使用的股票报价和贸易应用;搜索引擎使用的群集服务以及其他基于多播的应用。某些数据中心交换机仅处理在第 2 层环境并具有 IGMP 侦听功能的多播,而其他交换机则使用 IGMP 侦听和稀疏模式协议无关组播 (PIM-SM) 路由相结合的方法,处理第 2 层和第 3 层任务。作为一个多层次装置,H3C S12510-X 处理第 2
层和第 3 层的职责。页 11
H3C S12510-X 性能与可扩展性我们做了什么:H3C S12510-X 支持多达 2,000 个多播路由 (mroutes)。我们想要演示高多播路由可扩展性,然而我们也想显示从许多资源路由多播流量的能力(对于有许多参加者的视频会议应用这是一项主要要求)。我们还想进一步显示大量经由 H3C S12510-X 的多播复制。为了满足这些要求,我们使用 40G 以太网配置,其中 16 个端口充当运行 PIM-SM 的多播路由器,其余 112 个端口充当使用 IGMPv3 侦听功能的第 2 层交换机接口。我们还对 Spirent TestCenter 测试仪器进行了配置,以向 125 不同 IP 多播组地址提供流量。当 16 个信号传送器都向同一个 125 多播组提供流量时,交换机必须设定 2,000 多播路由。这是此类路由和交换相结合的多播路由的最大可能数量。在 10G 以太网配置中,48 个端口充当运行 PIM-SM 的多播路由器,而其余 432 个端口充当使用 IGMP 侦听功能的第 2
层交换机接口。Spirent TestCenter 向 40 个不同的 IP 多播组地址提供流量。当 48 个信号传送器都向同一个 40 多播组提供流量时,交换机必须设定 1,920 多播路由。在此再次重复,这是此类路由和交换结合中最大可能数量的多播路由。在单播性能测试中,我们提供了各种尺寸的幀,从 64 到 9,216 字节,持续时间为 60 秒,为各个测试项目测量吞吐量。我们的发现:如在单播测试中一样,H3C S12510-X 在所有吞吐量测试中以线路速率转送多播流量。我们的发现如在单播测试中一样,H3C S12510-X 在所有吞吐量测试中以线路速率转送多播流量。页 12
H3C S12510-X 性能与可扩展性40G 以太网多播吞吐量因为交换机可以将一个多播包复制到许多目的地,所以多播流量可以比总输入率高得多。个案情况确实如下:Spirent
TestCenter 仪器提供流量给 16 个入端口,然后 H3C S12510-X 将流量以线路速率转送给 112 个出口(接收器)端口。图 9 总结了供 40G 以太网测试的多播流量。在 40G 以太网环境,H3C S12510-X 以线路速率转送所有多播流量而无任何丢失,无论帧长如何。图9: 40G 以太网多播吞吐量,混合层第 2 层/第 3 层模式页 13
H3C S12510-X 性能与可扩展性10G 多播流量图 10 总结了对 10 Gbit/s 多播吞吐量测试的结果。图10: 10G 以太网多播吞吐量,混合层第 2 层/第 3 层模式多播延迟为何重要:许多多播应用对延迟高度敏感。其中有些,如视频会议,由于人体的耐受性,能够感觉到因为音频或视频质量降低而造成的些微额外延迟。在其他情况下,诸如用于财务服务行业的基于多播的报价和贸易应用,重要的收入可能就依附在每个多播包上。于是,网络架构师就注重于重新设计数据中心,以榨取出可能性最小的延迟,特别是对基于多播的应用。我们做了什么:我们在执行吞吐量测试过程中测量延迟。因为它在每一幀的进出时,均对其标记时间,Spirent TestCenter
就能够测量出每一帧的延迟时间。从这些测量中,我们就能够导出平均和最大延迟测量值。页 14
H3C S12510-X 性能与可扩展性我们的发现在 40G 以太网测试中,无论帧尺寸如何,平均和最大多播延迟总是远远低于 40 微秒。对于 1,518 字节尺寸的帧(802.3 以太网标准中最大的一种),延迟在所有情况下均远远低于 50 微秒,在 40G 以太网和
10G 以太网测试中情况均如此。的确,在所有测试中,对于尺寸为 512 字节和以下的帧,多播延迟,均远远低于 20 微秒。在 10G 以太网测试中,平均和最大多播延迟对于 2,176(FCoE-帧长)与 9,216 巨型帧来说就较长。这一结果并不令人吃惊,因为将这些长得多的帧复制到成百上千个目的地端口,是需要额外时间的。对单播延迟的告诫同样适用于多播延迟:当提供负载低于百分之百网络使用率时,延迟就将更低。行业标准的 RFC 基准为压力测试,旨在显示交换机性能的绝对局限。40G 以太网多播延迟图 11显示对 40G 以太网多播延迟测试的结果。图11: 40G 以太网多播延迟页 15
H3C S12510-X 性能与可扩展性10G 以太网多播延迟图 12 总结了对 10G 以太网多播延迟测试的结果。图12: 10G 以太网多播延迟页 16
H3C S12510-X 性能与可扩展性高可用性测试为何重要:在数据中心交换过程中,对最大正常运行时间的要求甚至于比对高性能的要求更为基本:毕竟,具有出色性能的交换机如果其部件出故障,那么其性能再好也无济于事。H3C 的数据中心交换机具有内建的多层冗余,以避免出现由于部件出故障而造成的停机 时间。此高可用性方法也扩大到 H3C 的 Comware 7 交换机软件,该软件使用模块化设计。任何一个模块出故障(例如路由后台程序)不会影响系统的其余部分。而且 Comware 7 支持在线软件升级 (ISSU),能够更换交换机映像而无需使系统脱机。此特性允许进行升级和降级,使网络管理员能够随需将映像版本向前和向后滚动。我们做了什么:我们故意造成五个主要系统部件出故障,同时提供控制和数据平面流量,此后验证用户经历零帧丢失。这些故障部件为:• 风扇框• 电源• 交换网• 主控板 (MPU)• 具有 OSPF 的 MPU 平滑重启我们重复了所有这些测试,以及 ISSU 测试,用 40G 以太网和 10G 以太网线卡,在两种情况下,机架均被插满。在风扇托架和电源测试中,我们从机架上拆下然后重新插入这些部件。在交换结构和 MPU 测试中,我们从命令行重启这些部件,迫使故障转移至一冗余部件。另外,我们升级和降级 Comware 交换机软件,再次同时从 Spirent TestCenter 测试仪器中提供流量,然后验证零帧丢失。在用于 ISSU 测试的两种版本的 Comware 软件中,一种版本软件支持 BGP 路由而另一种则不支持。我们使用两种检验方法,在 Comware 命令行验证升级和降级:我们检验了版本号,也试图执行 BGP 命令。我们的发现H3C S12510-X 在任一高可用性测试中,均未丢失过帧,皆用 10G 以太网和 40G 以太网线卡。在所有测试中,任一部件故障 – 无论是风扇托架、电源、交换结构、MPU 或 OSPF (开放式最短路径优先)程序 – 均未造成帧丢失。另外,H3C S12510-X 在线软件升级和降级取得成功,并再次用 40G 以太网和 10G 以太网线卡。简言之,在任一高可用性测试中,用户的控制或数据平面流量均未受到中断。页 17
H3C S12510-X 性能与可扩展性数据中心的新方向:TRILL 和 FCoE
众多链接的透明互连 (TRILL)为何重要:TRILL,如RFC 6325所描述,增强企业网的可靠性和可扩展性。作为对传统的生成树协议 (STP) 的替代,TRILL
在故障周围提供比 STP 更快的会聚,将链路状态路由带至第 2 层网络。TRILL 的 “active-active”设计与 STP(屏蔽双绞线)的“active-passive”方法相比,大大地增加带宽,而 STP (屏蔽双绞线)端口总是有一半处于阻塞状态。TRILL 能够约束第 2 层广播域,对云及虚拟化应用是一项重要的考量。TRILL 的混合路由桥,又称 “RBridges”,允许成千上万个虚拟机在单一第 2 层域内迁移而不受广播风暴的 威胁。我们做了什么:我们的目标是验证 H3C 交换机在由核心和接入交换机组成的 TRILL 网络内转送单播和多播流量的能力。我们最初构造的测试平台,其中 H3C S12510-X 和 H3C S10508-V 交换机充当 TRILL 核心,而 H3C 5800v2 交换机充当
TRILL 接入交换机。图 13 显示此“核心”配置。
图13: H3C TRILL 测试平台页 18
H3C S12510-X 性能与可扩展性仿效连着的主机,Spirent TestCenter 提供流量给 VLANs 1000 和 1001内的接入交换机,同时核心交换机使用 VLAN
3000 转送流量。 我们在交换机之间配置了 VLAN 中继端口,仅转送来自 VLAN 3000 的流量,迫使所有交换机在 VLAN
之间路由。我们还验证了所有交换机均能够作为 TRILL 邻居从其他交换机上进行查看。为了验证 TRILL 网络转送单播流量的能力,我们提供双向流量给 VLANs 1000 和 1001 内的接入交换机。然后我们用多播流量重复测试,其中发射机附着在一个接入交换机上,而接收器附着在另一个接入交换机上。我们还验证多播流量并不因为仅在接入 VLAN 中的选定端口预订多播组而被淹没。多播测试结束之后,我们验证 TRILL 网络并未将多播流量转送至多播组的非会员。最后,我们重复单播和多播测试,其中 H3C S12510-X 充当接入交换机而非核心交换机。
我们的发现运行 TRILL 的 H3C交换机在单播和多播测试情况中,递送所有流量而毫无帧丢失。而且,在多播测试中,TRILL 网络并未将流量洪泛至非预期的目的地。最后,H3C S12510-X 在 TRILL 核心和切入角色中,起到同样良好的作用。页 19
H3C S12510-X 性能与可扩展性以太网光纤通道 (FCoE)为何重要:FCoE 使能的交换机能够将先前的存储网络流量与 LAN 流量一起结合进单一网络。聚合的网络提供资本支出和运营成本利益;需要购买较少的设备,以及以太网比专用储存网络易于维护和运行。FCoE,压缩在以太网帧内的光纤通道流量,还保护储存流量免遭延迟变化(抖动)和帧丢失,虽然有新东西添加进以太网。这些添加包括基于优先级的流量控制(PFC,描述见 IEEE specification 802.1Qbb );增强的传输选择 (ETS,描述见
IEEE specification 802.1Qaz);以及 data center bridging extensions (DCBX) 和逻辑链接发现协议 (LLDP)。我们做了什么:我们的目标是验证 H3C S12510-X 登录进 FCoE 光纤的能力;使用 FCoE 网络在特殊的虚拟储存区域网
(VSAN) 内转送流量;登出光纤通道;以及验证在登出光纤通道后,不能转送流量。我们构建了一个测试平台,其中 H3C S12510-X 的接口充当 FCoE 光纤端口 (VF_Ports)。Spirent TestCenter 模拟 FCoE
储存目标,用其接口充当 VN_Ports。为了演示 FCoE 在 H3C 交换机之间的互操作性,我们在测试平台上使用了 H3C S12510-X 和 H3C S10508-V 重复了测试。于此,我们在交换机之间配置了接口以充当 VE_Ports。图 14 显示供单一交换机和双交换机测试的 FCoE 测试平台。图14: 用一台或两台交换机的 FCoE 测试平台页 20
H3C S12510-X 性能与可扩展性我们的发现H3C S12510-X 成功演示了 FCoE 支持并正确递送以太网主干网上的储 存流量。H3C S12510-X 还与 H3C S10508-V 进行互操作并演示相同、完全的 FCoE 支持。在此重申,交换机正确转送预期的流量。叠加测试为何重要:虽然迄今为止所描述的基准在描述系统性能局限方面做出了出色的成绩,但是设计时的企图是一次测量一种度量标准或协议。在生产网络中,交换机同时做多项工作:它们转送单播和多播流量。它们可能处理 IPv4 和 IPv6 流量。以太网 MAC 和 IP 路由表可能在或接近它们极限的情况下操作。可能有 ACL (访问控制列表)到位供安全使用,以及 sFlow 启动供连网监控。大于描述系统对任何给定协议的限制,验证交换机能够处理许多同时发生的任务而性能无降级情况发生,也是十分重要的。我们做了什么:我们启动多项协议和特性,并且在 H3C 的 40G 以太网线卡上运行吞吐量测试,以决定有无帧丢失情况的发生。在这些测试中,我们对 Spirent TestCenter 进行了配置,提供路由和交换流量,将推动控制平面性能的所有极限。除了广告最大数量的 OSPFv2 和 OSPFv3 路由外,我们还充分装载了多播路由和 IGMP 侦听表。我们还装载了所支持的最大数量的 ACL(访问控制列表)并启动 sFlow 监控。我们用两个不同的 40G 以太网线路接口运行这些测试:• 如此处描述的大多数测试,用了 16 端口 H3C LSX1QGS16EA 40G 以太网线路接口。• 用来现有的 12-端口 H3C LSX1QGS12EC 线路接口。这是先进的版本,将支持更多的 ACL(访问控制列表)和大得多的单播和多播路由表。下表比较用于测试的属性,其中所有属性均为有效的。注意具有 LSX1QGS12EC,尺寸大得多的路由、ARP(地址解析协议)和邻居发现表。即使非常大的服务提供商网络也很少超出 50,000 OSPF(开放式最短路径优先)路由,更不必说 255,600 网络。属性总40G QSFP+ 端口OSPFv2 总结 LSA(链路状态广告)OSPFv3 内区 LSA(链路状态广告)ACL(访问控制列表)IPv4 主机IPv6 主机IGMPv3 多播组sFlow 监控LSX1QGS16EA1289,9842,280500 每端口有1291292,000启动LSX1QGS12EC24255,60055,2004,000 每端口有16,3819962,000启动页 21
H3C S12510-X 性能与可扩展性当所有特性均被启动时,我们对 Spirent TestCenter 进行了配置以提供下列流量等级综合包:• 以线路速率 80% 运行的 IPv4 单播• 以线路速率 10% 运行的 IPv6 单播• 以线路速率 10% 运行的 IPv4 单播加在一起,这三个等级提供给所有接口最大的负载。如其他地方所描述的吞吐量和延迟,OSPF(开放式最短路径优先)流量发往所有通告的summary路由。我们在 60 秒的持续时间内,提供长度最短的帧(64 字节供 IPv4 单播和多播,以及 78 字节供 IPv6 单播)。每次测试后,我们检查帧传输和接收数,以判断交换机是否丢失任何流量。我们的发现即使多协议和特性启动,在控制和数据平面可扩展性的限制内,H3C S12510-X 在高负载的情况下未丢失任何帧。这些测试证明 H3C 线路接口在生产环境中处理交换机所执行的许多任务的能力,同时仍旧毫无丢失地转送所有流量页 22
H3C S12510-X 性能与可扩展性总结在其中最大的公共 40G 以太网交换机测试中,以线路速率超过 5 Tbit/s 取得吞吐量,对其本身是重大的成果 – 然而
H3C S12510-X 在这套基准中远远超过这点。此数据中心核心交换机已证明对于任何种类的单播流量,无论是第 2 层以太网、IPv4 或 IPv6,在转送性能或延迟方面毫无区别。而且吞吐量和延迟是几乎相同的,不管其是 H3C S12510-X 交换的流量,或者是将其路由至在 OSPF 上受支持的最大数量路由。H3C S12510-X 在处理多播流量时,也提供有能力的执行者。当以或接近其最大多播路由数运行时,H3C S12510-X 在所有测试中均递送线路速率吞吐量。高可用性测试验证在 H3C S12510-X 中的多层冗余,确保用户的流量不会在一旦一个或多个系统部件故障时被中断。并且,在线软件升级 (ISSU) 支持工作情况正如预期;我们能够升级和降级系统映像而对用户流量并无干扰。TRILL 和 FCoE 在数据中心的重要性正日趋增长,H3C S12510-X 处理这两项协议得心应手。测试验证了 TRILL 网络能够按照预期要求转送单播和多播流量,而无帧丢失。在融合储存/数据联网领域,H3C S12510-X 登录进储存光纤并如期转送
FCoE 流量,也无帧丢失。基准测试一般不时孤立一项协议并压力测试该协议,然而我们远远超过这点。我们一次启动许多特性进行全套最终测试。在路由和交换启动,ACLs 和 sFlow 监控到位的情况下,我们提供交换和路由流量、单播和多播流量以及 IPv4 和 IPv6 的复杂结合。我们做所有这一切同时使交换控制平面受制于其最大极限。即使按 40G 以太网速率,H3C 仍旧毫无丢失地转送所有流量。设计下一代数据中心的架构师,需要证明联网设备能够处理前所未有的性能和可扩展性方面的挑战。这些测试结果有助于证明 H3C S12510-X 有能力经受当今的流量负载及今后的流量负载。
页 23
H3C S12510-X 性能与可扩展性附录 A:关于网络测试网络测试 (Network Test) 是独立的第三方测试实验室及工程服务咨询公司。我们的核心能力是对联网设备和实况网络的性能、安全和符合性进行评估。我们的客户包括设备制造商、大企业、服务提供商、产业联盟和行业出版物。
附录 B:硬件和软件版本测试此附录描述了用于此测试平台的软件版本。Network Test 公司于 2012 年 11 月和 12 月在中国北京华三通信技术公司
(H3C) 的实验室进行了所有的基准测试。部件H3C S12510-XSpirent TestCenter版本Comware 7.1.035, 0005版;Comware 7.1.037, 0006 版(仅供 ISSU 测试用)4.11.0156.000附录 C:免责声明Network Test Inc. 已竭尽全力确保所有测试程序均以极大的精确度与准确度进行,但承认错误在所难免。Network Test
Inc. 对使用本文档内信息而导致的损坏不承担责任。本文档内提及的所有商标分别为各个拥有人的财产。2013031500 版本。© Network Test Inc 2013 年版权所有。保留一切权利。Network Test Inc.31324 Via Colinas, Suite 113 • Westlake Village, CA 91362-6761 • USA+1-818-889-0011 • • info@