你的位置:
首页
>
IT圈
>
超级计算机的进展与体系结构
2024年4月10日发(作者:容辰)
1.最新TOP10榜单
2.中国进展
3.体系结构
4.技术参数解析
TOP 10 Sites for June 2016
For more information about the sites and systems in the list, click on the links or
view the complete list.
Rank Site System Cores Rmax
(TFlop/s)
Rpeak
(TFlop/s)
Power (kW)
1 National Supercomputing
Center in Wuxi
China
Sunway TaihuLight -
Sunway MPP, Sunway
SW26010 260C 1.45GHz,
Sunway
NRCPC
10,649,600 93,014.6 125,435.9 15,371
2 National Super Computer
Center in Guangzhou
China
Tianhe-2 (MilkyWay-2) -
TH-IVB-FEP Cluster,
Intel Xeon E5-2692 12C
2.200GHz, TH Express-2,
Intel Xeon Phi 31S1P
NUDT
3,120,000 33,862.7 54,902.4 17,808
3 DOE/SC/Oak Ridge National
Laboratory
United States
Titan - Cray XK7 ,
Opteron 6274 16C
2.200GHz, Cray Gemini
interconnect, NVIDIA
K20x
Cray Inc.
560,640 17,590.0 27,112.5 8,209
4 DOE/NNSA/LLNL
United States
Sequoia - BlueGene/Q,
Power BQC 16C 1.60
GHz, Custom
IBM
1,572,864 17,173.2 20,132.7 7,890
5 RIKEN Advanced Institute for
Computational Science (AICS)
K computer, SPARC64
VIIIfx 2.0GHz, Tofu
705,024 10,510.0 11,280.4 12,660
Japan interconnect
Fujitsu
6 DOE/SC/Argonne National
Laboratory
United States
Mira - BlueGene/Q,
Power BQC 16C
1.60GHz, Custom
IBM
786,432 8,586.6 10,066.3 3,945
7 DOE/NNSA/LANL/SNL
United States
Trinity - Cray XC40,
Xeon E5-2698v3 16C
2.3GHz, Aries
interconnect
Cray Inc.
301,056 8,100.9 11,078.9
8 Swiss National Supercomputing
Centre (CSCS)
Switzerland
Piz Daint - Cray XC30,
Xeon E5-2670 8C
2.600GHz, Aries
interconnect , NVIDIA
K20x
Cray Inc.
115,984 6,271.0 7,788.9 2,325
9 HLRS -
Höchstleistungsrechenzentrum
Stuttgart
Germany
Hazel Hen - Cray XC40,
Xeon E5-2680v3 12C
2.5GHz, Aries
interconnect
Cray Inc.
185,088 5,640.2 7,403.5
10 King Abdullah University of
Science and Technology
Saudi Arabia
Shaheen II - Cray XC40,
Xeon E5-2698v3 16C
2.3GHz, Aries
interconnect
Cray Inc.
196,608 5,537.0 7,235.2 2,834
2.中国进展
2009年金秋时节,天河一号横空出世。2010年11月,经过系统升级后的天河一号,在第
36届国际超级计算机500强排行榜上位居世界第一。
天河二号——六连冠
排名第一
2010年,中国国防科学技术大学研制的“天河一号”曾在第三十六届超级计算机TOP500榜
单上名列第一,2011年时排名第二,2012年排名已下降至第五,我“天河二号”又重返冠
军领奖台。
二连冠
2013年,在德国莱比锡举办的2013年度全球超级计算机技术大会,负责调查有关全球各国
研发大型超级计算机排行情况的国际大型超级计算机TOP 500组织,公布了最新全球超级计
算机TOP 500强排行榜榜单;在本次大会上由中国政府国家科技部与中国国防科学技术大学
共同研制的名为“天河二号(”又称银河2号)的大型超级计算机以每秒33.86千万亿次的
浮点运算速度成为全球最快的超级计算机。
三连冠
2014年6月,由国防科技大学研制并落户国家超级计算广州中心的天河二号超级计算机,
23日再次荣登全球超级计算机500强排行榜榜首,获得世界超算“三连冠”。天河二号超级
计算机是国防科技大学承担的国家“863”计划和“核高基”国家科技重大专项项目。
四连冠
2014年11月,在美国新奥尔良市召开的世界超级计算机大会上,天河二号在国际TOP500
组织首次正式发布的超级计算机高性能测试排行榜上位居世界第一。此前,由该组织发布的
第44届世界超级计算机500强排行榜中,天河二号以峰值计算速度达每秒5.49亿亿次、持
续计算速度达每秒3.39亿亿次位居榜首,获得“四连冠”。
五连冠
2015年7月13日,国际TOP500组织在德国举行了2015年国际超级计算机大会,并在大会
上发布全球超级计算机500强最新榜单,中国“天河二号”以每秒33.86千万亿次的浮点运
算速度第五次蝉联冠军,获得“五连冠”。
六连冠
2015年10月16日,新一期全球超级计算机500强榜单在美国公布,“天河二号”超级计算
机以每秒33.86千万亿次连续第六度称雄。
3.体系结构
天河二号:
天河二号超级计算机系统由170个机柜组成,包括125个计算机柜、8个服务机柜、13
个通信机柜和24个存储机柜
在每个主板上有2个计算节点,而每个框架则有16个主板,4个框架组成一个机柜,
整个系统由125个机柜组成。
每个计算节点主板分为两块,一块CPU一块APU,CPU上有4核Ivy Bridge、内存和一
个Xeon Phi协处理器,而APU基板上则承载着5个Xeon Phi协处理器.CPU和APU之间有5
个水平插入的链接口,由Ivy Bridge内置的PCI-E 2.0进行连接,虽然Ivy Bridge内置为PCI
Express 3.0接口,但Xeon Phi仅支持2.0,单个通路为10Gbps带宽。
计算节点的前端处理器为4096个FT-1500处理器, FT-1500处理器是由国
防科技大学为天河1研发,其可以说是天河1项目的最大收获,其为16核心的
Sparc V9架构处理器,在40nm工艺情况下运行频率为1.8Ghz,峰值性能为144
Gflops/s,功耗为65W,但相比英特尔22nm 12核 2.2GHz 211Gflops/s性能的
Ivy Bridge还是有明显差距。
【前端处理器(front end processor,FEP),通常也被称为通信控制器,其主要功能是释放
主机以运行应用程序。这样,主机就不会不断地被外部设备打扰,使得它能更有效地 处理
应用。它可以是复杂的前台大型计算机接口或者简单的设备如多路复用器、桥接器和路由器
等。这些设备把计算机的并行数据转换为通信线上传输的串行数据, 并完成所有必要的控
制功能、错误检测和同步。现代设备还完成数据压缩、路由选择、安全性功能,并收集管理
信息。】
天河2互联方面采用自主研发的 Express-2 内部互联网络,其为有13个交
换机, 而每个交换机有576个端口。连接介质为光电混合。具体控制器是名为
NRC的ASIC专用目的集成电路,其采用90nm工艺,封装尺寸为 17.16x17.16 mm,
共有2577引脚。单个NRC的吞吐能力为2.56Tbps.而在终端方面网络接口也采
用类似结构的NIC,但规模稍小,为10.76x10.76 mm, 675 pin,其采用PCIE 2.0
方式连接,传输速率为6.36GB/s.并且在在12000节点的情况下延迟也很低,仅
为85us.
而在计算能力方面,使用14336个节点 总计50GB内存进行LINPACK测试,
理论性能为49.19Pflops,而实际测试性能为30.65Pflops,效率为62.3%.这个
效率并不 算高,还有很大优化提升潜力。当然也可能是被Xeon phi仅支持PCI
Express 2.0带宽不足限制。
4.技术参数解析
天河二号型号为TH-IVB-FEP
4.1.处理器
16,000个运算节点,每节点配备两颗Xeon E5 12核心的中央处理器、三个Xeon Phi 57
核心的协处理器(运算加速卡)。累计32,000颗Xeon E5主处理器和48,000个Xeon Phi
协处理器,共312万个计算核心。
中央处理器为英特尔提供的,运作时钟频率为2.2GHz的Xeon E5-2692 12核心处理器,
基于英特尔Ivy Bridge微架构(Ivy Bridge-EX核心),采用22纳米制程,峰值性能0.2112TFLOPS。
运算加速上,使用基于英特尔集成众核架构的Xeon Phi 31S1P协处理器,运行时钟为
1.1GHz,每个使用61个核心中的57个(因为使用61个会存在运算周期协调问题),每核心
籍由特殊的超线程技术能运作4个线程,产生峰值性能为1.003TFLOPS。
4.2存储
4.2.1内存
每个节点拥有64GB主存,而每个Xeon Phi协处理器板载8GB内存,故每节点共88GB
内存,整体总计内存1.408PB。
4.2.2外存
12.4PB容量的硬盘阵列
4.3主架
主板、机架与机柜均由浪潮集团制造,共有125个机柜,每个机柜容纳4个机架,每个
机架容纳16块主板,每个主板设置有两个计算节点。每个机柜还装有负载指示灯,根据机
柜内主机的运算负载变更发光二极管的发光颜色。
每块主板上分为APU模块和CPM模块两部分,APU部分承载5块Xeon Phi,CPM部分
承载1块Xeon Phi+4颗Xeon E5。
APU模块和CPM模块之间以CPU内部提供的PCI-E 3.0 16x接口进行连接,但实际由于
Xeon Phi的硬件限制,仅支持至PCI-E 2.0 16x,单通道数据传输速率为10Gbps。
4.4前端处理器
计算节点前端处理器为4096颗FT-1500 16核心SPARC V9架构的处理器,40纳米制程,
运作时钟频率1.8GHz,热设计功耗65瓦,峰值性能144GFLOPS。
4.5连接
使用光电混合传输技术(Optoelectronics Hybrid Transport Technology),使用自制的TH
Express-2主干拓扑结构网络连接,以13个大型路由器通过576个连接端口以光电传输介质
与各个运算节点互联,控制器名为NRC,使用90纳米制程,单个控制器的数据吞吐量
2.56Tbps,终端网络接口使用名为NIC的控制器,以PCI-E 2.0接口链接,数据传送速率
6.36GB/s。
4.6操作系统
麒麟操作系统、基于SLURM(Simple Linux Utility for Resource Management,资源管理用
单一Linux公用程序)的全局资源管理。
Ubuntu Linux。(Ubuntu OpenStack运行在256个高性能节点上,而且在接下来的数月将
会增长至超过6400个节点。OpenStack和Ubuntu的编制工具Juju都将运行在天河二号上,
使国防科技大学的合作伙伴和联盟机构能够快速部署和管理高性能云环境)
4.7能耗
整机功耗17,808千瓦,在搭载水冷散热系统以后,功耗将达到24兆瓦,无论水冷系
统的搭载与否,都是目前TOP500里功耗最大的
天河二号电费每年达1亿人民币
以6月17日公布的数据推算,每瓦性能为1.901GFLOPS,仍不及泰坦的每瓦2.143GFLOPS
和IBM红杉每瓦2.177GFLOPS的成绩,但比"京"的每瓦0.830GFLOPS每和天河一号每瓦仅
0.668GFLOPS都要高不少。
2024年4月10日发(作者:容辰)
1.最新TOP10榜单
2.中国进展
3.体系结构
4.技术参数解析
TOP 10 Sites for June 2016
For more information about the sites and systems in the list, click on the links or
view the complete list.
Rank Site System Cores Rmax
(TFlop/s)
Rpeak
(TFlop/s)
Power (kW)
1 National Supercomputing
Center in Wuxi
China
Sunway TaihuLight -
Sunway MPP, Sunway
SW26010 260C 1.45GHz,
Sunway
NRCPC
10,649,600 93,014.6 125,435.9 15,371
2 National Super Computer
Center in Guangzhou
China
Tianhe-2 (MilkyWay-2) -
TH-IVB-FEP Cluster,
Intel Xeon E5-2692 12C
2.200GHz, TH Express-2,
Intel Xeon Phi 31S1P
NUDT
3,120,000 33,862.7 54,902.4 17,808
3 DOE/SC/Oak Ridge National
Laboratory
United States
Titan - Cray XK7 ,
Opteron 6274 16C
2.200GHz, Cray Gemini
interconnect, NVIDIA
K20x
Cray Inc.
560,640 17,590.0 27,112.5 8,209
4 DOE/NNSA/LLNL
United States
Sequoia - BlueGene/Q,
Power BQC 16C 1.60
GHz, Custom
IBM
1,572,864 17,173.2 20,132.7 7,890
5 RIKEN Advanced Institute for
Computational Science (AICS)
K computer, SPARC64
VIIIfx 2.0GHz, Tofu
705,024 10,510.0 11,280.4 12,660
Japan interconnect
Fujitsu
6 DOE/SC/Argonne National
Laboratory
United States
Mira - BlueGene/Q,
Power BQC 16C
1.60GHz, Custom
IBM
786,432 8,586.6 10,066.3 3,945
7 DOE/NNSA/LANL/SNL
United States
Trinity - Cray XC40,
Xeon E5-2698v3 16C
2.3GHz, Aries
interconnect
Cray Inc.
301,056 8,100.9 11,078.9
8 Swiss National Supercomputing
Centre (CSCS)
Switzerland
Piz Daint - Cray XC30,
Xeon E5-2670 8C
2.600GHz, Aries
interconnect , NVIDIA
K20x
Cray Inc.
115,984 6,271.0 7,788.9 2,325
9 HLRS -
Höchstleistungsrechenzentrum
Stuttgart
Germany
Hazel Hen - Cray XC40,
Xeon E5-2680v3 12C
2.5GHz, Aries
interconnect
Cray Inc.
185,088 5,640.2 7,403.5
10 King Abdullah University of
Science and Technology
Saudi Arabia
Shaheen II - Cray XC40,
Xeon E5-2698v3 16C
2.3GHz, Aries
interconnect
Cray Inc.
196,608 5,537.0 7,235.2 2,834
2.中国进展
2009年金秋时节,天河一号横空出世。2010年11月,经过系统升级后的天河一号,在第
36届国际超级计算机500强排行榜上位居世界第一。
天河二号——六连冠
排名第一
2010年,中国国防科学技术大学研制的“天河一号”曾在第三十六届超级计算机TOP500榜
单上名列第一,2011年时排名第二,2012年排名已下降至第五,我“天河二号”又重返冠
军领奖台。
二连冠
2013年,在德国莱比锡举办的2013年度全球超级计算机技术大会,负责调查有关全球各国
研发大型超级计算机排行情况的国际大型超级计算机TOP 500组织,公布了最新全球超级计
算机TOP 500强排行榜榜单;在本次大会上由中国政府国家科技部与中国国防科学技术大学
共同研制的名为“天河二号(”又称银河2号)的大型超级计算机以每秒33.86千万亿次的
浮点运算速度成为全球最快的超级计算机。
三连冠
2014年6月,由国防科技大学研制并落户国家超级计算广州中心的天河二号超级计算机,
23日再次荣登全球超级计算机500强排行榜榜首,获得世界超算“三连冠”。天河二号超级
计算机是国防科技大学承担的国家“863”计划和“核高基”国家科技重大专项项目。
四连冠
2014年11月,在美国新奥尔良市召开的世界超级计算机大会上,天河二号在国际TOP500
组织首次正式发布的超级计算机高性能测试排行榜上位居世界第一。此前,由该组织发布的
第44届世界超级计算机500强排行榜中,天河二号以峰值计算速度达每秒5.49亿亿次、持
续计算速度达每秒3.39亿亿次位居榜首,获得“四连冠”。
五连冠
2015年7月13日,国际TOP500组织在德国举行了2015年国际超级计算机大会,并在大会
上发布全球超级计算机500强最新榜单,中国“天河二号”以每秒33.86千万亿次的浮点运
算速度第五次蝉联冠军,获得“五连冠”。
六连冠
2015年10月16日,新一期全球超级计算机500强榜单在美国公布,“天河二号”超级计算
机以每秒33.86千万亿次连续第六度称雄。
3.体系结构
天河二号:
天河二号超级计算机系统由170个机柜组成,包括125个计算机柜、8个服务机柜、13
个通信机柜和24个存储机柜
在每个主板上有2个计算节点,而每个框架则有16个主板,4个框架组成一个机柜,
整个系统由125个机柜组成。
每个计算节点主板分为两块,一块CPU一块APU,CPU上有4核Ivy Bridge、内存和一
个Xeon Phi协处理器,而APU基板上则承载着5个Xeon Phi协处理器.CPU和APU之间有5
个水平插入的链接口,由Ivy Bridge内置的PCI-E 2.0进行连接,虽然Ivy Bridge内置为PCI
Express 3.0接口,但Xeon Phi仅支持2.0,单个通路为10Gbps带宽。
计算节点的前端处理器为4096个FT-1500处理器, FT-1500处理器是由国
防科技大学为天河1研发,其可以说是天河1项目的最大收获,其为16核心的
Sparc V9架构处理器,在40nm工艺情况下运行频率为1.8Ghz,峰值性能为144
Gflops/s,功耗为65W,但相比英特尔22nm 12核 2.2GHz 211Gflops/s性能的
Ivy Bridge还是有明显差距。
【前端处理器(front end processor,FEP),通常也被称为通信控制器,其主要功能是释放
主机以运行应用程序。这样,主机就不会不断地被外部设备打扰,使得它能更有效地 处理
应用。它可以是复杂的前台大型计算机接口或者简单的设备如多路复用器、桥接器和路由器
等。这些设备把计算机的并行数据转换为通信线上传输的串行数据, 并完成所有必要的控
制功能、错误检测和同步。现代设备还完成数据压缩、路由选择、安全性功能,并收集管理
信息。】
天河2互联方面采用自主研发的 Express-2 内部互联网络,其为有13个交
换机, 而每个交换机有576个端口。连接介质为光电混合。具体控制器是名为
NRC的ASIC专用目的集成电路,其采用90nm工艺,封装尺寸为 17.16x17.16 mm,
共有2577引脚。单个NRC的吞吐能力为2.56Tbps.而在终端方面网络接口也采
用类似结构的NIC,但规模稍小,为10.76x10.76 mm, 675 pin,其采用PCIE 2.0
方式连接,传输速率为6.36GB/s.并且在在12000节点的情况下延迟也很低,仅
为85us.
而在计算能力方面,使用14336个节点 总计50GB内存进行LINPACK测试,
理论性能为49.19Pflops,而实际测试性能为30.65Pflops,效率为62.3%.这个
效率并不 算高,还有很大优化提升潜力。当然也可能是被Xeon phi仅支持PCI
Express 2.0带宽不足限制。
4.技术参数解析
天河二号型号为TH-IVB-FEP
4.1.处理器
16,000个运算节点,每节点配备两颗Xeon E5 12核心的中央处理器、三个Xeon Phi 57
核心的协处理器(运算加速卡)。累计32,000颗Xeon E5主处理器和48,000个Xeon Phi
协处理器,共312万个计算核心。
中央处理器为英特尔提供的,运作时钟频率为2.2GHz的Xeon E5-2692 12核心处理器,
基于英特尔Ivy Bridge微架构(Ivy Bridge-EX核心),采用22纳米制程,峰值性能0.2112TFLOPS。
运算加速上,使用基于英特尔集成众核架构的Xeon Phi 31S1P协处理器,运行时钟为
1.1GHz,每个使用61个核心中的57个(因为使用61个会存在运算周期协调问题),每核心
籍由特殊的超线程技术能运作4个线程,产生峰值性能为1.003TFLOPS。
4.2存储
4.2.1内存
每个节点拥有64GB主存,而每个Xeon Phi协处理器板载8GB内存,故每节点共88GB
内存,整体总计内存1.408PB。
4.2.2外存
12.4PB容量的硬盘阵列
4.3主架
主板、机架与机柜均由浪潮集团制造,共有125个机柜,每个机柜容纳4个机架,每个
机架容纳16块主板,每个主板设置有两个计算节点。每个机柜还装有负载指示灯,根据机
柜内主机的运算负载变更发光二极管的发光颜色。
每块主板上分为APU模块和CPM模块两部分,APU部分承载5块Xeon Phi,CPM部分
承载1块Xeon Phi+4颗Xeon E5。
APU模块和CPM模块之间以CPU内部提供的PCI-E 3.0 16x接口进行连接,但实际由于
Xeon Phi的硬件限制,仅支持至PCI-E 2.0 16x,单通道数据传输速率为10Gbps。
4.4前端处理器
计算节点前端处理器为4096颗FT-1500 16核心SPARC V9架构的处理器,40纳米制程,
运作时钟频率1.8GHz,热设计功耗65瓦,峰值性能144GFLOPS。
4.5连接
使用光电混合传输技术(Optoelectronics Hybrid Transport Technology),使用自制的TH
Express-2主干拓扑结构网络连接,以13个大型路由器通过576个连接端口以光电传输介质
与各个运算节点互联,控制器名为NRC,使用90纳米制程,单个控制器的数据吞吐量
2.56Tbps,终端网络接口使用名为NIC的控制器,以PCI-E 2.0接口链接,数据传送速率
6.36GB/s。
4.6操作系统
麒麟操作系统、基于SLURM(Simple Linux Utility for Resource Management,资源管理用
单一Linux公用程序)的全局资源管理。
Ubuntu Linux。(Ubuntu OpenStack运行在256个高性能节点上,而且在接下来的数月将
会增长至超过6400个节点。OpenStack和Ubuntu的编制工具Juju都将运行在天河二号上,
使国防科技大学的合作伙伴和联盟机构能够快速部署和管理高性能云环境)
4.7能耗
整机功耗17,808千瓦,在搭载水冷散热系统以后,功耗将达到24兆瓦,无论水冷系
统的搭载与否,都是目前TOP500里功耗最大的
天河二号电费每年达1亿人民币
以6月17日公布的数据推算,每瓦性能为1.901GFLOPS,仍不及泰坦的每瓦2.143GFLOPS
和IBM红杉每瓦2.177GFLOPS的成绩,但比"京"的每瓦0.830GFLOPS每和天河一号每瓦仅
0.668GFLOPS都要高不少。