2024年4月11日发(作者：古韦)
第
31
卷第
5
期
2011
年
10
月
地震工程与工程振动
JOURNALOFEARTHQUAKEENGINEERINGANDENGINEERINGVIBRATION
Vol．31No．5
Oct．2011
文章编号
：1000－1301（2011）05－0184－06
基于
Abaqus
软件的并行计算异构集群平台的搭建
毛昆明
，
陈国兴
（
南京工业大学岩土工程研究所
，
江苏南京
210009）
摘要
：
在异构集群上充分利用新
、
旧硬件资源调度计算任务是实现集群高性能并行计算的难点
。
通过测试已搭建集群服务器的
CPU
和内存对
Abaqus
软件计算速度的影响
，
发现
CPU
的主频对
Abaqus/Explicit
模块计算速度的影响大
，CPU
的缓存对
Abaqus/Standard
模块速度影响大
；
当内存满
增加内存对计算速度无任何影响
；
当内存不足时
，
计算速度会大幅减慢
。
足计算任务的最小需求时
，
据此测试结果
，
新增
4
台服务器作为计算节点和一台
InfinibandQDR
交换机作为交换节点
，
搭建了新
InfinibandQDR
交换机的并行计算效性能测试结果表明
：
相对于千兆以太网络交换机
，
的异构集群
，
率更好
，
且集群的计算节点越多越显著
；Abaqus/Standard
模块并行计算效率的提高幅度要比
Abaqus/
Explicit
模块的稍高一些
。
针对异构集群硬件构架相差较大的
2
批新
、
旧硬件
，
设置了
2
个管理节点
、
2
个网络节点
、2
个存储节点
，
充分利用了新
、
旧硬件资源
，
高效地实现了在一个异构集群平台上提交
与下载任务
。
关键词
：
异构集群
；Abaqus
软件
；
并行计算
；InfinibandQDR
交换机
中图分类号
：P315．69
文献标志码
：A
Constructionofparallelcomputingheterogeneous
clusterplatformbasedonAbaqussoftware
MAOKunming，CHENGuoxing
（InstituteofGeotechnicalEngineering，NanjingUniversityofTechnology，Nanjing210009，China）
Abstract：Takingfulladvantageofnewandoldhardwareresourcesontheheterogeneousclustertoschedulecompu-
tingjobsisadifficultpointintherealizationofhighperformanceparallelcomputing．Theinfluenceofservers’
CPUandmemoryoncomputingspeedofAbaqussoftwareontheclusterwhichhasbeenconstructedistested．The
conclusionsaredrawn：CPUclockspeedhasagreateffectonthecomputingspeedofAbaqus/Explicitmoduleand
CPUinternalcachehasagreateffectoncomputingspeedofAbaqus/Standardmodule．Whenmemorysatisfiesthe
minimumrequirementofacomputingjob，increasingmemoryhasnoeffectonthecomputingspeed．Whenmemory
isinsufficient，computingspeedwillslowdownsharply．Accordingtothetestingresults，fourserversasthecompu-
andthentheheterogeneousclusteriscon-tingnodesandanInfinibandQDRswitchasthenetworknodeareadded，
structed．ParallelcomputingspeedoftheInfinibandQDRswitchistested，andtheresultshowsthattheparallel
effectoftheInfinibandQDRswitchissuperiortothegigabitethernetswitch．Themorethenumberofcomputing
selevatedrangeofparallelcomputingefficien-nodesis，thebettertheparalleleffectis．Abaqus/Standardmodule’
cyisslightlybetterthanAbaqus/Explicitmodule’s．Specifictotwogroupsofnewandoldequipmentwhosearchi-
收稿日期
：2011－05－27；
修订日期
：2011－07－25
基金项目
：
国家公益性行业
（
地震
）
科研专项
（200808022）；
江苏省自然科学基金项目
（BK2008368）
mail：kun
-
ming@yeah．net
作者简介
：
毛昆明
（1985－），
男
，
博士研究生
，
主要从事轨道交通引起的环境振动方面研究
.E-
mail：gxchen@njut．edu．cn
通讯作者
：
陈国兴
（1963－），
男
，
教授
，
博士
，
主要从事土动力学与岩土地震工程研究
.E-
第
5
期毛昆明等
：
基于
Abaqus
软件的并行计算异构集群平台的搭建
185
tecturesarequitedifferent，twomanagementnodes，twonetworknodesandtwostoragenodesaresetup．Thenew
andoldhardwareresourcesaretakenfulladvantage，thensubmissionanddownloadofjobsfromtheheterogeneous
clusterplatformisachievedefficiently．
Keywords：heterogeneouscluster；Abaqussoftware；parallelcomputing；InfinibandQDRswitch
引言
数值模拟是工程振动
（
地震
、
风振
、
列车振动
、
爆破等
）
分析领域里一项重要的研究手段
，
但现代土木工
程体积巨大
，
结构形式复杂
，
结构物与周围的场地构成了一个复杂的耦合作用系统
。
巨大的计算量和超长的
计算时间使传统的串行
PC
机无能为力
，
故并行计算机成为高性能计算的平台
。
并行计算机主要包括对称
［1］［2－6］
。
与
SMP
相比
，
多处理机
（SMP）
和集群
。
集群的使用更为广泛
，
已有很多学者搭建了并行计算集群
集群更具扩展性
［1］
：
增加集群中处理器数量时只需要增加集群的计算节点
，
但增加集群的计算节点面对的
［7］
最大难题便是计算机第一定律
－－
摩尔定律
，
其本质意思是指计算机硬件的更新速度很快
，
一年前顶尖
的产品或许一年后无人问津
。
一个可升级的集群必然包含新
、
旧硬件
，
在这样一个异构集群上如何调度计算任务
、
充分利用所有硬件
，
是一个必须解决的问题
。
不同的硬件在一起工作有可能不兼容
，
即使兼容也会产生其他不可预知的一些问
题
，
例如
：2
个构架相差较大的
CPU
在一起工作
，
其计算速度比
1
个
CPU
还慢
，
甚至有可能造成任务中断
。
［4］
本文在已构建的基于
Abaqus
软件和
Linux
操作系统的并行计算集群平台的基础上
，
测试了
CPU
和内
存对
Abaqus
软件计算速度的影响
，
增加了与原集群硬件构架相差较大的新节点
，
并对新构建的异构集群的
拓扑结构进行了优化
。
1
新计算节点的硬件配置
要想使集群有很好的计算性能
，
首先需提高单节点的计算性能
。
单节点的计算性能主要受控于
CPU
和
CPU
型号和内存大小的选择也决定了所需资金的多少
。
因此
，
内存
，
对原集群增加新的服务器前必须进行
一系列测试
，
以决定其
CPU
型号和内存大小选取的合理性价比
。
当
CPU
的构架相同或相差不大时
，
影响
CPU
性能的主要参数是缓存和主频
，
但这两者通常不可兼得
，
应根据不同的应用需求进行选择
。
原集群的计算节点中
2
台服务器的
CPU
为
Xeon5365，
另
2
台服务器的
CPU
为
Xeon5450，
主频均为
3
GHz。
缓存对计算速度的影响见表
1，
以
Xeon5365
的计算时间为基准
（Abaqus/Standard
模块与
Abaqus/Ex-
plicit
模块的计算时间不作横向比较
，
计算时间均定为
1），
归一化得到
Xeon5450
的计算时间
。
可以看出
：
缓
存越大
，
计算速度越快
；
缓存对
Standard
模块的影响很大
，
但对
Explicit
模块的影响不明显
。
表
1
Table1
CPU
型号
Xeon5365
Xeon5450
缓存值
8M
12M
CPU
缓存对
Abaqus
计算速度的影响
Standard
模块下计算时间
理论值
1
0．67
实际值
1
0．56
Explicit
模块下计算时间
理论值
1
0．67
实际值
1
0．83
EffectofCPUinternalcacheoncomputingspeedofAbaqus
CPU
都是
IntelCore
系列
，E5400、E6800，
原集群的终端中有
3
台
PC
机
，
分别为
E3300、
缓存均为
2M。
主
频对计算速度的影响见表
2，
以
E3300
的计算时间为基准
，
归一化得到
E5400
和
E6800
的计算时间
。
可以发
现
：
主频越高
，
计算速度越快
；
主频对
Abaqus/Explicit
模块的影响很大
，
但对
Abaqus/Standard
模块的影响稍
小
。
2024年4月11日发(作者：古韦)
第
31
卷第
5
期
2011
年
10
月
地震工程与工程振动
JOURNALOFEARTHQUAKEENGINEERINGANDENGINEERINGVIBRATION
Vol．31No．5
Oct．2011
文章编号
：1000－1301（2011）05－0184－06
基于
Abaqus
软件的并行计算异构集群平台的搭建
毛昆明
，
陈国兴
（
南京工业大学岩土工程研究所
，
江苏南京
210009）
摘要
：
在异构集群上充分利用新
、
旧硬件资源调度计算任务是实现集群高性能并行计算的难点
。
通过测试已搭建集群服务器的
CPU
和内存对
Abaqus
软件计算速度的影响
，
发现
CPU
的主频对
Abaqus/Explicit
模块计算速度的影响大
，CPU
的缓存对
Abaqus/Standard
模块速度影响大
；
当内存满
增加内存对计算速度无任何影响
；
当内存不足时
，
计算速度会大幅减慢
。
足计算任务的最小需求时
，
据此测试结果
，
新增
4
台服务器作为计算节点和一台
InfinibandQDR
交换机作为交换节点
，
搭建了新
InfinibandQDR
交换机的并行计算效性能测试结果表明
：
相对于千兆以太网络交换机
，
的异构集群
，
率更好
，
且集群的计算节点越多越显著
；Abaqus/Standard
模块并行计算效率的提高幅度要比
Abaqus/
Explicit
模块的稍高一些
。
针对异构集群硬件构架相差较大的
2
批新
、
旧硬件
，
设置了
2
个管理节点
、
2
个网络节点
、2
个存储节点
，
充分利用了新
、
旧硬件资源
，
高效地实现了在一个异构集群平台上提交
与下载任务
。
关键词
：
异构集群
；Abaqus
软件
；
并行计算
；InfinibandQDR
交换机
中图分类号
：P315．69
文献标志码
：A
Constructionofparallelcomputingheterogeneous
clusterplatformbasedonAbaqussoftware
MAOKunming，CHENGuoxing
（InstituteofGeotechnicalEngineering，NanjingUniversityofTechnology，Nanjing210009，China）
Abstract：Takingfulladvantageofnewandoldhardwareresourcesontheheterogeneousclustertoschedulecompu-
tingjobsisadifficultpointintherealizationofhighperformanceparallelcomputing．Theinfluenceofservers’
CPUandmemoryoncomputingspeedofAbaqussoftwareontheclusterwhichhasbeenconstructedistested．The
conclusionsaredrawn：CPUclockspeedhasagreateffectonthecomputingspeedofAbaqus/Explicitmoduleand
CPUinternalcachehasagreateffectoncomputingspeedofAbaqus/Standardmodule．Whenmemorysatisfiesthe
minimumrequirementofacomputingjob，increasingmemoryhasnoeffectonthecomputingspeed．Whenmemory
isinsufficient，computingspeedwillslowdownsharply．Accordingtothetestingresults，fourserversasthecompu-
andthentheheterogeneousclusteriscon-tingnodesandanInfinibandQDRswitchasthenetworknodeareadded，
structed．ParallelcomputingspeedoftheInfinibandQDRswitchistested，andtheresultshowsthattheparallel
effectoftheInfinibandQDRswitchissuperiortothegigabitethernetswitch．Themorethenumberofcomputing
selevatedrangeofparallelcomputingefficien-nodesis，thebettertheparalleleffectis．Abaqus/Standardmodule’
cyisslightlybetterthanAbaqus/Explicitmodule’s．Specifictotwogroupsofnewandoldequipmentwhosearchi-
收稿日期
：2011－05－27；
修订日期
：2011－07－25
基金项目
：
国家公益性行业
（
地震
）
科研专项
（200808022）；
江苏省自然科学基金项目
（BK2008368）
mail：kun
-
ming@yeah．net
作者简介
：
毛昆明
（1985－），
男
，
博士研究生
，
主要从事轨道交通引起的环境振动方面研究
.E-
mail：gxchen@njut．edu．cn
通讯作者
：
陈国兴
（1963－），
男
，
教授
，
博士
，
主要从事土动力学与岩土地震工程研究
.E-
第
5
期毛昆明等
：
基于
Abaqus
软件的并行计算异构集群平台的搭建
185
tecturesarequitedifferent，twomanagementnodes，twonetworknodesandtwostoragenodesaresetup．Thenew
andoldhardwareresourcesaretakenfulladvantage，thensubmissionanddownloadofjobsfromtheheterogeneous
clusterplatformisachievedefficiently．
Keywords：heterogeneouscluster；Abaqussoftware；parallelcomputing；InfinibandQDRswitch
引言
数值模拟是工程振动
（
地震
、
风振
、
列车振动
、
爆破等
）
分析领域里一项重要的研究手段
，
但现代土木工
程体积巨大
，
结构形式复杂
，
结构物与周围的场地构成了一个复杂的耦合作用系统
。
巨大的计算量和超长的
计算时间使传统的串行
PC
机无能为力
，
故并行计算机成为高性能计算的平台
。
并行计算机主要包括对称
［1］［2－6］
。
与
SMP
相比
，
多处理机
（SMP）
和集群
。
集群的使用更为广泛
，
已有很多学者搭建了并行计算集群
集群更具扩展性
［1］
：
增加集群中处理器数量时只需要增加集群的计算节点
，
但增加集群的计算节点面对的
［7］
最大难题便是计算机第一定律
－－
摩尔定律
，
其本质意思是指计算机硬件的更新速度很快
，
一年前顶尖
的产品或许一年后无人问津
。
一个可升级的集群必然包含新
、
旧硬件
，
在这样一个异构集群上如何调度计算任务
、
充分利用所有硬件
，
是一个必须解决的问题
。
不同的硬件在一起工作有可能不兼容
，
即使兼容也会产生其他不可预知的一些问
题
，
例如
：2
个构架相差较大的
CPU
在一起工作
，
其计算速度比
1
个
CPU
还慢
，
甚至有可能造成任务中断
。
［4］
本文在已构建的基于
Abaqus
软件和
Linux
操作系统的并行计算集群平台的基础上
，
测试了
CPU
和内
存对
Abaqus
软件计算速度的影响
，
增加了与原集群硬件构架相差较大的新节点
，
并对新构建的异构集群的
拓扑结构进行了优化
。
1
新计算节点的硬件配置
要想使集群有很好的计算性能
，
首先需提高单节点的计算性能
。
单节点的计算性能主要受控于
CPU
和
CPU
型号和内存大小的选择也决定了所需资金的多少
。
因此
，
内存
，
对原集群增加新的服务器前必须进行
一系列测试
，
以决定其
CPU
型号和内存大小选取的合理性价比
。
当
CPU
的构架相同或相差不大时
，
影响
CPU
性能的主要参数是缓存和主频
，
但这两者通常不可兼得
，
应根据不同的应用需求进行选择
。
原集群的计算节点中
2
台服务器的
CPU
为
Xeon5365，
另
2
台服务器的
CPU
为
Xeon5450，
主频均为
3
GHz。
缓存对计算速度的影响见表
1，
以
Xeon5365
的计算时间为基准
（Abaqus/Standard
模块与
Abaqus/Ex-
plicit
模块的计算时间不作横向比较
，
计算时间均定为
1），
归一化得到
Xeon5450
的计算时间
。
可以看出
：
缓
存越大
，
计算速度越快
；
缓存对
Standard
模块的影响很大
，
但对
Explicit
模块的影响不明显
。
表
1
Table1
CPU
型号
Xeon5365
Xeon5450
缓存值
8M
12M
CPU
缓存对
Abaqus
计算速度的影响
Standard
模块下计算时间
理论值
1
0．67
实际值
1
0．56
Explicit
模块下计算时间
理论值
1
0．67
实际值
1
0．83
EffectofCPUinternalcacheoncomputingspeedofAbaqus
CPU
都是
IntelCore
系列
，E5400、E6800，
原集群的终端中有
3
台
PC
机
，
分别为
E3300、
缓存均为
2M。
主
频对计算速度的影响见表
2，
以
E3300
的计算时间为基准
，
归一化得到
E5400
和
E6800
的计算时间
。
可以发
现
：
主频越高
，
计算速度越快
；
主频对
Abaqus/Explicit
模块的影响很大
，
但对
Abaqus/Standard
模块的影响稍
小
。