2024年5月11日发(作者：能鹏涛)
第
42
卷
第
3
期
制冷学报
No/.
42
,
No.
3
June
,
2027
2021
年
6
月
文章编号
：
0253-4339(2021)
03-0100-07
Journa/
of
Refrigeration
doi
：
10.
3969/j.
issn.
0253-4339.
2021.
03.
100
基于性能测试软件的服务器功耗实测研究
徐鑫白雪莲金超强
(
重庆大学土木工程学院重庆
400000
)
摘要
数据中心节能和环境控制的基础是确定数据中心服务器的功耗
。
本文针对以
CPU
计算为主要任务的应用场景
，
搭建
实验台
，
利用
Lookbusy
,
Stress
,
SPECpower_ssj
2008
三种测试软件
，
结合服务器运行参数
，
对服务器功耗和硬件利用率等进行测试
分析
,
对比三种软件的应用效果
。
研究结果表明:
不同测试软件对于服务器硬件资源的利用程度不同
，
导致服务器功耗也不同
，
功耗最大差异超过
15%,
在服务器功耗模型的研究中
，
应当根据服务器应用场景和硬件利用率的差异选择不同的性能测试软件
;
其中
,SPECpower_ssj2008
适合对服务器进行综合测试
，
而
Stress
适合测试服务器在极端情况下的运行稳定性
。
关键词
数据中心
;
服务器功耗
;
性能测试软件
;CPU
利用率
中图分类号
:
TB61
+
1
；
TP31
文献标识码
：
A
Experimental
Test
on
Server
Power
Consumption
Based
on
Performance
Testing
Software
Xu
Xin
Bai
Xuelian
Jin
Chaoqiang
(
School
of
Civil
Engineering
,
Chongqing
University
,
Chongqing
,
400000,
China)
Abstract
Determining
the
power
consumption
of
data
center
servers
is
the
basis
of
data
center
energy
saving
and
environmental
control.
At
present,
it
is
a
common
research
method
that
uses
performance
testing
software
to
fit
the
server
power
consumption
model
under
differ
ent
working
conditions.
An
experimental
platform
was
built
with
the
aim
of
CPU
computing
as
the
main
task.
Three
different
test
software
(
Lookbusy,
Stress,
and
SPECpower_ssj
2008)
were
used
to
conduct
the
test.
This
study
compared
the
differences
between
server
power
consumption
and
hardware
utilization
based
on
server
operating
parameters.
The
results
show
apparent
differences
in
server
hardware
calls
under
an
identical
parameter
setting
among
different
testing
software,
leading
to
a
maximum
deviation
of
more
than
15%
on
the
testing
out
come
of
the
server
power
consumption.
This
indicates
that
it
is
important
to
select
the
proper
performance
testing
software
according
to
ap
plication
scenarios
and
hardware
utilization
when
it
comes
to
the
research
of
the
server
power
consumption
model.
Among
the
software
test
ed,
SPECpower_ssj
2008
is
most
suitable
for
the
comprehensive
testing
of
servers,
and
Stress
is
most
suitable
for
testing
the
stability
of
servers
under
extreme
conditions.
Keywords
data
center
；
server
power
consumption
；
performance
testing
software
；
CPU
utilization
过去的二十年
,
人们对于数据处理
、
存储和传输
需求不断增加
,
伴随着计算机和电子信息技术的同步
发展
,
数据中心行业爆发性增长
。
2018
年中国数据
营成本和环境问题
，
相关行业也越来越重视数据中心
的节能工作
。
数据中心的总能耗由
IT(
information
technology
)
中心市场业务总规模为
1
228
亿元
，
占全球市场规模
的
19.64%,
总机架数为
271.06
万架
，
预计
2021
年
，
中国数据中心市场规模将会达到
2
769.
6
亿元
，
增速
设备
、
空调系统
、
电源系统和附属设备等能耗组成
。
IT
设备能耗和空调系统能耗分别占总能耗的
45%
和
40%
［
4-5
］
，
是大部分数据中心的耗能大户
。
其中
IT
设
备的能耗主要由服务器
、
网络设备及配电设备组成,
超过
30%
，
中国将成为世界数据资源大国和全球数
据中心
［
1
］
。
数据中心能耗也逐年增加
,
2019
年中国
数据中心总用电量为
1
748
亿
kW-h,
占全社会总用
其中服务器的能耗占
IT
设备总能耗的
70%
~
80%
⑷
。
服务器负责数据中心内部所有数据的计算
、
电量的
2.
4%
⑷
。
数据中心的高能耗带来高昂的运
基金项目
：
国家自然科学基金(51778080)
资助项目。
(
The
project
was
supported
by
the
National
Natural
Science
Foundation
of
China
(
No.
51778080)
.)
处理及存储工作
，
是数据中心能源的主要消耗者
，
同
收稿日期：
2020-10-22
；
修回日期
:
2020-12-31
—
100
—
第
42
卷
第
3
期
Vol.
42
,
No.
3
2021
年
6
月
基于性能测试软件的服务器功耗实测研究
June
,
2021
时也是数据中心空调系统负荷的主要来源
。
因此研
究服务器功耗模型对数据中心能耗预测具有重大意
SPECpower)
,
以服务器的产热和散热作为分析依据
,
认为服务器的功耗模型包括
IT
组件以及散热组件两
部分
。
R.
Kavanagh
等
［
9
］
利用
Stress
程序
，
仅基于
CPU
利用率来估算整个系统的功耗
,
利用线性回归
建立了功耗模型并提供了应用于虚拟机的模型
。
义
。
在现有的研究中
，
通过性能测试软件对服务器进
行测试
，
从而拟合得到服务器功耗模型是常用的研究
方法
。
目前常用的性能测试软件有
：
Lookbusy
、
Stress
等
Linux
系统下的测试软件
，
以及
SPEC
(
standard
Wang
Yewan
等
［
10
］
利用服务器能效测试工具
,
考虑了
环境温度的影响
,
分析了服务器进风温度与功率增量
之间的关系
。
G.
Dhiman
等
［
11
］
根据数据中心内部服
务器的工作状态
，
利用
SPEC2000
测试套件将服务器
performance
evaluation
corporation
)
标准性能评估组织
开发的针对高性能计算机的一系列测试套件
。表
1
中归纳了部分功耗模型及其测试软件等信息
。
R.
Basmadjian
等
［
7
］
利用
Lookbusy
软件以
CPU
电压
、
频
功耗表示为基准功率和有功功率之和
。
A.
Kansal
等
［
12
］
以
CPU
利用率
、
LLC(last
level
cache)
丢失次数
率
、
内存频率
、
硬盘读写速率以及风扇转速为变量建
立了针对塔式和机架式服务器的加法功耗模型
。
P.
Garraghan
等
［
8
］
利用
SPECpower_ssj
2008
(
简称
以及读写字节数为变量
，
同时考虑
CPU
、
硬盘等组件
的利用率
，
建立了功耗模型
。
表
1
服务器功耗模型
Tab.1
Server
power
consumption
models
作者
^
Server
—
功耗模型
^
Mainboard
+
i
-
1
j
—
1
因素
^
Fan
测试软件
R.
Basmadjian
等
[7]
CPU
电压及频率
，
内存频率
，
+
厶
P
1
PSU
k
—
1
硬盘读写速率
，
风扇转速
Lookbusy
P.
Garraghan
等
[8]
P
Server
=
P
IT
+
m
P
pump
+
乞
nP
fan
CPU
利用率
,CPU
核心温度
，
1
1
风扇转速
SPECpower_ssj2008
EU_
P
x
二
Host_Idle+(
Host_P-Host_Idle
)
R.
Kavanagh
等
[9]
EU
Util
’
x
--------------------------
X
-
'
EU
Count
工一
EU
Util
1
—
y
CPU
利用率
Stress
Wang
Yewan
等
[10]
P
estimated
-
P
idle
+
"
cPU%
(
P
100%
-
P
idle
)+Delta(
T
)
+
a
1
T
+
CPU
利用率
,
Delta(
T)
二
T
2
服务器进风温度
服务器性能测试工具
G.
Dhiman
等
[11]
P
—
P
base
b
+
P
t
active
CPU
利用率
CPU
利用率
,
SPEC2000
测试套件
：
mcf,gcc,mesa
和
gap
SPEC
CPU2006
套件
A.
Kansal
等
[12]
Eps
=
a
CPU
弘
CPU
a
mem
弘
mem
+
%
Udisk
7
LLC
丢失次数和读写字节数
和
IOmeter
Jin
Chaoqiang
等
［
13
］
对现有功耗模型进行了统计
分析
，
结果表明
CPU
利用率是功耗模型中使用最广
泛的指标
。
并且在
CPU
密集型工作负载中
，
基于
择上较为随意
，
且目前尚无对于不同软件测试结果的
对比分析
。
服务器作为数据中心能源管理和热管理
的基本单元
，
其功耗直接决定数据中心的整体能耗和
CPU
利用率建立的简单回归模型可以提供合理的预
空调系统的冷却负荷
。
准确的服务器功耗模型可以
应用在服务器及其集群的能源管理和冷却系统的配
置管理中
。
基于服务器功耗模型和虚拟化技术
，
管理
测精度
［
10
］
，
说明在此应用场景中服务器功耗的主要
消费者为
CPUo
如表
1
所示
，
为了准确得到服务器的
功耗
,研究者们利用不同测试软件
,
选取服务器不同
工作参数为变量
，
建立功耗模型
。
但在测试软件的选
者可以将工作负载分配到指定的服务器中
，
其他服务
器则可依据任务需求关闭电源或进入休眠模式
，
进而
—
101
—
第
42
卷
第
3
期
制冷学报
No/.
42
,
No.
3
June
,
2027
2021
年
6
月
Journa/
of
Re/rigeration
减少服务器的总功耗
［
14
］
。
数据中心冷却系统的供需
的负载类型也不同
。
如表
2
所示
，
服务器负载可分为
匹配是节约制冷能耗的关键
,
依据服务器功耗模型
，
可以准确计算
IT
设备的冷却需求
，
保证其在所需的
环境中正常工作
,
并避免在设计和运行阶段中造成冷
却能力浪费
。
因此本文针对以
CPU
计算为主的应用
科学研究
、
数据分析
、
业务处理
、
云数据
、
可视化和音
频
、
通信及存储等类型⑴
〕
。
在服务器执行不同的工
作任务时
,
对内部组件的要求和利用率也不同
，
这会
导致服务器功耗的差异
。
科学研究
、
数据分析等业务
场景搭建实验台
，
保持服务器进风温度恒定以避免
IT
设备热效应带来的误差
,
利 用
Lookbusy
、
Stress
和
SPECpower
三款性能测试软件
,
分析不同测试软件造
成的服务器功耗差异及其影响因素
。
对于
CPU
的利用率较高
，
且随着
CPU
多核心
、
超线
程等技术的发展,服务器功耗必将快速增加
。
而通信
及存储业务的硬盘及
I/O
利用率高
，
但硬盘和
I/O
的
功耗占服务器总功耗的比例较低
，
功耗增长趋势也较
缓慢
［
15
］
。
因此以
CPU
计算为主要应用场景的服务
器迅速发展
,
造成服务器整体功耗的增加
，
同时对数
据中心的制冷系统和供配电系统提出了严峻的挑战
。
1
服务器负载及性能测试软件的分类
1.
1
服务器负载类型
因不同行业对数据中心的业务要求不同
,
服务器
表
2
常见负载类型对
IT
设备的利用率
[13]
Tab.2
Common
load
types
utilization
of
IT
equipment
[
13
]
负载类型
CPU
内存
I/O
硬盘
低
中
科学研究
数据分析
业务处理
高
高
中高
低
中
中高
中高
中高
中高
中
中
中高
低
云数据
可视化和音频
中
中低
中低
低
中
中低
中低
低
通信
存储
中低
低
中
中
高
1.
2
性能测试软件
Lookbusy
和
Stress
为
Linux
系统的性能测试软
件
，
可以通过不同命令改变
CPU
、
内存
、
I/0
、
硬盘等
组件的利用率
，
从而测试服务器的性能
。
负载计算对应的目标负载
。
因此
,
SPECpower
的软件
利用率不能与
Stress
、
Lookbusy
软件一样代表
CPU
的
实际利用率
,SPECpower
软件利用率表示整个服务器
的目标负载与校准所得最大负载的比值
。
SPEC
是一个全球性的第三方非营利性组织
，
致
力于建立
、
维护和认证一套应用于计算机的标准化基
准评测套件
。
SPEC
组织开发基准测试套件
,
在完成
SPECpower
测试同样考虑了环境温度对于
IT
设备功
耗以及性能的影响
，
环境温度的测量是一份完整版测
试报告的必要条件
。
测试并经过检验后会在
SPEC
网站上公开测试结果
。
SPEC
基准测试套件包含云
、
中央处理
Java
客户
端
/
服务器
、
存储
、
功率
、
虚拟化等
。
其中
SPECpower
是业界第一个用于测量单节点和多节点服务器的性
能以及功耗的测试软件
。
由于服务器在绝大部分时
2
实验设计
实验平台分为测试服务器和控制主机
，
测试服务
器为一台
Dell
PowerEdge
R740
机架式服务器
,
其配
间内都处于低负载运行状态
,IT
从业者采取了一系
列措施降低服务器处于低负载时的功耗
。
而
置规格如表
3
所示
。
控制主机为
1
台笔记本电脑
，
用
来向服务器发送指令并收集实验数据
。
测试主机和
控制主机之间利用网线通过
IPMI(
intelligent
platform
SPECpower
采用了一种测试方法
，
可以测试各种系统
负载下的性能以及功耗从而衡量服务器工作的能效
。
SPECpower
与
Lookbusy
、
Stress
等软件的不同之处是
在确定服务器负载时
,SPECpower
会通过
3
次校准测
management
interface
)
智能平台管理端口连接
，
服务
器实验数据通过
Zabbix
监测系统以及
Dell
服务器自
带的
iDRAC
(
integrated
dell
remote
access
controller)
戴尔集成远程控制器进行收集
。
Zabbix
系统每隔
2
s
试确定该服务器的最大负载
，
然后根据校准得到最大
会自动采集并存储服务器的功耗数据
，
其精度为
2
—
102
—
第
42
卷
第
3
期
2021
年
6
月
基于性能测试软件的服务器功耗实测研究
Vol.
42
,
No.
3
June
,
2021
Wo
R.
Kavanagh
等
［
16
］
发现由于
IPMI
的功率传感器
分辨率较低
,
会导致
Zabbix
系统的功耗监测数据和
控制主机
功率计实测读数之间存在偏差
。
为检验
IPMI
读数
的准确性
，
在服务器侧安装了功率计
，
其测量范围为
温易
r
功勰测
A
生成报告
0.5
〜
4
400
W,
精度等级为
1
级
,
读取测试期间服务
器的平均功率与
IPMI
的功耗数据进行对比分析
。
同
时服务器进风侧也设置了
3
枚
K
型热电偶记录服务
厦流电源
器进风温度
，
测温范围为
-40
〜
1
100
C
,
误差
±1.5
C,
每
10
s
采集一次数据
，
保持服务器进风温度恒定
且处于标准推荐范围内
,
避免环境温度的大幅波动对
'
功衬
I
温度
g
感器
T
I
蘿|
|网;各|
实验造成误差
。
在
Lookbusy
A
Stress
和
SPECpower
测
试期间
，
服务器进风平均温度分别为
22.9
C
、
22.
1
C
和
23.
1
Co
实验平台和实验流程如图
1
、
图
2
所示
。
表
3
测试服务器配置表
Tab
・
3
Test
server
configuration
项目
规格
CPU
Intel
Xeon
R6130,2.
1Ghz,2
颗
内存
32
GBx2
硬盘
4
TB
机械硬盘
电源
80PLUS
铂金
495
W
图
1
实验平台
Fig
・
1
Experimental
platform
分别采用
SPECpower^Lookbusy和
Stress
软件在
测试服务器上生成负载
，
负载范围为
0%
〜
100%
（
以
10%
为增量
）
o
在实验过程中
，
Lookbusy
和
Stress
软
件在每个负载水平下稳定运行
5
min
后改变工况
;
SPECpower
由软件自行完成一次测试
。
记录不同负
载下服务器的功耗
、
进风量
、
进风温度以及服务器的
|内存
“
------------
彳负载
*
------------
*
CPUs
测试主机|
图
2
实验流程
Fig
・
2
Experimental
flow
工作参数
。
3
实验结果分析
3
・
1
软件利用率和
CPU
利用率的关系
图
3
所示为服务器
CPU
实际利用率与测试软件
利用率的差异
。
可以发现
Lookbusy
和
Stress
软件
CPU
利用率的实测值和设置值基本一致
，
满足测试
要求
。
Lookbusy
可以通过命令改变
CPU
的利用率
,
其偏差在
0.
8%
以内
。
由于
Stress
只能启动整数个线
程
，
然后使用任务集将其映射到物理主机的
CPU
中
。
因此在确定的
CPU
利用率所需要的线程数目不为整
数时
，
会存在偏差
，
但最大偏差在
1.5%
以内
。
SPECpower
的软件利用率与
CPU
实际利用率之间呈
二次多项式关系
，
其拟合多项式的相关指数
R
2
二
0.
993,CPU
的实际利用率的增量随
SPECpower
软件
利用率的升高而逐步增大
。
―
■
—
Lookbusy
―•-
Stress
▲
SPECpower
R
2
=0.993
10
20
30
40
50
60
70
80
90
100
软件利用率
/%
图
3
软件利用率与
CPU
利用率的差异
Fig
・
3
The
utilization
difference
between
software
and
CPU
由于
SPECpower
软件的利用率同
CPU
利用率并
不相同
，
为确定相同
CPU
利用率下因测试软件不同
—
103
—
第
42
卷第
3
期
制冷学报
No/.
42
,
No.
3
2021
年
6
月
Journa/
of
Re/r,gerat,on
June
,
2027
造成的功耗差异
，
利用
SPECpower
利用率与
CPU
利
用率之间的关系
，
采用插值的方法获得某一确定
CPU
利用率下的服务器功耗及其他工作参数
。
3
・
2
服务器功耗与
CPU
利用率的关系
图
4
所示为测试过程中功率计的读数与
IPMI
监
测的功耗数据的差异
。
可以发现
，
在服务器处于低负
载时
,IPMI
数据与功率计读数偏差较大
，
最大可达
10%
。
二者差异
随
CPU
利用率的增长先降低后升
高
。
在服务器
CPU
利用率为
40%
-
80%
时
,IPMI
和
功率计的功耗数据基本吻合
，
偏差在
5%
之内
，
最小
仅为
0.
38%o
随服务器
CPU
利用率的继续增长
,
二
者偏差略微上升
，
在
CPU
满载时
IPMI
和功率计的偏
差为
4%o
虽然
IPMI
功耗传感器分辨率较低
，
导致
二者监测数据存在偏差
，
但
IPMI
监测数据的偏差对
三款测试软件造成的影响基本一致
，
且在数据中心内
部利用直连功率计确定每台服务器的功耗是不现实
的
,
IPMI
数据也更易获取和收集
。
因此在不同工况
的对比测试中使用
IPMI
数据进行分析和讨论是完全
可行的
。
亠
SPECpower(IPMI)
〜
SPECpower
1
luu
on
0
-----
10
-----------
20
-----------
30
-----------
40
-----------
50
-----------
60
-----------
70
---------
80
—
90
------------
100
CPU
利用率
/%
图
4
IPMI
与功率计读数差异
Fig
・
4
The
reading
difference
of
IPMI
and
power
meter
服务器功耗随
CPU
利用率的变化如图
5
所示
。
实验开始前服务器的待机功耗为
156
W,
约占满载功
耗的
50%o
实验过程中服务器功耗随
CPU
利用率的
增长逐步趋于平缓
。
但在相同
CPU
利用率下服务器
的功耗随负载软件的不同而存在较大差异
,
除待机工
况外
‘
Stress
软件的测试功耗最高
，
SPECpower
次之
,
Lookbusy
软件测试功耗最低
。
在
CPU
利用率为
100%
时
,
Lookbusy
功耗为
286
W,
为
SPECpower
软件
测试满载功耗
313
W
的
91.
4%,Stress
软件测试满载
功耗
338
W
的
84.
6%o
可以发现
，
即使负载软件的
选择不同
，
但服务器功耗随
CPU
利用率变化的整体
趋势是一致的
。
相同
CPU
利用率下服务器功耗的差
异是由服务器工作参数的不同所导致
。
为了确定不同测试软件造成的服务器功耗差异
,
—
104
—
图
5
服务器功耗随
CPU
利用率的变化
Fig.5
Server
power
consumption
changes
with
CPU
utilization
对负载稳定时服务器的平均进风量
、
CPU
平均温度
及服务器其他组件利用率随
CPU
利用率的变化进行
分析
。
如图
6
所示
，
在进风温度稳定的状态下,
SPECpower
和
Lookbusy
的实验过程中服务器的风量
约为
109
m
3
/h,
且全程基本保持稳定
；
Stress
软件在
实验过程中服务器的进风量随
CPU
利用率和温度的
变化而改变
，
在
CPU
利用率大于
30%
后
，
因
CPU
温
度剧烈上升至
80
C
,
导致服务器的进风量和风扇功
耗显著增加
。
耒
(
旦
、
*
垢
r
即
图
6
服务器进风量随
CPU
利用率的变化
Fig.6
Server
air
intake
changes
with
CPU
utilization
图
7
所示为服务器
CPU
温度随
CPU
利用率的
变化情况
，
在
3
组实验中服务器
CPU
的温度并不相
同
。
而服务器
CPU
的温度越高
,
其能耗也越大
，
且
CPU
的温度不仅影响服务器的进风量
，
也会产生较
大的泄漏电流
，
导致能源的浪费
。
有研究表明
，
当芯
片温度达到
85
C
时
,
无效的漏电占
CPU
总耗电的一
半
。
因此
CPU
温度的不同也是导致测试功耗不同的
原因之一
。
减少泄漏电流的有效方法是降低芯片温
度
，
通过冷却降低芯片温度
，
可以有效减少漏电部分
损失
,
大幅度减少泄露电流
，
从而很大程度上降低芯
第
42
卷第
3
期
2021
年
6
月
基于性能测试软件的服务器功耗实测研究
Vol.
42
,
No.
3
June
,
2021
片的耗电量
，
提高信号等电子传送效率
[4]
o
但大幅
00
80
60
40
20
度降低
IT
设备电子元件的工作温度
,
势必会引起冷
却系统能耗的增加
，
因此需要在保证
IT
设备高效工
作的前提下
,
降低冷却能耗
,
达到数据中心整体能效
的最优化
。
90
—
Lookbusy
•
Stress
®
o
J
80
Bg
n
d
u
10
20
30
40
50
60
70
80
90
100
CPU
利用率
/%
图
7
服务器
CPU
温度随
CPU
利用率的变化
Fig
・
7
Server
CPU
temperature
changes
with
CPU
utilization
因服务器的主要负载是
CPU
计算
，
且在实验过
程中
I/O
读写速率均未超过
50
KB/sec,
其产生的功
耗差距可以忽略不计
。
而对于内存而言
，
不同负载软
件所调用的内存大小差异明显
,
实验过程中内存利用
率随
CPU
利用率的变化如图
8
所示
。
在
Lookbusy
和
Stress
实验中
，
内存利用率全程均稳定在
5%,
而在
SPECpower
实验中
，
服务器内存利用率则全程稳定在
71%o
根据每个通道
DIMM
（
dual
inline
memory
mod
ules
）
的数目
、
容量及运行频率
,
内存条的功率通常在
4~15
W
之间
[17]
o
在测试过程中
，
服务器内存利用
率不随
CPU
利用率的变化而改变
，
即内存功率为定
值。
因此测试软件对于内存的利用程度会对服务器
的稳定功耗产生一定影响
。
但在以
CPU
计算为主要
应用场景时
,
不同工况时服务器进风量与
CPU
温度
之间的差异对于服务器功耗变化所造成的影响更大
。
在三组实验中
‘
Stress
软件测试功耗明显高于其余
两款的原因是
Stress
作为
Linux
压力测试软件
，
会对服
务器运行的稳定性提出更高要求
,
检验服务器在
CPU
温度升高时风量能否匹配
，
服务器能否正常运行
。
因
此
,
在利用
Stress
软件进行测试时
,CPU
温度更高
,
而
更高的
CPU
温度会导致更大的泄露电流和服务器风
扇功耗
。
虽然
Stress
软件对于内存利用率较低
，
但是
在以
CPU
计算为主的应用场景中
,CPU
的功耗和风扇
的功耗均大于内存
。
而
Lookbusy
和
SPECpower
软件
实验中服务器的进风量保持恒定
,
其功耗差异产生的
原因是
SPECpower
作为综合负载测试软件
，
会根据服
务器的硬件配置确定最大负载
,
对各组件均进行调用
,
—
Lookbusy
—
^Stress
—
SPECpower
10
20
30
40
50
60
70
80
90
100
CPU
利用率
/%
图
8
服务器内存随
CPU
利用率的变化
Fig
・
8
Server
memory
changes
with
CPU
utilization
而不仅限于
CPUo
在
SPECpower
实验中
CPU
温度更
高
，
其泄漏电流和功耗都更大
，
且
SPEC
可以调用
71%
的内存执行任务
,
也会增加一部分功耗
,
导致服务器的
整体能耗高于
Lookbusy
实验工况
。
4
结论
本文利用
Lookbusy
、
Stress
、
SPEC
power
三种测试
软件
，
研究了在以
CPU
计算为主的应用场景中
，
测试
软件不同导致的服务器功耗差异及其原因
，
得到结论
如下
：
1
）
随服务器负载水平的不同
，
IPMI
监测数据与
功率计读数的偏差也不同
。
当服务器
CPU
利用率低
于
30%
或高于
90%
时
，
偏差较大
，
最高可达
10%o
虽
然
IPMI
功耗传感器分辨率低
，
但其对测试软件的影
响趋势基本一致且更易获取
，
因此在进行不同工况的
对比时仍然可采用
IPMI
功耗数据进行分析
。
2
）
不同的性能测试软件对于服务器硬件资源的
利用程度不同
，
导致服务器各部件的利用率
、
温度均
不同
，
因此服务器的整体功耗也不同
。
在
CPU
利用
率为
100%
时
,Lookbusy
和
SPECpower
软件的功耗偏
差会达到
15.4%
。
在选取测试软件时
,SPECpower
软
件会综合考虑服务器硬件水平
,
对服务器各组件均施
加相应负载
，
因此当服务器应用场景不唯一
,
对硬件
资源调用程度更全面时
，
使用
SPECpower
软件的测
试结果更准确
。
而
Stress
软件
,
更适合测试服务器在
极端工况下的运行稳定性
。
3
）
在以
CPU
计算为主要应用场景的服务器中
,
功耗差异一般是由
CPU
温度和服务器进风量的差异
导致
，
且二者存在相互关系
。
降低
CPU
温度会大幅
度减少泄漏电流
,
但需要更大的进风量
，
而更大的进
风量会增加风扇功耗
。
因此需要综合考虑
，
在保证服
务器稳定运行的前提下,使其整体能耗最低
。
—
105
—
第
42
卷第
3
期
制冷学报
No/.
42
,
No.
3
June
,
2027
2021
年
6
月
Journa/
of
Refrigeration
本文受重庆市技术创新与应用发展项目
(
cstc2020jscx-
msxmX0184
)
资助
。
(
The
project
was
supported
by
the
Utility
and
Cloud
Computing.
Shanghai,
2016
：
11-19.
[
9]
KAVANAGH
R,
DJEMAME
K.
Rapid
and
accurate
energy
models
through
calibration
with
IPMI
and
RAPL[
J]
.
Con
Chongqing
Technology
Innovation
and
Application
Development
(
No.
cstc2020jscx-msxmX0184)
.)
参考文献
currency
and
Computation
：
Practice
and
Experience,
2019,
31(13)
.
[10]
WANG
Yewan,
NORTERSHAUSER
D,
MASSON
S
L,
et
al.
An
empirical
study
of
power
characterization
approaches
[1]
殷平
.
数据中心研究
(
1):
现状与问题分析
[J].
暖通空
调
，
2016,
46(8)
:
42-53.
(YIN
Ping.
Research
on
data
centers
(
1
)
：
current
situation
and
problem
analysis
[
J]
.
for
servers
[
C]
/
/The
Ninth
International
Conference
on
Smart
Grids,
Green
Communications
and
IT
Energy-aware
Journal
of
HV
&
AC,2016,
46(8)
:
42-53.)
[2]
科智咨询
.
2018—
2019
年中国
IDC
产业发展研究报告
[R/OL].
(2019-05-15)
[2020-08-15].
http
：
//
-
quan
.
com/Special/2019baogao/.
html.
(
Kezhi
consulting.
2018
—
2019
China
IDC
industry
development
research
report[R/OL].
(2019-05-15)
[
2020-08-15].
http
：
//
/
Special/2019baogao/.html
.)
[3]
国务院发展研究中心国际技术经济研究所
.
中国云计
算产业发展白皮书
[R/OL].
(2019-10-13)
[
2020-08
15
].
http
：
//www.
drciite.
org/Home/Detail/4?
type
=
10&nid
=
4831.
html.
(
The
institute
of
international
technology
and
economy
of
development
research
center
of
the
state
council.
White
paper
on
China
'
s
cloud
computing
industry
development
[
R/OL]
.
(
2019-10-13
)
[
2020-08
15
].
http
：
//www.
drciite.
org/Home/Detail/4?
type
=
1
0&nid
=
.
)
[4]
中国制冷学会数据中心冷却工作组
.
中国数据中心冷
却技术年度发展研究报告
2019[R].
北京
：
中国建筑工
业岀版社
,
2020.
(
Data
center
cooling
technical
committee
of
CAR.
Annual
reports
on
research
and
development
of
data
center
cooling
technologies
2019
[
R]
.
Beijing
：
China
Architecture
&
Building
Press,
2020.)
[5]
朱万朋
，
马国远
，
李翠翠
，
等
.
数据中心自然冷却用泵
驱动两相回路系统火用
分析
[J].
制冷学报
，
2019,
40
(3)
：
24
-
30.
(
ZHU
Wanpeng,
MA
Guoyuan
,
LI
Cuicui
,
et
al.
Exergy
analysis
of
pump-driven
two-phase
loop
system
for
free
cooling
in
data
centers
[
J
]
.
Journal
of
Refrigeration,
2019,
40(
3)
：
24-30.)
[6]
CHEUNG
H,
WANG
Shengwei,
ZHUANG
Chaoqun,
et
al.
A
simplified
power
consumption
model
of
information
tech
nology
(
IT)
equipment
in
data
centers
for
energy
system
re
al-time
dynamic
simulation
[
J]
.
Applied
Energy,
2018,
222
：
329-342.
[7]
BASMADJIAN
R,
ALI
N,
NIEDERMEIER
F,
et
al.
A
meth
odology
to
predict
the
power
consumption
of
servers
in
data
centers[
C
]//Proceedings
of
the
International
Conference
on
Energy-efficient
Computing
&
Networking,
2011
：
1-10.
[8]
GARRAGHAN
P,
Al-ANII
Y,
SUMMERS
J,
et
al.
A
uni
fied
model
for
holistic
power
usage
in
cloud
datacenter
serv
ers
[
C
]
//9th
IEEE/ACM
International
Conference
on
—
106
—
Technologies.
Greece,
2019
：
1-6.
[11]
DHIMAN
G,
MIHIC
K,
ROSING
T.
A
system
for
online
power
prediction
in
virtualized
environments
using
Gaussian
mixture
models
[C]
/
/Design
Automation
Conference.
Ana
heim
IEEE,
2010
：
807-812.
[
12]
KANSAL
A,
ZHAO
Feng,
LIU
Jie,
et
al.
Virtual
machine
power
metering
and
provisioning
[
C
]
//Proceedings
of
the
1st
ACM
symposium
on
Cloud
Computing.
Indianapolis,
2010
：
39-50.
[
13]
JIN
Chaoqiang,
BAI
Xuelian,
YANG
Chao,
et
al.
A
review
of
power
consumption
models
of
servers
in
data
cen-
ters[
J]
.
Applied
Energy,
2020,
265
：
114806.
[
14]
PERUMAL
V,
SUBBIAH
S.
Power-conservative
server
consolidation
based
resource
management
in
cloud
[
J]
.
In
ternational
Journal
of
Network
Management,
2014,
24(
6)
：
415-432.
[15]
安娅楠
.
基于服务器功耗模型的数据中心热环境研究
[D].
重庆
：
重庆大学
,
2019.
(
AN
Yanan.
Research
on
data
center
thermal
environment
based
on
server
power
consumption
model
[
D].
Chongqing
：
Chongqing
University,
2019.)
[16]
KAVANAGH
R,
ARMSTRONG
D,
DJEMAME
K.
Accuracy
of
energy
model
calibration
with
IPMI[
C]//IEEE
9th
International
Conference
on
Cloud
Computing
(
CLOUD)
.
San
Francisco,
2016
：
648-655.
[17]
BROCHARD
L,
KAMATH
V,
CORBALAN
J,
et
al.
Ener
gy-efficient
computing
and
data
centers
[
M
]
.
Hoboken
：
John
Wiley
&
Sons,
Inc,
2019.
通信作者简介
白雪莲
，
女
，
教授
，
博士生导师
，
重庆大学土木工程学院
,
159****6696,
:
xuelianbai@
。
研究方向
：
暖通
空调理论与技术
、
建筑节能与绿色建筑
、
数据中心热环境与能
源管理
、
文物保存环境监测与控制
。
About
the
corresponding
author
Bai
Xuelian,
female,
professor,
Ph.
D.
supervisor,
School
of
Civil
Engineering,
Chongqing
University,
+
86
159****6696,
：
xuelianbai@
.
cn.
Research
fields
：
HVAC
theory
and
tech
nology,
building
energy
efficiency
and
green
building,
data
center
thermal
environment
and
energy
management,
environmental
mo
nitoring
and
control
of
cultural
relic
preservation.
2024年5月11日发(作者：能鹏涛)
第
42
卷
第
3
期
制冷学报
No/.
42
,
No.
3
June
,
2027
2021
年
6
月
文章编号
：
0253-4339(2021)
03-0100-07
Journa/
of
Refrigeration
doi
：
10.
3969/j.
issn.
0253-4339.
2021.
03.
100
基于性能测试软件的服务器功耗实测研究
徐鑫白雪莲金超强
(
重庆大学土木工程学院重庆
400000
)
摘要
数据中心节能和环境控制的基础是确定数据中心服务器的功耗
。
本文针对以
CPU
计算为主要任务的应用场景
，
搭建
实验台
，
利用
Lookbusy
,
Stress
,
SPECpower_ssj
2008
三种测试软件
，
结合服务器运行参数
，
对服务器功耗和硬件利用率等进行测试
分析
,
对比三种软件的应用效果
。
研究结果表明:
不同测试软件对于服务器硬件资源的利用程度不同
，
导致服务器功耗也不同
，
功耗最大差异超过
15%,
在服务器功耗模型的研究中
，
应当根据服务器应用场景和硬件利用率的差异选择不同的性能测试软件
;
其中
,SPECpower_ssj2008
适合对服务器进行综合测试
，
而
Stress
适合测试服务器在极端情况下的运行稳定性
。
关键词
数据中心
;
服务器功耗
;
性能测试软件
;CPU
利用率
中图分类号
:
TB61
+
1
；
TP31
文献标识码
：
A
Experimental
Test
on
Server
Power
Consumption
Based
on
Performance
Testing
Software
Xu
Xin
Bai
Xuelian
Jin
Chaoqiang
(
School
of
Civil
Engineering
,
Chongqing
University
,
Chongqing
,
400000,
China)
Abstract
Determining
the
power
consumption
of
data
center
servers
is
the
basis
of
data
center
energy
saving
and
environmental
control.
At
present,
it
is
a
common
research
method
that
uses
performance
testing
software
to
fit
the
server
power
consumption
model
under
differ
ent
working
conditions.
An
experimental
platform
was
built
with
the
aim
of
CPU
computing
as
the
main
task.
Three
different
test
software
(
Lookbusy,
Stress,
and
SPECpower_ssj
2008)
were
used
to
conduct
the
test.
This
study
compared
the
differences
between
server
power
consumption
and
hardware
utilization
based
on
server
operating
parameters.
The
results
show
apparent
differences
in
server
hardware
calls
under
an
identical
parameter
setting
among
different
testing
software,
leading
to
a
maximum
deviation
of
more
than
15%
on
the
testing
out
come
of
the
server
power
consumption.
This
indicates
that
it
is
important
to
select
the
proper
performance
testing
software
according
to
ap
plication
scenarios
and
hardware
utilization
when
it
comes
to
the
research
of
the
server
power
consumption
model.
Among
the
software
test
ed,
SPECpower_ssj
2008
is
most
suitable
for
the
comprehensive
testing
of
servers,
and
Stress
is
most
suitable
for
testing
the
stability
of
servers
under
extreme
conditions.
Keywords
data
center
；
server
power
consumption
；
performance
testing
software
；
CPU
utilization
过去的二十年
,
人们对于数据处理
、
存储和传输
需求不断增加
,
伴随着计算机和电子信息技术的同步
发展
,
数据中心行业爆发性增长
。
2018
年中国数据
营成本和环境问题
，
相关行业也越来越重视数据中心
的节能工作
。
数据中心的总能耗由
IT(
information
technology
)
中心市场业务总规模为
1
228
亿元
，
占全球市场规模
的
19.64%,
总机架数为
271.06
万架
，
预计
2021
年
，
中国数据中心市场规模将会达到
2
769.
6
亿元
，
增速
设备
、
空调系统
、
电源系统和附属设备等能耗组成
。
IT
设备能耗和空调系统能耗分别占总能耗的
45%
和
40%
［
4-5
］
，
是大部分数据中心的耗能大户
。
其中
IT
设
备的能耗主要由服务器
、
网络设备及配电设备组成,
超过
30%
，
中国将成为世界数据资源大国和全球数
据中心
［
1
］
。
数据中心能耗也逐年增加
,
2019
年中国
数据中心总用电量为
1
748
亿
kW-h,
占全社会总用
其中服务器的能耗占
IT
设备总能耗的
70%
~
80%
⑷
。
服务器负责数据中心内部所有数据的计算
、
电量的
2.
4%
⑷
。
数据中心的高能耗带来高昂的运
基金项目
：
国家自然科学基金(51778080)
资助项目。
(
The
project
was
supported
by
the
National
Natural
Science
Foundation
of
China
(
No.
51778080)
.)
处理及存储工作
，
是数据中心能源的主要消耗者
，
同
收稿日期：
2020-10-22
；
修回日期
:
2020-12-31
—
100
—
第
42
卷
第
3
期
Vol.
42
,
No.
3
2021
年
6
月
基于性能测试软件的服务器功耗实测研究
June
,
2021
时也是数据中心空调系统负荷的主要来源
。
因此研
究服务器功耗模型对数据中心能耗预测具有重大意
SPECpower)
,
以服务器的产热和散热作为分析依据
,
认为服务器的功耗模型包括
IT
组件以及散热组件两
部分
。
R.
Kavanagh
等
［
9
］
利用
Stress
程序
，
仅基于
CPU
利用率来估算整个系统的功耗
,
利用线性回归
建立了功耗模型并提供了应用于虚拟机的模型
。
义
。
在现有的研究中
，
通过性能测试软件对服务器进
行测试
，
从而拟合得到服务器功耗模型是常用的研究
方法
。
目前常用的性能测试软件有
：
Lookbusy
、
Stress
等
Linux
系统下的测试软件
，
以及
SPEC
(
standard
Wang
Yewan
等
［
10
］
利用服务器能效测试工具
,
考虑了
环境温度的影响
,
分析了服务器进风温度与功率增量
之间的关系
。
G.
Dhiman
等
［
11
］
根据数据中心内部服
务器的工作状态
，
利用
SPEC2000
测试套件将服务器
performance
evaluation
corporation
)
标准性能评估组织
开发的针对高性能计算机的一系列测试套件
。表
1
中归纳了部分功耗模型及其测试软件等信息
。
R.
Basmadjian
等
［
7
］
利用
Lookbusy
软件以
CPU
电压
、
频
功耗表示为基准功率和有功功率之和
。
A.
Kansal
等
［
12
］
以
CPU
利用率
、
LLC(last
level
cache)
丢失次数
率
、
内存频率
、
硬盘读写速率以及风扇转速为变量建
立了针对塔式和机架式服务器的加法功耗模型
。
P.
Garraghan
等
［
8
］
利用
SPECpower_ssj
2008
(
简称
以及读写字节数为变量
，
同时考虑
CPU
、
硬盘等组件
的利用率
，
建立了功耗模型
。
表
1
服务器功耗模型
Tab.1
Server
power
consumption
models
作者
^
Server
—
功耗模型
^
Mainboard
+
i
-
1
j
—
1
因素
^
Fan
测试软件
R.
Basmadjian
等
[7]
CPU
电压及频率
，
内存频率
，
+
厶
P
1
PSU
k
—
1
硬盘读写速率
，
风扇转速
Lookbusy
P.
Garraghan
等
[8]
P
Server
=
P
IT
+
m
P
pump
+
乞
nP
fan
CPU
利用率
,CPU
核心温度
，
1
1
风扇转速
SPECpower_ssj2008
EU_
P
x
二
Host_Idle+(
Host_P-Host_Idle
)
R.
Kavanagh
等
[9]
EU
Util
’
x
--------------------------
X
-
'
EU
Count
工一
EU
Util
1
—
y
CPU
利用率
Stress
Wang
Yewan
等
[10]
P
estimated
-
P
idle
+
"
cPU%
(
P
100%
-
P
idle
)+Delta(
T
)
+
a
1
T
+
CPU
利用率
,
Delta(
T)
二
T
2
服务器进风温度
服务器性能测试工具
G.
Dhiman
等
[11]
P
—
P
base
b
+
P
t
active
CPU
利用率
CPU
利用率
,
SPEC2000
测试套件
：
mcf,gcc,mesa
和
gap
SPEC
CPU2006
套件
A.
Kansal
等
[12]
Eps
=
a
CPU
弘
CPU
a
mem
弘
mem
+
%
Udisk
7
LLC
丢失次数和读写字节数
和
IOmeter
Jin
Chaoqiang
等
［
13
］
对现有功耗模型进行了统计
分析
，
结果表明
CPU
利用率是功耗模型中使用最广
泛的指标
。
并且在
CPU
密集型工作负载中
，
基于
择上较为随意
，
且目前尚无对于不同软件测试结果的
对比分析
。
服务器作为数据中心能源管理和热管理
的基本单元
，
其功耗直接决定数据中心的整体能耗和
CPU
利用率建立的简单回归模型可以提供合理的预
空调系统的冷却负荷
。
准确的服务器功耗模型可以
应用在服务器及其集群的能源管理和冷却系统的配
置管理中
。
基于服务器功耗模型和虚拟化技术
，
管理
测精度
［
10
］
，
说明在此应用场景中服务器功耗的主要
消费者为
CPUo
如表
1
所示
，
为了准确得到服务器的
功耗
,研究者们利用不同测试软件
,
选取服务器不同
工作参数为变量
，
建立功耗模型
。
但在测试软件的选
者可以将工作负载分配到指定的服务器中
，
其他服务
器则可依据任务需求关闭电源或进入休眠模式
，
进而
—
101
—
第
42
卷
第
3
期
制冷学报
No/.
42
,
No.
3
June
,
2027
2021
年
6
月
Journa/
of
Re/rigeration
减少服务器的总功耗
［
14
］
。
数据中心冷却系统的供需
的负载类型也不同
。
如表
2
所示
，
服务器负载可分为
匹配是节约制冷能耗的关键
,
依据服务器功耗模型
，
可以准确计算
IT
设备的冷却需求
，
保证其在所需的
环境中正常工作
,
并避免在设计和运行阶段中造成冷
却能力浪费
。
因此本文针对以
CPU
计算为主的应用
科学研究
、
数据分析
、
业务处理
、
云数据
、
可视化和音
频
、
通信及存储等类型⑴
〕
。
在服务器执行不同的工
作任务时
,
对内部组件的要求和利用率也不同
，
这会
导致服务器功耗的差异
。
科学研究
、
数据分析等业务
场景搭建实验台
，
保持服务器进风温度恒定以避免
IT
设备热效应带来的误差
,
利 用
Lookbusy
、
Stress
和
SPECpower
三款性能测试软件
,
分析不同测试软件造
成的服务器功耗差异及其影响因素
。
对于
CPU
的利用率较高
，
且随着
CPU
多核心
、
超线
程等技术的发展,服务器功耗必将快速增加
。
而通信
及存储业务的硬盘及
I/O
利用率高
，
但硬盘和
I/O
的
功耗占服务器总功耗的比例较低
，
功耗增长趋势也较
缓慢
［
15
］
。
因此以
CPU
计算为主要应用场景的服务
器迅速发展
,
造成服务器整体功耗的增加
，
同时对数
据中心的制冷系统和供配电系统提出了严峻的挑战
。
1
服务器负载及性能测试软件的分类
1.
1
服务器负载类型
因不同行业对数据中心的业务要求不同
,
服务器
表
2
常见负载类型对
IT
设备的利用率
[13]
Tab.2
Common
load
types
utilization
of
IT
equipment
[
13
]
负载类型
CPU
内存
I/O
硬盘
低
中
科学研究
数据分析
业务处理
高
高
中高
低
中
中高
中高
中高
中高
中
中
中高
低
云数据
可视化和音频
中
中低
中低
低
中
中低
中低
低
通信
存储
中低
低
中
中
高
1.
2
性能测试软件
Lookbusy
和
Stress
为
Linux
系统的性能测试软
件
，
可以通过不同命令改变
CPU
、
内存
、
I/0
、
硬盘等
组件的利用率
，
从而测试服务器的性能
。
负载计算对应的目标负载
。
因此
,
SPECpower
的软件
利用率不能与
Stress
、
Lookbusy
软件一样代表
CPU
的
实际利用率
,SPECpower
软件利用率表示整个服务器
的目标负载与校准所得最大负载的比值
。
SPEC
是一个全球性的第三方非营利性组织
，
致
力于建立
、
维护和认证一套应用于计算机的标准化基
准评测套件
。
SPEC
组织开发基准测试套件
,
在完成
SPECpower
测试同样考虑了环境温度对于
IT
设备功
耗以及性能的影响
，
环境温度的测量是一份完整版测
试报告的必要条件
。
测试并经过检验后会在
SPEC
网站上公开测试结果
。
SPEC
基准测试套件包含云
、
中央处理
Java
客户
端
/
服务器
、
存储
、
功率
、
虚拟化等
。
其中
SPECpower
是业界第一个用于测量单节点和多节点服务器的性
能以及功耗的测试软件
。
由于服务器在绝大部分时
2
实验设计
实验平台分为测试服务器和控制主机
，
测试服务
器为一台
Dell
PowerEdge
R740
机架式服务器
,
其配
间内都处于低负载运行状态
,IT
从业者采取了一系
列措施降低服务器处于低负载时的功耗
。
而
置规格如表
3
所示
。
控制主机为
1
台笔记本电脑
，
用
来向服务器发送指令并收集实验数据
。
测试主机和
控制主机之间利用网线通过
IPMI(
intelligent
platform
SPECpower
采用了一种测试方法
，
可以测试各种系统
负载下的性能以及功耗从而衡量服务器工作的能效
。
SPECpower
与
Lookbusy
、
Stress
等软件的不同之处是
在确定服务器负载时
,SPECpower
会通过
3
次校准测
management
interface
)
智能平台管理端口连接
，
服务
器实验数据通过
Zabbix
监测系统以及
Dell
服务器自
带的
iDRAC
(
integrated
dell
remote
access
controller)
戴尔集成远程控制器进行收集
。
Zabbix
系统每隔
2
s
试确定该服务器的最大负载
，
然后根据校准得到最大
会自动采集并存储服务器的功耗数据
，
其精度为
2
—
102
—
第
42
卷
第
3
期
2021
年
6
月
基于性能测试软件的服务器功耗实测研究
Vol.
42
,
No.
3
June
,
2021
Wo
R.
Kavanagh
等
［
16
］
发现由于
IPMI
的功率传感器
分辨率较低
,
会导致
Zabbix
系统的功耗监测数据和
控制主机
功率计实测读数之间存在偏差
。
为检验
IPMI
读数
的准确性
，
在服务器侧安装了功率计
，
其测量范围为
温易
r
功勰测
A
生成报告
0.5
〜
4
400
W,
精度等级为
1
级
,
读取测试期间服务
器的平均功率与
IPMI
的功耗数据进行对比分析
。
同
时服务器进风侧也设置了
3
枚
K
型热电偶记录服务
厦流电源
器进风温度
，
测温范围为
-40
〜
1
100
C
,
误差
±1.5
C,
每
10
s
采集一次数据
，
保持服务器进风温度恒定
且处于标准推荐范围内
,
避免环境温度的大幅波动对
'
功衬
I
温度
g
感器
T
I
蘿|
|网;各|
实验造成误差
。
在
Lookbusy
A
Stress
和
SPECpower
测
试期间
，
服务器进风平均温度分别为
22.9
C
、
22.
1
C
和
23.
1
Co
实验平台和实验流程如图
1
、
图
2
所示
。
表
3
测试服务器配置表
Tab
・
3
Test
server
configuration
项目
规格
CPU
Intel
Xeon
R6130,2.
1Ghz,2
颗
内存
32
GBx2
硬盘
4
TB
机械硬盘
电源
80PLUS
铂金
495
W
图
1
实验平台
Fig
・
1
Experimental
platform
分别采用
SPECpower^Lookbusy和
Stress
软件在
测试服务器上生成负载
，
负载范围为
0%
〜
100%
（
以
10%
为增量
）
o
在实验过程中
，
Lookbusy
和
Stress
软
件在每个负载水平下稳定运行
5
min
后改变工况
;
SPECpower
由软件自行完成一次测试
。
记录不同负
载下服务器的功耗
、
进风量
、
进风温度以及服务器的
|内存
“
------------
彳负载
*
------------
*
CPUs
测试主机|
图
2
实验流程
Fig
・
2
Experimental
flow
工作参数
。
3
实验结果分析
3
・
1
软件利用率和
CPU
利用率的关系
图
3
所示为服务器
CPU
实际利用率与测试软件
利用率的差异
。
可以发现
Lookbusy
和
Stress
软件
CPU
利用率的实测值和设置值基本一致
，
满足测试
要求
。
Lookbusy
可以通过命令改变
CPU
的利用率
,
其偏差在
0.
8%
以内
。
由于
Stress
只能启动整数个线
程
，
然后使用任务集将其映射到物理主机的
CPU
中
。
因此在确定的
CPU
利用率所需要的线程数目不为整
数时
，
会存在偏差
，
但最大偏差在
1.5%
以内
。
SPECpower
的软件利用率与
CPU
实际利用率之间呈
二次多项式关系
，
其拟合多项式的相关指数
R
2
二
0.
993,CPU
的实际利用率的增量随
SPECpower
软件
利用率的升高而逐步增大
。
―
■
—
Lookbusy
―•-
Stress
▲
SPECpower
R
2
=0.993
10
20
30
40
50
60
70
80
90
100
软件利用率
/%
图
3
软件利用率与
CPU
利用率的差异
Fig
・
3
The
utilization
difference
between
software
and
CPU
由于
SPECpower
软件的利用率同
CPU
利用率并
不相同
，
为确定相同
CPU
利用率下因测试软件不同
—
103
—
第
42
卷第
3
期
制冷学报
No/.
42
,
No.
3
2021
年
6
月
Journa/
of
Re/r,gerat,on
June
,
2027
造成的功耗差异
，
利用
SPECpower
利用率与
CPU
利
用率之间的关系
，
采用插值的方法获得某一确定
CPU
利用率下的服务器功耗及其他工作参数
。
3
・
2
服务器功耗与
CPU
利用率的关系
图
4
所示为测试过程中功率计的读数与
IPMI
监
测的功耗数据的差异
。
可以发现
，
在服务器处于低负
载时
,IPMI
数据与功率计读数偏差较大
，
最大可达
10%
。
二者差异
随
CPU
利用率的增长先降低后升
高
。
在服务器
CPU
利用率为
40%
-
80%
时
,IPMI
和
功率计的功耗数据基本吻合
，
偏差在
5%
之内
，
最小
仅为
0.
38%o
随服务器
CPU
利用率的继续增长
,
二
者偏差略微上升
，
在
CPU
满载时
IPMI
和功率计的偏
差为
4%o
虽然
IPMI
功耗传感器分辨率较低
，
导致
二者监测数据存在偏差
，
但
IPMI
监测数据的偏差对
三款测试软件造成的影响基本一致
，
且在数据中心内
部利用直连功率计确定每台服务器的功耗是不现实
的
,
IPMI
数据也更易获取和收集
。
因此在不同工况
的对比测试中使用
IPMI
数据进行分析和讨论是完全
可行的
。
亠
SPECpower(IPMI)
〜
SPECpower
1
luu
on
0
-----
10
-----------
20
-----------
30
-----------
40
-----------
50
-----------
60
-----------
70
---------
80
—
90
------------
100
CPU
利用率
/%
图
4
IPMI
与功率计读数差异
Fig
・
4
The
reading
difference
of
IPMI
and
power
meter
服务器功耗随
CPU
利用率的变化如图
5
所示
。
实验开始前服务器的待机功耗为
156
W,
约占满载功
耗的
50%o
实验过程中服务器功耗随
CPU
利用率的
增长逐步趋于平缓
。
但在相同
CPU
利用率下服务器
的功耗随负载软件的不同而存在较大差异
,
除待机工
况外
‘
Stress
软件的测试功耗最高
，
SPECpower
次之
,
Lookbusy
软件测试功耗最低
。
在
CPU
利用率为
100%
时
,
Lookbusy
功耗为
286
W,
为
SPECpower
软件
测试满载功耗
313
W
的
91.
4%,Stress
软件测试满载
功耗
338
W
的
84.
6%o
可以发现
，
即使负载软件的
选择不同
，
但服务器功耗随
CPU
利用率变化的整体
趋势是一致的
。
相同
CPU
利用率下服务器功耗的差
异是由服务器工作参数的不同所导致
。
为了确定不同测试软件造成的服务器功耗差异
,
—
104
—
图
5
服务器功耗随
CPU
利用率的变化
Fig.5
Server
power
consumption
changes
with
CPU
utilization
对负载稳定时服务器的平均进风量
、
CPU
平均温度
及服务器其他组件利用率随
CPU
利用率的变化进行
分析
。
如图
6
所示
，
在进风温度稳定的状态下,
SPECpower
和
Lookbusy
的实验过程中服务器的风量
约为
109
m
3
/h,
且全程基本保持稳定
；
Stress
软件在
实验过程中服务器的进风量随
CPU
利用率和温度的
变化而改变
，
在
CPU
利用率大于
30%
后
，
因
CPU
温
度剧烈上升至
80
C
,
导致服务器的进风量和风扇功
耗显著增加
。
耒
(
旦
、
*
垢
r
即
图
6
服务器进风量随
CPU
利用率的变化
Fig.6
Server
air
intake
changes
with
CPU
utilization
图
7
所示为服务器
CPU
温度随
CPU
利用率的
变化情况
，
在
3
组实验中服务器
CPU
的温度并不相
同
。
而服务器
CPU
的温度越高
,
其能耗也越大
，
且
CPU
的温度不仅影响服务器的进风量
，
也会产生较
大的泄漏电流
，
导致能源的浪费
。
有研究表明
，
当芯
片温度达到
85
C
时
,
无效的漏电占
CPU
总耗电的一
半
。
因此
CPU
温度的不同也是导致测试功耗不同的
原因之一
。
减少泄漏电流的有效方法是降低芯片温
度
，
通过冷却降低芯片温度
，
可以有效减少漏电部分
损失
,
大幅度减少泄露电流
，
从而很大程度上降低芯
第
42
卷第
3
期
2021
年
6
月
基于性能测试软件的服务器功耗实测研究
Vol.
42
,
No.
3
June
,
2021
片的耗电量
，
提高信号等电子传送效率
[4]
o
但大幅
00
80
60
40
20
度降低
IT
设备电子元件的工作温度
,
势必会引起冷
却系统能耗的增加
，
因此需要在保证
IT
设备高效工
作的前提下
,
降低冷却能耗
,
达到数据中心整体能效
的最优化
。
90
—
Lookbusy
•
Stress
®
o
J
80
Bg
n
d
u
10
20
30
40
50
60
70
80
90
100
CPU
利用率
/%
图
7
服务器
CPU
温度随
CPU
利用率的变化
Fig
・
7
Server
CPU
temperature
changes
with
CPU
utilization
因服务器的主要负载是
CPU
计算
，
且在实验过
程中
I/O
读写速率均未超过
50
KB/sec,
其产生的功
耗差距可以忽略不计
。
而对于内存而言
，
不同负载软
件所调用的内存大小差异明显
,
实验过程中内存利用
率随
CPU
利用率的变化如图
8
所示
。
在
Lookbusy
和
Stress
实验中
，
内存利用率全程均稳定在
5%,
而在
SPECpower
实验中
，
服务器内存利用率则全程稳定在
71%o
根据每个通道
DIMM
（
dual
inline
memory
mod
ules
）
的数目
、
容量及运行频率
,
内存条的功率通常在
4~15
W
之间
[17]
o
在测试过程中
，
服务器内存利用
率不随
CPU
利用率的变化而改变
，
即内存功率为定
值。
因此测试软件对于内存的利用程度会对服务器
的稳定功耗产生一定影响
。
但在以
CPU
计算为主要
应用场景时
,
不同工况时服务器进风量与
CPU
温度
之间的差异对于服务器功耗变化所造成的影响更大
。
在三组实验中
‘
Stress
软件测试功耗明显高于其余
两款的原因是
Stress
作为
Linux
压力测试软件
，
会对服
务器运行的稳定性提出更高要求
,
检验服务器在
CPU
温度升高时风量能否匹配
，
服务器能否正常运行
。
因
此
,
在利用
Stress
软件进行测试时
,CPU
温度更高
,
而
更高的
CPU
温度会导致更大的泄露电流和服务器风
扇功耗
。
虽然
Stress
软件对于内存利用率较低
，
但是
在以
CPU
计算为主的应用场景中
,CPU
的功耗和风扇
的功耗均大于内存
。
而
Lookbusy
和
SPECpower
软件
实验中服务器的进风量保持恒定
,
其功耗差异产生的
原因是
SPECpower
作为综合负载测试软件
，
会根据服
务器的硬件配置确定最大负载
,
对各组件均进行调用
,
—
Lookbusy
—
^Stress
—
SPECpower
10
20
30
40
50
60
70
80
90
100
CPU
利用率
/%
图
8
服务器内存随
CPU
利用率的变化
Fig
・
8
Server
memory
changes
with
CPU
utilization
而不仅限于
CPUo
在
SPECpower
实验中
CPU
温度更
高
，
其泄漏电流和功耗都更大
，
且
SPEC
可以调用
71%
的内存执行任务
,
也会增加一部分功耗
,
导致服务器的
整体能耗高于
Lookbusy
实验工况
。
4
结论
本文利用
Lookbusy
、
Stress
、
SPEC
power
三种测试
软件
，
研究了在以
CPU
计算为主的应用场景中
，
测试
软件不同导致的服务器功耗差异及其原因
，
得到结论
如下
：
1
）
随服务器负载水平的不同
，
IPMI
监测数据与
功率计读数的偏差也不同
。
当服务器
CPU
利用率低
于
30%
或高于
90%
时
，
偏差较大
，
最高可达
10%o
虽
然
IPMI
功耗传感器分辨率低
，
但其对测试软件的影
响趋势基本一致且更易获取
，
因此在进行不同工况的
对比时仍然可采用
IPMI
功耗数据进行分析
。
2
）
不同的性能测试软件对于服务器硬件资源的
利用程度不同
，
导致服务器各部件的利用率
、
温度均
不同
，
因此服务器的整体功耗也不同
。
在
CPU
利用
率为
100%
时
,Lookbusy
和
SPECpower
软件的功耗偏
差会达到
15.4%
。
在选取测试软件时
,SPECpower
软
件会综合考虑服务器硬件水平
,
对服务器各组件均施
加相应负载
，
因此当服务器应用场景不唯一
,
对硬件
资源调用程度更全面时
，
使用
SPECpower
软件的测
试结果更准确
。
而
Stress
软件
,
更适合测试服务器在
极端工况下的运行稳定性
。
3
）
在以
CPU
计算为主要应用场景的服务器中
,
功耗差异一般是由
CPU
温度和服务器进风量的差异
导致
，
且二者存在相互关系
。
降低
CPU
温度会大幅
度减少泄漏电流
,
但需要更大的进风量
，
而更大的进
风量会增加风扇功耗
。
因此需要综合考虑
，
在保证服
务器稳定运行的前提下,使其整体能耗最低
。
—
105
—
第
42
卷第
3
期
制冷学报
No/.
42
,
No.
3
June
,
2027
2021
年
6
月
Journa/
of
Refrigeration
本文受重庆市技术创新与应用发展项目
(
cstc2020jscx-
msxmX0184
)
资助
。
(
The
project
was
supported
by
the
Utility
and
Cloud
Computing.
Shanghai,
2016
：
11-19.
[
9]
KAVANAGH
R,
DJEMAME
K.
Rapid
and
accurate
energy
models
through
calibration
with
IPMI
and
RAPL[
J]
.
Con
Chongqing
Technology
Innovation
and
Application
Development
(
No.
cstc2020jscx-msxmX0184)
.)
参考文献
currency
and
Computation
：
Practice
and
Experience,
2019,
31(13)
.
[10]
WANG
Yewan,
NORTERSHAUSER
D,
MASSON
S
L,
et
al.
An
empirical
study
of
power
characterization
approaches
[1]
殷平
.
数据中心研究
(
1):
现状与问题分析
[J].
暖通空
调
，
2016,
46(8)
:
42-53.
(YIN
Ping.
Research
on
data
centers
(
1
)
：
current
situation
and
problem
analysis
[
J]
.
for
servers
[
C]
/
/The
Ninth
International
Conference
on
Smart
Grids,
Green
Communications
and
IT
Energy-aware
Journal
of
HV
&
AC,2016,
46(8)
:
42-53.)
[2]
科智咨询
.
2018—
2019
年中国
IDC
产业发展研究报告
[R/OL].
(2019-05-15)
[2020-08-15].
http
：
//
-
quan
.
com/Special/2019baogao/.
html.
(
Kezhi
consulting.
2018
—
2019
China
IDC
industry
development
research
report[R/OL].
(2019-05-15)
[
2020-08-15].
http
：
//
/
Special/2019baogao/.html
.)
[3]
国务院发展研究中心国际技术经济研究所
.
中国云计
算产业发展白皮书
[R/OL].
(2019-10-13)
[
2020-08
15
].
http
：
//www.
drciite.
org/Home/Detail/4?
type
=
10&nid
=
4831.
html.
(
The
institute
of
international
technology
and
economy
of
development
research
center
of
the
state
council.
White
paper
on
China
'
s
cloud
computing
industry
development
[
R/OL]
.
(
2019-10-13
)
[
2020-08
15
].
http
：
//www.
drciite.
org/Home/Detail/4?
type
=
1
0&nid
=
.
)
[4]
中国制冷学会数据中心冷却工作组
.
中国数据中心冷
却技术年度发展研究报告
2019[R].
北京
：
中国建筑工
业岀版社
,
2020.
(
Data
center
cooling
technical
committee
of
CAR.
Annual
reports
on
research
and
development
of
data
center
cooling
technologies
2019
[
R]
.
Beijing
：
China
Architecture
&
Building
Press,
2020.)
[5]
朱万朋
，
马国远
，
李翠翠
，
等
.
数据中心自然冷却用泵
驱动两相回路系统火用
分析
[J].
制冷学报
，
2019,
40
(3)
：
24
-
30.
(
ZHU
Wanpeng,
MA
Guoyuan
,
LI
Cuicui
,
et
al.
Exergy
analysis
of
pump-driven
two-phase
loop
system
for
free
cooling
in
data
centers
[
J
]
.
Journal
of
Refrigeration,
2019,
40(
3)
：
24-30.)
[6]
CHEUNG
H,
WANG
Shengwei,
ZHUANG
Chaoqun,
et
al.
A
simplified
power
consumption
model
of
information
tech
nology
(
IT)
equipment
in
data
centers
for
energy
system
re
al-time
dynamic
simulation
[
J]
.
Applied
Energy,
2018,
222
：
329-342.
[7]
BASMADJIAN
R,
ALI
N,
NIEDERMEIER
F,
et
al.
A
meth
odology
to
predict
the
power
consumption
of
servers
in
data
centers[
C
]//Proceedings
of
the
International
Conference
on
Energy-efficient
Computing
&
Networking,
2011
：
1-10.
[8]
GARRAGHAN
P,
Al-ANII
Y,
SUMMERS
J,
et
al.
A
uni
fied
model
for
holistic
power
usage
in
cloud
datacenter
serv
ers
[
C
]
//9th
IEEE/ACM
International
Conference
on
—
106
—
Technologies.
Greece,
2019
：
1-6.
[11]
DHIMAN
G,
MIHIC
K,
ROSING
T.
A
system
for
online
power
prediction
in
virtualized
environments
using
Gaussian
mixture
models
[C]
/
/Design
Automation
Conference.
Ana
heim
IEEE,
2010
：
807-812.
[
12]
KANSAL
A,
ZHAO
Feng,
LIU
Jie,
et
al.
Virtual
machine
power
metering
and
provisioning
[
C
]
//Proceedings
of
the
1st
ACM
symposium
on
Cloud
Computing.
Indianapolis,
2010
：
39-50.
[
13]
JIN
Chaoqiang,
BAI
Xuelian,
YANG
Chao,
et
al.
A
review
of
power
consumption
models
of
servers
in
data
cen-
ters[
J]
.
Applied
Energy,
2020,
265
：
114806.
[
14]
PERUMAL
V,
SUBBIAH
S.
Power-conservative
server
consolidation
based
resource
management
in
cloud
[
J]
.
In
ternational
Journal
of
Network
Management,
2014,
24(
6)
：
415-432.
[15]
安娅楠
.
基于服务器功耗模型的数据中心热环境研究
[D].
重庆
：
重庆大学
,
2019.
(
AN
Yanan.
Research
on
data
center
thermal
environment
based
on
server
power
consumption
model
[
D].
Chongqing
：
Chongqing
University,
2019.)
[16]
KAVANAGH
R,
ARMSTRONG
D,
DJEMAME
K.
Accuracy
of
energy
model
calibration
with
IPMI[
C]//IEEE
9th
International
Conference
on
Cloud
Computing
(
CLOUD)
.
San
Francisco,
2016
：
648-655.
[17]
BROCHARD
L,
KAMATH
V,
CORBALAN
J,
et
al.
Ener
gy-efficient
computing
and
data
centers
[
M
]
.
Hoboken
：
John
Wiley
&
Sons,
Inc,
2019.
通信作者简介
白雪莲
，
女
，
教授
，
博士生导师
，
重庆大学土木工程学院
,
159****6696,
:
xuelianbai@
。
研究方向
：
暖通
空调理论与技术
、
建筑节能与绿色建筑
、
数据中心热环境与能
源管理
、
文物保存环境监测与控制
。
About
the
corresponding
author
Bai
Xuelian,
female,
professor,
Ph.
D.
supervisor,
School
of
Civil
Engineering,
Chongqing
University,
+
86
159****6696,
：
xuelianbai@
.
cn.
Research
fields
：
HVAC
theory
and
tech
nology,
building
energy
efficiency
and
green
building,
data
center
thermal
environment
and
energy
management,
environmental
mo
nitoring
and
control
of
cultural
relic
preservation.