2024年4月4日发(作者：令光华)
信息技术
XINXUISHU
2021
年第
4
期
基于改进堆叠沙漏网络的交警姿态估计
乔稳
，
刘惠义
(河海大学计算机与信息学院
，
南京
211100)
摘要
：
针对交警动作中的姿态估计问题
，
提出一种改进的堆叠沙漏网络模型
。
该模型通过减少沙
漏网络级联次数
，
来简化堆叠沙漏网络结构
。
利用多尺度下深浅层特征信息之间的聚合
，得到丰富的
上下文信息
，
增强姿态
、
遮挡
、
低分辨率图像的鲁棒性
。
将不同阶段产生的热图估计结果进行融合平
均化处理
，
进一步提高局部位置坐标的精细定位以及整体估计结果的准确性
。
在
MPII
数据集以及中
国交警数据集上进行实验
，
结果表明
，
改进后的网络模型提高了运行的效率
，
同时可以很好地对目标
交警的姿态特征信息进行提取
，
对结果热图平均化处理后
，
提高了位置坐标整体估计的准确性
。
关键词
：
交警姿态
；
深度学习
；
堆叠沙漏网络
；
特征聚合
中图分类号
：
TP399
文献标识码
：
A
文章编号
：
1009
-2552(2021)04-0017
-07
DOI
：
10.
13274/j.
cnki.
hdzj.
2021
.04.
004
Traffic
police
pose
estimation
based
on
improved
stacked
hourglass
networks
QIAO
Wen,LIU
Hui-yi
(
School
of
Computer
and
Information
,
Hohai
University
,
Nanjing
211100,
China)
Abstract
:
An
improved
stacked
hourglass
network
model
is
proposed
for
the
problem
of
traffic
police
pose
estimation
・
The
model
simplifies
the
stack
hourglass
network
stracture
by
reducing
the
number
of
cascades
・
The
aggregation
of
information
from
multi-scale
deep
shallow
features
is
used
to
obtain
rich
contextual
infor
mation
and
enhance
the
robustness
of
the
image
with
pose
,
hiding
and
low
resolution.
The
heat
map
estima
tion
results
generated
at
different
stages
were
averaged
by
fusion
to
further
improve
the
precision
positioning
of
local
coordinates
and
the
accuracy
of
overall
estimation
results
・
Experiments
on
the
MPII
data
set
and
China
Traffic
police
data
set
show
that
the
improved
network
model
improves
the
operation
efficiency
,
and
can
extract
the
attitude
characteristic
information
of
the
target
traffic
police
well.
After
averaging
the
result
heat
map,
the
accuracy
of
the
overall
position
coordinate
estimation
is
improved
・
Key
words
:
traffic
police
posture
；
deep
learning
；
stack
hourglass
network
；
the
characteristics
of
the
poly
merization
o
引言
接触式方法价格高昂
，
操作复杂
，
不适合推
广
。
非接触式方法人机交互更自然,便利性更好,
得到广泛关注
。
交警指挥动作是完善自动驾驶系统功能要考
虑的因素之一
，
有助于降低系统风险
。
目前
，
交警
姿态特征提取方法主要分为两类⑴
：
①接触式提
非接触式方法主要有
：
①图像处理方
法
［
4
'
6
］
o
该类方法处理过程繁杂,容易丢失特征
取方法
［
2T
;
②非接触式提取方法
。
基金项目
：
江苏省水利厅科技计划项目
(2017003ZB)
作者简介
：
乔稳
(1995
-),
男
，
硕士研究生
，
研究方向为机器学
信息
，
检测的准确性低
。
②人体模型方法
［
7"3
。
该类方法更适于平面观察
，
当动作垂直于图像平
习
、
计算机视觉
。
面
，
或者对象过小时
,
则很难处理
,
并且模型的可
17
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
扩展性较差
。
③深度学习方法
。
Pfister
T
等提出
的流卷积模型提取关节点内在联系
，
对准相邻视
A
频帧的热图
。
但此方法需要处理多帧图像
，
需要
权衡热图之间的关系及额外光流信息
，
增加了网
络复杂度
;Wei
等提出的卷积位姿机网络使用
卷积架构表达空间及纹理信息。
但该方法结构复
杂,速度慢
［
，
2
］
;
Newell
A
等提出的堆叠沙漏网络
（
Stack
Hourglass
Network
,
SHN
）
多尺度捕获姿态
的位置信息
，
串联多个沙漏结构来提高姿态位置
估计的准确度⑴
］
。
王晓刚的结构化位姿方法微
调
CNN
网络,用几何变换核对关节点依赖关系进
行建模
［
⑷
;Chen
Y
等采用的
GAN
方法提高遮挡
图
1
一阶沙漏模型结构
沙漏网络中使用了大量的瓶颈残差模块
（
图
1
中的
Res
模块
）
来提取图像的深层次尺度特征
信息
。
残差模块的结构
，
可以很好地解决网络深
部位的预测
，
编-解码模型增大感受野
，
跳跃连接
度带来的梯度消失以及训练困难的问题,使网络
性能更好
。
虚线框
A
部分在原尺度上进行
，
虚线
进行信息融合
〔
⑸
;Yang
W
等提出的金字塔模型
，
组合残差模型
t
，
6
］
;Ke
L
等利用多尺度监督融合
多尺度特征
,
增加多尺度回归网络
，
结构化意识损
失提升关节点匹配度
［
，
7
］
;
Sun
K
等提出的深度高
分辨率方法,同一深度分辨率一致
,
不同深度分辨
率子网络并行连接
，
进行特征重复融合
［
冏
。
框
B
部分经历降采样与升采样两个过程
（
图
1
中
灰色部分
）
，
改变图像分辨率的大小进行深层次
特征提取
。
降采样采用最大池化法
，
升采样采用
邻近插值法
。
之后将两部分特征集按元素位置相
加
,
获得关键特征的深层信息
。
对于姿态识别这种关联性很强的检测任务,
不同的关节点所要求的特征尺度并不同
，
因此需
要一种可以使用多尺度特征的网络结构
，
而沙漏
1.2
四阶沙漏网络
多阶沙漏网络就是将图
1
中的虚线框
C
里
网络符合多尺度特征的思想
。
本文对文献
［
13
］
所提出的堆叠沙漏网络的网络结构进行改进
，
减少
级联个数
，
并将本阶段的热图结果加入到后一阶段
的残差模块逐次替换为一阶沙漏网络
。
四阶沙漏
网络结构可以提取从原始尺度到
1/2
4
尺度的特
征,若图像输入分辨率为
64
x64,
则以
4
x4
像素
作为其最低分辨率
。
如图
2
所示
。
的热图估计前
，
最后将每一阶段的热图结果进行平
均化处理
,
提高整体姿态估计结果的准确性
。
网络在对图像进行处理时
，
每次降采样
（
灰
1
沙漏网络基本结构
1.1
一阶沙漏网络
色部分
）
之前
，
分出虚线部分保留图像原尺度信
息
,
实线部分降采样后利用残差模块提取特征
,再
进行下一次降采样操作
。
每次上采样
（
灰色部
一阶沙漏网络
（
HN
）
的结构如图
1
所示
。
<256>
Res
<256>
<256>
<256>
<256>
<256>
<256>
<256>
J
]
Res
I
1
Res
<256>
I
|
Res
I
I
Res
i
<256>
<256>
<256>h<256>
Output
<256>
|v
亦
&>|
|v
姑
>|
■
|
迈％
>|
■
心>|
■
㈣彳
.
图
2
四阶沙漏模型结构
18
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
分
）
之后
，
与上一层尺度的数据元素相加
,
继续利
结构,它的跳级网络结构以及多尺度的特征提取
思想是现在大多新的识别网络的基础组成部分
。
用残差模块提取特征
,
再进行下一次上采样操作
0
1.3
堆叠沙漏网络模型
其网络采用
8
个
4
阶沙漏网络进行级联
，
不断重
复自底向上和自顶向下来提取人体空间特征
，
如
堆叠沙漏网络
（
SHN
）
模型一经提出
，
便极大
地影响了后来的姿态识别方向研究人员的方法与
图
3
所示
（
中间结构重复部分用省略号代替
）
。
Res
<64>
<128>
2x2
S=2
Res
<128>
<128>
Res
f
<128>
<128>
4
阶
Hourglass
Module
Res
<256>
<256>
Conv
256
x
256
Conv
Res
4
阶
.
—
Hourglass
~
•
<256>
-
l
256
X
I
<256>
Module
256
-
B
N
+
Conv
256
1
x
1
256
I
◎
Output
1Rer
L
U
Conv
256
1
x
1
16
一
图
3
堆栈沙漏网络结构
网络输入的图片分辨率统一设定为
256
x
堆叠沙漏网络结构每一个阶段得到的热图估
计结果仅依赖沙漏网络的多尺度结构提取特征后
256
，
在沙漏模块中输入的最大分辨率为
64
x
64
，
整个网络最开始要经过一个
7
x
7
的步长为
2
经由残差模块与卷积层处理得到
。而考虑到前一
的卷积层
,
之后再经过一个残差模块与最大池化
层使得分辨率从
256
降到
64
o
原始图像经过一
次降采样操作后,输入到前一个沙漏网络中
。
前
阶段得到的热图估计结果本身就是一个具有利用
价值的全局特征信息
，
它可以被用来进行下一阶
段的热图估计
，
因而本文将前一阶段的热图结果
送到后一阶段的卷积层后面
,
进行特征传递
,
以获
一个沙漏网络的输出结果经过残差模块与卷积层
处理后
，
得到响应热图
（
图
3
中的灰色部分
）
。
2
改进的堆叠沙漏网络模型
得后一阶段更准确的热图估计结果
，
如图
4
中的
实线部分
A
、
B
、
C
所示
。
除第一个阶段外
，
另外三个阶段的沙漏网络
2.
1
网络结构
充分理解交警的手势动作
，
以及交警姿态检
的输入包含三路:前一个阶段沙漏网络的输入数
据
、
前一个阶段沙漏网络的输出数据
、
前一个阶段
测作为人体姿态检测的一部分
，
有其自身的特殊
性
。
体现在手势指挥动作只依赖上半身
，
对于下
半身的遮挡或重叠几乎不用考虑
，
大多时候处于
沙漏网络的预测结果。
输入数据作为底层特征,
包含详细的局部信息
，
有利于定位人体部位的准
确位置
。
预测结果作为高层特征,包含全局语义
图像中心位置
，
很少有其他目标的干扰
。
本文使
用
4
个
4
阶沙漏网络级联
，
构成
4
个阶段
，
如图
4
所示
。
信息
，
可以提高局部遮挡和复杂背景的识别性能
。
这三路尺度不同的数据通过串接和相加进行融
19
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
Conv
3
7x7
64
Res
<64>
<128>
Max
Pool
2x2
S=2
Res
Res
<128>->
<128>
<128>
<128>
4
阶
Hourglass
Module
Res
<256>
<256>
nv
6
fe
llx
(l
6
不
Conv
256
x
256
Conv
256
lxl
256
Conv
16
1
x
1
256
6
4
-
1
巧
X
1
16
Conv
Conv
16
1
x
1
256
Conv
1
x
1
16
4
阶
Hourglass
Module
Average
图
4
改进的网络结构
合
，
体现了跳级结构思想
。
网络的输出是一组响
果网
。
见式
（
1
）
。
应热图
,
除第一个阶段外
，
响应热图的输入包含两
路:当前阶段网络的输出数据
、
前一个阶段沙漏网
络的预测结果
。
对于给定的输入
，
网络预测在每
个像素处存在关节的概率
。
(1)
其中
s
表示第
i
个阶段产生的热图
。
2.2
热图融合估计
网络对于关节点的预测是热图的最大激活
为了验证各阶段结果的融合处理是否对于最
值
。
损失函数厶使用
12
范数损失函数也就是均方
Stage
1
Stage
2
Stage
3
Stage
4
Average
图
5
热图结果平均化
20
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
使用
2D
高斯分布
，
标准差为
1,
均方误差见
网络的最终结构十分重要
。
为了判断改进后的网
络结构所选择的串联个数是否对网络的结果提升
式⑵
。
MSE
=
-X
(玄
-*
n
i
=
l
(2)
有益
。
串联
2
个
、
4
个
、
8
个沙漏网络以及改进后
的结构模型进行消融实验,在相同数量参数下的
网络性能和中间预测精确度的差异
，
如表
1
所示
。
中间预测精确度是网络在进行到一半的时候所能
达到的识别结果
。
表
1
级联个数对网络的影响
玄表示预测的热图中的关节点坐标位置冋
表示地面真值坐标;
n
表示图像中所包含的关节
点的数目
。
使用中间监督对每一个沙漏模块进行预测
，
沙漏网络的权重并不共享
，
因此所有输出热图结
果均设置损失反向传播,保证训练精度
。
将每一个
阶段的热图预测结果都与地面真值进行损失计
算
。
最后得到整体损失
，
见式
(
3)
。
厶二厶
I
+
厶
2
+
厶
3
+
厶
4
(
3
)
L^i
=
1,2,3,4)
表示每一个阶段的热图
损失
。
3
实验与结果分析
3.1
实验步骤
使用
MPII
数据集对网络进行训练
，
获取训练
数据,再将训练后的网络在交警动作数据集上进
行实验
，
得到输出图像
。
在
Pytorch
上进行训练,
实验平台为
NVIDIA
GTX970
:
i54590U
处
理器、
3.3GHz
主频
、
8G
内存
、
4G
显存
。
MPII
数据集由
25000
张图片数据组成
，
包含
多种人类活动
。
对数据集进行预处理
，
筛选
5000
张重叠以及背景复杂的单人图片
，
并设置成同一
分辨率为
256
x256
，
从中选取
200
张作为测试集
图片数据,训练集与测试集的分离数为
4800
[20]
o
然后进行关节点检测实验
。
学习率为
2.5e4,
迭
代次数为
200
次
，
批次数为
1000,
每周期循环的
批次大小为
16
。
待精度稳定后将学习率降低
5
倍
。
网络预测结果是给定关节点热力图的最大激
活位置
。
针对交警的拍摄角度
、
动作
、
占图比例
、
遮挡
重叠与光线等因素
，
网络爬取
3000
余张交警图
片
，
自制一个微型交警数据集对网络进行第二步
训练
。
图片预处理方式与
MPII
数据集保持一致,
将交警数据集送入训练后的网络中进行实验
，
通
过准确提取关节点坐标位置来获得空间特征
，
生
成关节点热图
，
得到输出结果
。
3.2
消融实验
沙漏网络级联个数差异的消融实验
，
对确定
级联个数
网络性能
中间预测精确度
2
87.4%
84.6%
4
87.8%86.5%
8
88.1%87.1%
Our
model(4)
89.
82%
88.473%
改进后的网络与原网络结构相比
，
在检测估
计准确度上的结果如图
6(c)
所示
。
每一阶段沙
漏网络结束后能达到的平均精确度
，
本文网络均
获得优势
。
同时本文进行了结果平均化处理的消融实
验
。
将未经过结果平均化处理的各阶段输出与经
过平均化处理的各阶段的输出进行结果比对实
验
。
从结果预测的平均准确率上来看
，
平均化后
的网络识别准确度在每一阶段逐渐提升,在最后
的输出阶段
，
结果之间的差异达到最大
。
如
图
6(d)
曲线图所示
。
3.3
结果与分析
图
7
显示了改进后的网络与其他方法在
MPII
数据集上的姿态估计结果
，
评估指标采用正
确关键点的标准百分比
(
PCK)
来度量
，
对于
MPII,
是由头部尺寸的相对位置关键点标准百分
比来衡量
，
即
PCKh
0
比较在
MPII
数据集上的输出结果不难看出
,
本文网络得到的实验结果相比较
SHN
与
CPM
等
方法输出结果
,
准确率方面有了明显提升
,
主要体
现在对关节的合理性与准确度上
。
验证了阶段性
产生的全局热图信息可以被后续阶段的预测所利
用的有效性
，
以及捕获局部细节信息与全局上下
文语义信息方法的必要性
。
对比堆栈沙漏网络以
及
CPM
网络的运行时间效率
，
本文网络在
MPII
数据集上的运行时间大约需要
23
个小时
。
同时
21
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
原图
级联
2
个
级联
4
个
级联
8
个
Our
mode
I
结果未处理
结果平均化
(
a
)
级联个数对识别准确度的影响
级联个数对网络的影响
(
b
)
结果处理对识别准确度的影响
a91
o
8
9
o
8
7
悝
o.
8
5
8
3
耀
B
o.
8
1
B
o.
o.
o
7
9
虧
a
7
7
7
5
结果处理对实验的影响
0.
0.
0.
0.
0.
0.
0.
0.
9
1
9
0
8
9
8
8
8
7
8
6
8
5
8
4
-•-结
SK*
处丹
—
銘
栗半沟化
3
4
阶段
5
6
8
12
3
4
(
c
)
级联个数对网络的影响
图
6
消融实验结果差异
(d)
结果处理对实验的影响
点的位置用
-1
来代替
。
对出现的多人图片
，
只
标注出主要的交警对象的位置坐标
。
然后将训练
好的模型应用在数据集上,在得到第二阶段的检
测实验结果(如图
8
所示)与
PCKh@O.
5
的值后,
发现本文的网络结构对交警的姿势特征进行了正
确的识别
，
可以成功应用在交警姿态估计的问题
上
。
识别结果如图
8
所示
。
与一些最先进网络的
********
结果进行了比
较
，
如表
2
所示
。
表
2
MPII
数据集训练结果
(********)
Head
Shoulder
Elbow
Wrist
Hip
Wei
Newell
A
Knee
Ankle
Total
(a)
多人场景下的识别结果
(
b
)
局部遮挡下的识别结果
97.8
98.2
98.1
98.1
95.0
96.3
88.7
84.0
88.4
82.8
91.2
87.190.1
87.4
91.2
87.2
89.8
87.4
79.4
88.5
83.6
90.9
84.
1
Sun
Chen
Ke
96.2
96.5
91.0
92.588.5
90.2
89.6
92.7
88.490.6
89.3
91.7
8
&
9
89.4
88.7
86.0
91.9
86.3
92.1
98.5
96.8
96.7
Our
model
98.2
83.8
92.1
通过第一阶段的网络训练
，
本文对交警数据
集上的关键点坐标进行像素点标注
，
未出现关节
(
C
)
简单场景下的识别结果
(d)
肢体重叠下的识别结果
图
8
交警数据集结果图
22
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
随后针对交警数据集进行了方法对比实验,
估计精确性,有效达到实验的预期结果
。
下一步
还将继续针对网络结构进行匹配研究设计
，
为后
将堆叠沙漏网络与本文的网络进行性能与准确率
的比较
，
结果差异如图
9
所示
。
图9(a)
为文
续的交警动作识别工作做好基础
。
献
［13
］
方法的结果
，
图
9(b)
为本文方法的结果
。
通过结果可以看出
，
本文方法在局部关节点的坐
标定位上更准确
,
关节点更合理
,
关节点之间的依
赖度更高
，
符合人体实际姿态特征
。
相比较原堆
参考文献
：
[
1
]
He
Jian,Zhang
Cheng
,
He
Xin-lin
,
el
al
・
Visual
recogni
-
tion
of
traffic
police
gestures
with
convolutional
pose
ma
chine
and
handcrafted
features
[
J
]
・
Neutocomputing,
栈沙漏网络而言
，
本文方法有明显的提高,认为这
是通过热图特征融合以及阶段结果平均化之后的
2020,390(5)
：
248
-259.
[2]
Wang
B,
Yuan
T.
Traffic
police
gesture
recognition
using
改进效果
。
有关
********
的计算结果如表
3
所示
。
1
(
a
)
SHN
的局部识别结果
(
b
)
本文方法的局部识别结果
图
9
文献
［
13
］
方法结果与本文方法结果对比图
表
3
交警数据集训练结果
(
********)
Head
Shoulder
Elbow
Wrist
HipKnee
Ankle
Total
Newell
A
98.1
96.3
91.5
86.8
84.686.4
81.6
89.7
Our
model98.2
96.4
91.8
88.3
85.486.4
82.5
92.3
4
结束语
本文针对交警手势指挥动作中的姿态估计问
题
,
摒弃了传统的硬件识别方法
，
以及利用卷积位
姿机等特征信息融合不佳的深度学习方法
，
通过
理解堆叠沙漏网络而提出改进型网络结构来对姿
态的空间位置进行提取
。
实验结果以及数据表
明
，
利用简洁合理的网络结构和更丰富的上下文
信息聚合
，
并结合多阶段热图结果的平均优化处
理
，
可以显著提高识别的坐标位置准确度和整体
accelerometer
[
C
].
in
：
Proceeding
of
IEEE
SENSORS
Conference
,
Lecce,Italy
,2008
:
1080
-
1083
・
[3]
Yuan
T,
Wang
B.
Accelerometer-based
Chinese
traffic
police
gesture
recognition
system
[
J]
・
Chinese
Journal
of
Electronics,
2010,19(2)
：
270
一
274.
[4]
Marcin
E,Vittorio
F.
Human
pose
co-estimation
and
ap
plications
[
J
]
・
IEEE
Transactions
on
Pattern
Analysis
and
Machine
Intelligence,
2012,34(
11)
：
2282
-2288.
[5]
Le
Q
K
,
Pham
C
H,Le
T
H.
Road
traffic
control
gesture
recognition
using
depth
images
[
J
]
・
IE
Transactions
on
Smart
Processing
&
Computing
,2012
:
1
一
7
・
[6]
Zhou
Z,
Li
S,
Sun
B
・
Extreme
learning
machine
based
hand
posture
recognition
in
color-depth
image
[
J
]
・
Com-
munications
in
Computer
&
Information,
2014,484
：
276
-285.
[7]
Felzenszwalb
P
F,
Huttenlocher
D
P.
Pictorial
structures
for
object
recognition
[
J
]
・
Inlemalional
Journal
of
Com-
puter
Vision
,2005,61(1)
：
55
一
79.
[8]
Yang
Y
,
Ramanan
D
・
Articulated
pose
estimation
with
flexible
mixtures-of-parts
[
J
].
CVPR,
2011,32
(
14
)
：
1385
-1392
・
[9]
Guo
F
,
Tang
J,
Cai
Z
・
Automatic
recognition
of
Chinese
traffic
police
gesture
based
on
max-covering
scheme[
J]
・
Adv.
Inf.
Sci.
Serv,2013
,5(1)
：
428
-437.
[10]
Cai
Zi-xing,Guo
Fan.
Max-covering
scheme
for
gesture
recognition
of
Chinese
traffic
police
[J
]
・
Pattern
Analy
sis
&
Applications,2015,18(2)
：
403
-418.
[11]
Pfister
T
,
Charles
J
,
Zisserman
A.
Flowing
conv
nets
for
human
pose
estimation
in
videos
[
J
]
・
2016
:
1913
一
1921.
[12]
Wei
S
E
,
Ramakrishna
V
,Kanade
T,et
al.
Convolution
al
pose
machines
[
J
]
・
IEEE
Computer
Society,
2016
：
4724
-4732
・
(下转第
29
页)
23
基于误差补偿的电能交易体系模型设计一何义琼等
优化模型及其混合智能求解策略
[J].
电网技术
，
2017,41(9)
：
2823
-2830.
[11]
王维超
，
薛宇
，
李更丰
，
等•电力能效统筹的市场交
[18]
龚钢军
，
王慧娟
，
张桐
，
等•基于区块链的电力现货
交易市场研究
[J].
中国电机工程学报
,2018,38
(23)
：
6955
-6966,7129.
[19]
唐学用
，
李庆生,和远舰
，等.基于区块链技术的电
易体系及保障机制研究
[J].
电网与清洁能源,
2017,33(2)
：
1
-7.
[12]
郭立邦
，
丁一
，
包铭磊
，
等•两级电力市场环境下计
力交易系统安全建模及性能分析
[J]
•南方电网技
术
,2019,13(5)
：
77
-83.
[20]
Gias
S
,
Kiesel
R
,Kolkmann
S,et
al.
Intraday
renewable
及风险的省间交易商最优购电模型
[J].
电网技术
，
2019,43(8)
：
2726
-2734.
[13]
韩冬
，
张程正浩,孙伟卿，
等•基于区块链技术的智
electricity
trading
：
advanced
modeling
and
numerical
optimal
control
[
J
]
・
Journal
of
Mathematics
in
Industry
,
2020,10(2):49
-85.
能配售电交易平台架构设计
[J].
电力系统自动化,
2019,43(7)
：
89
-96.
[14]
姜曼,刘定宜
，
叶泽，等•考虑售电公司的跨省区电
[21]
Lopez
N
S
A
,
Biona
J
B
M
M
,
Chiu
ASF.
Electricity
trading
and
its
effects
on global
carbon
emissions
:
a
力交易的资源配置分析
[J].
电力科学与技术学报,
2018,33(3)
：
120
-127.
[15]
史述红
，
刘敦楠,胡会文
，
等.市场开放下电力交易
decomposition
analysis
study
[
J
]
・
Journal
of
Cleaner
Production,
2018,195(
12)
：
532
-539.
[22]
Baltaoglu
S
,
Tong
L
,
Zhao
Q.
Algorithmic
bidding
for
virtual
trading
in
electricity
markets
[
J
]
・
IEEE
Transac
・
全过程违规行为识别探究
[J].
价格理论与实践,
2018(8)
：
51
-54.
[16]
王蕾,焦明海
，
代勇
，
等•群体主动学习算法的移动
tions
on
Power
Systems,
2018,12(2)
：
14
一
19.
[23]
Xu
J,Wan
H
,Chen
Z
Y.
Sharp
skirt
bandpass
filter-in
tegrated
single-pole
double-throw
switch
with
absoiptive
电力交易行为研究
[J].
控制工程
,2019,26(3)
：
484-491.
[17]
马佳乐
，
谭忠富
，
喻小宝
，
等•计及实时电量交易的
OFF-State[
J]
.
IEEE
Transactions
on
Microwave
Theory
and
Techniques,
2019,67(2)
：
704
-711.
(责任编辑
：
丁一元)
售电公司日偏差电量考核优化模型
[
J]
•电力建设，
2019,40(2)
：
11
-19.
(上接第
23
页)
[13]
Newell
A,
Yang
K
,
Deng
J.
Stacked
hourglass
networks
puter
Vision-ECCV
Lecture
Notes
in
Computer
Sci
ence,
Springer
,
Cham,
2018,11206
：
731
-
746.
for
human
pose
estimation
[
J
].
In
：
ECCV
,2016,9912
：
[18]
Sun
K
,
Xiao
B,Liu
D,et
al.
Deep
high
・
resolution
repre
・
sentation
learning
for
human
pose
estimation[
C]
・
2019
483
-499.
[14]
Chu
X
,
Ouyang
W,Li
H,et
al.
Structured
feature
learn
IEEE/CVF Conference
on
Computer
Vision
and
Pattern
Recognition
(
CVPR)
・
IEEE
,2020
：
5693
一
5703.
[19]
Su
Z
H
,
Ye
M
,
Zhang
G
H
・
Cascade
feature
aggregation
ing
for
pose
estimation
[
J
].
In
：
CVPR,
2016
：
4715
-
4723.
[15]
Chen
Y
,
Shen
C
,
Wei
X
S,et
al.
Adversarial
posenet
:
a
for
human
pose
estimation
[
J
]
・
in
：
Proceedings
of
the
structure-aware
convolutional
network
for
human
pose
estimation
[
J
]
・
In
：
IEEE
International
Conference
on
Computer
Vision
(ICCV)
,2017
：
1221
-1230
・
IEEE
Conference
on
Computer
Vision
and
Pattern
Rec
ognition,
201
9.
[20]
Peng
X
,
Tang
Z
Q,
Yang
F
・
Jointly
optimize
data
aug
・
[16]
Yang
W,Li
S
,
Ouyang
W,et
al
・
Learning
feature
pyra
・
mentation
and
network
training
：
adversarial
data
aug
mentation
in
human
pose
estimation
[
C
]
・
in
：
Proceeding
mids
for
human
pose
estimation
[
J
]
・
In
：
IEEE
Interna
tional
Conference
on
Computer
Vision
(
ICCV)
,2017:
of
the
IEEE
Conference
on
Computer
Vision
and
Pat
1290-1299.
tern
Recognition
,2019
：
2226
-
2234.
(责任编辑:杨静)
[17]
Ke
L
,
Chang
M
C,Qi
H,et
al.
Multi-scale
structure-a
ware
network
for
human
pose
estimation
[
J
]
・
In
：
Com
・
29
2024年4月4日发(作者：令光华)
信息技术
XINXUISHU
2021
年第
4
期
基于改进堆叠沙漏网络的交警姿态估计
乔稳
，
刘惠义
(河海大学计算机与信息学院
，
南京
211100)
摘要
：
针对交警动作中的姿态估计问题
，
提出一种改进的堆叠沙漏网络模型
。
该模型通过减少沙
漏网络级联次数
，
来简化堆叠沙漏网络结构
。
利用多尺度下深浅层特征信息之间的聚合
，得到丰富的
上下文信息
，
增强姿态
、
遮挡
、
低分辨率图像的鲁棒性
。
将不同阶段产生的热图估计结果进行融合平
均化处理
，
进一步提高局部位置坐标的精细定位以及整体估计结果的准确性
。
在
MPII
数据集以及中
国交警数据集上进行实验
，
结果表明
，
改进后的网络模型提高了运行的效率
，
同时可以很好地对目标
交警的姿态特征信息进行提取
，
对结果热图平均化处理后
，
提高了位置坐标整体估计的准确性
。
关键词
：
交警姿态
；
深度学习
；
堆叠沙漏网络
；
特征聚合
中图分类号
：
TP399
文献标识码
：
A
文章编号
：
1009
-2552(2021)04-0017
-07
DOI
：
10.
13274/j.
cnki.
hdzj.
2021
.04.
004
Traffic
police
pose
estimation
based
on
improved
stacked
hourglass
networks
QIAO
Wen,LIU
Hui-yi
(
School
of
Computer
and
Information
,
Hohai
University
,
Nanjing
211100,
China)
Abstract
:
An
improved
stacked
hourglass
network
model
is
proposed
for
the
problem
of
traffic
police
pose
estimation
・
The
model
simplifies
the
stack
hourglass
network
stracture
by
reducing
the
number
of
cascades
・
The
aggregation
of
information
from
multi-scale
deep
shallow
features
is
used
to
obtain
rich
contextual
infor
mation
and
enhance
the
robustness
of
the
image
with
pose
,
hiding
and
low
resolution.
The
heat
map
estima
tion
results
generated
at
different
stages
were
averaged
by
fusion
to
further
improve
the
precision
positioning
of
local
coordinates
and
the
accuracy
of
overall
estimation
results
・
Experiments
on
the
MPII
data
set
and
China
Traffic
police
data
set
show
that
the
improved
network
model
improves
the
operation
efficiency
,
and
can
extract
the
attitude
characteristic
information
of
the
target
traffic
police
well.
After
averaging
the
result
heat
map,
the
accuracy
of
the
overall
position
coordinate
estimation
is
improved
・
Key
words
:
traffic
police
posture
；
deep
learning
；
stack
hourglass
network
；
the
characteristics
of
the
poly
merization
o
引言
接触式方法价格高昂
，
操作复杂
，
不适合推
广
。
非接触式方法人机交互更自然,便利性更好,
得到广泛关注
。
交警指挥动作是完善自动驾驶系统功能要考
虑的因素之一
，
有助于降低系统风险
。
目前
，
交警
姿态特征提取方法主要分为两类⑴
：
①接触式提
非接触式方法主要有
：
①图像处理方
法
［
4
'
6
］
o
该类方法处理过程繁杂,容易丢失特征
取方法
［
2T
;
②非接触式提取方法
。
基金项目
：
江苏省水利厅科技计划项目
(2017003ZB)
作者简介
：
乔稳
(1995
-),
男
，
硕士研究生
，
研究方向为机器学
信息
，
检测的准确性低
。
②人体模型方法
［
7"3
。
该类方法更适于平面观察
，
当动作垂直于图像平
习
、
计算机视觉
。
面
，
或者对象过小时
,
则很难处理
,
并且模型的可
17
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
扩展性较差
。
③深度学习方法
。
Pfister
T
等提出
的流卷积模型提取关节点内在联系
，
对准相邻视
A
频帧的热图
。
但此方法需要处理多帧图像
，
需要
权衡热图之间的关系及额外光流信息
，
增加了网
络复杂度
;Wei
等提出的卷积位姿机网络使用
卷积架构表达空间及纹理信息。
但该方法结构复
杂,速度慢
［
，
2
］
;
Newell
A
等提出的堆叠沙漏网络
（
Stack
Hourglass
Network
,
SHN
）
多尺度捕获姿态
的位置信息
，
串联多个沙漏结构来提高姿态位置
估计的准确度⑴
］
。
王晓刚的结构化位姿方法微
调
CNN
网络,用几何变换核对关节点依赖关系进
行建模
［
⑷
;Chen
Y
等采用的
GAN
方法提高遮挡
图
1
一阶沙漏模型结构
沙漏网络中使用了大量的瓶颈残差模块
（
图
1
中的
Res
模块
）
来提取图像的深层次尺度特征
信息
。
残差模块的结构
，
可以很好地解决网络深
部位的预测
，
编-解码模型增大感受野
，
跳跃连接
度带来的梯度消失以及训练困难的问题,使网络
性能更好
。
虚线框
A
部分在原尺度上进行
，
虚线
进行信息融合
〔
⑸
;Yang
W
等提出的金字塔模型
，
组合残差模型
t
，
6
］
;Ke
L
等利用多尺度监督融合
多尺度特征
,
增加多尺度回归网络
，
结构化意识损
失提升关节点匹配度
［
，
7
］
;
Sun
K
等提出的深度高
分辨率方法,同一深度分辨率一致
,
不同深度分辨
率子网络并行连接
，
进行特征重复融合
［
冏
。
框
B
部分经历降采样与升采样两个过程
（
图
1
中
灰色部分
）
，
改变图像分辨率的大小进行深层次
特征提取
。
降采样采用最大池化法
，
升采样采用
邻近插值法
。
之后将两部分特征集按元素位置相
加
,
获得关键特征的深层信息
。
对于姿态识别这种关联性很强的检测任务,
不同的关节点所要求的特征尺度并不同
，
因此需
要一种可以使用多尺度特征的网络结构
，
而沙漏
1.2
四阶沙漏网络
多阶沙漏网络就是将图
1
中的虚线框
C
里
网络符合多尺度特征的思想
。
本文对文献
［
13
］
所提出的堆叠沙漏网络的网络结构进行改进
，
减少
级联个数
，
并将本阶段的热图结果加入到后一阶段
的残差模块逐次替换为一阶沙漏网络
。
四阶沙漏
网络结构可以提取从原始尺度到
1/2
4
尺度的特
征,若图像输入分辨率为
64
x64,
则以
4
x4
像素
作为其最低分辨率
。
如图
2
所示
。
的热图估计前
，
最后将每一阶段的热图结果进行平
均化处理
,
提高整体姿态估计结果的准确性
。
网络在对图像进行处理时
，
每次降采样
（
灰
1
沙漏网络基本结构
1.1
一阶沙漏网络
色部分
）
之前
，
分出虚线部分保留图像原尺度信
息
,
实线部分降采样后利用残差模块提取特征
,再
进行下一次降采样操作
。
每次上采样
（
灰色部
一阶沙漏网络
（
HN
）
的结构如图
1
所示
。
<256>
Res
<256>
<256>
<256>
<256>
<256>
<256>
<256>
J
]
Res
I
1
Res
<256>
I
|
Res
I
I
Res
i
<256>
<256>
<256>h<256>
Output
<256>
|v
亦
&>|
|v
姑
>|
■
|
迈％
>|
■
心>|
■
㈣彳
.
图
2
四阶沙漏模型结构
18
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
分
）
之后
，
与上一层尺度的数据元素相加
,
继续利
结构,它的跳级网络结构以及多尺度的特征提取
思想是现在大多新的识别网络的基础组成部分
。
用残差模块提取特征
,
再进行下一次上采样操作
0
1.3
堆叠沙漏网络模型
其网络采用
8
个
4
阶沙漏网络进行级联
，
不断重
复自底向上和自顶向下来提取人体空间特征
，
如
堆叠沙漏网络
（
SHN
）
模型一经提出
，
便极大
地影响了后来的姿态识别方向研究人员的方法与
图
3
所示
（
中间结构重复部分用省略号代替
）
。
Res
<64>
<128>
2x2
S=2
Res
<128>
<128>
Res
f
<128>
<128>
4
阶
Hourglass
Module
Res
<256>
<256>
Conv
256
x
256
Conv
Res
4
阶
.
—
Hourglass
~
•
<256>
-
l
256
X
I
<256>
Module
256
-
B
N
+
Conv
256
1
x
1
256
I
◎
Output
1Rer
L
U
Conv
256
1
x
1
16
一
图
3
堆栈沙漏网络结构
网络输入的图片分辨率统一设定为
256
x
堆叠沙漏网络结构每一个阶段得到的热图估
计结果仅依赖沙漏网络的多尺度结构提取特征后
256
，
在沙漏模块中输入的最大分辨率为
64
x
64
，
整个网络最开始要经过一个
7
x
7
的步长为
2
经由残差模块与卷积层处理得到
。而考虑到前一
的卷积层
,
之后再经过一个残差模块与最大池化
层使得分辨率从
256
降到
64
o
原始图像经过一
次降采样操作后,输入到前一个沙漏网络中
。
前
阶段得到的热图估计结果本身就是一个具有利用
价值的全局特征信息
，
它可以被用来进行下一阶
段的热图估计
，
因而本文将前一阶段的热图结果
送到后一阶段的卷积层后面
,
进行特征传递
,
以获
一个沙漏网络的输出结果经过残差模块与卷积层
处理后
，
得到响应热图
（
图
3
中的灰色部分
）
。
2
改进的堆叠沙漏网络模型
得后一阶段更准确的热图估计结果
，
如图
4
中的
实线部分
A
、
B
、
C
所示
。
除第一个阶段外
，
另外三个阶段的沙漏网络
2.
1
网络结构
充分理解交警的手势动作
，
以及交警姿态检
的输入包含三路:前一个阶段沙漏网络的输入数
据
、
前一个阶段沙漏网络的输出数据
、
前一个阶段
测作为人体姿态检测的一部分
，
有其自身的特殊
性
。
体现在手势指挥动作只依赖上半身
，
对于下
半身的遮挡或重叠几乎不用考虑
，
大多时候处于
沙漏网络的预测结果。
输入数据作为底层特征,
包含详细的局部信息
，
有利于定位人体部位的准
确位置
。
预测结果作为高层特征,包含全局语义
图像中心位置
，
很少有其他目标的干扰
。
本文使
用
4
个
4
阶沙漏网络级联
，
构成
4
个阶段
，
如图
4
所示
。
信息
，
可以提高局部遮挡和复杂背景的识别性能
。
这三路尺度不同的数据通过串接和相加进行融
19
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
Conv
3
7x7
64
Res
<64>
<128>
Max
Pool
2x2
S=2
Res
Res
<128>->
<128>
<128>
<128>
4
阶
Hourglass
Module
Res
<256>
<256>
nv
6
fe
llx
(l
6
不
Conv
256
x
256
Conv
256
lxl
256
Conv
16
1
x
1
256
6
4
-
1
巧
X
1
16
Conv
Conv
16
1
x
1
256
Conv
1
x
1
16
4
阶
Hourglass
Module
Average
图
4
改进的网络结构
合
，
体现了跳级结构思想
。
网络的输出是一组响
果网
。
见式
（
1
）
。
应热图
,
除第一个阶段外
，
响应热图的输入包含两
路:当前阶段网络的输出数据
、
前一个阶段沙漏网
络的预测结果
。
对于给定的输入
，
网络预测在每
个像素处存在关节的概率
。
(1)
其中
s
表示第
i
个阶段产生的热图
。
2.2
热图融合估计
网络对于关节点的预测是热图的最大激活
为了验证各阶段结果的融合处理是否对于最
值
。
损失函数厶使用
12
范数损失函数也就是均方
Stage
1
Stage
2
Stage
3
Stage
4
Average
图
5
热图结果平均化
20
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
使用
2D
高斯分布
，
标准差为
1,
均方误差见
网络的最终结构十分重要
。
为了判断改进后的网
络结构所选择的串联个数是否对网络的结果提升
式⑵
。
MSE
=
-X
(玄
-*
n
i
=
l
(2)
有益
。
串联
2
个
、
4
个
、
8
个沙漏网络以及改进后
的结构模型进行消融实验,在相同数量参数下的
网络性能和中间预测精确度的差异
，
如表
1
所示
。
中间预测精确度是网络在进行到一半的时候所能
达到的识别结果
。
表
1
级联个数对网络的影响
玄表示预测的热图中的关节点坐标位置冋
表示地面真值坐标;
n
表示图像中所包含的关节
点的数目
。
使用中间监督对每一个沙漏模块进行预测
，
沙漏网络的权重并不共享
，
因此所有输出热图结
果均设置损失反向传播,保证训练精度
。
将每一个
阶段的热图预测结果都与地面真值进行损失计
算
。
最后得到整体损失
，
见式
(
3)
。
厶二厶
I
+
厶
2
+
厶
3
+
厶
4
(
3
)
L^i
=
1,2,3,4)
表示每一个阶段的热图
损失
。
3
实验与结果分析
3.1
实验步骤
使用
MPII
数据集对网络进行训练
，
获取训练
数据,再将训练后的网络在交警动作数据集上进
行实验
，
得到输出图像
。
在
Pytorch
上进行训练,
实验平台为
NVIDIA
GTX970
:
i54590U
处
理器、
3.3GHz
主频
、
8G
内存
、
4G
显存
。
MPII
数据集由
25000
张图片数据组成
，
包含
多种人类活动
。
对数据集进行预处理
，
筛选
5000
张重叠以及背景复杂的单人图片
，
并设置成同一
分辨率为
256
x256
，
从中选取
200
张作为测试集
图片数据,训练集与测试集的分离数为
4800
[20]
o
然后进行关节点检测实验
。
学习率为
2.5e4,
迭
代次数为
200
次
，
批次数为
1000,
每周期循环的
批次大小为
16
。
待精度稳定后将学习率降低
5
倍
。
网络预测结果是给定关节点热力图的最大激
活位置
。
针对交警的拍摄角度
、
动作
、
占图比例
、
遮挡
重叠与光线等因素
，
网络爬取
3000
余张交警图
片
，
自制一个微型交警数据集对网络进行第二步
训练
。
图片预处理方式与
MPII
数据集保持一致,
将交警数据集送入训练后的网络中进行实验
，
通
过准确提取关节点坐标位置来获得空间特征
，
生
成关节点热图
，
得到输出结果
。
3.2
消融实验
沙漏网络级联个数差异的消融实验
，
对确定
级联个数
网络性能
中间预测精确度
2
87.4%
84.6%
4
87.8%86.5%
8
88.1%87.1%
Our
model(4)
89.
82%
88.473%
改进后的网络与原网络结构相比
，
在检测估
计准确度上的结果如图
6(c)
所示
。
每一阶段沙
漏网络结束后能达到的平均精确度
，
本文网络均
获得优势
。
同时本文进行了结果平均化处理的消融实
验
。
将未经过结果平均化处理的各阶段输出与经
过平均化处理的各阶段的输出进行结果比对实
验
。
从结果预测的平均准确率上来看
，
平均化后
的网络识别准确度在每一阶段逐渐提升,在最后
的输出阶段
，
结果之间的差异达到最大
。
如
图
6(d)
曲线图所示
。
3.3
结果与分析
图
7
显示了改进后的网络与其他方法在
MPII
数据集上的姿态估计结果
，
评估指标采用正
确关键点的标准百分比
(
PCK)
来度量
，
对于
MPII,
是由头部尺寸的相对位置关键点标准百分
比来衡量
，
即
PCKh
0
比较在
MPII
数据集上的输出结果不难看出
,
本文网络得到的实验结果相比较
SHN
与
CPM
等
方法输出结果
,
准确率方面有了明显提升
,
主要体
现在对关节的合理性与准确度上
。
验证了阶段性
产生的全局热图信息可以被后续阶段的预测所利
用的有效性
，
以及捕获局部细节信息与全局上下
文语义信息方法的必要性
。
对比堆栈沙漏网络以
及
CPM
网络的运行时间效率
，
本文网络在
MPII
数据集上的运行时间大约需要
23
个小时
。
同时
21
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
原图
级联
2
个
级联
4
个
级联
8
个
Our
mode
I
结果未处理
结果平均化
(
a
)
级联个数对识别准确度的影响
级联个数对网络的影响
(
b
)
结果处理对识别准确度的影响
a91
o
8
9
o
8
7
悝
o.
8
5
8
3
耀
B
o.
8
1
B
o.
o.
o
7
9
虧
a
7
7
7
5
结果处理对实验的影响
0.
0.
0.
0.
0.
0.
0.
0.
9
1
9
0
8
9
8
8
8
7
8
6
8
5
8
4
-•-结
SK*
处丹
—
銘
栗半沟化
3
4
阶段
5
6
8
12
3
4
(
c
)
级联个数对网络的影响
图
6
消融实验结果差异
(d)
结果处理对实验的影响
点的位置用
-1
来代替
。
对出现的多人图片
，
只
标注出主要的交警对象的位置坐标
。
然后将训练
好的模型应用在数据集上,在得到第二阶段的检
测实验结果(如图
8
所示)与
PCKh@O.
5
的值后,
发现本文的网络结构对交警的姿势特征进行了正
确的识别
，
可以成功应用在交警姿态估计的问题
上
。
识别结果如图
8
所示
。
与一些最先进网络的
********
结果进行了比
较
，
如表
2
所示
。
表
2
MPII
数据集训练结果
(********)
Head
Shoulder
Elbow
Wrist
Hip
Wei
Newell
A
Knee
Ankle
Total
(a)
多人场景下的识别结果
(
b
)
局部遮挡下的识别结果
97.8
98.2
98.1
98.1
95.0
96.3
88.7
84.0
88.4
82.8
91.2
87.190.1
87.4
91.2
87.2
89.8
87.4
79.4
88.5
83.6
90.9
84.
1
Sun
Chen
Ke
96.2
96.5
91.0
92.588.5
90.2
89.6
92.7
88.490.6
89.3
91.7
8
&
9
89.4
88.7
86.0
91.9
86.3
92.1
98.5
96.8
96.7
Our
model
98.2
83.8
92.1
通过第一阶段的网络训练
，
本文对交警数据
集上的关键点坐标进行像素点标注
，
未出现关节
(
C
)
简单场景下的识别结果
(d)
肢体重叠下的识别结果
图
8
交警数据集结果图
22
基于改进堆叠沙漏网络的交警姿态估计一乔稳等
随后针对交警数据集进行了方法对比实验,
估计精确性,有效达到实验的预期结果
。
下一步
还将继续针对网络结构进行匹配研究设计
，
为后
将堆叠沙漏网络与本文的网络进行性能与准确率
的比较
，
结果差异如图
9
所示
。
图9(a)
为文
续的交警动作识别工作做好基础
。
献
［13
］
方法的结果
，
图
9(b)
为本文方法的结果
。
通过结果可以看出
，
本文方法在局部关节点的坐
标定位上更准确
,
关节点更合理
,
关节点之间的依
赖度更高
，
符合人体实际姿态特征
。
相比较原堆
参考文献
：
[
1
]
He
Jian,Zhang
Cheng
,
He
Xin-lin
,
el
al
・
Visual
recogni
-
tion
of
traffic
police
gestures
with
convolutional
pose
ma
chine
and
handcrafted
features
[
J
]
・
Neutocomputing,
栈沙漏网络而言
，
本文方法有明显的提高,认为这
是通过热图特征融合以及阶段结果平均化之后的
2020,390(5)
：
248
-259.
[2]
Wang
B,
Yuan
T.
Traffic
police
gesture
recognition
using
改进效果
。
有关
********
的计算结果如表
3
所示
。
1
(
a
)
SHN
的局部识别结果
(
b
)
本文方法的局部识别结果
图
9
文献
［
13
］
方法结果与本文方法结果对比图
表
3
交警数据集训练结果
(
********)
Head
Shoulder
Elbow
Wrist
HipKnee
Ankle
Total
Newell
A
98.1
96.3
91.5
86.8
84.686.4
81.6
89.7
Our
model98.2
96.4
91.8
88.3
85.486.4
82.5
92.3
4
结束语
本文针对交警手势指挥动作中的姿态估计问
题
,
摒弃了传统的硬件识别方法
，
以及利用卷积位
姿机等特征信息融合不佳的深度学习方法
，
通过
理解堆叠沙漏网络而提出改进型网络结构来对姿
态的空间位置进行提取
。
实验结果以及数据表
明
，
利用简洁合理的网络结构和更丰富的上下文
信息聚合
，
并结合多阶段热图结果的平均优化处
理
，
可以显著提高识别的坐标位置准确度和整体
accelerometer
[
C
].
in
：
Proceeding
of
IEEE
SENSORS
Conference
,
Lecce,Italy
,2008
:
1080
-
1083
・
[3]
Yuan
T,
Wang
B.
Accelerometer-based
Chinese
traffic
police
gesture
recognition
system
[
J]
・
Chinese
Journal
of
Electronics,
2010,19(2)
：
270
一
274.
[4]
Marcin
E,Vittorio
F.
Human
pose
co-estimation
and
ap
plications
[
J
]
・
IEEE
Transactions
on
Pattern
Analysis
and
Machine
Intelligence,
2012,34(
11)
：
2282
-2288.
[5]
Le
Q
K
,
Pham
C
H,Le
T
H.
Road
traffic
control
gesture
recognition
using
depth
images
[
J
]
・
IE
Transactions
on
Smart
Processing
&
Computing
,2012
:
1
一
7
・
[6]
Zhou
Z,
Li
S,
Sun
B
・
Extreme
learning
machine
based
hand
posture
recognition
in
color-depth
image
[
J
]
・
Com-
munications
in
Computer
&
Information,
2014,484
：
276
-285.
[7]
Felzenszwalb
P
F,
Huttenlocher
D
P.
Pictorial
structures
for
object
recognition
[
J
]
・
Inlemalional
Journal
of
Com-
puter
Vision
,2005,61(1)
：
55
一
79.
[8]
Yang
Y
,
Ramanan
D
・
Articulated
pose
estimation
with
flexible
mixtures-of-parts
[
J
].
CVPR,
2011,32
(
14
)
：
1385
-1392
・
[9]
Guo
F
,
Tang
J,
Cai
Z
・
Automatic
recognition
of
Chinese
traffic
police
gesture
based
on
max-covering
scheme[
J]
・
Adv.
Inf.
Sci.
Serv,2013
,5(1)
：
428
-437.
[10]
Cai
Zi-xing,Guo
Fan.
Max-covering
scheme
for
gesture
recognition
of
Chinese
traffic
police
[J
]
・
Pattern
Analy
sis
&
Applications,2015,18(2)
：
403
-418.
[11]
Pfister
T
,
Charles
J
,
Zisserman
A.
Flowing
conv
nets
for
human
pose
estimation
in
videos
[
J
]
・
2016
:
1913
一
1921.
[12]
Wei
S
E
,
Ramakrishna
V
,Kanade
T,et
al.
Convolution
al
pose
machines
[
J
]
・
IEEE
Computer
Society,
2016
：
4724
-4732
・
(下转第
29
页)
23
基于误差补偿的电能交易体系模型设计一何义琼等
优化模型及其混合智能求解策略
[J].
电网技术
，
2017,41(9)
：
2823
-2830.
[11]
王维超
，
薛宇
，
李更丰
，
等•电力能效统筹的市场交
[18]
龚钢军
，
王慧娟
，
张桐
，
等•基于区块链的电力现货
交易市场研究
[J].
中国电机工程学报
,2018,38
(23)
：
6955
-6966,7129.
[19]
唐学用
，
李庆生,和远舰
，等.基于区块链技术的电
易体系及保障机制研究
[J].
电网与清洁能源,
2017,33(2)
：
1
-7.
[12]
郭立邦
，
丁一
，
包铭磊
，
等•两级电力市场环境下计
力交易系统安全建模及性能分析
[J]
•南方电网技
术
,2019,13(5)
：
77
-83.
[20]
Gias
S
,
Kiesel
R
,Kolkmann
S,et
al.
Intraday
renewable
及风险的省间交易商最优购电模型
[J].
电网技术
，
2019,43(8)
：
2726
-2734.
[13]
韩冬
，
张程正浩,孙伟卿，
等•基于区块链技术的智
electricity
trading
：
advanced
modeling
and
numerical
optimal
control
[
J
]
・
Journal
of
Mathematics
in
Industry
,
2020,10(2):49
-85.
能配售电交易平台架构设计
[J].
电力系统自动化,
2019,43(7)
：
89
-96.
[14]
姜曼,刘定宜
，
叶泽，等•考虑售电公司的跨省区电
[21]
Lopez
N
S
A
,
Biona
J
B
M
M
,
Chiu
ASF.
Electricity
trading
and
its
effects
on global
carbon
emissions
:
a
力交易的资源配置分析
[J].
电力科学与技术学报,
2018,33(3)
：
120
-127.
[15]
史述红
，
刘敦楠,胡会文
，
等.市场开放下电力交易
decomposition
analysis
study
[
J
]
・
Journal
of
Cleaner
Production,
2018,195(
12)
：
532
-539.
[22]
Baltaoglu
S
,
Tong
L
,
Zhao
Q.
Algorithmic
bidding
for
virtual
trading
in
electricity
markets
[
J
]
・
IEEE
Transac
・
全过程违规行为识别探究
[J].
价格理论与实践,
2018(8)
：
51
-54.
[16]
王蕾,焦明海
，
代勇
，
等•群体主动学习算法的移动
tions
on
Power
Systems,
2018,12(2)
：
14
一
19.
[23]
Xu
J,Wan
H
,Chen
Z
Y.
Sharp
skirt
bandpass
filter-in
tegrated
single-pole
double-throw
switch
with
absoiptive
电力交易行为研究
[J].
控制工程
,2019,26(3)
：
484-491.
[17]
马佳乐
，
谭忠富
，
喻小宝
，
等•计及实时电量交易的
OFF-State[
J]
.
IEEE
Transactions
on
Microwave
Theory
and
Techniques,
2019,67(2)
：
704
-711.
(责任编辑
：
丁一元)
售电公司日偏差电量考核优化模型
[
J]
•电力建设，
2019,40(2)
：
11
-19.
(上接第
23
页)
[13]
Newell
A,
Yang
K
,
Deng
J.
Stacked
hourglass
networks
puter
Vision-ECCV
Lecture
Notes
in
Computer
Sci
ence,
Springer
,
Cham,
2018,11206
：
731
-
746.
for
human
pose
estimation
[
J
].
In
：
ECCV
,2016,9912
：
[18]
Sun
K
,
Xiao
B,Liu
D,et
al.
Deep
high
・
resolution
repre
・
sentation
learning
for
human
pose
estimation[
C]
・
2019
483
-499.
[14]
Chu
X
,
Ouyang
W,Li
H,et
al.
Structured
feature
learn
IEEE/CVF Conference
on
Computer
Vision
and
Pattern
Recognition
(
CVPR)
・
IEEE
,2020
：
5693
一
5703.
[19]
Su
Z
H
,
Ye
M
,
Zhang
G
H
・
Cascade
feature
aggregation
ing
for
pose
estimation
[
J
].
In
：
CVPR,
2016
：
4715
-
4723.
[15]
Chen
Y
,
Shen
C
,
Wei
X
S,et
al.
Adversarial
posenet
:
a
for
human
pose
estimation
[
J
]
・
in
：
Proceedings
of
the
structure-aware
convolutional
network
for
human
pose
estimation
[
J
]
・
In
：
IEEE
International
Conference
on
Computer
Vision
(ICCV)
,2017
：
1221
-1230
・
IEEE
Conference
on
Computer
Vision
and
Pattern
Rec
ognition,
201
9.
[20]
Peng
X
,
Tang
Z
Q,
Yang
F
・
Jointly
optimize
data
aug
・
[16]
Yang
W,Li
S
,
Ouyang
W,et
al
・
Learning
feature
pyra
・
mentation
and
network
training
：
adversarial
data
aug
mentation
in
human
pose
estimation
[
C
]
・
in
：
Proceeding
mids
for
human
pose
estimation
[
J
]
・
In
：
IEEE
Interna
tional
Conference
on
Computer
Vision
(
ICCV)
,2017:
of
the
IEEE
Conference
on
Computer
Vision
and
Pat
1290-1299.
tern
Recognition
,2019
：
2226
-
2234.
(责任编辑:杨静)
[17]
Ke
L
,
Chang
M
C,Qi
H,et
al.
Multi-scale
structure-a
ware
network
for
human
pose
estimation
[
J
]
・
In
：
Com
・
29