2024年9月29日发(作者：相复)
生命科学仪器
2023
年第
21
卷
/
第
5
期
技术与应用
一种基于人脸视频的远程血压估测方法
()
北京理工大学生命学院
,
北京
100081
穆继文
唐晓英
*
摘要
目的提出一种基于深度学习的回归模型
,
在自建数据集上
,
实现从消费级相机采集的人脸视频到血压值的
、
估测
。
方法使用自建人脸视频数据集经数据筛选
、
预处理后按照
8∶1∶1
的比例随机分为训练集
(
验证
111
例
)
结果在十折交叉验证条件下
,
所提出的模型在测试集上的平均绝对误差和标准差达到收缩压
(
5.98±
),),。
绿色通道数据在该任务中表现明显优舒张压
(
相关系数分别为
05.22mmH4.30±3.39mmH.70
与
0.64
gg
;
集
(
和测试集
(
此外
,
分别使用绿
、
红
、
蓝三通道数据进行相同实验
,
比较通道选择对该任务的影响
。
14
例
)
14
例
)
于其余两个通道
。
结论本文在一定程度上证明了利用深度学习实现基于人脸视频的远程血压估测的可行性
,
此
外
,
绿色通道数据可能含有更多与血压相关的信息
。
关键词
远程血压估测
;
人脸视频
;
深度学习
;
通道选择
;
回归模型
()
SchooloieScience
,
BeiinnstituteoechnoloBeiin
100081
f
L
fjg
I
f
T
gy
,
jg
,
【】:
AbstractObective
Areressionmodelbasedondeeearnins
p
roosedtoestimatetheblood
p
ressurevalue
gp
l
g
i
p
j
:
fromthefacialvideocollectedbtheconsumercameraontheself-builtdataset.
Methods
Afterdatafilterinnd
yg
a
,),
rerocessintheself-builtfacevideodatasetisrandomlividedintotraininet
(
111casesverificationset
ppgy
d
g
s
ARemoteBloodPressureEstimationMethodbasedonFacialVideo
*
,
MuJiwenTaniaoin
g
X
yg
,
foldcross-validationconditionthemeanabsoluteerrorandstandarddeviationofthe
p
roosedmodelonthetest
p
))
setreachedsstolicblood
p
ressure
(
5.98±5.22mmHanddiastolicblood
p
ressure
(
4.30±
ygg
()):,,
14casesandtestset
(
14casesaccordinotheratioof8
:
11
:
tionreenredandbluechanneldata
g
t
g
:
areusedforthesameexerimenttocomaretheimactofchannelselectiononthetask.
Results
Underthe10-
ppp
p
erformanceofreenchanneldatainthistaskis
pyg
:
sinificantletterthantheothertwochannels.
Conclusion
This
p
aer
p
rovestosomeextentthefeasibilitfu-
gy
b
py
o
,
sineelearninorealizeremoteblood
p
tionthe
g
reenchannel
g
d
pg
t
datamaontainmoreinformationrelatedtoblood
p
ressure.
y
c
【】;;;;
Keords
Remoteblood
p
ressureestimationFacialvideoDeelearninChannelselectionReressionmodel
pgg
y
w
:/
中图分类号
:
R443+.5
文献标识码
:
A DOI10.1013
引言
改革开放以来
,
随着我国居民生活水平的显
著提高
,
居民不健康的饮食结构和生活习惯日益
突出
,
我国心血管疾病患病人数呈上升趋势
,
给社
会带来沉重的经济负担
。
高血压是心血管疾病最
主要的危险因素之一
,
对心血管疾病的预防与早
期监测具有重要意义
。
根据中国疾病预防控制中
2015
年我国
18
岁及以上居民高血压粗患病率为
加权率为
2
估计中国成人高血压患
27.9%
,
3.2%
,
27.9%
的
5
再到
2.1%
上升到
1991
年的
13.6%
,
016
年的
[
2
]
疗率和控制率分别只有
41.0%
、
34.9%
和
这意味着我国一半以上高血压人群未能
11.0%
,
及时掌握自身的高血压病情
。
我国疾病预防控制
局表示
,
越早期发现
、
治疗和控制高血压
,
高血压
对心血管造成的伤害就越小
,
经常测量血压对发
高血压患病率较高的同时
,
成人高血压知晓率
、
治
,
呈现出令人担忧的发展态势
。
在我国
心在
2018
年的一项调查结果显示
,
2012
年至
现和控制高血压从而预防心脑血管疾病具有重要
意义
。
当前
,
血压测量主要有三种方法
:
基于导管
1
)
病人数为
2.45
亿
。
我国高血压患病率自
1958
年
:
作者简介
:
穆继文
,
男
,
硕士
,
E-mail943880379@
q
.com
。
q
,
专业方向
:
生物医学工程
。
:
通讯作者
:
唐晓英
,
女
,
北京理工大生命学院学教授
,
博士生导师
,
中国电子学会生命电子学分会常务理事
,
E-mailxiaoinit.
yg
@b
65
技术与应用
3
]
;
插入血管的侵入性方法
[
基于充气袖带的无
2
)
生命科学仪器
2023
年第
21
卷
/
第
5
期
,
的接触式测量方法
。
侵入式
hsmorahPPG
)
ygpy
,
MA
,
与标准差
(
方法需要将设备与人体血液实时接触
,
精度最高
,
rorE
)
StandardDeviationSTD
)
但其侵入式特性可能带来感染风险
,
且需要专业数值
。
上述方法的主要的缺点有
:
个体差异性
1
)
)
创接触式方法
;
基于光电容积脉搏波
(
3Photole-
p
,);)
基于估测血压值与实际血压值的统计
cientr2
学差异
,
给出平均绝对误差
(
MeanAbsoluteEr-
给出皮尔逊相关系数
(
PearsonCorrelationCoeffi-
人员进行测量
,
受限于此
,
该方法主要用于危重病
人术中的血压测量
。
非侵入式方法主要包括基于
充气袖带的臂式血压计和基于光电容积脉搏波的
血压测量方法
。
其中
,
臂式血压计因其设备操作
相对简单且成本低廉
,
广泛应用于医院
、
家庭等场
,
合
,
是非侵入式血压测量的
“
金标准
”
其缺点是测
量繁琐耗时
、
无法连续且会给患者带来不适
。
基
于光电容积脉搏波实现的血压测量装置主要是以
智能手表为代表的穿戴式设备
,
通过采集人体不
同部位的光电容积脉搏波信号
,
计算峰值传输时
,,
间
(
进而通过算法实
PulseTransitTimePTT
)
现血压估测
。
该方法不需要袖带参与
,
易于实现
较大
,
算法鲁棒性不好
;
算法需要较多人工参
2
)
与
,
难以实现自动化
,
因而难以实际应用
。
除此之
外
,
缺乏相关公开数据集也极大地限制了该领域
的研究
。
为克服传统远程血压估测方法过于繁琐
、
鲁
棒性不好等缺点
,
本文结合近年来深度学习在图
片分类回归等任务中展现出的优异特征提取与建
模能力表现
,
提出了一种从人脸视频经数据预处
理后通过深度学习实现血压估测的方法
,
跳过了
从视频经过复杂的信号处理来恢复
rPPG
信号的
过程
,
直接从额头区域视频自动获取深层特征来
进行血压值估测
,
并在自建数据集中取得了优异
成绩
,
为远程血压估测的广泛应用提供了一种新
的研究思路
。
长时间监测
,
但价格较为昂贵
,
且穿戴式设备的用
户体验仍有待于优化
。
此外
,
以上三种方法均需要将测量设备与人
体接触从而实现血压测量
,
而在后疫情时代
,
接触
式测量方法可能会带来感染风险
,
不利于广泛应
用
。
因此
,
探究一种非接触式
、
方便快捷且测量成
本低廉的血压测量方法将具有深刻意义与广泛应
用价值
。
自
2008
年来自加利福尼亚大学的
Wim
[
6
]
Verkrusse
等人提出可以利用消费级摄像机获
y
取的人脸视频中提取的远程光电容积脉搏波
(
Re-
1
材料与方法
1.1
研究对象与数据
1.1.1
数据的获取
研究中所有受试者均
为北京理工大学生命学院师生
,
共
51
名受试者
,
年龄分布为
:
男女比例为
326.04±4.66
岁
,
7∶
14
。
实验于
2022
年
9
月
12
日到
19
日共计
8
天内
完成
,
均在上午
11
点至下午
3
点光线良好的室内
进行
。
实验场地仅在被试身后使用白色投影幕布
以保证背景总体一致
,
仅使用自然光作为实验用
光源
,
以求最大程度模拟真实场景
。
所有受试者进入实验场地后首先阅读实验须
知及知情同意书
,
随后进入实验预备阶段
,
预备阶
佩戴臂式血压计
,
该过程中实验人员再次讲解实
。
实验正式阶段包
验流程及注意事项
,
持续
3min
含
3
次相同的子实验
,
每次子实验间隔
1min
用于
)
录制
3
测量血压
。
其中
,
录制视频时要
0s
视频
;
3
求实验者露出完整前额
,
保持呼吸平稳和身体静
止
,
最大程度降低运动带来的信号损失
,
测量血压
的装置为欧姆龙电子血压计
。
用于录制视频的设备为
GoProHero9Black
,
,
来实现心率
motePhotolehsmorahrPPG
)
pygpy
测量后
,
大量关于远程生理信号监测的研究涌现
出来
。
由于该方法可以实现非接触式生理信号测
量
,
因而在居家监护和日常生活中具有巨大应用
潜力
。
目前
,
相关研究主要集中于心率
、
呼吸率
、
11
]
血氧饱和度
[
等较为简单的生理信号估测
,
血压
段包含内容有
:
调整坐姿
;
保持呼吸平稳
;
1
)
2
)
3
)
由于测量难度较大
,
数据难以获取等原因相关研
究比较有限
。
当前
,
基于视频的血压估测常采用两种方案
:
通
1.
基于峰值传输时间与血压值间的强相关性
,
过从视频中提取出两个位置的
r
计算
PPG
信号
,
出
PTT
用于与血压值建模
;
2.
基于经过信号处理
得到的
r
并融合个人特征与血
PPG
的波形特征
,
被试人员休息
,
子实验的流程为
:
测量血压
;
1
)
2
)
17
,
18
]
。
结果评价方式一般分为两种
:
压值建模
[
1
)
估测血压值序列与实际血压值序列具有相关性
,
66
视频格式为
1
每秒
5
选择室
920×1080
,
0
帧图片
,
内模式默认参数录制
,
未进行任何特殊处理
,
单个
生命科学仪器
2023
年第
21
卷
/
第
5
期
技术与应用
,
视频时长均为
3
占用存储
10s62MB
。
前额区域可以在不同人群中取得鲁棒稳健的划分
效果
,
一般来说
,
这样得到的区域大小并不相同
。
1.1.2
数据预处理
数据预处理包含以下
步骤
:
数据筛选
;
逐帧人脸区域划分
;
逐帧
1
)
2
)
3
)
具体来说
,
首先将前后两次血压测量收缩压差值
或舒张压差值大于
1
原因是这部分
0
的数据剔除
,
图片统一大小
;
通道选取
、
归一化与数据保存
。
4
)
数据违反了
“
视频录制期间血压值基本保持恒定
”
这一基本假设
,
无法用于后续血压估测模型建立
。
原始数据共计
1
据此要求剔除数据
153
例
,
4
例
,
剩余
139
例
。
经过筛选后的数据集的血压值频数
围分别为
83.5-135.0mmH0.0-
g
和
5
。
93.0mmH
g
分布直方图如图
1
所示
,
其中
,
收缩压和舒张压范
图
2
前额区域
因此
,
第三步中将每一帧数据统一降采样为
128×64
大小
。
紧接着第四步里将数据分解为绿
红蓝三个通道
,
并进行归一化处理
,
所使用的归一
化公式见公式
1.1
。
_
v
_
v
_
v
)
normalizeal=
(
ixal-minal
p
/(_
v
_
v
)
maxal-minal
Fiure2 Schematicdiaramofforeheadarea
gg
定通道中像素值的最大值和最小值
,
ix
_
val
和
p
_
vnormalizeal
分别为归一化前后的像素值大小
,
随后将数据分通道整合保存
,
用于后续模型训练
。
预处理完成后取绿色通道数据作为模型训练数
据
,
再将数据按照
8
:
1
:
1
的比例随机划分为训练
由于同一个人记录的
3
组视频数据存在一定相关
性
,
而这类相关性将可能影响定量模型的性能
,
因
()()
收缩压频数分布直方图
;
舒张压频数分布直方图
ab
_
v
_
v
其中
,
minal
和
maxal
分别为当前图片特
,。
集
(
验证集
(
和测试集
(
n=111
)
n=14
)
n=14
)
图
1
血压值分布
。
此
,
在随机划分的同时确保了同一个人的多组数
据仅能在测试集或训练集中的一个位置出现
,
这
样
,
模型所学习到的特征便可以更具备泛化性
。
1.2
研究方法
1.2.1
模型搭建
本研究所提出的三维卷
积神经网络模型结构及参数如表格
1
所示
。
该模
型为序列模型
,
包括
5
个三维卷积层
,
5
个三维最
卷积层中卷积核大小均为
3×3×3
,
Droout
层
,
p
除首个卷积层步长为
2
外
,
其余步长设为
1
;
最大
值池化层大小均为
3×2×2
,
步长为
3
。
这些卷积
)
Fiure1Distributionofblood
p
ressure.
(
aFreuen-
gq
;(
cistributionhistoramofsstolicblood
p
ressureb
)
y
d
gy
sure
Freuencistributionhistoramofdiastolicblood
p
res-
qy
d
g
的开源工具包
,
广泛用于人脸检测
、
机器学习等领
_
p
_
8
_),
对视频中每
redictor1
_
一帧图像进行人脸识别标记
,
该操作将人脸标记
出
8
根据所选特征点裁剪取得前额矩
1
个特征点
,
形区域
,
如图
2
所示
(
图片使用已经过本人授权同
,
意
)
红色框区域为待裁剪区域
。
通过特征点选取
域
)
官网提供的
81
点人脸检测坐标点模型
(
shae
p
第二步中
,
采用了
d
一个基于
c++
语言
lib
(
大值池化层
,
1
个
Flatten
层
,
3
个
Dense
层和
2
个
,
作为激活函数
,
最后一个
fiedLinearUnitRelu
)
全连接层采用
l
用于实现回
inear
作为激活函数
,
67
层与前两个全连接层均采用线性激活函数
(
Recti-
技术与应用
生命科学仪器
2023
年第
21
卷
/
第
5
期
归模型的输出
。
表格
1 3dCNN
结构及参数
Table1Thestructureand
p
arametersof3dCNN
样本大小
。
MAE=
STD=
1
N
))
∑|BP
(
i-Y
(
i|
N
i=1
网络层
卷积层
1
池化层
1
卷积层
2
池化层
2
卷积层
3
池化层
3
卷积层
4
池化层
4
卷积层
5
Flatten
层
Dense
层
Dense
层
Dense
层
池化层
5
输出
750*64*32*8
250*32*16*16
84*16*8*16
84*16*8*32
28*8*4*32
28*8*4*64
10*4*2*128
4*2*1*128
1024
256
256
128
128
1
10*4*2*64
250*32*16*8
卷积核
8*3*3*3
16*3*3*3
32*3*3*3
64*3*3*3
-
-
-
-
-
-
-
-
参数
224
3472
13856
55360
0
0
0
0
0
0
0
0-
-
-
1
N
2
))
∑
(
|BP
(
i-Y
(
i|-MAE
)
N
i=1
针对不同通道数据模型训练的结果
,
均采用
上述方式进行评价
。
由于数据集相对不够充分
,
为避免数据集划分带来的偶然性
,
本研究采用了
十折交叉验证的平均结果作为最终性能评价指
标
,
用以反映模型性能
。
2
结果
2.1
实验结果
表格
2
为模型在绿色通道数据
下十折交叉验证的性能表现
,
可以看出
,
本研究的
128*3*3*3221312
Droout
层
p
Droout
层
p
262400
32896
129
平均性能表现可以达到
:
收缩压
(
5.98±
),),
舒张压
(
平均
5.22mmH4.30±3.39mmH
gg
皮尔逊相关系数分别为
0.70
与
0.64
。
为直观展示模型在绿色通道数据上的估测结
果
,
研究选取十折交叉验证中第
4
折和第
8
折在
测试集上的估测结果进行绘图
,
如图
3
所示
。
可
以看出
,
在两折数据中
,
预测值序列总体上能够较
主机预装了
C2.8.0
,
thon
版本为
3.9
,
UDA
py
(
11.2
和
cuDNN8
,
CPU
版本为
8×IntelR
)
Xe-
1.2.2
实验细节
实验在
Ubuntu18.04
系
统下进行
,
深度学习网络框架为
TensorFlow
好地拟合标签值序列趋势
,
且预测精度符合预期
。
表格
2
绿色通道数据十折交叉验证结果
Table2Resultsof10-foldcross-validation
在
16GB
。
模型的实现借助了
Tensorflow
框架
,
GPU
中进行训练及预测
。
_
共训练
20.0001
,
00
个
eoch
,
Batchsize
大小设置
p
为
1
用来反
6
。
采用
MAE
作为模型的损失函数
,
映模型估测血压的准确度
。
1.2.3
不同通道数据对模型训练的影响比
较
相机获取的人脸视频包含红
、
绿
、
蓝三个通
道
,
每个通道包含的信息不同
,
为探究血压信息是
否主要存在于某个数据通道
,
本研究还对不同通
道数据对模型训练的影响进行了比较分析
。
本研
究将蓝色通道和红色通道数据分别采用前述方法
进行了模型训练与预测
,
同时保持其它预处理及
模型参数完全一致
。
1.2.4
结果评估
本研究以前后两次臂式
血压计测量结果的平均值作为血压参考标准
,
模
模型训练采用了
A
该优化器具
dam
优化器
,
有收敛速度快
、
易于调参等优势
,
学习率固定为
(,
主频
2onR
)
CPUE5-2686v4
,
.30GHzGPU
为
NV
内存为
6
显存为
IDIARTXA4000
,
0GB
,
on
g
reenchanneldata
折数
1
2
3
4
5
6
7
8
10
9
收缩压
MAE±
/
STDmmH
g
7.01±6.87
5.99±5.26
5.98±2.78
4.24±3.71
5.46±6.34
4.19±3.75
7.80±5.49
6.13±5.90
6.83±6.65
6.14±5.46
5.98±5.22
收缩压
0.52
0.80
0.74
0.86
0.83
0.79
0.38
0.79
0.64
0.63
0.70
r
值
舒张压
MAE±
/
STDmmH
g
2.25±2.17
4.34±2.55
3.82±2.87
1.74±1.85
6.62±4.98
5.62±2.75
6.78±6.30
5.28±2.85
2.06±2.27
4.52±3.35
4.30±3.39
舒张压
0.69
0.35
0.72
0.87
0.58
0.69
0.60
0.76
0.45
0.81
0.64
r
值
平均值
三者分别由英国高血压协会
、
美国医疗器械
ESH
,
促进协会和欧洲高血压协会颁布
,
一般认为
,
满足
三种标准之一的血压设备即视为合格的血压设
20
]
。
表格
3
显示了在本数据集绿色通道数据中备
[
当前
,
我国在评价电子血压计是否合格
当前
,
[
19
]
时主要参考
3
个国际标准
,
即
BHS
,
AAMI
和
型性能评估基于
MAE
、
STD
及皮尔逊相关系数
。
采用
3dCNN
进行血压估测的统计结果及其与
))
B
和
Y
(
本研究提出的模型
MAE
和
STD
定义如公式
1.2
所示
,
BP
(
ii
HS
标准的对比
。
由此可见
,
分别指第
i
个血压标签值和预测值
,
在数据集绿色通道上收缩压和舒张压估测的平均
N
代表测试集
68
生命科学仪器
2023
年第
21
卷
/
第
5
期
技术与应用
性能分别可以达到
BHS
的
B
级和
A
级标准
。
因
此
,
本研究提出的方法在兼顾了处理简单的优点
同时
,
还能够达到优异的估测性能
,
说明其具有一
定研究潜力
。
关的操作
,
从而具备更高的可行性与应用价值
。
。
图
4
十折
)
三通道数据估测结果
(
()()
收缩压
MA
舒张压
MAaE
;
bE
;
Fiure3Examlesof
p
redictinesults.
(
a
)
SBPof
gpg
r
;();()
the4thfoldbDBPofthe4thfoldcSBPofthe8th
;()
folddDBPofthe8thfold
()
(
)
第
4
折收缩压
;
第
4
折舒张压
;
ab
()
(
)
第
8
折收缩压
;
第
8
折舒张压
cb
图
3
预测结果示例
。
)
SBP
;(
dSTDofDBP
’(
Fiure4Estimationresultsofthreechannelsdata10
g
))
MA
()
MA
()
-fold.
(
aEofSBP
;
bEofDBP
;
cSTDof
()()
收缩压
S
舒张压
ScTD
;
dTD
的方案
,
本研究提出的方法可以在一定程度上克
服传统远程血压估测方法过于繁琐且鲁棒性不好
的缺点
,
利用深度学习强大的特征提取能力可以
快速建立起基于人脸视频的血压估测模型
,
并能
3.2
对不同通道数据在模型上的表现分析
由
于在基于视频的血压估测中
,
不同数据通道蕴含
着不同的信息
,
难以直接确定选择哪个通道来获
得最好的拟合效果
。
本研究尝试对三个通道数据
进行相同的数据处理
、
模型训练与预测
,
结果表
明
,
绿色通道数据上的表现在本研究任务中明显
优于蓝色通道和红色通道
,
这与此前业内研究相
一致
。
因此
,
当计算资源相对有限时
,
使用含有血
压信息更多的绿色通道进行基于视频的血压估测
任务更容易获得好的预测效果
。
3.3
本研究的局限性
本研究所使用的数据来
自于正常年轻人
,
血压值分布总体上处于正常范
围内
,
缺乏对血压异常人群的关注
;
除此之外
,
本
研究构建的数据集样本容量仅有
1
对于一
39
例
,
个鲁棒性好的深度学习模型构建来说还比较小
,
可能存在泛化性不好的问题
。
在今后的研究中
,
建议进一步扩大样本容量
,
增加血压异常人群的
数据
,
以使得模型可以学习到更接近真实的数据
;
除此之外
,
在计算资源充沛的条件下
,
还可以尝试
更大尺寸的数据
,
面部不同位置的数据来进行模
69
相比经典的利用
rPPG
信号来进行血压估测
表格
3
血压估测结果与
BHS
的对比
Table3Comarisonofblood
p
ressure
p
estimationresultswithBHS
DBP
_
ABHS
SBP
_
BBHS
≤5mmH
g
71%
60%
55%
50%
≤10mmH
g
90%
85%
81%
75%
≤15mmH
g
98%
95%
91%
90%
达到
BHS
血压值估测的
B
级标准
。
红色
2.2
不同通道数据下网络的表现
在蓝色
、
通道数据下采用同样的数据预处理和数据集划
分
,
并进行相同的模型训练与测试
。
三个通道数
据十折交叉验证的
MAE
与
STD
结果对比如图
4
所示
。
分析可知
,
无论是收缩压还是舒张压估测
上
,
绿色通道数据的
MAE
均明显低于蓝色通道
和红色通道
,
同时
,
绿色通道数据的
STD
也明显
低于其余两个通道
。
3
讨论
3.1
三维卷积神经网络的有效性
本研究提出
的三维卷积神经网络应用于基于人脸视频的血压
估测在现有数据集上十折交叉验证下的平均性能
),
达到了收缩压
(
舒张压
(
5.98±5.22mmH4.30
g
,
相关系数分别为
0±3.39mmH.70
和
0.64
,
g
)
这表明该方法在自建数据集上已经具有不错的性
能
,
同时
,
本方法节省了大量有监督的信号处理相
技术与应用
生命科学仪器
2023
年第
21
卷
/
第
5
期
型训练
,
增加不同深度学习网络的性能比较等
。
4
结论
总的来说
,
本研究针对自建数据集
,
利用深度
学习实现了基于人脸视频的远程血压估测
,
结果
表明该模型可以学习到视频中的深层特征
,
对血
压值进行良好的估测
,
在兼顾了处理简单的同时
,
(,
舒张压
(
5.98±5.22mmH4.30±
g
)
),
平均相关系数分别为
03.39mmH.70
和
0.64
,
g
可以达到
BHS
的
B
级标准
。
上述研究为远程血
压估测提供了一种新的思路
,
相比传统血压测量
方法
,
该方法可以实现非接触式
、
简易便捷且测量
成本低廉的血压测量
,
具有较大的潜在应用价值
。
此外
,
实验还表明
,
绿色通道可能含有更多与血压
相关的信息
,
这从另一个角度佐证了先前相关的
研究
,
可作为后续研究人员的参考
。
参考文献
[],
1ZHANGM
,
WUJZHANGX
,
enceandcontrol
[],
9GIBSONK
,
AL-NAJIA
,
-contact
]
onacomutervisionsstem
:
amethodcomarisonstudJ.
pypy
[
heartandresiratoratemonitorinfreterminfantsbased
py
r
g
o
p
[]
10SUJATHAKUMARIBA
,
SHREEHARSHABS
,
VERMA
,():
Pediatricresearch2019
,
866738-41.
P
,
ateMeasurementusinaceVideowith
g
F
十折交叉验证下的平均性能可以达到
:
收缩压
,
ferenceforConverenceinTechnoloI2CT
)
ShriDhar-
ggy
(
Oct27-28
,
2018
[
C
]
.2018.
;
NoiseSuressionroceedinsofthe4thInternationalCon-
pppg
,
U
,
masthalaManunatheshwaraInstTechnolireINDIA
,
F
jj
[]
11SHAODD
,
LIUCB
,
TSOWF
,
tactMonito-
rinfBloodOxenSaturationUsinameraandDual-
g
o
ygg
C
[
12
]
CHOIY
,
ZHANGQ
,
asivecufflessblood
,():
medicalEnineerin2016
,
6361091-8.
gg
]
WavelenthImainstem
[
ansactionsonBio-
ggg
S
y
():
2013
,
391103-11.
[]
13MUKKAMALAR
,
HAHNJO
,
INANOT
,
ressureestimationusinulsetransittimeandHilbert
–
pgp
],
Huanransform
[
rs&ElectricalEnineerin
g
t
pgg
,]
ofhertensioninadultsinChina2018
[
aliu
ypg
[]]
中国心血管健康与疾病报告
22021
概要
[
J.
中国循环杂志
,
,():
xininuezazhi2021
,
42101780-9.
g
b
g
x
,():
medicalEnineerin2015
,
6281879-901.
gg
[]
14SHIRBANIF
,
MORIARTYA
,
HUIN
,
tless
UbiuitousBloodPressureMonitoriniaPulseTransit
qg
v
:]
TimeTheorndPractice
[
ansactionsonBio-
y
a
[],
3URTEAGAJELOLAA
,
ARAMENDIE
,
ted
():
3706553-78.
roceedinsoftheConferenceonComutinnCardiolo
pgpg
i
gy
;
PressureinPatientsDurinardioulmonaresuscitation
g
C
py
R
DetectionofPulseUsinontinuousInvasiveArterialBlood
g
C
2021
:
5650-3.
[]
15GUOM
,
NIH
,
BP
:
noninvasivecontin-
investiatinulsetransittimeestimationofarterialblood
ggp
],
ressure
[
tConfIEEEEnedBiolSoc2021
,
pg
M
video-based
p
hotolethsmorahechniuecomarison
pygpy
t
qp
(,
B
,
CCinC
)
rnoZECHREPUBLIC
,
FSe2-15
,
2021
p
1
uousblood
p
ressuremonitorinasedonPPTinofficeenvi-
g
b
]
ronment
[
Proceedinsofthe2020ACMInter-
jg
[]
4LEEHY
,
entofCufflessMobile
[
C
]
.2021.
nationalJointConferenceonPervasiveandUbiuitousCom-
q
[]
5NATARAJANK
,
BLOCKRC
,
YAVARIMANESHM
,
et
198-204.
],:
andPitfalls
[
CirculationJournal2022
,
52
(
3
)
:
DeviceBloodPressureMeasurementRemaininhallenes
g
C
g
[]
16TAKAHASHIR
,
OGAWA-OCHIAIK
,
TSUMURAN.
AssociationforComutinachiner.2020
:
29
–
pg
M
y
/
32.10..3414398
utinndProceedinsofthe2020ACMInternationalSm-
pg
a
gy
,
M
;
lEventexico
pp
ethsmorahastUstrokeTimeIntervalsCan
pygpy
F
p
BeUsefulFeaturesforCuff-LessMeasurementofBlood
]
PressureChanesinHumans
[
ansactionsonbio-
g
2019
:
273-8.
[]
17RONGM
,
PressurePredictionMethodBased
Imrovementofblood
p
ressureestimationfromfacevideou-
p
],
sinGBcamera
[
ndImainonference2019
,
g
R
gg
C
[]
6VERKRUYSSEW
,
SVAASANDL
,
,():
medicalenineerin2022
,
69153-62.
gg
]
lethsmorahicimainsinmbientliht
[
-
pygpgg
u
g
a
gp
[],
7CHENX
,
CHENGJSONGR
,
-BasedHeart
,
ress2008
,
16
:
21434-45.
p
,
trol2021
,
64.
[]
汪密
.
基于人脸视频的血压测量方法研究
[
18D
]
.
浙江大
学
,
2022.
onImainhotolethsmorahncombinationwithMa-
gg
P
pygpy
i
]
icalSinalProcessinndCon-
g
[
gg
a
:
RateMeasurementRecentAdvancesandFutureProsects
p
[],
L19O'BRIENE
,
PETRIEJITTLERW
,
tish
[]
8ROUASTPV
,
ADAMMTP
,
CHIONGR
,
,
ment2019
,
68
:
3600-15.
[]
ansactionsonInstrumentationandMeasure-
]
technicalliteraturereview
[
ersofComuterSci-
p
:
heartratemeasurementusinow-costRGBfacevideoa
g
l
,():
hertension1990
,
87607-19.
yp
[]]
王文
,
张维忠
,
孙宁玲
,
20etal.
中国血压测量指南
[
J.
中华
():
高血压杂志
.2011
,
19121101-15.
tedandsemi-automatedblood
p
ressuremeasurinevices
g
d
]
withsecialreferencetoambulatorstems
[
lof
py
s
y
HertensionSocietrotocolfortheevaluationofautoma-
ypyp
,():
ence2018
,
125858-72.
70
2024年9月29日发(作者：相复)
生命科学仪器
2023
年第
21
卷
/
第
5
期
技术与应用
一种基于人脸视频的远程血压估测方法
()
北京理工大学生命学院
,
北京
100081
穆继文
唐晓英
*
摘要
目的提出一种基于深度学习的回归模型
,
在自建数据集上
,
实现从消费级相机采集的人脸视频到血压值的
、
估测
。
方法使用自建人脸视频数据集经数据筛选
、
预处理后按照
8∶1∶1
的比例随机分为训练集
(
验证
111
例
)
结果在十折交叉验证条件下
,
所提出的模型在测试集上的平均绝对误差和标准差达到收缩压
(
5.98±
),),。
绿色通道数据在该任务中表现明显优舒张压
(
相关系数分别为
05.22mmH4.30±3.39mmH.70
与
0.64
gg
;
集
(
和测试集
(
此外
,
分别使用绿
、
红
、
蓝三通道数据进行相同实验
,
比较通道选择对该任务的影响
。
14
例
)
14
例
)
于其余两个通道
。
结论本文在一定程度上证明了利用深度学习实现基于人脸视频的远程血压估测的可行性
,
此
外
,
绿色通道数据可能含有更多与血压相关的信息
。
关键词
远程血压估测
;
人脸视频
;
深度学习
;
通道选择
;
回归模型
()
SchooloieScience
,
BeiinnstituteoechnoloBeiin
100081
f
L
fjg
I
f
T
gy
,
jg
,
【】:
AbstractObective
Areressionmodelbasedondeeearnins
p
roosedtoestimatetheblood
p
ressurevalue
gp
l
g
i
p
j
:
fromthefacialvideocollectedbtheconsumercameraontheself-builtdataset.
Methods
Afterdatafilterinnd
yg
a
,),
rerocessintheself-builtfacevideodatasetisrandomlividedintotraininet
(
111casesverificationset
ppgy
d
g
s
ARemoteBloodPressureEstimationMethodbasedonFacialVideo
*
,
MuJiwenTaniaoin
g
X
yg
,
foldcross-validationconditionthemeanabsoluteerrorandstandarddeviationofthe
p
roosedmodelonthetest
p
))
setreachedsstolicblood
p
ressure
(
5.98±5.22mmHanddiastolicblood
p
ressure
(
4.30±
ygg
()):,,
14casesandtestset
(
14casesaccordinotheratioof8
:
11
:
tionreenredandbluechanneldata
g
t
g
:
areusedforthesameexerimenttocomaretheimactofchannelselectiononthetask.
Results
Underthe10-
ppp
p
erformanceofreenchanneldatainthistaskis
pyg
:
sinificantletterthantheothertwochannels.
Conclusion
This
p
aer
p
rovestosomeextentthefeasibilitfu-
gy
b
py
o
,
sineelearninorealizeremoteblood
p
tionthe
g
reenchannel
g
d
pg
t
datamaontainmoreinformationrelatedtoblood
p
ressure.
y
c
【】;;;;
Keords
Remoteblood
p
ressureestimationFacialvideoDeelearninChannelselectionReressionmodel
pgg
y
w
:/
中图分类号
:
R443+.5
文献标识码
:
A DOI10.1013
引言
改革开放以来
,
随着我国居民生活水平的显
著提高
,
居民不健康的饮食结构和生活习惯日益
突出
,
我国心血管疾病患病人数呈上升趋势
,
给社
会带来沉重的经济负担
。
高血压是心血管疾病最
主要的危险因素之一
,
对心血管疾病的预防与早
期监测具有重要意义
。
根据中国疾病预防控制中
2015
年我国
18
岁及以上居民高血压粗患病率为
加权率为
2
估计中国成人高血压患
27.9%
,
3.2%
,
27.9%
的
5
再到
2.1%
上升到
1991
年的
13.6%
,
016
年的
[
2
]
疗率和控制率分别只有
41.0%
、
34.9%
和
这意味着我国一半以上高血压人群未能
11.0%
,
及时掌握自身的高血压病情
。
我国疾病预防控制
局表示
,
越早期发现
、
治疗和控制高血压
,
高血压
对心血管造成的伤害就越小
,
经常测量血压对发
高血压患病率较高的同时
,
成人高血压知晓率
、
治
,
呈现出令人担忧的发展态势
。
在我国
心在
2018
年的一项调查结果显示
,
2012
年至
现和控制高血压从而预防心脑血管疾病具有重要
意义
。
当前
,
血压测量主要有三种方法
:
基于导管
1
)
病人数为
2.45
亿
。
我国高血压患病率自
1958
年
:
作者简介
:
穆继文
,
男
,
硕士
,
E-mail943880379@
q
.com
。
q
,
专业方向
:
生物医学工程
。
:
通讯作者
:
唐晓英
,
女
,
北京理工大生命学院学教授
,
博士生导师
,
中国电子学会生命电子学分会常务理事
,
E-mailxiaoinit.
yg
@b
65
技术与应用
3
]
;
插入血管的侵入性方法
[
基于充气袖带的无
2
)
生命科学仪器
2023
年第
21
卷
/
第
5
期
,
的接触式测量方法
。
侵入式
hsmorahPPG
)
ygpy
,
MA
,
与标准差
(
方法需要将设备与人体血液实时接触
,
精度最高
,
rorE
)
StandardDeviationSTD
)
但其侵入式特性可能带来感染风险
,
且需要专业数值
。
上述方法的主要的缺点有
:
个体差异性
1
)
)
创接触式方法
;
基于光电容积脉搏波
(
3Photole-
p
,);)
基于估测血压值与实际血压值的统计
cientr2
学差异
,
给出平均绝对误差
(
MeanAbsoluteEr-
给出皮尔逊相关系数
(
PearsonCorrelationCoeffi-
人员进行测量
,
受限于此
,
该方法主要用于危重病
人术中的血压测量
。
非侵入式方法主要包括基于
充气袖带的臂式血压计和基于光电容积脉搏波的
血压测量方法
。
其中
,
臂式血压计因其设备操作
相对简单且成本低廉
,
广泛应用于医院
、
家庭等场
,
合
,
是非侵入式血压测量的
“
金标准
”
其缺点是测
量繁琐耗时
、
无法连续且会给患者带来不适
。
基
于光电容积脉搏波实现的血压测量装置主要是以
智能手表为代表的穿戴式设备
,
通过采集人体不
同部位的光电容积脉搏波信号
,
计算峰值传输时
,,
间
(
进而通过算法实
PulseTransitTimePTT
)
现血压估测
。
该方法不需要袖带参与
,
易于实现
较大
,
算法鲁棒性不好
;
算法需要较多人工参
2
)
与
,
难以实现自动化
,
因而难以实际应用
。
除此之
外
,
缺乏相关公开数据集也极大地限制了该领域
的研究
。
为克服传统远程血压估测方法过于繁琐
、
鲁
棒性不好等缺点
,
本文结合近年来深度学习在图
片分类回归等任务中展现出的优异特征提取与建
模能力表现
,
提出了一种从人脸视频经数据预处
理后通过深度学习实现血压估测的方法
,
跳过了
从视频经过复杂的信号处理来恢复
rPPG
信号的
过程
,
直接从额头区域视频自动获取深层特征来
进行血压值估测
,
并在自建数据集中取得了优异
成绩
,
为远程血压估测的广泛应用提供了一种新
的研究思路
。
长时间监测
,
但价格较为昂贵
,
且穿戴式设备的用
户体验仍有待于优化
。
此外
,
以上三种方法均需要将测量设备与人
体接触从而实现血压测量
,
而在后疫情时代
,
接触
式测量方法可能会带来感染风险
,
不利于广泛应
用
。
因此
,
探究一种非接触式
、
方便快捷且测量成
本低廉的血压测量方法将具有深刻意义与广泛应
用价值
。
自
2008
年来自加利福尼亚大学的
Wim
[
6
]
Verkrusse
等人提出可以利用消费级摄像机获
y
取的人脸视频中提取的远程光电容积脉搏波
(
Re-
1
材料与方法
1.1
研究对象与数据
1.1.1
数据的获取
研究中所有受试者均
为北京理工大学生命学院师生
,
共
51
名受试者
,
年龄分布为
:
男女比例为
326.04±4.66
岁
,
7∶
14
。
实验于
2022
年
9
月
12
日到
19
日共计
8
天内
完成
,
均在上午
11
点至下午
3
点光线良好的室内
进行
。
实验场地仅在被试身后使用白色投影幕布
以保证背景总体一致
,
仅使用自然光作为实验用
光源
,
以求最大程度模拟真实场景
。
所有受试者进入实验场地后首先阅读实验须
知及知情同意书
,
随后进入实验预备阶段
,
预备阶
佩戴臂式血压计
,
该过程中实验人员再次讲解实
。
实验正式阶段包
验流程及注意事项
,
持续
3min
含
3
次相同的子实验
,
每次子实验间隔
1min
用于
)
录制
3
测量血压
。
其中
,
录制视频时要
0s
视频
;
3
求实验者露出完整前额
,
保持呼吸平稳和身体静
止
,
最大程度降低运动带来的信号损失
,
测量血压
的装置为欧姆龙电子血压计
。
用于录制视频的设备为
GoProHero9Black
,
,
来实现心率
motePhotolehsmorahrPPG
)
pygpy
测量后
,
大量关于远程生理信号监测的研究涌现
出来
。
由于该方法可以实现非接触式生理信号测
量
,
因而在居家监护和日常生活中具有巨大应用
潜力
。
目前
,
相关研究主要集中于心率
、
呼吸率
、
11
]
血氧饱和度
[
等较为简单的生理信号估测
,
血压
段包含内容有
:
调整坐姿
;
保持呼吸平稳
;
1
)
2
)
3
)
由于测量难度较大
,
数据难以获取等原因相关研
究比较有限
。
当前
,
基于视频的血压估测常采用两种方案
:
通
1.
基于峰值传输时间与血压值间的强相关性
,
过从视频中提取出两个位置的
r
计算
PPG
信号
,
出
PTT
用于与血压值建模
;
2.
基于经过信号处理
得到的
r
并融合个人特征与血
PPG
的波形特征
,
被试人员休息
,
子实验的流程为
:
测量血压
;
1
)
2
)
17
,
18
]
。
结果评价方式一般分为两种
:
压值建模
[
1
)
估测血压值序列与实际血压值序列具有相关性
,
66
视频格式为
1
每秒
5
选择室
920×1080
,
0
帧图片
,
内模式默认参数录制
,
未进行任何特殊处理
,
单个
生命科学仪器
2023
年第
21
卷
/
第
5
期
技术与应用
,
视频时长均为
3
占用存储
10s62MB
。
前额区域可以在不同人群中取得鲁棒稳健的划分
效果
,
一般来说
,
这样得到的区域大小并不相同
。
1.1.2
数据预处理
数据预处理包含以下
步骤
:
数据筛选
;
逐帧人脸区域划分
;
逐帧
1
)
2
)
3
)
具体来说
,
首先将前后两次血压测量收缩压差值
或舒张压差值大于
1
原因是这部分
0
的数据剔除
,
图片统一大小
;
通道选取
、
归一化与数据保存
。
4
)
数据违反了
“
视频录制期间血压值基本保持恒定
”
这一基本假设
,
无法用于后续血压估测模型建立
。
原始数据共计
1
据此要求剔除数据
153
例
,
4
例
,
剩余
139
例
。
经过筛选后的数据集的血压值频数
围分别为
83.5-135.0mmH0.0-
g
和
5
。
93.0mmH
g
分布直方图如图
1
所示
,
其中
,
收缩压和舒张压范
图
2
前额区域
因此
,
第三步中将每一帧数据统一降采样为
128×64
大小
。
紧接着第四步里将数据分解为绿
红蓝三个通道
,
并进行归一化处理
,
所使用的归一
化公式见公式
1.1
。
_
v
_
v
_
v
)
normalizeal=
(
ixal-minal
p
/(_
v
_
v
)
maxal-minal
Fiure2 Schematicdiaramofforeheadarea
gg
定通道中像素值的最大值和最小值
,
ix
_
val
和
p
_
vnormalizeal
分别为归一化前后的像素值大小
,
随后将数据分通道整合保存
,
用于后续模型训练
。
预处理完成后取绿色通道数据作为模型训练数
据
,
再将数据按照
8
:
1
:
1
的比例随机划分为训练
由于同一个人记录的
3
组视频数据存在一定相关
性
,
而这类相关性将可能影响定量模型的性能
,
因
()()
收缩压频数分布直方图
;
舒张压频数分布直方图
ab
_
v
_
v
其中
,
minal
和
maxal
分别为当前图片特
,。
集
(
验证集
(
和测试集
(
n=111
)
n=14
)
n=14
)
图
1
血压值分布
。
此
,
在随机划分的同时确保了同一个人的多组数
据仅能在测试集或训练集中的一个位置出现
,
这
样
,
模型所学习到的特征便可以更具备泛化性
。
1.2
研究方法
1.2.1
模型搭建
本研究所提出的三维卷
积神经网络模型结构及参数如表格
1
所示
。
该模
型为序列模型
,
包括
5
个三维卷积层
,
5
个三维最
卷积层中卷积核大小均为
3×3×3
,
Droout
层
,
p
除首个卷积层步长为
2
外
,
其余步长设为
1
;
最大
值池化层大小均为
3×2×2
,
步长为
3
。
这些卷积
)
Fiure1Distributionofblood
p
ressure.
(
aFreuen-
gq
;(
cistributionhistoramofsstolicblood
p
ressureb
)
y
d
gy
sure
Freuencistributionhistoramofdiastolicblood
p
res-
qy
d
g
的开源工具包
,
广泛用于人脸检测
、
机器学习等领
_
p
_
8
_),
对视频中每
redictor1
_
一帧图像进行人脸识别标记
,
该操作将人脸标记
出
8
根据所选特征点裁剪取得前额矩
1
个特征点
,
形区域
,
如图
2
所示
(
图片使用已经过本人授权同
,
意
)
红色框区域为待裁剪区域
。
通过特征点选取
域
)
官网提供的
81
点人脸检测坐标点模型
(
shae
p
第二步中
,
采用了
d
一个基于
c++
语言
lib
(
大值池化层
,
1
个
Flatten
层
,
3
个
Dense
层和
2
个
,
作为激活函数
,
最后一个
fiedLinearUnitRelu
)
全连接层采用
l
用于实现回
inear
作为激活函数
,
67
层与前两个全连接层均采用线性激活函数
(
Recti-
技术与应用
生命科学仪器
2023
年第
21
卷
/
第
5
期
归模型的输出
。
表格
1 3dCNN
结构及参数
Table1Thestructureand
p
arametersof3dCNN
样本大小
。
MAE=
STD=
1
N
))
∑|BP
(
i-Y
(
i|
N
i=1
网络层
卷积层
1
池化层
1
卷积层
2
池化层
2
卷积层
3
池化层
3
卷积层
4
池化层
4
卷积层
5
Flatten
层
Dense
层
Dense
层
Dense
层
池化层
5
输出
750*64*32*8
250*32*16*16
84*16*8*16
84*16*8*32
28*8*4*32
28*8*4*64
10*4*2*128
4*2*1*128
1024
256
256
128
128
1
10*4*2*64
250*32*16*8
卷积核
8*3*3*3
16*3*3*3
32*3*3*3
64*3*3*3
-
-
-
-
-
-
-
-
参数
224
3472
13856
55360
0
0
0
0
0
0
0
0-
-
-
1
N
2
))
∑
(
|BP
(
i-Y
(
i|-MAE
)
N
i=1
针对不同通道数据模型训练的结果
,
均采用
上述方式进行评价
。
由于数据集相对不够充分
,
为避免数据集划分带来的偶然性
,
本研究采用了
十折交叉验证的平均结果作为最终性能评价指
标
,
用以反映模型性能
。
2
结果
2.1
实验结果
表格
2
为模型在绿色通道数据
下十折交叉验证的性能表现
,
可以看出
,
本研究的
128*3*3*3221312
Droout
层
p
Droout
层
p
262400
32896
129
平均性能表现可以达到
:
收缩压
(
5.98±
),),
舒张压
(
平均
5.22mmH4.30±3.39mmH
gg
皮尔逊相关系数分别为
0.70
与
0.64
。
为直观展示模型在绿色通道数据上的估测结
果
,
研究选取十折交叉验证中第
4
折和第
8
折在
测试集上的估测结果进行绘图
,
如图
3
所示
。
可
以看出
,
在两折数据中
,
预测值序列总体上能够较
主机预装了
C2.8.0
,
thon
版本为
3.9
,
UDA
py
(
11.2
和
cuDNN8
,
CPU
版本为
8×IntelR
)
Xe-
1.2.2
实验细节
实验在
Ubuntu18.04
系
统下进行
,
深度学习网络框架为
TensorFlow
好地拟合标签值序列趋势
,
且预测精度符合预期
。
表格
2
绿色通道数据十折交叉验证结果
Table2Resultsof10-foldcross-validation
在
16GB
。
模型的实现借助了
Tensorflow
框架
,
GPU
中进行训练及预测
。
_
共训练
20.0001
,
00
个
eoch
,
Batchsize
大小设置
p
为
1
用来反
6
。
采用
MAE
作为模型的损失函数
,
映模型估测血压的准确度
。
1.2.3
不同通道数据对模型训练的影响比
较
相机获取的人脸视频包含红
、
绿
、
蓝三个通
道
,
每个通道包含的信息不同
,
为探究血压信息是
否主要存在于某个数据通道
,
本研究还对不同通
道数据对模型训练的影响进行了比较分析
。
本研
究将蓝色通道和红色通道数据分别采用前述方法
进行了模型训练与预测
,
同时保持其它预处理及
模型参数完全一致
。
1.2.4
结果评估
本研究以前后两次臂式
血压计测量结果的平均值作为血压参考标准
,
模
模型训练采用了
A
该优化器具
dam
优化器
,
有收敛速度快
、
易于调参等优势
,
学习率固定为
(,
主频
2onR
)
CPUE5-2686v4
,
.30GHzGPU
为
NV
内存为
6
显存为
IDIARTXA4000
,
0GB
,
on
g
reenchanneldata
折数
1
2
3
4
5
6
7
8
10
9
收缩压
MAE±
/
STDmmH
g
7.01±6.87
5.99±5.26
5.98±2.78
4.24±3.71
5.46±6.34
4.19±3.75
7.80±5.49
6.13±5.90
6.83±6.65
6.14±5.46
5.98±5.22
收缩压
0.52
0.80
0.74
0.86
0.83
0.79
0.38
0.79
0.64
0.63
0.70
r
值
舒张压
MAE±
/
STDmmH
g
2.25±2.17
4.34±2.55
3.82±2.87
1.74±1.85
6.62±4.98
5.62±2.75
6.78±6.30
5.28±2.85
2.06±2.27
4.52±3.35
4.30±3.39
舒张压
0.69
0.35
0.72
0.87
0.58
0.69
0.60
0.76
0.45
0.81
0.64
r
值
平均值
三者分别由英国高血压协会
、
美国医疗器械
ESH
,
促进协会和欧洲高血压协会颁布
,
一般认为
,
满足
三种标准之一的血压设备即视为合格的血压设
20
]
。
表格
3
显示了在本数据集绿色通道数据中备
[
当前
,
我国在评价电子血压计是否合格
当前
,
[
19
]
时主要参考
3
个国际标准
,
即
BHS
,
AAMI
和
型性能评估基于
MAE
、
STD
及皮尔逊相关系数
。
采用
3dCNN
进行血压估测的统计结果及其与
))
B
和
Y
(
本研究提出的模型
MAE
和
STD
定义如公式
1.2
所示
,
BP
(
ii
HS
标准的对比
。
由此可见
,
分别指第
i
个血压标签值和预测值
,
在数据集绿色通道上收缩压和舒张压估测的平均
N
代表测试集
68
生命科学仪器
2023
年第
21
卷
/
第
5
期
技术与应用
性能分别可以达到
BHS
的
B
级和
A
级标准
。
因
此
,
本研究提出的方法在兼顾了处理简单的优点
同时
,
还能够达到优异的估测性能
,
说明其具有一
定研究潜力
。
关的操作
,
从而具备更高的可行性与应用价值
。
。
图
4
十折
)
三通道数据估测结果
(
()()
收缩压
MA
舒张压
MAaE
;
bE
;
Fiure3Examlesof
p
redictinesults.
(
a
)
SBPof
gpg
r
;();()
the4thfoldbDBPofthe4thfoldcSBPofthe8th
;()
folddDBPofthe8thfold
()
(
)
第
4
折收缩压
;
第
4
折舒张压
;
ab
()
(
)
第
8
折收缩压
;
第
8
折舒张压
cb
图
3
预测结果示例
。
)
SBP
;(
dSTDofDBP
’(
Fiure4Estimationresultsofthreechannelsdata10
g
))
MA
()
MA
()
-fold.
(
aEofSBP
;
bEofDBP
;
cSTDof
()()
收缩压
S
舒张压
ScTD
;
dTD
的方案
,
本研究提出的方法可以在一定程度上克
服传统远程血压估测方法过于繁琐且鲁棒性不好
的缺点
,
利用深度学习强大的特征提取能力可以
快速建立起基于人脸视频的血压估测模型
,
并能
3.2
对不同通道数据在模型上的表现分析
由
于在基于视频的血压估测中
,
不同数据通道蕴含
着不同的信息
,
难以直接确定选择哪个通道来获
得最好的拟合效果
。
本研究尝试对三个通道数据
进行相同的数据处理
、
模型训练与预测
,
结果表
明
,
绿色通道数据上的表现在本研究任务中明显
优于蓝色通道和红色通道
,
这与此前业内研究相
一致
。
因此
,
当计算资源相对有限时
,
使用含有血
压信息更多的绿色通道进行基于视频的血压估测
任务更容易获得好的预测效果
。
3.3
本研究的局限性
本研究所使用的数据来
自于正常年轻人
,
血压值分布总体上处于正常范
围内
,
缺乏对血压异常人群的关注
;
除此之外
,
本
研究构建的数据集样本容量仅有
1
对于一
39
例
,
个鲁棒性好的深度学习模型构建来说还比较小
,
可能存在泛化性不好的问题
。
在今后的研究中
,
建议进一步扩大样本容量
,
增加血压异常人群的
数据
,
以使得模型可以学习到更接近真实的数据
;
除此之外
,
在计算资源充沛的条件下
,
还可以尝试
更大尺寸的数据
,
面部不同位置的数据来进行模
69
相比经典的利用
rPPG
信号来进行血压估测
表格
3
血压估测结果与
BHS
的对比
Table3Comarisonofblood
p
ressure
p
estimationresultswithBHS
DBP
_
ABHS
SBP
_
BBHS
≤5mmH
g
71%
60%
55%
50%
≤10mmH
g
90%
85%
81%
75%
≤15mmH
g
98%
95%
91%
90%
达到
BHS
血压值估测的
B
级标准
。
红色
2.2
不同通道数据下网络的表现
在蓝色
、
通道数据下采用同样的数据预处理和数据集划
分
,
并进行相同的模型训练与测试
。
三个通道数
据十折交叉验证的
MAE
与
STD
结果对比如图
4
所示
。
分析可知
,
无论是收缩压还是舒张压估测
上
,
绿色通道数据的
MAE
均明显低于蓝色通道
和红色通道
,
同时
,
绿色通道数据的
STD
也明显
低于其余两个通道
。
3
讨论
3.1
三维卷积神经网络的有效性
本研究提出
的三维卷积神经网络应用于基于人脸视频的血压
估测在现有数据集上十折交叉验证下的平均性能
),
达到了收缩压
(
舒张压
(
5.98±5.22mmH4.30
g
,
相关系数分别为
0±3.39mmH.70
和
0.64
,
g
)
这表明该方法在自建数据集上已经具有不错的性
能
,
同时
,
本方法节省了大量有监督的信号处理相
技术与应用
生命科学仪器
2023
年第
21
卷
/
第
5
期
型训练
,
增加不同深度学习网络的性能比较等
。
4
结论
总的来说
,
本研究针对自建数据集
,
利用深度
学习实现了基于人脸视频的远程血压估测
,
结果
表明该模型可以学习到视频中的深层特征
,
对血
压值进行良好的估测
,
在兼顾了处理简单的同时
,
(,
舒张压
(
5.98±5.22mmH4.30±
g
)
),
平均相关系数分别为
03.39mmH.70
和
0.64
,
g
可以达到
BHS
的
B
级标准
。
上述研究为远程血
压估测提供了一种新的思路
,
相比传统血压测量
方法
,
该方法可以实现非接触式
、
简易便捷且测量
成本低廉的血压测量
,
具有较大的潜在应用价值
。
此外
,
实验还表明
,
绿色通道可能含有更多与血压
相关的信息
,
这从另一个角度佐证了先前相关的
研究
,
可作为后续研究人员的参考
。
参考文献
[],
1ZHANGM
,
WUJZHANGX
,
enceandcontrol
[],
9GIBSONK
,
AL-NAJIA
,
-contact
]
onacomutervisionsstem
:
amethodcomarisonstudJ.
pypy
[
heartandresiratoratemonitorinfreterminfantsbased
py
r
g
o
p
[]
10SUJATHAKUMARIBA
,
SHREEHARSHABS
,
VERMA
,():
Pediatricresearch2019
,
866738-41.
P
,
ateMeasurementusinaceVideowith
g
F
十折交叉验证下的平均性能可以达到
:
收缩压
,
ferenceforConverenceinTechnoloI2CT
)
ShriDhar-
ggy
(
Oct27-28
,
2018
[
C
]
.2018.
;
NoiseSuressionroceedinsofthe4thInternationalCon-
pppg
,
U
,
masthalaManunatheshwaraInstTechnolireINDIA
,
F
jj
[]
11SHAODD
,
LIUCB
,
TSOWF
,
tactMonito-
rinfBloodOxenSaturationUsinameraandDual-
g
o
ygg
C
[
12
]
CHOIY
,
ZHANGQ
,
asivecufflessblood
,():
medicalEnineerin2016
,
6361091-8.
gg
]
WavelenthImainstem
[
ansactionsonBio-
ggg
S
y
():
2013
,
391103-11.
[]
13MUKKAMALAR
,
HAHNJO
,
INANOT
,
ressureestimationusinulsetransittimeandHilbert
–
pgp
],
Huanransform
[
rs&ElectricalEnineerin
g
t
pgg
,]
ofhertensioninadultsinChina2018
[
aliu
ypg
[]]
中国心血管健康与疾病报告
22021
概要
[
J.
中国循环杂志
,
,():
xininuezazhi2021
,
42101780-9.
g
b
g
x
,():
medicalEnineerin2015
,
6281879-901.
gg
[]
14SHIRBANIF
,
MORIARTYA
,
HUIN
,
tless
UbiuitousBloodPressureMonitoriniaPulseTransit
qg
v
:]
TimeTheorndPractice
[
ansactionsonBio-
y
a
[],
3URTEAGAJELOLAA
,
ARAMENDIE
,
ted
():
3706553-78.
roceedinsoftheConferenceonComutinnCardiolo
pgpg
i
gy
;
PressureinPatientsDurinardioulmonaresuscitation
g
C
py
R
DetectionofPulseUsinontinuousInvasiveArterialBlood
g
C
2021
:
5650-3.
[]
15GUOM
,
NIH
,
BP
:
noninvasivecontin-
investiatinulsetransittimeestimationofarterialblood
ggp
],
ressure
[
tConfIEEEEnedBiolSoc2021
,
pg
M
video-based
p
hotolethsmorahechniuecomarison
pygpy
t
qp
(,
B
,
CCinC
)
rnoZECHREPUBLIC
,
FSe2-15
,
2021
p
1
uousblood
p
ressuremonitorinasedonPPTinofficeenvi-
g
b
]
ronment
[
Proceedinsofthe2020ACMInter-
jg
[]
4LEEHY
,
entofCufflessMobile
[
C
]
.2021.
nationalJointConferenceonPervasiveandUbiuitousCom-
q
[]
5NATARAJANK
,
BLOCKRC
,
YAVARIMANESHM
,
et
198-204.
],:
andPitfalls
[
CirculationJournal2022
,
52
(
3
)
:
DeviceBloodPressureMeasurementRemaininhallenes
g
C
g
[]
16TAKAHASHIR
,
OGAWA-OCHIAIK
,
TSUMURAN.
AssociationforComutinachiner.2020
:
29
–
pg
M
y
/
32.10..3414398
utinndProceedinsofthe2020ACMInternationalSm-
pg
a
gy
,
M
;
lEventexico
pp
ethsmorahastUstrokeTimeIntervalsCan
pygpy
F
p
BeUsefulFeaturesforCuff-LessMeasurementofBlood
]
PressureChanesinHumans
[
ansactionsonbio-
g
2019
:
273-8.
[]
17RONGM
,
PressurePredictionMethodBased
Imrovementofblood
p
ressureestimationfromfacevideou-
p
],
sinGBcamera
[
ndImainonference2019
,
g
R
gg
C
[]
6VERKRUYSSEW
,
SVAASANDL
,
,():
medicalenineerin2022
,
69153-62.
gg
]
lethsmorahicimainsinmbientliht
[
-
pygpgg
u
g
a
gp
[],
7CHENX
,
CHENGJSONGR
,
-BasedHeart
,
ress2008
,
16
:
21434-45.
p
,
trol2021
,
64.
[]
汪密
.
基于人脸视频的血压测量方法研究
[
18D
]
.
浙江大
学
,
2022.
onImainhotolethsmorahncombinationwithMa-
gg
P
pygpy
i
]
icalSinalProcessinndCon-
g
[
gg
a
:
RateMeasurementRecentAdvancesandFutureProsects
p
[],
L19O'BRIENE
,
PETRIEJITTLERW
,
tish
[]
8ROUASTPV
,
ADAMMTP
,
CHIONGR
,
,
ment2019
,
68
:
3600-15.
[]
ansactionsonInstrumentationandMeasure-
]
technicalliteraturereview
[
ersofComuterSci-
p
:
heartratemeasurementusinow-costRGBfacevideoa
g
l
,():
hertension1990
,
87607-19.
yp
[]]
王文
,
张维忠
,
孙宁玲
,
20etal.
中国血压测量指南
[
J.
中华
():
高血压杂志
.2011
,
19121101-15.
tedandsemi-automatedblood
p
ressuremeasurinevices
g
d
]
withsecialreferencetoambulatorstems
[
lof
py
s
y
HertensionSocietrotocolfortheevaluationofautoma-
ypyp
,():
ence2018
,
125858-72.
70