你的位置：首页 > IT圈 > 210971546_基于深度学习的CT图像肺气管分割

210971546_基于深度学习的CT图像肺气管分割

IT圈 admin 2024-04-16 43浏览 0评论

2024年4月16日发(作者：仇醉蝶)

2022

年

月

第

卷

第

期

沈阳师范大学学报

(

自然科学版

)

JournalohenanormalUniversitNaturalScienceEdition

)

(

Vol.40No.6

Dec.2022

()

文章编号

167358622

基于深度学习的

图像肺气管分割

(

沈阳师范大学物理科学与技术学院

沈阳

110034

;

)

东北大学医学影像智能计算教育部重点实验室

沈阳

110189

摘

要

根据肺部计算机横断扫描

(

图像准确提取肺气管对肺呼

comutedtomorahCT

)

pgpy

吸功能测定和疾病诊断具有重要意义

。

现有的肺气管分割方法需要依赖大量人机交互才能提升

分割精度

而深度学习在医学图像处理领域有比较广泛的应用

尤其是在肺部结节检测和良恶性

诊断方面

但深度学习用于肺部

图像的肺气管分割由于图像噪声和部分容积效应的影响会造

成肺气管分割的泄漏

难以分割出微小的气管

。

原始肺部

病床等非感兴趣区

图像中包含骨骼

、

域

处理数据量的增大会消耗更多的数据处理时间

且极易造成误差

。

利用肺气管树的解剖结构

信息

对肺气管分割采用分步处理

提出了一种基于

AttentionUnet

的肺气管分割方法

。

实验结

果表明

将基于深度学习的

能提高分割的

ttentionUnet

网络应用于肺部

图像的肺气管分割

速度和精度

并有效防止泄漏

。

关

键

词

深度学习

;

肺实质分割

;

肺气管分割

;

AttentionUnet

网络

doi

.16735862.2022.06.014

中图分类号

TP391.41

;

R816.41

文献标志码

程立英

王晓伟

刘祖琛

汪

浩

覃文军

Pulmonarracheasementationbasedondeeearninor

CTinaes

11112

,,,

CHENGLiinWANGXiaoweiLIUZuchenWANGHaoTANWenun

;

ofPhsicalScienceandTechnolohenanormalUniversithenan10034

China

gygyyg

yyg

atorfIntellientComutininMedicalImaeinistrfEducationNortheasternUniversit

gpggy

)

Shenan10189

China

sinificanceforthedeterminationof

existinulmonarracheasementationtasksmustrelnalotofhumancomuterinteractionto

gpy

ninasawideraneofalicationsinthefieldof

pgyp

gpp

medicalimae

rocessineseciallinthedetectionof

ulmonarodulesanddianosisofbenin

ggpyy

andmalinant

rtheinfluenceofimaenoiseand

artialvolumeeffect

mwillcauseleakaeof

ulmonarracheasementationakinitdifficulttosementtinrachea.

gggy

ConsiderinhattheoriinallunTimaecontainsnoninterestinreassuchasbonesand

hositalbedsitnotonlonsumesmoredata

rocessinimeduetotheincreaseintheamountof

aersedtheanatomicalstructure

informationofthe

ulmonarirwatreethe

ulmonartracheasementationis

rocessedste

yygp

steand

roosesamethodfor

ppy

exerimentalresultsdemonstratethatalineeearninbasedAttentionUnetnetworkto

pppyg

sement

ulmonarracheafromCTimaesthismethodcanimrovetheseedandaccuracf

gppy

sementationandeffectivelreventleakae.

gypg

;;

;

Keords

eeearninlunarenchmasementationulmonarracheasementation

ggpygy

AttentionUnetnetwork

收稿日期

20220524

);

辽宁省教育厅科学研究经费项目

()。

基金项目

国家自然科学基金资助项目

(

61971118LZD202003

作者简介

程立英

(

女

河北衡水人

沈阳师范大学副教授

硕士

。

1976

—)

Abstract

ccuratelxtractinhe

ulmonarracheafromlunTimaesisof

reat

第

期

程立英

等

基于深度学习的

图像肺气管分割

559

引

言

管树的三维图像的建立

不仅可以作为肺气管相关疾病诊断的依据

还可以定位肺气管疾病所在位置

方便医生检查和手术

以避免其他部位不必要的损伤

。

低级气管分支的管壁完整且分界线清晰

所以比

较容易分割

但随着气管的不断衍生

气管壁逐渐变薄

气管和肺实质之间的区别变小

分割时容易出现

]

。

区域生长方法是肺气管分割领域中的代表性方法

泄漏现象

[

它是按照事先定义的某种生长准则

[]

]

。

将像素或区域聚合成一个连通的区域

[

abianska

提出了一种二次区域生长法来减少细气管的泄

[]

漏

。

为主气管和不同阶数支气管设定不同的生长规则

使

inneken

等

提出基于多阈值区域生长法

]

区域生长时能够适用于不同位置的气管树

。

裴宏亮等

[

提出一种改进的区域生长算法

使用直方图均

]

衡化原理对区域生长算法进行改进

突出肺气管壁边界信息进而提取肺气管

。

龚华尧

[

采用基于迟滞

肺气管是重要的生物标志

基于肺部

图像的肺气管分割目前仍然没有很好的解决方案

。

肺气

阈值的区域生长法分割出最佳阈值下的肺气管树

。

除区域生长法之外

基于规则的肺气管分割方法还

[]

包括形态学方法

。

使用四邻域低通滤波器消除噪声

在二维轴

kac

等

提出形态学的灰度重建算法

]

。

但传统方法只能够分割大致的支气管

对于部分细支气管不能很好地识别

[

向切片上采取圆形结构元素来获取肺气管的潜在区域

依据区域的连贯性进行三维肺气管树的重建

。

基于深度学习的肺气管分割方法尤其是基于卷积神经网络

(

convolutionalneuralnetwork

CNN

)

的肺气管分割方法是近年来的研究重点

已有大量研究将深度神经网络用于

图像的肺气管分割任

然后提出了基于线性规划的跟踪方法

以

和

神经网络分别用于在水平和垂直方向检测肺气管

]

得到

类检测结果的最佳结合方式

。

张琳

[

提出一种基于自监督迁移学习的肺气管分割算法

解决了

]

气管标注图像中前景和背景体素数量不平衡的问题

。

王继伟等

[

提出一种基于改进对抗生成网络模

]

型的肺气管图像分割方法

无需人工交互即可获得形态学结构复杂

(

肺气管

)

的三维目标

。

李康

[

基于

]

深度学习方法解决了肺气管不同分叉点的检测难度不同的问题

。

程立英等

[

提出了基于

U-net

神经

网络的肺部

但对于细小

图像的肺实质分割方法

。

上述方法虽然在肺气管分割上有了突破性进展

[][

]

务中

。

然后基于图的方法进行优化

。

训练了

Jin

等

首先训练

全卷积网络提取肺气管

hao

等

气管的分割精度仍有待提高

。

本文研究了深度学习算法在肺部

分别对

图像中肺气管分割的应用效果

-net

网络及其优化

后的变体

基于深度学

net++

、

AttentionUnet

等网络模型进行了肺气管分割实验

。

实验数据表明

习的

并有效防止泄漏

从而更有助于提

ttentionUnet

网络不仅能够提高肺气管分割的速度和精度

升肺部疾病诊断的准确性

。

模型介绍

1.1 U-net

网络模型

[

]

它是在全卷

2015

年

型网络结构在图像分割领域大放异彩

U-net

被大量地应用在分割领域

积网络

(

的基础上构建的

解决了

FfullonvolutionalnetworksFCN

)

无法存储和确认上下文的位

置信息的问题

。

其基本

-net

结构最早在

2006

年被

Hinton

提出

encoderdecoder

结构具有深远意义

据此

只需要存储相关特征和解码器就可以存储一幅图片

。

U-net

的主要创新点在于将低级特征图与

后面的高级特征图进行了融合

并且结构的对称性使得特征融合更为彻底

使得图片信息损失较少

。

下

采样低分辨率用于物体识别

上采样高分辨率用于分割定位

再通过融合操作填补信息

。

1.2

基于

U-net

优化的网络模型

1.2.1 Unet++

网络分割算法

原理是对输入图像进行下采样编码来将之前的图像变成更小的特征

再经过解码还原之前输入的图像

。

[

]

在

避免

UUnet++

-net

的基础上对

skionnection

进行改进

-net

中的

encoder

的浅层特征

与

从而产生高度灵活的特征融合方案

。

如图

1ecoder

的深层特征结合产生语义鸿沟

(

semantic

所示

Unet++

通过不同深度的

U-net

的有效集成来缓解未知的网络深度

。

更改后的

Unet++

具有以

)

下特点

。

首先

并且可以通过深度监督

(

同时进行共

U-net

可以部分共享一个编码器

deeuervision

同学习

。

这种设计不仅能够提高分割性能

还可以简化模型

。

其次

重新设计

Unet++

不受跳接限制

560

沈阳师范大学学报

(

自然科学版

)

第

卷

。

的跳接按照不同比例将图像特征与对应的解码器中的节点进行特征融合

图

1 Unet++

网络结构

Fi.1 Unet++architecture

1.2.2 AttentionUnet

网络分割算法

在对编码器每个分辨率上的特征与解码器中对应特

AttentionUnet

在

U-net

中引入注意力机制

用来控制不同空间位置处特征的重要性

如图

中

AttentionGate

所示

。

AttentionUnet

和

U-net

的

。

不同在于解码部分

编码提取部分先进行了

AttentionGate

再进行了

decoderttentionGate

和多阶

征进行拼接之前

使用了一个注意力模块

重新调整了编码器的输出特征

。

该模块生成一个门控信号

可以抑制不相关背景的响应

节省对感兴趣区域的裁剪

。

Gate

需要训练的模型少且不用额外的参数

而

对于无关区域响应的抑制和减少冗余的跳转连接有较好的作用

。

将

oftattention

的使用

以突出通过跳转连接的显著特征

从而消除跳转

AttentionGate

合并到

U-net

架构中

kionnection

连接中不相关和有噪声的响应带来的问题

。

段

能够减少对目标学习无关部分的学习

同时增加对目标学习有关部分的学习

NNs

相比

Attention

图

2 Attention-Unet

网络架构

Fi.2 Attention-Unetarchitecture

总体分割过程

图像的肺气管分割网络模型

总体结构如图

所示

。

在肺部

本文采用了一种高效

图像预处理方面

简单的肺部

降低噪声对肺部

图像预处理方案

。

通过形态学处理和平滑操作

图像中感兴趣区

域的影响

使分割的肺部区域中包含完整的肺纹理

接着初步提取出肺实质组织的轮廓

为后续的肺气

管分割提供有效的作用域

以减小冗余数据的干扰

。

在肺气管分割方面

将预训练的结果输入到

模型

同时增强学习与任务相

AttentionUnet

中

ttentionGate

可以抑制模型学习与任务无关的部分

结合肺气管树的特点

本文在

设计了一个针对肺部

CttentionUnet

的基础上对网络进行优化

第

期

程立英

等

基于深度学习的

图像肺气管分割

561

关的特征从而有效地提取气管结构

。

图

肺气管分割流程图

Fi.3 Flowchartofulmonartracheasementation

gpyg

2.1

肺部

图像的预处理

原始的肺部

导致

图像可能受患者的移动或者

扫描时环境干扰等影响

图像中存在着多

种不同的噪声

。

为了降低噪声的干扰

增强肺实质和周围组织之间的差异

保证提取的肺实质数据的真

实性和可靠性

在对肺部

需要对其进行预处理操作

。

图像进行分割等操作前

本文采用形态学运算和平滑操作对图像进行预处理

。

形态学的基本思想是利用一种特殊的结构元

来测量或提取输入图像中相应的形状或特征

以便进一步进行图像分析和目标识别

。

图像膨胀是形态

学处理的常用方法

其原理是使用一个自定义的结构元素

在待处理的二值图像上进行类似于

“

滤波

”

的

滑动操作

然后将二值图像对应的像素点与结构元素的像素进行对比

得到的并集为膨胀后的图像像

素

图像区域的边缘可能会变得平滑

区域的像素将会增加

不相连的部分可能会连接起来

以便后续

处理

。

2.2

肺实质提取与肺气管的分割

由于肺实质区域和周围区域存在较明显的

本文先对肺实质区域进行提取

以减少后续

值差异

)。

工作量

提高分割精度与效率

(

图

基于

U-net

的肺实质分割流程图

Fi.4 FlowchartofulmonararenchmalsementationbasedonU-net

gpypyg

将提取出肺实质的数据输入

AttentionUnet

模型中进行肺气管的分割

AttentionUnet

的

其中

是解码部分的矩阵

是编码

(

左边

)

的矩阵

AttentionGate

内部结构如图

所示

经过乘以系

数

(

完成

和

一起

进入下一层解码

。

这里

Rttentiononcatesamler

重采样器把特征图重采样到原

来的大小

。

数学公式

)(

;)

σW

(

att

)

qgq

)

att

(

562

沈阳师范大学学报

(

自然科学版

)

第

卷

图

5 AttentionGate

内部结构图

Fi.5 AttentionGateinternalstructurediaram

实验结果和分析

。

i5-8250UCPU@1.60GHz1.80GHz

3.1

实验数据及评价指标

。

本文神经网络算法主要采用

PAttentionUnetthon3.6

语言编程

PCharmCommunitdition

yyy

((

实验配置电脑为

处理器为

I2020.2.3x64

平台下运行

位

Windows10

操作系统

ntelR

)

CoreTM

)

:/)

本文使用的实验数据来自

用于竞赛的肺部

CXACT09

网站

(

htt∥

图像序

列

这些肺部

图像序列来自世界各地不同团队的扫描仪

。

图像序列的文件格式均为

DICOM

单张切片的厚度在

单个图像序列厚度在

每张切片的大小都是

56~1.25mm

60~670

层左右

12×

)

M1iou

为平均交并比

计算真实值和预测值

个集合之间交集和并集的比例

。

)

2Dice

为相似系数

倍的真实值和预测值相交的面积占总面积的比值

。

对于模型的训练

使用

并使用默认参数在

1dma

作为优化器

00eoch

内训练

U-netUnet++

和

。

数据集按照

8∶2

划分为训练集与测试集

经

倍交叉验证得到实验结果

。

512

本文选取

MiouDice

和

Averd3

个指标进行评价

)

能够度量

个点集间的最大不

3verd

为豪斯多夫距离

主要是用来度量边界的分割准确度

匹配程度

。

3.2

肺实质分割实验结果

为比较不同算法对肺实质分割的效果

本文将

U-netUnet++

和

AttentionUnet

的结果进行比

较

。

分割示例图分别如图

至图

所示

。

inut

redict

图

6 U-net

肺实质分割效果图

Fi.6 U-netsementationoflunarenchma

gggpy

mask

inut

redict

图

7 Unet++

肺实质分割效果图

Fi.7 Unet++sementationoflunarenchma

gggpy

mask

第

期

程立英

等

基于深度学习的

图像肺气管分割

563

inut

redict

图

8 Attention-Unet

肺实质分割效果图

Fi.8 Attention-Unetsementationoflunarenchma

gggpy

mask

从表

的结果看

U-net

AttentionUnet

能够较好地分割

肺实质且加了注意力机制的

U-net

网络分割效果更好

但

Unet++

由于存在边缘识别能力较弱的问

题

在没有预处理的情况下对肺

实质的分割效果不够理想

。

表

肺实质分割结果评价表

Table1 Evaluationtableofulmonararenchmal

pypy

sementationresults

评价指标模型

Dice

Miou

U-netAttentionUnet

0.934628

0.965216

7.310714

Unet++

0.930155

0.963422

7.564403

0.459279

14.755168

0.350791

hAverd

3.3

肺气管分割实验结果

肺气管分割评价情况

Unet++

的分割效果如图

所示

AttentionUnet

的分割效果如图

所示

见表

对比结果可以明显看出

由于肺部气管分割区域较小等原

因

Unet++

网络存在明显的漏

分割现象

结果和真实数据之间

仍然有一些差距

网络仍有待改

进

。

但提出的

AttentionUnet

网络用于肺气管分割效果较好

表

肺气管分割结果评价表

Table2 Evaluationtableofulmonartracheal

sementationresults

Miou0.367870

0.471136

3.936441

Unet++

评价指标模型

Dice

AttentionUnet

0.653436

0.721396

3.453898

hAverd

较为细小的血管也可以完整分割出来

解决了支气管泄漏问题

分割效果良好

。

inut

redict

图

9 Unet++

肺气管分割效果图

Fi.9 Unet++sementationeffectofulmonartrachea

ggpy

mask

inut

redict

图

10 Attention-Unet

肺气管分割效果图

Fi.10 Attention-Unetsementationeffectofulmonartrachea

ggpy

mask

564

沈阳师范大学学报

(

自然科学版

)

第

卷

结

论

本文从分析图像分割技术出发

通过对

U-net

网络进行改进

提出了一种基于

AttentionUnet

的

肺部

并将分割结果与

图像肺气管分割方法

-net

及其变体进行对比分析

。

训练后的模型能够直

接对原始图像进行自动分割

加入了注意力机制

提高了模

AttentionUnet

网络由于结构的优化更新

型对数据的适应性

在相同的数据集测试下相对于

U-net

和

Unet++

表现出较好的效果

。

此算法简

单

、

有效地提取出完整的肺支气管

解决了支气管泄漏的问题

具有较好的鲁棒性

。

参考文献

[]:

边子健

覃文军

刘积仁

等

肺部

]

图像中的解剖结构分割方法综述

[

中国图象图形学报

2018

(

)

[]:

段辉宏

龚敬

王丽嘉

等

肺部

]

图像气管树分割技术研究进展

[

中国生物医学工程学报

2018

(

)

[]:

彭双

肖昌炎

结合区域生长与灰度重建的

]

图像肺气管树分割

[

中国图象图形学报

2014

(

)

[

]

sofalinwoassreion

rowinlorithmforairwareesementationoMDCT

ppyg

pgg

CreateSace2009

251260.

13771383.

739748.

14501471.

[

chestscansfromEXACTdatabaseC

]

∥

[

]

GINNEKENB

BAGGERMANW

sementationandanatomicallabelinftheairwa

treefromthoracicCTscans

[

]

∥InternationalConferenceonMedicalImaeComutinndComuterAssisted

gpg

eidelberSriner2008

219226.

gpg

():

8212729.

[]

裴宏亮

蒋蕰莙

樊庆文

等

基于改进区域生长算法提取肺气管树

[

]

中西医结合心血管病电子杂志

2020

[

龚华尧

基于三维区域生长法的肺部气管

]

图像自动分割算法研究

[

]

成都

四川师范大学

2019.

[],():

ansMedIma2003

228940950.

[

]

AYKACD

HOFFMANEA

MCLENNANG

ationandanalsisofthehumanairwareefrom

gyy

[

]

JIND

XUZ

HARRISONAP

etal.3Dconvolutionalneuralnetworkswith

rahrefinementforairwa

Cham

Sriner2017

141149.

[

sementationusinincomletedatalabelsC

]

∥IntemationalWorkshonMachineLearminnMedicalImain.

ggpp

[],

10ZHAOT

YINZ

ussementationandclassificationbeuralnctworksandlinear

Cham

Sriner2019

230239.

roramminC

]

∥InternationalConferenceonMedicalImaeComutinndComuterAssistedIntervention.

pgg

[

gpg

[]

张琳

基于自监督迁移学习的肺部气管和血管分割算法研究

[

11D

]

杭州

浙江大学

2021.

9397.

[]]:

王继伟

王弘轩

黄绍辉

等

基于改进对抗生成网络模型的肺气管图像分割

[

12J.

中国数字医学

2021

(

)

[]

李康

基于深度学习的

C13T

图像肺气管树分叉点的检测

[

]

武汉

华中科技大学

2019.

278282.

[]]

程立英

高宣爽

申海

等

基于

自然科学版

)

14-Net

网络的肺部组织分割

[

沈阳师范大学学报

(

2020

(

)

[]:

C15RONNEBERGERO

FISHCHERP

BROXT.U-netonvolutionalnetworksforbiomedicalimaesementation

2015

234241.

]

∥Intemati

Sriner

gpg

ppg

[]

16ZHOUZ

SIDDIQUEEMMR

TAJBAKHSHN

Redesininkionnectionstoexloit

[],():

ansMedIma2019

9618561867.

ggg

2024年4月16日发(作者：仇醉蝶)

2022

年

月

第

卷

第

期

沈阳师范大学学报

(

自然科学版

)

JournalohenanormalUniversitNaturalScienceEdition

)

(

Vol.40No.6

Dec.2022

()

文章编号

167358622

基于深度学习的

图像肺气管分割

(

沈阳师范大学物理科学与技术学院

沈阳

110034

;

)

东北大学医学影像智能计算教育部重点实验室

沈阳

110189

摘

要

根据肺部计算机横断扫描

(

图像准确提取肺气管对肺呼

comutedtomorahCT

)

pgpy

吸功能测定和疾病诊断具有重要意义

。

现有的肺气管分割方法需要依赖大量人机交互才能提升

分割精度

而深度学习在医学图像处理领域有比较广泛的应用

尤其是在肺部结节检测和良恶性

诊断方面

但深度学习用于肺部

图像的肺气管分割由于图像噪声和部分容积效应的影响会造

成肺气管分割的泄漏

难以分割出微小的气管

。

原始肺部

病床等非感兴趣区

图像中包含骨骼

、

域

处理数据量的增大会消耗更多的数据处理时间

且极易造成误差

。

利用肺气管树的解剖结构

信息

对肺气管分割采用分步处理

提出了一种基于

AttentionUnet

的肺气管分割方法

。

实验结

果表明

将基于深度学习的

能提高分割的

ttentionUnet

网络应用于肺部

图像的肺气管分割

速度和精度

并有效防止泄漏

。

关

键

词

深度学习

;

肺实质分割

;

肺气管分割

;

AttentionUnet

网络

doi

.16735862.2022.06.014

中图分类号

TP391.41

;

R816.41

文献标志码

程立英

王晓伟

刘祖琛

汪

浩

覃文军

Pulmonarracheasementationbasedondeeearninor

CTinaes

11112

,,,

CHENGLiinWANGXiaoweiLIUZuchenWANGHaoTANWenun

;

ofPhsicalScienceandTechnolohenanormalUniversithenan10034

China

gygyyg

yyg

atorfIntellientComutininMedicalImaeinistrfEducationNortheasternUniversit

gpggy

)

Shenan10189

China

sinificanceforthedeterminationof

existinulmonarracheasementationtasksmustrelnalotofhumancomuterinteractionto

gpy

ninasawideraneofalicationsinthefieldof

pgyp

gpp

medicalimae

rocessineseciallinthedetectionof

ulmonarodulesanddianosisofbenin

ggpyy

andmalinant

rtheinfluenceofimaenoiseand

artialvolumeeffect

mwillcauseleakaeof

ulmonarracheasementationakinitdifficulttosementtinrachea.

gggy

ConsiderinhattheoriinallunTimaecontainsnoninterestinreassuchasbonesand

hositalbedsitnotonlonsumesmoredata

rocessinimeduetotheincreaseintheamountof

aersedtheanatomicalstructure

informationofthe

ulmonarirwatreethe

ulmonartracheasementationis

rocessedste

yygp

steand

roosesamethodfor

ppy

exerimentalresultsdemonstratethatalineeearninbasedAttentionUnetnetworkto

pppyg

sement

ulmonarracheafromCTimaesthismethodcanimrovetheseedandaccuracf

gppy

sementationandeffectivelreventleakae.

gypg

;;

;

Keords

eeearninlunarenchmasementationulmonarracheasementation

ggpygy

AttentionUnetnetwork

收稿日期

20220524

);

辽宁省教育厅科学研究经费项目

()。

基金项目

国家自然科学基金资助项目

(

61971118LZD202003

作者简介

程立英

(

女

河北衡水人

沈阳师范大学副教授

硕士

。

1976

—)

Abstract

ccuratelxtractinhe

ulmonarracheafromlunTimaesisof

reat

第

期

程立英

等

基于深度学习的

图像肺气管分割

559

引

言

管树的三维图像的建立

不仅可以作为肺气管相关疾病诊断的依据

还可以定位肺气管疾病所在位置

方便医生检查和手术

以避免其他部位不必要的损伤

。

低级气管分支的管壁完整且分界线清晰

所以比

较容易分割

但随着气管的不断衍生

气管壁逐渐变薄

气管和肺实质之间的区别变小

分割时容易出现

]

。

区域生长方法是肺气管分割领域中的代表性方法

泄漏现象

[

它是按照事先定义的某种生长准则

[]

]

。

将像素或区域聚合成一个连通的区域

[

abianska

提出了一种二次区域生长法来减少细气管的泄

[]

漏

。

为主气管和不同阶数支气管设定不同的生长规则

使

inneken

等

提出基于多阈值区域生长法

]

区域生长时能够适用于不同位置的气管树

。

裴宏亮等

[

提出一种改进的区域生长算法

使用直方图均

]

衡化原理对区域生长算法进行改进

突出肺气管壁边界信息进而提取肺气管

。

龚华尧

[

采用基于迟滞

肺气管是重要的生物标志

基于肺部

图像的肺气管分割目前仍然没有很好的解决方案

。

肺气

阈值的区域生长法分割出最佳阈值下的肺气管树

。

除区域生长法之外

基于规则的肺气管分割方法还

[]

包括形态学方法

。

使用四邻域低通滤波器消除噪声

在二维轴

kac

等

提出形态学的灰度重建算法

]

。

但传统方法只能够分割大致的支气管

对于部分细支气管不能很好地识别

[

向切片上采取圆形结构元素来获取肺气管的潜在区域

依据区域的连贯性进行三维肺气管树的重建

。

基于深度学习的肺气管分割方法尤其是基于卷积神经网络

(

convolutionalneuralnetwork

CNN

)

的肺气管分割方法是近年来的研究重点

已有大量研究将深度神经网络用于

图像的肺气管分割任

然后提出了基于线性规划的跟踪方法

以

和

神经网络分别用于在水平和垂直方向检测肺气管

]

得到

类检测结果的最佳结合方式

。

张琳

[

提出一种基于自监督迁移学习的肺气管分割算法

解决了

]

气管标注图像中前景和背景体素数量不平衡的问题

。

王继伟等

[

提出一种基于改进对抗生成网络模

]

型的肺气管图像分割方法

无需人工交互即可获得形态学结构复杂

(

肺气管

)

的三维目标

。

李康

[

基于

]

深度学习方法解决了肺气管不同分叉点的检测难度不同的问题

。

程立英等

[

提出了基于

U-net

神经

网络的肺部

但对于细小

图像的肺实质分割方法

。

上述方法虽然在肺气管分割上有了突破性进展

[][

]

务中

。

然后基于图的方法进行优化

。

训练了

Jin

等

首先训练

全卷积网络提取肺气管

hao

等

气管的分割精度仍有待提高

。

本文研究了深度学习算法在肺部

分别对

图像中肺气管分割的应用效果

-net

网络及其优化

后的变体

基于深度学

net++

、

AttentionUnet

等网络模型进行了肺气管分割实验

。

实验数据表明

习的

并有效防止泄漏

从而更有助于提

ttentionUnet

网络不仅能够提高肺气管分割的速度和精度

升肺部疾病诊断的准确性

。

模型介绍

1.1 U-net

网络模型

[

]

它是在全卷

2015

年

型网络结构在图像分割领域大放异彩

U-net

被大量地应用在分割领域

积网络

(

的基础上构建的

解决了

FfullonvolutionalnetworksFCN

)

无法存储和确认上下文的位

置信息的问题

。

其基本

-net

结构最早在

2006

年被

Hinton

提出

encoderdecoder

结构具有深远意义

据此

只需要存储相关特征和解码器就可以存储一幅图片

。

U-net

的主要创新点在于将低级特征图与

后面的高级特征图进行了融合

并且结构的对称性使得特征融合更为彻底

使得图片信息损失较少

。

下

采样低分辨率用于物体识别

上采样高分辨率用于分割定位

再通过融合操作填补信息

。

1.2

基于

U-net

优化的网络模型

1.2.1 Unet++

网络分割算法

原理是对输入图像进行下采样编码来将之前的图像变成更小的特征

再经过解码还原之前输入的图像

。

[

]

在

避免

UUnet++

-net

的基础上对

skionnection

进行改进

-net

中的

encoder

的浅层特征

与

从而产生高度灵活的特征融合方案

。

如图

1ecoder

的深层特征结合产生语义鸿沟

(

semantic

所示

Unet++

通过不同深度的

U-net

的有效集成来缓解未知的网络深度

。

更改后的

Unet++

具有以

)

下特点

。

首先

并且可以通过深度监督

(

同时进行共

U-net

可以部分共享一个编码器

deeuervision

同学习

。

这种设计不仅能够提高分割性能

还可以简化模型

。

其次

重新设计

Unet++

不受跳接限制

560

沈阳师范大学学报

(

自然科学版

)

第

卷

。

的跳接按照不同比例将图像特征与对应的解码器中的节点进行特征融合

图

1 Unet++

网络结构

Fi.1 Unet++architecture

1.2.2 AttentionUnet

网络分割算法

在对编码器每个分辨率上的特征与解码器中对应特

AttentionUnet

在

U-net

中引入注意力机制

用来控制不同空间位置处特征的重要性

如图

中

AttentionGate

所示

。

AttentionUnet

和

U-net

的

。

不同在于解码部分

编码提取部分先进行了

AttentionGate

再进行了

decoderttentionGate

和多阶

征进行拼接之前

使用了一个注意力模块

重新调整了编码器的输出特征

。

该模块生成一个门控信号

可以抑制不相关背景的响应

节省对感兴趣区域的裁剪

。

Gate

需要训练的模型少且不用额外的参数

而

对于无关区域响应的抑制和减少冗余的跳转连接有较好的作用

。

将

oftattention

的使用

以突出通过跳转连接的显著特征

从而消除跳转

AttentionGate

合并到

U-net

架构中

kionnection

连接中不相关和有噪声的响应带来的问题

。

段

能够减少对目标学习无关部分的学习

同时增加对目标学习有关部分的学习

NNs

相比

Attention

图

2 Attention-Unet

网络架构

Fi.2 Attention-Unetarchitecture

总体分割过程

图像的肺气管分割网络模型

总体结构如图

所示

。

在肺部

本文采用了一种高效

图像预处理方面

简单的肺部

降低噪声对肺部

图像预处理方案

。

通过形态学处理和平滑操作

图像中感兴趣区

域的影响

使分割的肺部区域中包含完整的肺纹理

接着初步提取出肺实质组织的轮廓

为后续的肺气

管分割提供有效的作用域

以减小冗余数据的干扰

。

在肺气管分割方面

将预训练的结果输入到

模型

同时增强学习与任务相

AttentionUnet

中

ttentionGate

可以抑制模型学习与任务无关的部分

结合肺气管树的特点

本文在

设计了一个针对肺部

CttentionUnet

的基础上对网络进行优化

第

期

程立英

等

基于深度学习的

图像肺气管分割

561

关的特征从而有效地提取气管结构

。

图

肺气管分割流程图

Fi.3 Flowchartofulmonartracheasementation

gpyg

2.1

肺部

图像的预处理

原始的肺部

导致

图像可能受患者的移动或者

扫描时环境干扰等影响

图像中存在着多

种不同的噪声

。

为了降低噪声的干扰

增强肺实质和周围组织之间的差异

保证提取的肺实质数据的真

实性和可靠性

在对肺部

需要对其进行预处理操作

。

图像进行分割等操作前

本文采用形态学运算和平滑操作对图像进行预处理

。

形态学的基本思想是利用一种特殊的结构元

来测量或提取输入图像中相应的形状或特征

以便进一步进行图像分析和目标识别

。

图像膨胀是形态

学处理的常用方法

其原理是使用一个自定义的结构元素

在待处理的二值图像上进行类似于

“

滤波

”

的

滑动操作

然后将二值图像对应的像素点与结构元素的像素进行对比

得到的并集为膨胀后的图像像

素

图像区域的边缘可能会变得平滑

区域的像素将会增加

不相连的部分可能会连接起来

以便后续

处理

。

2.2

肺实质提取与肺气管的分割

由于肺实质区域和周围区域存在较明显的

本文先对肺实质区域进行提取

以减少后续

值差异

)。

工作量

提高分割精度与效率

(

图

基于

U-net

的肺实质分割流程图

Fi.4 FlowchartofulmonararenchmalsementationbasedonU-net

gpypyg

将提取出肺实质的数据输入

AttentionUnet

模型中进行肺气管的分割

AttentionUnet

的

其中

是解码部分的矩阵

是编码

(

左边

)

的矩阵

AttentionGate

内部结构如图

所示

经过乘以系

数

(

完成

和

一起

进入下一层解码

。

这里

Rttentiononcatesamler

重采样器把特征图重采样到原

来的大小

。

数学公式

)(

;)

σW

(

att

)

qgq

)

att

(

562

沈阳师范大学学报

(

自然科学版

)

第

卷

图

5 AttentionGate

内部结构图

Fi.5 AttentionGateinternalstructurediaram

实验结果和分析

。

i5-8250UCPU@1.60GHz1.80GHz

3.1

实验数据及评价指标

。

本文神经网络算法主要采用

PAttentionUnetthon3.6

语言编程

PCharmCommunitdition

yyy

((

实验配置电脑为

处理器为

I2020.2.3x64

平台下运行

位

Windows10

操作系统

ntelR

)

CoreTM

)

:/)

本文使用的实验数据来自

用于竞赛的肺部

CXACT09

网站

(

htt∥

图像序

列

这些肺部

图像序列来自世界各地不同团队的扫描仪

。

图像序列的文件格式均为

DICOM

单张切片的厚度在

单个图像序列厚度在

每张切片的大小都是

56~1.25mm

60~670

层左右

12×

)

M1iou

为平均交并比

计算真实值和预测值

个集合之间交集和并集的比例

。

)

2Dice

为相似系数

倍的真实值和预测值相交的面积占总面积的比值

。

对于模型的训练

使用

并使用默认参数在

1dma

作为优化器

00eoch

内训练

U-netUnet++

和

。

数据集按照

8∶2

划分为训练集与测试集

经

倍交叉验证得到实验结果

。

512

本文选取

MiouDice

和

Averd3

个指标进行评价

)

能够度量

个点集间的最大不

3verd

为豪斯多夫距离

主要是用来度量边界的分割准确度

匹配程度

。

3.2

肺实质分割实验结果

为比较不同算法对肺实质分割的效果

本文将

U-netUnet++

和

AttentionUnet

的结果进行比

较

。

分割示例图分别如图

至图

所示

。

inut

redict

图

6 U-net

肺实质分割效果图

Fi.6 U-netsementationoflunarenchma

gggpy

mask

inut

redict

图

7 Unet++

肺实质分割效果图

Fi.7 Unet++sementationoflunarenchma

gggpy

mask

第

期

程立英

等

基于深度学习的

图像肺气管分割

563

inut

redict

图

8 Attention-Unet

肺实质分割效果图

Fi.8 Attention-Unetsementationoflunarenchma

gggpy

mask

从表

的结果看

U-net

AttentionUnet

能够较好地分割

肺实质且加了注意力机制的

U-net

网络分割效果更好

但

Unet++

由于存在边缘识别能力较弱的问

题

在没有预处理的情况下对肺

实质的分割效果不够理想

。

表

肺实质分割结果评价表

Table1 Evaluationtableofulmonararenchmal

pypy

sementationresults

评价指标模型

Dice

Miou

U-netAttentionUnet

0.934628

0.965216

7.310714

Unet++

0.930155

0.963422

7.564403

0.459279

14.755168

0.350791

hAverd

3.3

肺气管分割实验结果

肺气管分割评价情况

Unet++

的分割效果如图

所示

AttentionUnet

的分割效果如图

所示

见表

对比结果可以明显看出

由于肺部气管分割区域较小等原

因

Unet++

网络存在明显的漏

分割现象

结果和真实数据之间

仍然有一些差距

网络仍有待改

进

。

但提出的

AttentionUnet

网络用于肺气管分割效果较好

表

肺气管分割结果评价表

Table2 Evaluationtableofulmonartracheal

sementationresults

Miou0.367870

0.471136

3.936441

Unet++

评价指标模型

Dice

AttentionUnet

0.653436

0.721396

3.453898

hAverd

较为细小的血管也可以完整分割出来

解决了支气管泄漏问题

分割效果良好

。

inut

redict

图

9 Unet++

肺气管分割效果图

Fi.9 Unet++sementationeffectofulmonartrachea

ggpy

mask

inut

redict

图

10 Attention-Unet

肺气管分割效果图

Fi.10 Attention-Unetsementationeffectofulmonartrachea

ggpy

mask

564

沈阳师范大学学报

(

自然科学版

)

第

卷

结

论

本文从分析图像分割技术出发

通过对

U-net

网络进行改进

提出了一种基于

AttentionUnet

的

肺部

并将分割结果与

图像肺气管分割方法

-net

及其变体进行对比分析

。

训练后的模型能够直

接对原始图像进行自动分割

加入了注意力机制

提高了模

AttentionUnet

网络由于结构的优化更新

型对数据的适应性

在相同的数据集测试下相对于

U-net

和

Unet++

表现出较好的效果

。

此算法简

单

、

有效地提取出完整的肺支气管

解决了支气管泄漏的问题

具有较好的鲁棒性

。

参考文献

[]:

边子健

覃文军

刘积仁

等

肺部

]

图像中的解剖结构分割方法综述

[

中国图象图形学报

2018

(

)

[]:

段辉宏

龚敬

王丽嘉

等

肺部

]

图像气管树分割技术研究进展

[

中国生物医学工程学报

2018

(

)

[]:

彭双

肖昌炎

结合区域生长与灰度重建的

]

图像肺气管树分割

[

中国图象图形学报

2014

(

)

[

]

sofalinwoassreion

rowinlorithmforairwareesementationoMDCT

ppyg

pgg

CreateSace2009

251260.

13771383.

739748.

14501471.

[

chestscansfromEXACTdatabaseC

]

∥

[

]

GINNEKENB

BAGGERMANW

sementationandanatomicallabelinftheairwa

treefromthoracicCTscans

[

]

∥InternationalConferenceonMedicalImaeComutinndComuterAssisted

gpg

eidelberSriner2008

219226.

gpg

():

8212729.

[]

裴宏亮

蒋蕰莙

樊庆文

等

基于改进区域生长算法提取肺气管树

[

]

中西医结合心血管病电子杂志

2020

[

龚华尧

基于三维区域生长法的肺部气管

]

图像自动分割算法研究

[

]

成都

四川师范大学

2019.

[],():

ansMedIma2003

228940950.

[

]

AYKACD

HOFFMANEA

MCLENNANG

ationandanalsisofthehumanairwareefrom

gyy

[

]

JIND

XUZ

HARRISONAP

etal.3Dconvolutionalneuralnetworkswith

rahrefinementforairwa

Cham

Sriner2017

141149.

[

sementationusinincomletedatalabelsC

]

∥IntemationalWorkshonMachineLearminnMedicalImain.

ggpp

[],

10ZHAOT

YINZ

ussementationandclassificationbeuralnctworksandlinear

Cham

Sriner2019

230239.

roramminC

]

∥InternationalConferenceonMedicalImaeComutinndComuterAssistedIntervention.

pgg

[

gpg

[]

张琳

基于自监督迁移学习的肺部气管和血管分割算法研究

[

11D

]

杭州

浙江大学

2021.

9397.

[]]:

王继伟

王弘轩

黄绍辉

等

基于改进对抗生成网络模型的肺气管图像分割

[

12J.

中国数字医学

2021

(

)

[]

李康

基于深度学习的

C13T

图像肺气管树分叉点的检测

[

]

武汉

华中科技大学

2019.

278282.

[]]

程立英

高宣爽

申海

等

基于

自然科学版

)

14-Net

网络的肺部组织分割

[

沈阳师范大学学报

(

2020

(

)

[]:

C15RONNEBERGERO

FISHCHERP

BROXT.U-netonvolutionalnetworksforbiomedicalimaesementation

2015

234241.

]

∥Intemati

Sriner

gpg

ppg

[]

16ZHOUZ

SIDDIQUEEMMR

TAJBAKHSHN

Redesininkionnectionstoexloit

[],():

ansMedIma2019

9618561867.

ggg