2024年3月14日发(作者：留梦岚)
第３３卷第３期
２０１７年３月
文章编号：１００３—０５３０（２０１７）０３—０２８０—０８
信 号 处 理
ＪＯＵＲＮＡＬ ＯＦ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ
Ｖｏｌ＿３３ Ｎｏ．３
Ｍａｒ．２０１７
ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法
荣传振 贾永兴 杨 宇 朱 莹 王 渊
（解放军理工大学通信工程学院，江苏南京２１０００７）
摘要：论文结合非下采样ｃｏｎｔｏｕｒｌｅｔ变换（ＮＳＣＴ）的平移不变性、多尺度、多方向特性和脉冲耦合神经网络（ＰＣ—
ＮＮ）的同步脉冲发放、捕获特性，提出在ＮＳＣＴ域中基于ＰＣＮＮ的图像融合框架。对于低频子带，利用改进拉普
拉斯能量和作为特征激励ＰＣＮＮ；对于高频方向子带，采用改进的空间频率作为ＰＣＮＮ的外部激励；同时利用各
子带图像的平均梯度自适应调节ＰＣＮＮ的链接强度，最后，选取具有较大点火次数的系数作为融合图像的系数，
经逆ＮＳＣＴ变换重构融合图像。实验结果表明本文方法无论在主观视觉还是客观评价标准上都要优于传统的基于
小波变换、ｃｏｎｔｏｕｒｌｅｔ变换、ＰＣＮＮ的图像融合方法。
关键词：图像融合；脉冲耦合神经网络；非下采样ｃｏｎｔｏｕｒｌｅｔ变换；改进拉普拉斯能量和；改进的空间频率
中图分类号：ＴＰ３９１．４１ 文献标识码：Ａ ＤＯＩ：１０．１６７９８／ｊ．ｉｓｓｎ．１００３—０５３０．２０１７．０３．００５
Ａ Ｎｏｖｅｌ Ｉｍａｇｅ Ｆｕｓｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ ＰＣＮＮ ｉｎ ＮＳＣＴ Ｄｏｍａｉｎ
ＲＯＮＧ Ｃｈｕａｎ －ｚｈｅｎ ＪＩＡ Ｙｏｎｇ・—ｘｉｎｇ ＹＡＮＧ Ｙｕ ＺＨＵ Ｙｉｎｇ ＷＡＮＧ Ｙｕａｎ
（Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，ＰＬＡ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｇｏｙ，Ｎａｍｉｎｇ，Ｊｉａｎｇｓｕ ２１０００７，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａ ｎｏｖｅｌ ｉｍａｇｅ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ（ＮＳＣＴ）ａｎｄ ｐｕｌｓｅ
ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＣＮＮ）ｗａｓ ｐｒｏｐｏｓｅｄ．ＮＳＣＴ ｐｒｏｖｉｄｅｓ ｌｆｅｘｉｂｌｅ ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ，ａｎｉｓｏｔｒｏｐｙ ａｎｄ ｄｉｒｅｃｔｉｏｎａｌ ｅｘｐａｎ—
ｓｉｏｎ ｆｏｒ ｉｎｍｇｅｓ．ＰＣＮＮ ｉｓ ａ ｖｉｓｕａｌ ｃｏｒｔｅｘ－ｉｎｓｐｉｒｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｎｄ ｃｈａｒａｃｔｅｒｉｚｅｄ ｂｙ ｔｈｅ ｇｌｏｂａｌ ｃｏｕｐｌｉｎｇ ａｎｄ ｐｕｌｓｅ ｓｙｎ—
ｃｈｒｏｎｉｚａｔｉｏｎ ｏｆ ｎｅｕｒｏｎｓ．Ｆｏｒ ｌｏｗ—ｆｒｅｑｕｅｎｃｙ ｓｕｂ—ｉｍａｇｅｓ，ｕｓｉｎｇ ｓｕｍ—ｍｏｄｉｉｆｅｄ—Ｌａｐｌａｃｉａｎ ａｓ ｔｈｅ ｅｘｔｅｒｎａｌ ｓｔｉｍｕｌｉ ｏｆ ｔｈｅ ＰＣＮＮ，
ｏｒ ｔｈｅ ｈｉｆｇｈ—ｆｒｅｑｕｅｎｃｙ ｄｉｒｅｃｔｉｏｎａｌ ｓｕｂ—ｉｍａｇｅｓ，ｔｈｅ ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ ａｒｅ ｕｓｅｄ ａｓ ｔｈｅ ｅｘｔｅｒｎａｌ ｓｔｉｍｕｌｉ ｏｆ ｔｈｅ ＰＣＮＮ．
Ａｔ ｔｈｅ ｓａｍｅ ｔｉｍｅ，ｔｈｅ ａｖｅｒａｇｅ ｇｒａｄｉｅｎｔ ｏｆ ｅａｃｈ ｓｕｂ—ｂａｎｄ ｉｍａｇｅ ｉｓ ｕｓｅｄ ｔｏ ａｄｊｕｓｔ ｔｈｅ ｌｉｋｉｎｇ ｓｔｒｅｎｇｔｈ ａｄａｐｔｉｖｅｌｙ．Ｃｏｅｆｉｃｉｆｅｎｔｓ
ｗｉｔｈ ｌａｒｇｅ ｆｉｉｒｎｇ ｔｉｍｅｓ ｗｅｒｅ ｓｅｌｅｃｔｅｄ ａｓ ｔｈｅ ｃｏｅｆｉｃｉｆｅｎｔｓ ｏｆ ｔｈｅ ｆｕｓｅｄ ｉｍａｇｅ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ
ｓｃｈｅｍｅ ｃａｌｌ ｓｉｇｎｉｉｃａｎｔｆｌｙ ｉｍｐｒｏｖｅ ｉｍａｇｅ ｆｕｓｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｏｕｔｐｅｒｆｏｒｍｓ ｔｈｅ ｃｏｎｖｅｎｔｉｏｎａｌ ａｌｇｏｒｉｔｈｍｓ ｓｕｃｈ ａｓ ｗａｖｅｌｅｔ
ｔｒａｎｓｆｏｍ，ｃｏｎｔｒｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ ａｎｄ ＰＣＮＮ ｉｎ ｔｅｒｍ ｏｆ ｏｂｊｅｃｔｉｖｅ ｃｒｉｔｅｉｒａ ａｎｄ ｖｉｓｕａｌ ａｐｐｅａｒａｎｃｅ．
Ｋｅｙ ｗｏｒｄｓ：ｉｍａｇｅ ｆｕｓｉｏｎ；ｐｕｌｓｅ ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＣＮＮ）；ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ；ｓｕｍ－ｍｏｄｉｉｆｅｄ—
ｌａｐｌａｃｉａｎ（ＳＭＬ）；ｍｏｄｉｉｆｅｄ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ（ＭＳＦ）
１ 引言
图像融合是信息融合的一个重要分支，它将来自
进行多分辨率分解，分解为高频子带和低频子带，
然后对高频子带和低频子带分别进行融合。基于
ＭＳＤ的图像融合方法有两个核心问题：第一、选择
不同传感器关于某个场景的多源多幅图像，或单一传
感器多次获取的图像，按照某种规则，融合成一幅新
的图像，以便对该场景进行更为准确和更为全面的描
述¨ 。近年来，图像融合技术已成为医疗诊断 ｊ、机
器视觉 ｊ、军事应用 等领域的研究热点。
目前，图像融合方法大多都是基于多尺度分解
（ｍｕｌｔｉｓｃａｌｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎｓ，ＭＳＤ）的方法，即将图像
收稿日期：２０１６—０９—２０；修回日期：２０１６－１２－３０
什么样的ＭＳＤ分解方法；第二、选择什么样的融合
规则融合子带系数 。
Ｄ０和Ｖｅｔｔｅｒｌｉ。。 提出了一种真正的图像二维表
示方法，即ｃｏｎｔｏｕｒｌｅｔ变换（ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏＩＴｎ，
ＣＴ）。首先对图像进行拉普拉斯金字塔（Ｌａｐｌａｃｉａｎ
ｐｙｒａｍｉｄ，ＬＰ）分解，然后再利用方向滤波器组（Ｄｉ—
ｒｅｃｔｉｏｎａｌ Ｆｉｌｔｅｒ Ｂａｎｋ，ＤＦＢ）对分解结果进行滤波以
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法 ２８１
实现各向异性的特性。和传统的离散小波变换
（ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｎｌ，ＤＷＴ）相比，ＣＴ不仅可
表示图像的边界和轮廓信息，并能消除ＣＴ变换在图
像融合中在图像奇异处引起的伪吉布斯现象。
图１（ａ）给出了ＮＳＣＴ的分解结构框架，首先利
用ＮＰＳ将输入图像分解为低通子带和高通子带，然
后利用ＮＳＤＦＢ将高通子带分解为多个方向子带，并
对低通子带重复此分解过程。图１（ｂ）给出了算法
在图像二维频域进行频谱划分的示意图。
以对图像进行多尺度分解，并且在各个尺度上都有
不同的方向来对图像进行尽可能完整的表示。尽
管如此，ＣＴ不具备平移不变性，在图像奇异处容易
引起伪吉布斯现象。Ｄａ Ｃｕｎｈａ和Ｚｈｏｕ 提出了非
下采样ｃｏｎｔｏｕｒｌｅｔ变换（ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ ＣＴ，ＮＳＣＴ），
被成功地应用于图像降噪、图像增强和图像融合等
领域，ＮＳＣＴ继承了ＣＴ的完美特性，同时具有平移
不变性，具有更好的频率选择性和正则性。因此，
本文选择ＮＳＣＴ作为图像的多尺度分解方法。
对于第二个问题，典型的融合方法是基于活性
水平测度的方法 。在ＭＳＤ域中，选择具有较大活
性水平测度的系数构成融合图像。本文提出一种
带通方向
子带
带通方ｉ甸
子带
～Ⅱ．— 、
（ａ）ＮＳＣＴ分解原理框图 （ｂ）． 维频谱划分
图１基于ＮＳＣＴ的图像分解框架
Ｆｉｇ．１ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｆｒａｍｅｗｏｒｋｓ ｆｏｒ ｉｍａｇｅｓ ｂａｓｅｄ ＯＩ１ ＮＳＣＴ
基于脉冲耦合神经网络（Ｐｕｌｓｅ Ｃｏｕｐｌｅｄ Ｎｅｕｒａｌ Ｎｅｔ—
ｗｏｒｋｓ，ＰＣＮＮ）的新的活性水平测度。ＰＣＮＮ是一种
新的生物学神经网络，是Ｅｃｋｈｏｒｎ等 根据猫和猴
的大脑视觉区神经元同步脉冲发放现象而提出的。
基于ＮＳＣＴ的图像融合算法，选择ＮＳＣＴ作为
图像的多尺度分解方法，分别计算低频子带和高频
方向子带的活性水平测度，选取活性水平测度大的
系数作为相应的融合系数，经逆ＮＳＣＴ重构即可得
到最终的融合图像，图２为基于ＮＳＣＴ的图像融合
算法的流程图。
２．２ ＰＣＮＮ模型
ＰＣＮＮ模型的最大特点是其神经元的同步脉冲发放
特性和捕获特性，使其能有利地利用图像局部信
息。ＰＣＮＮ已被成功地应用于图像融合¨ Ｊ。在
ＭＳＤ域中或在空间域中，具有较大点火次数的像素
被认为具有较高的活性水平测度。目前，基于ＰＣ—
ＮＮ的图像融合方法大多利用ＭＳＤ域或空间域中的
单个像素值去激励神经元，而事实上，人类对边界和
方向特征是很敏感的，仅仅利用单一像素或系数去激
口
ＰＣＮＮ是由若干个神经元互连构成的反馈型网
络，每一个神经元都由分支树、连接输入区和脉冲
发生器三个功能单元组成（如图３所示）。数学方
程描述为：
励神经元，其融合效果值得商榷。论文在ＮＳＣＴ域
中，选择能表示图像梯度信息的改进拉普拉斯能量和
（Ｓｕｍ－ｍｏｄｉｆｉｅｄ—ｌａｐｌａｃｉａｎ，ＳＭＬ）¨ 作为低频子带图像
的活性水平测度，并将其作为ＰＣＮＮ神经元的外部激
（ｎ）＝ｅ唧 （ｎ一１）＋ ∑ 咖 （ 一１）＋．ｓ
（１）
（ｎ）＝ｅ－￣ｔ＇Ｌ （ 一１）＋ＶＬ∑ （ｎ一１）
（２）
（３）
励；对于高频方向子带，分别计算各子带系数改进的
空间频率，作为ＰＣＮＮ的外部激励。同时分别计算各
子带图像的平均梯度信息来自适应调节链接强度，在
一
（／７，）＝Ｆ ｆ（ｎ）（１＋卢 （ｎ））
定程度上实现了ＰＣＮＮ模型的自适应性。最后，选
）＝
Ｅ ｆ（／７，）＝ｅ－￣ＥＥ ｆ（ｎ～１）＋ （ｎ）
（４）
（５）
取具有较大点火次数的系数作为融合图像的系数，经
逆ＮＳＣＴ变换重构融合图像。并通过大量实验，验证
本文方法的有效性和正确性。
２ ＮＳＣＴ和ＰＣＮＮ
２．１ ＮＳＣＴ
式中：内部活动项的连接系数为 ，神经元强制激发
的外部激励为图像像素灰度值ｓ 反馈输入域中放
大系数和衰减时间常数分别为 和Ｏ／ ，耦合连接
域 的放大系数和衰减时间常数分别为 和 ，
动态门限Ｅ的放大系数和衰减时间常数分别为
Ｄａ Ｃｕｎｈａ和Ｚｈｏｕ提出ＮＳＣＴ，ＮＳＣＴ具有完全平
和 ，权值矩阵 和 分别为反馈输入域和耦
移不变性、更好的频率选择特性和正则性，能有效地
合连接域的连接矩阵。
２８２ 信 号 处 理 第３３卷
圆
图２基于ＮＳＣＴ的图像融合方法
Ｆｉｇ．２ Ｉｍａｇｅ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ Ｏｉｌ ＮＳＣＴ
１ｒ－
…
一 －ｉ
Ｓ．
分支树
￣ ｄ
：调制耦合器：
Ｉ
，．１－
脉冲发生器
－４ Ｅ ｆｑ
图３脉冲耦合神经元模型
Ｆｉｇ．３ ＰＣＮＮ ｍｏｄｅｌ
基于ＰＣＮＮ的图像融合以图像的像素值作为
ＰＣＮＮ神经元的激励值，网络中神经元数目与图像
像素数目相一致，每个神经元与每个像素一一对
应；每个神经元在一个ｎ×ｎ（一般３ｘ３或５ｘ５）连接
权矩阵ＭⅢ和ｗｆ删的中心，其相邻像素为该矩阵中
对应神经元，每一神经元与其相邻神经元相连接的
权值可有多种选择，例如可取为相连神经元的欧几
里得距离的平方倒数。每个神经元有点火和不点
火两种输出状态，每个神经元的点火次数总和将构
成一个点火映射图，以点火次数作为活性水平测
度，选取点火次数大的像素作为融合图像的像素，
最终得到融合图像，其流程如图４所示。
图４基于ＰＣＮＮ的图像融合方法
Ｆｉｇ．４ Ｉｍａｇｅ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ＰＣＮＮ
２．３链接强度 的自适应设置
链接强度 反映系数问的变化，并能调整内部活
动项中链接通道的权重，在图像融合中起着关键作
用。通常，大多数文献根据实验或经验为每个神经元
设置相同的链接强度值，例如将其设置为０．２＿１ 。这
个缺点是ＰＣＮＮ处理过程自动化和通用化的一个巨
大的局限。对于人眼视觉系统，将所有神经元的连
接系数设置成同一数值是不合理的，一个实际神经
元的连接系数应该和该神经元所处的环境有关。
因此，许多研究者选取像素的清晰度以自适应设置
ＰＣＮＮ神经元的链接强度，诸如空间频率 、方向
信息¨ 、标准差 等。考虑到像素梯度是局部邻
域区域的一个显著特征并能反映图像的边界特征，
本文利用平均梯度自适应设置链接强度。图像的
平均梯度代表图像灰度值的变换，是反映图像清晰
度的主要指标之一，此外，平均梯度也能表示边界
和纹理等细节信息。平均梯度的数学表达式如下：
１ １
，．．、
ｇ ｌ，ｊ） ＿＿２—２一
￣／［ｇｌ（ｉ＋，ｎ， ＋ｎ）＋ｇ２（ｉ＋，ｎ， ＋ｎ）］／２（６）
ｇ。（ｉ， ）＝［，（ｉ， ）一，（ｉ＋１， ）］２ （７）
ｇ：（ｉ， ）＝［，（ｉ， ）一，（ｉ，Ｊ．＋１）］ （８）
式中，ｇ（ｉ， ）表示（ｉ， ）位置处３×３局部邻域内的平
均梯度。ｇ，（ｉ， ）和ｇ：（ｉ， ）分别表示图像灰度值在
水平和垂直方向上的变化。
此时，链接系数定义为
１
‘９）
通过公式（６）可知， 值反映了图像窗内灰度
值的变化。平均梯度越大，图像局部区域越清晰，Ｊ８
值越大，相应神经元点火越早。链接系数可以根据
平均梯度自适应调整，这使得ＰＣＮＮ能有效地保留
图像细节信息，提高图像融合的效果。
３基于ＮＳＣＴ和ＰＣＮＮ的图像融合方法
在本节中，论文介绍一种新的基于ＮＳＣＴ和ＰＣ．
ＮＮ的图像融合方法。选择ＮＳＣＴ作为图像的多尺
度分解方法，相较于小波变换，ＮＳＣＴ具有更好的轮
廓描述特性，并且克服了ＣＴ在奇异处产生的伪吉
布斯现象。在本文提出的图像融合方法中，首先利
用ＮＳＣＴ对输入图像进行多尺度和多方向分解，然
后利用ＰＣＮＮ构造决策图以选取低频和高频分解系
数，具体融合规则叙述如下。
３．１低频融合规则
本文选取改进拉普拉斯能量和作为ＰＣＮＮ神经
元的外部激励，ＳＭＬ能有效地表示图像梯度信息，
假设Ｃ（ｉ，Ｊ）表示位置（ｉ， ）处的低通子带系数，则其
相应的ＳＭＬ值定义如下：
ｉ＝ ＋，ｖ Ｊ：ｙ＋Ｎ
ＳＭＬ（ ， ）：∑
ｉ＝ｘ—Ｎ｜：，一＾
∑ＭＬ（ ， ） （１０）
ＭＬ（ｉ，Ｊ）＝｛２Ｃ（ｉ， ）一Ｃ（ｉ－ｓｔｅｐ，Ｊ）一Ｃ（ｉ＋ｓｔｅｐ， ）ｌ＋
ｌ２Ｃ（ｉ， ）一Ｃ（ｉ，Ｊ—ｓｔｅｐ）一Ｃ（ｉ， ＋ｓｔｅｐ）ｌ
（１ １）
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法 ２８３
式中，“ｓｔｅｐ”表示系数之间的可变间隔，本文中将其
设置为１。
３．２高频子带融合规则
对于高频方向子带图像，利用改进的空问频率
（ｍｏｄｉｉｆｅｄ ｓｐａｔｉａｌ￣ｅｑｕｅｎｃｙ，ＭＳＦ）¨ 激励ＰＣＮＮ神
经元。空间频率（ｓｐａｔｉａｌ￣ｅｑｕｅｎｃｙ，ＳＦ）利用滑动窗
选取子带系数，通过求取行方向和列方向的梯度能
量计算得到。本文对ｓＦ进行改进，除计算水平和
垂直方向图像的梯度能量外，增加两个对角线方向
的梯度能量，可以更好地提取图像信息。假设Ｃ
（ｉ， ）表示ＮＳＣＴ域中第ｚ层上第ｋ个方向子带（ｉ， ）
处的系数值，ＭＳＦ定义如下：
１ ＭⅣ
Ｍｓ （ＲＦ＋ＣＦ＋ＭＤＦ＋ＳＤＦ）
（１２）
式中：
ＲＦ＝［Ｃ （ｉ，Ｊ）一Ｃ （ ，Ｊ一１）］ （１３）
ＣＦ＝［ｃ （ ， ）一Ｃ （ｉ一１， ）］ （１４）
ＭＤＦ＝［ｃ （ ， ）一Ｃ （ｉ一１，Ｊ—１）］ （１５）
ＳＤＦ＝［ （ ， ）一Ｃｆ ．（ｉ一１， ＋１）］ （１６）
ＲＦ、ＣＦ、ＭＤＦ和ＳＤＦ分别表示行频率、列频率、
主对角频率和负对角频率。 和Ⅳ表示计算ＭＳＦ的
矩形窗的大小，本文选取３ｘ３的邻域区域计算ＭＳＦ。
３．３融合过程
本文方法图像融合过程如图５所示，融合之前，
源图像已严格配准。具体融合步骤如下：
（１）将两幅源图像Ａ和Ｂ进行ＮＳＣＴ分解，得
到相应的低频子带系数和高频子带系数。
（２）利用公式（１０）～（１１）计算图像低频子带系
数的ＳＭＬ值，利用公式（１２）～（１６）计算高频方向子
带的ＭＳＦ值，并分别将其作为ＰＣＮＮ的外部激励。
（３）利用ＰＣＮＮ分别选取融合图像的低频子带
系数和高频子带系数，具体过程描述如下：
（３．１）令Ｌ ０）＝０、 ｌ （０）＝０、Ｅ ０）＝０、
（０）＝０、 ｌ’ （０）＝Ｏ；
（３．２）计算每个像素的平均梯度，利用公式（６）
～
（９）计算每个神经元的链接强度；
（３．３）分别计算低频方向子带的ＳＭＬ和高频方
向子带的ＭＳＦ ，并将其作为ＰＣＮＮ的外部激励，利
用公式（１）～（５）计算 （ ）、 （ｎ）、Ｅ （ｎ）；
（３．４）重复步骤（３．３），直至达到最大迭代次数
即／ｔ＇＝Ⅳ，停止迭代。融合系数选取规则如下。
（４）根据点火映射图，利用公式（１７）计算相应
子带对应的决策图，并利用公式（１８）选取具有较大
点火次数的子带系数作为融合图像相应子带的
系数。
ｌ，ｋ
｛ ，
ｌ，ｋ
』
，
，＝
ｘ
Ｌ ，’ 囊： 三 （－８）
ｌ ，ｋ
ｘ
、
Ｘ＇ ｌｉ
，
ｊ
和ｚ 分别表示融合图像和两幅源图
像第ｌ层上第ｋ个方向子带（ｉ，Ｊ）处的系数。
（５）利用选取出的子带系数进行逆ＮＳＣＴ变换
重构融合图像。
图５本文图像融合方法系统框图
Ｆｉｇ．５ Ｓｃｈｅｍａｔｉｃ ｄｉａｇｒａｍ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｉｍａｇｅ ｆｕｓｉｏｎ ｍｅｔｈｏｄ
４实验结果与分析
为了验证本文方法的优越性，设计了三组实
验。实验一：分析比较基于ＤＷＴ、平移不变离散小
波变换（ｓｈｉｔｆ ｉｎｖａｒｉａｎｔ ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ，
ＳＩＤＷＴ）、ＣＴ和ＮＳＣＴ等图像多尺度分解方法的融
合图像效果；实验二：在ＮＳＣＴ域中比较不同的活性
水平测度方法；实验三：在ＣＴ、ＳＩＤＷＴ、ＮＳＣＴ域中比
较基于ＰＣＮＮ的图像融合方法。论文从主观和客观
评价两个方面对融合图像进行评价，客观评价选择
如下两个评价标准：互信息（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，
ＭＩ） 埔 和Ｑ 评价算子 ］。
互信息可表示融合图像从源图像所获取的信
息量的多少，其值越大说明融合图像从源图像中获
取的信息越多，融合效果越好。Ｑ 的取值范围为
［０，１］，值越大表示融合图像保留源图像边缘信息
越多，融合效果越好。
４．１ 图像多尺度分解方法比较
实验中选择ＤＷＴ、ＳＩＤＷＴ、ＣＴ和ＮＳＣＴ作为图
像多尺度分解方法，ＤＷＴ选择的是ＤＢＳＳ（２，２）小波
基，ＳＩＤＷＴ采用Ｈａｒｒ小波分解，采用的融合规则是：
低频分量采用平均法，高频分量采用像素值取大的
２８４ 信 号 处 理 第３３卷
融合方法 图６、图７和图８分别给出了多聚焦图
像、红外和可见光图像以及医学图像的融合结果。
从图中可以看出，基于ＳＩＤＷＴ和ＮＳＣＴ方法的
融合结果图像要比基于ＤＷＴ和ＣＴ方法的融合结
果图像更清晰、更自然，ＳＩＤＷＴ和ＮＳＣＴ都具有平移
不变性，这足以证明基于平移不变性的图像融合方
法能够成功克服融合图像中的伪吉布斯现象，并能
有效地提高融合图像的质量。
基于以上四种方法的融合图像的客观评价如
表ｌ所示，从表中可以看出基于ＮＳＣＴ方法的融合
图像可以从源图像中获得更多的信息，其融合结果
要比其他三种多尺度分解方法更优越，表明ＮＳＣＴ
是最好的多尺度分解方法，这也是本文选择ＮＳＣＴ
作为多尺度分解方法的原因。
表１ 基于不同的ＭＳＤ方法的融合图像的客观评价指标
Ｔａｂ．１ Ｃｏｍｐａｒｉｓｏｎ ｏｎ ｏｂｊｅｃｔｉｖｅ ｃｒｉｔｅｒｉａ ｏｆ ｆｕｓｅｄ
ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ｄｉｆｆｅｒｅｎｔ ＭＳＤ ｍｅｔｈｏｄｓ
法
４．２ ＮＳＣＴ域中不同活性水平测度分析比较
本实验主要在ＮＳＣＴ域中比较各种不同活性水
平测度的优劣，选取三种不同的方法。第一种方法
是低频分量取平均，高频分量取大，为叙述方便将
（ ）
此方法记作ＮＳＣＴ方法；第二种方法，分别计算图像
低频子带和高频方向子带的ＳＭＬ，以此作为活性水
平测度，选取活性水平’顷０度大的作为融合图像的系
数，将此方法记作ＮＳＣＴ．ＳＭＬ方法；第三种方法，将
低频子带和高频方向子带系数作为ＰＣＮＮ的外部激
励，以神经元点火次数作为活性水平测度，选取具
有较大点火次数的系数作为融合图像的系数，将此
方法记作ＮＳＣＴ—ＰＣＮＮ方法。
图
从图９（ｂ）、１０（ｂ）和ｌｌ（ｂ）的融合结果图像可
以看出ＳＭＬ可以更好地提取图像的边缘等细节信
息，而图９（ｃ）、１０（ｃ）和１ １（ｅ）的融合结果图像更加
的清晰自然，这是由于ＰＣＮＮ神经元的全局耦合和
ｆｄ） （ｅ） （ｆ）
（ａ）ＣＴＩ￣］像．（ｂ１ＭＲＩ［￣像．（ｃ）ＤＷＴｈ法，（ｄ）ＳＩＤＷＴｈ－法，（ｅ）ＣＴ疗法，（ｆ）ＮｓｃＴ方法
脉冲同步发放特性，使得其能更多地利用邻域系数
来选择融合图像的系数。表２给出了基于以上几种
活性水平测度的融合图像的客观评价指标值，从表
中可以看出基于ＮＳＣＴ—ＳＭＬ和ＮＳＣＴ—ＰＣＮＮ方法的
８ 基于不同ＭＳＤ方法的医学图像融合结果
Ｆｉｇ．８ Ｆｕｓｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｍｅｄｉｃａｌ ｉｍａｇｅｓ ｂａｓｅｄ
ｏｎ ｄｉｆｆｅｒｅｎｔ ＭＳＤ ｍｅｔｈｏｄｓ
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法
４．３与典型的ＰＣＮＮ方法比较
２８５
融合图像从源图像中获得了更多的信息，也证明了
在ＮＳＣＴ域中将ＳＭＩ 和ＰＣＮＮ相结合进行图像融合
是一种可行的选择
本实验主要比较几种不同的基于ＰＣＮＮ的图像
融合方法。主要有基于ＣＴ和ＰＣＮＮ的图像融合方
法（ＣＴ—ＰＣＮＮ），基于ＳＩＤＷＴ和ＰＣＮＮ的图像融合方
法（ＳＩＤＷＴ—ＰＣＮＮ），基于ＮＳＣＴ—ＰＣＮＮ的图像融合方
法（ＮＳＣＴ—ＰＣＮＮ）以及本文方法。
图ｌ２给出了红外与可见光图像的融合结果，从
主观视觉上可以发现基于ＳＩＤＷＴ—ＰＣＮＮ、ＮＳＣＴ—ＰＣＮＮ
和ＮＳＣＴ—ＳＭＬ—ＰＣＮＮ方法的融合结果要优于ＣＴ—ＰＣ—
ＮＮ。图１２（ｋ）和（１）分别是图１２（ｄ）与图７（ａ）（ｂ）的
差值图像，从视觉上可以看出本文方法能更好地从可
见光图像提取“树”，从红外图像提取“人”。
（ｈ）
（ａ）ＣＴ－ＰｃＮＮ方法。ｆｂ）ＳＩＤＷＴ－ＰＣＮＮ万祛，【ｃ】ＮＳＣＴ－ＰＣＮＮ万扶，
（ｄ）本文方法，（ｅ×ｇ）（试ｋ）分别为网１２（８Ｈｄ）与网７（ａ）的蔗值罔像，
（ｆ）（ｈ）（ｊＸＩ）分别为图１２（ａ）－（ｄ） 网７（ｂ）的差值图像
图ｌ２ 基于各种ＰＣＮＮ方法的红外与可见光图像融合结果
Ｆｉｇ．１ ２ Ｆｕｓｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｉｎｆｒａｒｅｄ ａｎｄ ｖｉｓｉｂｌｅ
ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ｄｉｆｆｅｒｅｎｔ ＰＣＮＮ ｍｅｔｈｏｄｓ
图ｌ３给出了多聚焦图像的融合结果，主观视觉
上ＳＩＤＷＴ—ＰＣＮＮ、ＮＳＣＴ—ＰＣＮＮ和ＮＳＣＴ—ＳＭＬ—ＰＣＮＮ
方法的融合结果要优于ＣＴ－ＰＣＮＮ，主要是因为ＣＴ
不具有平移不变性。图１３（ｋ）和（１）分别是图Ｉ３
（ｄ）与图６（ａ）和（ｂ）的差值图像，可以发现本文方
法几乎从源图像中提取了源图像所有的聚焦部分
（ｄ） （ｅ） （ｆＪ
（ａ）ＮＳＣＴＴ￣法，（ｂ）ＮＳＣＴ－ＳＭＬ方法．（ｃ１ＮＳＣＴ—Ｋ＇ＮＮ￣Ｊ法，
并且能更好地保持图像的细节信息。
（ｄ） ｎ分别为罔ＩＩ（ａＨｃ）与闱８（ａ）的差值阁像
图ｌ４给出了医学图像的融合结果，四种方法的
主观视觉差别不大。表３给出了以上融合结果的客
观评价指标，结果表明本文方法要优于其余三种方
法，也证明了本文方法的有效性和优越性。
图１ １ 基于不同活性水平测度的医学图像融合结果
Ｆｉｇ．１ １ Ｆｕｓｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｍｅｄｉｃａｌ ｉｍａｇｅｓ ｂａｓｅｄ
ｄｉｆｆｅｒｅｎｔ ａｃｔｉｖｉｔｙ ｌｅｖｅｌ ｍｅａｓｕｒｅｓ
２８６ 号 处 列 第３３卷
丧２ 琏ｊ：，＿ｆ 同的活性水 洲度的融合图像的样脱 价指标
（ｊ） （ｋ） ＬＩ１
（３ｌ【Ｔ—ＰＣＮＮ，Ｊ ＬＪ，
．
（ｈ１ ＳＩＤＷ ｒ—ＰｅＮＮ Ｊ ，（ｃｌ ＮＳＣＴ—Ｐ（’ＮＮ ．
（ｄ）啦《ｆｊ浊，｛ｅ）Ｉｇ）（１）（ｋ）分圳匀 ＨＩａ１１｛ｄ） Ｊ ８（ａ）∞ …矧豫，
（ｎＩｌ１）｛Ｊ｝ｌｌ】分刺 １４１ａ｝～ （ｄ） Ｉ ｓ（ｈ蚰 簟，｝．ｆ１ 豫
矧１４ 丁符种ＰＣＮＮ 法的 、 像融合纳果
＿ｏｔ’Ｉｌｌ｛ （“Ｌ．ａｌ ｉＩＩＩｔｌ￣｛＇ｓ
Ｊ （：Ｎ Ｎ ｍｅｌｈ｛Ｊ（１ｓ
Ｔａｂ．２ Ｃｏｌｎｐａｔｉｓｏｌｌ ＯｌＩ ｏｌｌｊ￣ ｔ’ｌｉｖｅ ｅｌ’ｉｔｅｒｉａ Ｉ１ｆ ｔｈｓ￣ ｔｌ ｉｍａｇｅｓ
｝ａｓｅｄ ｏｎ ｄｉｆｆｅｒｅｎｔ ａｌｑｉｖｉｔｙ ｌｅｖｅｌ ＩＩＩ｛＇：ＨＳｉｌｌｅｓ
＿＆３ 符ＰＣＮＮ方法的融合 像的客观 价指标
ｌ１）．３（］Ｏｎｌｌ｝ａｌ‘ｉｓｏｎ Ｏ１１ ｉｌｌ￣ｊｅｃｔｉｖｅ ｃｒｉｔｅｒｉａ ｏｔ’ｆｕｓｅ｛ｌ
ｎａｇｅｓ ｌｌａｓｅｌｌ ｏｎ ｄｉｆｆｅｒ￣ ｌｉｔ ＰＣＮＮ ｍｅｔｈｏｄｓ
５ 结论
沦文提出了一种新的牲于ＰＣＮＮ和ＮＳＣＴ的
像融合方法，首先对待融合 像进行ＮＳＣＴ分解以得
到低频子带和高频子带系数，在融合过程Ｌ１１，利用各
子带陶像的平均梯度白适心调节ＰＣＮＮ的链接强度，
埘ｆ低频于带，利用改进托普拉斯能域和作为特征激
励ＰＣＮＮ，对于高频方向子带，采用改进的 问频率
作为ＰｅＮＮ的外部激励，并 选取具有较人点火次数
的系数作为融合图像的系数，最后经逆ＮＳＣ ｒｌ、变换重
佝融合图像。实验结果表【ｆ』Ｊ本文方法尤沦在主观视
觉还是： 观评价标准上都要优于传统的蛙于小波变
换、ｃｏｎｔｏｕｒｌｅｔ变换、ＰＣＮＮ的图像融合方法． ．
参考文献
１ ｉｕ Ｙｕ，Ｌｉｕ Ｓｈｕｐｉｎｇ，Ｖ－…ｒ．．｛ｇＺｅｎｇｆｕ．Ａ【 ｎｅｒａＩ Ｆｒａｌｎｅ—
ＷＯＩ ｋ ｆｉｌｒ Ｉｎｍｇｅ Ｆｕｓｉｏｎ Ｂａｓｅｄ ｏｎ Ｍｕｈｉ＋ｓｔ ａｌＰ ｒｒｒａｌｌＳ￣）ｌ＇ｌｌｌ
￣ｔ ｒｌｄ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｌ１［Ｊ］．１ｌｆｏｒｍａｔｉｏｎ Ｆｕｓｉｏｎ，
２０ｌ５，２４：ｌ４７一ｌ６４．
Ｂａｃｏ Ｅ．Ｕｋｉｍｕｌ’ａ（） Ｉｈｕｌ Ｅ，ｅｔ ａ１．Ｍａｇｎｅｔｉｃ ｌ｛ｅｓｏｎａｌｌＣｅ
ｈｎａｇｉｎｇ—Ｔｒａｎｓｅ｛‘ｔａＩ Ｕｌｔｌ＇ａｓｏｕｎｄ ｈｎａｇｅ—ｆｕｓｉｏｎ Ｂｉｌ｝ｐｓｉｅｓ Ａ（‘一
｛＇ｔｌｒａ．ｔｌｅＩｖ Ｃｈａｒａｃｔｅｒｉｚｅ ｔｈｅ ｌｎｄｅｘ Ｔｌｌｎｌｏｒ：Ｃｏｌ’１’ｅｌａｌｉｏｎ ｗｉｔｈ
Ｓｔｅｐ—ｓｅｃｔｉｏｎｅｄ Ｒａｌｔｉ｛，ａｌ Ｐｒ｛｝ｓｔａｔｅｅｔｏｍ），Ｓｌｌｅ｛’ｉＩｌｌｅｌ１ｓ ｉｎ Ｉ ３５
Ｐａｌｉｅｎｌｓ［Ｊ］．Ｅｕｒｏｐｅａｎ Ｕｒｏｈ｝ｇｙ，２０１５，６７（４）：７８７—７９４，
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法 ２８７
［３］ Ｓｔａｔｈａｋｉ Ｔ．１ｎｍｇｅ Ｆｕｓｉｏｎ：Ａｌｇｏｆｉｔｌｍ￣ｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｍ］．
ＵＫ：Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，２００８．
［Ｊ ６］
Ｃｈａｉ Ｙ．Ｌｉ Ｈ Ｆ．Ｑｕ Ｊ Ｆ．Ｉｍａｇｅ ｆｉｌｓｉｏｎ ｈｅｉｎｅ ｕｓｉｎｇ ａ
ｎｏｖｅｌ ｄｕａｌ—ｃｈａｎｎｅｌ ＰＣＮＮ ｉ ｒａ ｌｉｆｔｉｎｇ ｓｔａｔｉ（ｍａｒｙ ｗａｖｅｌｅｌ ｄｏ—
『４］ Ｇｅｎｎａｒｅｌｌｉ Ｇ，Ａｍｉｎ Ｍ Ｇ，Ｓｏｌｄｏｖｉｅｒｉ Ｆ，ｅｔ ａ１．Ｐａｓｓｉｖｅ
Ｍｕｈｉａｒｒａｙ Ｉｍａｇｅ Ｆｕｓｉｏｎ ｆｏｒ ＲＦ Ｔｏｍｏｇｒａｐｈｙ ｂｙ Ｏｐｐｏｒｔｕｎ—
ｍａｉｎ［Ｊ］．Ｏｐｔ．Ｃｏｎｎｌｌｕｎ．，２０１０，２８３（１９）：３５９１—３６０２．
Ｘｉ．Ｚｈａｏ Ｗｅｉ．Ｃ，ａｏ Ｆｅｉ．ｈｎａｇｅ ｆｔ，ｓｉｏｎ ａｌｇｏｒｉｔｈｍ
［１７］
Ｃａｉ
ｈａｓｅｄ ｏｎ ａｄａｐｔｉｖｅ ｐｕｌｓｅ‘ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒ ｋｓ ｉｎ ｃｕｒ－
ｉｓｔｉｃ Ｓｏｍ＇ｅｅｓ ｌ Ｊ １。ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ＆Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ
Ｌｅｔｔｅｒｓ，２０１５，Ｉ２（３）：６４１—６４５．
ｖｅｌｅｔ ｄｏｍａｉｎ『Ｃ］／／ＩＥＥＥ １Ｏｔｈ Ｉｎｔｅｌ・ｎａｔｉ（）Ｉｌａｌ ＣｏｎｆｅＩ－ｅｎｃｅ
ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｂｅｉｊｉｎｇ．２０１０：８４５—８４８．
［５］Ｑｕ Ｘｉａｏｂｏ，Ｙａｎ Ｊｉｎｇｗｅｎ，Ｘｉａｏ Ｈｏｎｇｚｈｉ，ｃｔ ａ１．Ｉｍａｇｅ ｆｕ—
ｓｉｏｎ ａｌｇｏｒｉｔｌｌｎｌ ｂａｓｅｄ ｏｎ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ—ｎｍｔｉｖａｔｅｄ ｐｕｌｓｅ
［Ｉ８］
Ｑｕ Ｇｕｉｈｏｎｇ，Ｚｈａｎｇ Ｄａｌｉ，Ｙａｎ Ｐｉｎｇｆａｎ．１ａｆｎｒ’ｎ｜ａｔｉｏｎ ｉｎｅａｓｕｒｅ
ｏｆｒ ｐｅｒｆｏｒｍａｒｌ（ ｏｆ ｉｎｍｇｅ ｆｕｓｉｏｎ［Ｊ］．Ｅｌｅ（‘ｔｒｏｎｋ’ｓ Ｌｅｔｔｅｒｓ，
２００２．３８（７）：３１３－３１５．
ｒｏｖｉ Ｖ，Ｘｙｄｅａｓ Ｃ．Ｏｎ ｔｉｌｅ ｅｆｆｅｃｔｓ ｏｔ’ｓｅｎｓｏｒ ｎｏｉｓｅ ｉｎ
［１９］
Ｐｅｔ
ｃｏｕｐｌｅｄ ｎｅｎｒａｌ ｎｅｔｗｏｒｋｓ ｉｎ ｎｏｎｓｕｂｓａｍｐｌｅｄ ｃｏｎｔｏｕｒｌｅｔ
ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ『Ｊ］．Ａｃｔａ Ａｕｔｏｍａｔｉｃａ Ｓｉｎｉｃａ，２００８，３４
（１２）：１５０８—１５１４．
『６１ Ｍｉｎｈ Ｎ．Ｄｏ，Ｍａｒｔｉｎ Ｖｅｔｅｒｌｉ．Ｔｈｅ ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ：
ａｎ ｅｆｆｉｃｉｅｎｔ ｄｉｒｅｃｔｉｏｎａｌ ｍｕｈｉｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｐｒｅｓｅｎｔａ—
ｐｉｘｅｌ—ｌｅｖｅｌ ｉｍａｇｅ ｆｕｓｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇ ｏｆ
ｔｈｅ ３Ｈｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｆｅｎｃｅ ｏｎ Ｉｎｍｇｅ Ｆｕｓｉｏｎ．Ｐａｒｉｓ．
２０００：１４一ｌ９．
ｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００５，
１４（１２）：２０９１—２１０６．
［７］Ａｒｔｈｕｒ Ｌ．ｄａ Ｃｕ，１ｈａ，Ｚｈｏｕ Ｊｉａｎｐｉｎｇ，Ｍｉｎｈ Ｎ．Ｄｏ．Ｔｈｅ
ｎｏｎｓｕｂｓａｍｐｌｅｄ ｅｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ：ｔｈｅｏｒｙ，ｄｅｓｉｇｎ，ａｎｄ
作者简介
ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｎ￣．ｅｓｓ—
ｉｎｇ，２００６，１５（１０）：３０８９－３１Ｏ１．
荣传振 男，ｌ９８５年 ，江苏徐州
人。解放军理工大学讲师，主要研究方向
为语音与 像处理。
Ｅ—ｍａｉｌ：ＦＣＺ＠ｆｏｘｍａｉｌ．ＣＯＩ］ｌｌ
［８］ Ｂａｉ Ｘｉａｎｇｚｈｉ，Ｚｈａｎｇ Ｙｕ，Ｚｈｏｕ Ｆｕｇｅｎ，ｅｔ ａ１．Ｑｕａｄｔｒｅｅ—
ｂａｓｅｄ ｍｕｌｔｉ－－ｆｏｃｕｓ ｉｍａｇｅ ｆｕｓｉｏｎ ｕｓｉｎｇ ａ ｗｅｉｇｈｔｅｄ ｆｏｃｕｓ・－
ｍｅａｓｕｒｅ『Ｊ＿．Ｉ．ｆｉ）ｒｍａｔｉｏｎ Ｆｕｓｉｏｎ，２０１５，２２：１０５—１ｌ８．
［９］ Ｊｏｈｎ【Ｊ＿Ｊｏｈｎｓｏｎ，ＭａＬｗ Ｌｏｕ Ｐａｄｇｅｔｔ．ＰＣＮＮ Ｍｏｄｅｌｓ ａｎｄ
Ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔ—
ｗｏｒｋｓ．１９９９．１０（３）：４８０—４９８．
贾永兴（通信作者） ，３，１９７４年生，
新疆阿克苏人。解放军理工大学教授．主
要研究方向为信号与信息处理。
Ｅ—ｍａｉｌ：ｊｖ．ｘｌ９７４０５＠１６３．ｃｏｎｌ
［１ ０］Ｇａｒｇ Ｒｉｓｈｕ，Ｇｕｐｔａ Ｐｒｅｅｔｉ，Ｋａｕｒ Ｈａｒｖｉｎｄｅｒ．Ｓｕｒｖｅｙ ｏｎ
Ｍｕｈｉ．Ｆｏｃｕｓ Ｉｍａｇｅ Ｆｕｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇ ｏｆ
２０１４ Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ ｉ ｒａ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ
Ｓｃｉｅｎｃｅｓ．Ｃｈａｎｄｉｇａｒｈ，２０ｌ４：１－５．
［１ １］Ｖｅｙｓｅｌ Ａｓｌａｎｔａｓ，Ａｈｍｅｔ Ｎｕｓｒｃｔ Ｔｏｐｒａｋ．Ａ ｐｉｘｅｌ ｂａｓｅｄ
杨 字 男．１９８４年牛，河北保定
ｎｍｈｉ—ｏｆｃｕｓ ｉｍａｇｅ ｆｕｓｉｏｎ ｍｅｔｈｏｄ［Ｊ］．Ｏｐｔｉｃｓ Ｃｏｍｍｕｎｉｃａ—
ｔｉｏｎｓ．２ｏｌ４，３３２：３５０－３５８，
人 解放军理二［：大学讲师，主要研究方
向为｝１Ｉ标跟踪。
Ｅ—ｎｍｉｌ：ｉｃｈｉｎａ＠ｑｑ．ｃｏｎｌ
［１２］Ｘｉａｎｇ Ｔｉａｎｚｈｕ，Ｙａｈ Ｌｉ，Ｇａｏ Ｒｏｎｇｒｏｎｇ．Ａ ｆｕｓｉｏｎ ａｌｇｏ—
ｒｉｔｈｍ ｆｏｒ ｉｎｆｒａｒｅｄ ａｎｄ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ａｄａｐｔｉｖｅ
ｄｕａ１．ｃｈａｎｎｅｌ ｕｎｉｔ．１ｉｎｋｉｎｇ ＰＣＮＮ ｉｎ ＮＳＣＴ ｄｏｍａｉｎ ＪＪ １．
Ｉｎｆｒａｒｅｄ Ｐｈｙｓｉｃｓ＆Ｔｅｃｈｎｏｌｏｇｙ．２０１５，６９：５３—６Ｉ．
朱 莹 女，１９８３年生，江苏镇江
［１ ３］Ｈｕａｎｇ Ｗｅｉ，Ｊｉｎｇ Ｚｈｏｎｇｌｉａｎｇ．Ｅｖａｌｕａｔｉｏｎ ｏｆ ｆｏｃｕｓ ｎｌｅａｓ—
ｕｒｅｓ ｉｎ ｎｍｈｉ—ｆｏｃｕｓ ｉｍａｇｅ ｆｕｓｉｏｎ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ
Ｌｅｔｔｅｒ＇ｓ，２００７．２８：４９３—５ＯＨＤ．
人 解放军理工大学讲师，主要研究方向
为图像处理～
Ｅ－ｍａｉｌ：ｚｙｉｎｇ＠１６３．（＇０１１１
『１ ４］Ｄａｓ Ｓｕｄｅｂ，Ｋｕｎｄｕ Ｍａｌａｙ Ｋｕｍａｒ．ＮＳＣＴ－ｂａｓｅｄ ｍｕｈｉｍｏ—
ｄａｌ ｍｅｄｉｃａｌ ｉｍａｇｅ ｆｕｓｉｏｎ ｕｓｉｎｇ ｐｕｌｓｅ・－ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔ－－
ｗｏｒｋ ａｎｄ ｍｏｄｉｉｆｅｄ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ［Ｊ］．Ｍｅｄ．Ｂｉｏ１．
Ｅｎｇ．Ｃｏｍｐｕｔ．，２０１２，５０（１０）：１１０５－１１１４．
王渊女，１９８４年生，江苏连云港
人。解放军理工大学讲师，主要研究方向
为图像处理。
Ｅ－ｍａｉｌ：ｌｉｎｙｕａｎｊｕ４４５５＠１ ６３．（＇ｏｎｌ
［１５］Ｋｏｎｇ Ｗｅｉｗｅｉ，Ｚｈａｎｇ Ｌｏｎｇｊｕｎ，Ｌｅｉ Ｙａｎｇ．Ｎｏｖｅｌ ｆｌｌｓｉｏｎ
ｍｅｔｈｏｄ ｆｏｒ ｖｉｓｉｂｌｅ ｌｉｇｈｔ ａｎｄ ｉｎｆｒａｒｅｄ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ
ＮＳＳＴ—ＳＦ—ＰＣＮＮ［Ｊ］．Ｉｎｆｒａｒｅｄ Ｐｈｙｓ．Ｔｅｃｌｅｒｅ１．，２０ １４，
６５：ｌ０３—１ｌ２．
2024年3月14日发(作者：留梦岚)
第３３卷第３期
２０１７年３月
文章编号：１００３—０５３０（２０１７）０３—０２８０—０８
信 号 处 理
ＪＯＵＲＮＡＬ ＯＦ ＳＩＧＮＡＬ ＰＲＯＣＥＳＳＩＮＧ
Ｖｏｌ＿３３ Ｎｏ．３
Ｍａｒ．２０１７
ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法
荣传振 贾永兴 杨 宇 朱 莹 王 渊
（解放军理工大学通信工程学院，江苏南京２１０００７）
摘要：论文结合非下采样ｃｏｎｔｏｕｒｌｅｔ变换（ＮＳＣＴ）的平移不变性、多尺度、多方向特性和脉冲耦合神经网络（ＰＣ—
ＮＮ）的同步脉冲发放、捕获特性，提出在ＮＳＣＴ域中基于ＰＣＮＮ的图像融合框架。对于低频子带，利用改进拉普
拉斯能量和作为特征激励ＰＣＮＮ；对于高频方向子带，采用改进的空间频率作为ＰＣＮＮ的外部激励；同时利用各
子带图像的平均梯度自适应调节ＰＣＮＮ的链接强度，最后，选取具有较大点火次数的系数作为融合图像的系数，
经逆ＮＳＣＴ变换重构融合图像。实验结果表明本文方法无论在主观视觉还是客观评价标准上都要优于传统的基于
小波变换、ｃｏｎｔｏｕｒｌｅｔ变换、ＰＣＮＮ的图像融合方法。
关键词：图像融合；脉冲耦合神经网络；非下采样ｃｏｎｔｏｕｒｌｅｔ变换；改进拉普拉斯能量和；改进的空间频率
中图分类号：ＴＰ３９１．４１ 文献标识码：Ａ ＤＯＩ：１０．１６７９８／ｊ．ｉｓｓｎ．１００３—０５３０．２０１７．０３．００５
Ａ Ｎｏｖｅｌ Ｉｍａｇｅ Ｆｕｓｉｏｎ Ａｌｇｏｒｉｔｈｍ Ｕｓｉｎｇ Ａｄａｐｔｉｖｅ ＰＣＮＮ ｉｎ ＮＳＣＴ Ｄｏｍａｉｎ
ＲＯＮＧ Ｃｈｕａｎ －ｚｈｅｎ ＪＩＡ Ｙｏｎｇ・—ｘｉｎｇ ＹＡＮＧ Ｙｕ ＺＨＵ Ｙｉｎｇ ＷＡＮＧ Ｙｕａｎ
（Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ，ＰＬＡ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｓｃｉｅｎｃｅ ａｎｄ Ｔｅｃｈｎｏｌｇｏｙ，Ｎａｍｉｎｇ，Ｊｉａｎｇｓｕ ２１０００７，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａ ｎｏｖｅｌ ｉｍａｇｅ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ（ＮＳＣＴ）ａｎｄ ｐｕｌｓｅ
ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＣＮＮ）ｗａｓ ｐｒｏｐｏｓｅｄ．ＮＳＣＴ ｐｒｏｖｉｄｅｓ ｌｆｅｘｉｂｌｅ ｍｕｌｔｉｒｅｓｏｌｕｔｉｏｎ，ａｎｉｓｏｔｒｏｐｙ ａｎｄ ｄｉｒｅｃｔｉｏｎａｌ ｅｘｐａｎ—
ｓｉｏｎ ｆｏｒ ｉｎｍｇｅｓ．ＰＣＮＮ ｉｓ ａ ｖｉｓｕａｌ ｃｏｒｔｅｘ－ｉｎｓｐｉｒｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｎｄ ｃｈａｒａｃｔｅｒｉｚｅｄ ｂｙ ｔｈｅ ｇｌｏｂａｌ ｃｏｕｐｌｉｎｇ ａｎｄ ｐｕｌｓｅ ｓｙｎ—
ｃｈｒｏｎｉｚａｔｉｏｎ ｏｆ ｎｅｕｒｏｎｓ．Ｆｏｒ ｌｏｗ—ｆｒｅｑｕｅｎｃｙ ｓｕｂ—ｉｍａｇｅｓ，ｕｓｉｎｇ ｓｕｍ—ｍｏｄｉｉｆｅｄ—Ｌａｐｌａｃｉａｎ ａｓ ｔｈｅ ｅｘｔｅｒｎａｌ ｓｔｉｍｕｌｉ ｏｆ ｔｈｅ ＰＣＮＮ，
ｏｒ ｔｈｅ ｈｉｆｇｈ—ｆｒｅｑｕｅｎｃｙ ｄｉｒｅｃｔｉｏｎａｌ ｓｕｂ—ｉｍａｇｅｓ，ｔｈｅ ｍｏｄｉｆｉｅｄ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ ａｒｅ ｕｓｅｄ ａｓ ｔｈｅ ｅｘｔｅｒｎａｌ ｓｔｉｍｕｌｉ ｏｆ ｔｈｅ ＰＣＮＮ．
Ａｔ ｔｈｅ ｓａｍｅ ｔｉｍｅ，ｔｈｅ ａｖｅｒａｇｅ ｇｒａｄｉｅｎｔ ｏｆ ｅａｃｈ ｓｕｂ—ｂａｎｄ ｉｍａｇｅ ｉｓ ｕｓｅｄ ｔｏ ａｄｊｕｓｔ ｔｈｅ ｌｉｋｉｎｇ ｓｔｒｅｎｇｔｈ ａｄａｐｔｉｖｅｌｙ．Ｃｏｅｆｉｃｉｆｅｎｔｓ
ｗｉｔｈ ｌａｒｇｅ ｆｉｉｒｎｇ ｔｉｍｅｓ ｗｅｒｅ ｓｅｌｅｃｔｅｄ ａｓ ｔｈｅ ｃｏｅｆｉｃｉｆｅｎｔｓ ｏｆ ｔｈｅ ｆｕｓｅｄ ｉｍａｇｅ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｔｈｅ ｐｒｏｐｏｓｅｄ
ｓｃｈｅｍｅ ｃａｌｌ ｓｉｇｎｉｉｃａｎｔｆｌｙ ｉｍｐｒｏｖｅ ｉｍａｇｅ ｆｕｓｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ａｎｄ ｏｕｔｐｅｒｆｏｒｍｓ ｔｈｅ ｃｏｎｖｅｎｔｉｏｎａｌ ａｌｇｏｒｉｔｈｍｓ ｓｕｃｈ ａｓ ｗａｖｅｌｅｔ
ｔｒａｎｓｆｏｍ，ｃｏｎｔｒｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ ａｎｄ ＰＣＮＮ ｉｎ ｔｅｒｍ ｏｆ ｏｂｊｅｃｔｉｖｅ ｃｒｉｔｅｉｒａ ａｎｄ ｖｉｓｕａｌ ａｐｐｅａｒａｎｃｅ．
Ｋｅｙ ｗｏｒｄｓ：ｉｍａｇｅ ｆｕｓｉｏｎ；ｐｕｌｓｅ ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ（ＰＣＮＮ）；ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ；ｓｕｍ－ｍｏｄｉｉｆｅｄ—
ｌａｐｌａｃｉａｎ（ＳＭＬ）；ｍｏｄｉｉｆｅｄ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ（ＭＳＦ）
１ 引言
图像融合是信息融合的一个重要分支，它将来自
进行多分辨率分解，分解为高频子带和低频子带，
然后对高频子带和低频子带分别进行融合。基于
ＭＳＤ的图像融合方法有两个核心问题：第一、选择
不同传感器关于某个场景的多源多幅图像，或单一传
感器多次获取的图像，按照某种规则，融合成一幅新
的图像，以便对该场景进行更为准确和更为全面的描
述¨ 。近年来，图像融合技术已成为医疗诊断 ｊ、机
器视觉 ｊ、军事应用 等领域的研究热点。
目前，图像融合方法大多都是基于多尺度分解
（ｍｕｌｔｉｓｃａｌｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎｓ，ＭＳＤ）的方法，即将图像
收稿日期：２０１６—０９—２０；修回日期：２０１６－１２－３０
什么样的ＭＳＤ分解方法；第二、选择什么样的融合
规则融合子带系数 。
Ｄ０和Ｖｅｔｔｅｒｌｉ。。 提出了一种真正的图像二维表
示方法，即ｃｏｎｔｏｕｒｌｅｔ变换（ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏＩＴｎ，
ＣＴ）。首先对图像进行拉普拉斯金字塔（Ｌａｐｌａｃｉａｎ
ｐｙｒａｍｉｄ，ＬＰ）分解，然后再利用方向滤波器组（Ｄｉ—
ｒｅｃｔｉｏｎａｌ Ｆｉｌｔｅｒ Ｂａｎｋ，ＤＦＢ）对分解结果进行滤波以
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法 ２８１
实现各向异性的特性。和传统的离散小波变换
（ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｎｌ，ＤＷＴ）相比，ＣＴ不仅可
表示图像的边界和轮廓信息，并能消除ＣＴ变换在图
像融合中在图像奇异处引起的伪吉布斯现象。
图１（ａ）给出了ＮＳＣＴ的分解结构框架，首先利
用ＮＰＳ将输入图像分解为低通子带和高通子带，然
后利用ＮＳＤＦＢ将高通子带分解为多个方向子带，并
对低通子带重复此分解过程。图１（ｂ）给出了算法
在图像二维频域进行频谱划分的示意图。
以对图像进行多尺度分解，并且在各个尺度上都有
不同的方向来对图像进行尽可能完整的表示。尽
管如此，ＣＴ不具备平移不变性，在图像奇异处容易
引起伪吉布斯现象。Ｄａ Ｃｕｎｈａ和Ｚｈｏｕ 提出了非
下采样ｃｏｎｔｏｕｒｌｅｔ变换（ｎｏｎ—ｓｕｂｓａｍｐｌｅｄ ＣＴ，ＮＳＣＴ），
被成功地应用于图像降噪、图像增强和图像融合等
领域，ＮＳＣＴ继承了ＣＴ的完美特性，同时具有平移
不变性，具有更好的频率选择性和正则性。因此，
本文选择ＮＳＣＴ作为图像的多尺度分解方法。
对于第二个问题，典型的融合方法是基于活性
水平测度的方法 。在ＭＳＤ域中，选择具有较大活
性水平测度的系数构成融合图像。本文提出一种
带通方向
子带
带通方ｉ甸
子带
～Ⅱ．— 、
（ａ）ＮＳＣＴ分解原理框图 （ｂ）． 维频谱划分
图１基于ＮＳＣＴ的图像分解框架
Ｆｉｇ．１ Ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｆｒａｍｅｗｏｒｋｓ ｆｏｒ ｉｍａｇｅｓ ｂａｓｅｄ ＯＩ１ ＮＳＣＴ
基于脉冲耦合神经网络（Ｐｕｌｓｅ Ｃｏｕｐｌｅｄ Ｎｅｕｒａｌ Ｎｅｔ—
ｗｏｒｋｓ，ＰＣＮＮ）的新的活性水平测度。ＰＣＮＮ是一种
新的生物学神经网络，是Ｅｃｋｈｏｒｎ等 根据猫和猴
的大脑视觉区神经元同步脉冲发放现象而提出的。
基于ＮＳＣＴ的图像融合算法，选择ＮＳＣＴ作为
图像的多尺度分解方法，分别计算低频子带和高频
方向子带的活性水平测度，选取活性水平测度大的
系数作为相应的融合系数，经逆ＮＳＣＴ重构即可得
到最终的融合图像，图２为基于ＮＳＣＴ的图像融合
算法的流程图。
２．２ ＰＣＮＮ模型
ＰＣＮＮ模型的最大特点是其神经元的同步脉冲发放
特性和捕获特性，使其能有利地利用图像局部信
息。ＰＣＮＮ已被成功地应用于图像融合¨ Ｊ。在
ＭＳＤ域中或在空间域中，具有较大点火次数的像素
被认为具有较高的活性水平测度。目前，基于ＰＣ—
ＮＮ的图像融合方法大多利用ＭＳＤ域或空间域中的
单个像素值去激励神经元，而事实上，人类对边界和
方向特征是很敏感的，仅仅利用单一像素或系数去激
口
ＰＣＮＮ是由若干个神经元互连构成的反馈型网
络，每一个神经元都由分支树、连接输入区和脉冲
发生器三个功能单元组成（如图３所示）。数学方
程描述为：
励神经元，其融合效果值得商榷。论文在ＮＳＣＴ域
中，选择能表示图像梯度信息的改进拉普拉斯能量和
（Ｓｕｍ－ｍｏｄｉｆｉｅｄ—ｌａｐｌａｃｉａｎ，ＳＭＬ）¨ 作为低频子带图像
的活性水平测度，并将其作为ＰＣＮＮ神经元的外部激
（ｎ）＝ｅ唧 （ｎ一１）＋ ∑ 咖 （ 一１）＋．ｓ
（１）
（ｎ）＝ｅ－￣ｔ＇Ｌ （ 一１）＋ＶＬ∑ （ｎ一１）
（２）
（３）
励；对于高频方向子带，分别计算各子带系数改进的
空间频率，作为ＰＣＮＮ的外部激励。同时分别计算各
子带图像的平均梯度信息来自适应调节链接强度，在
一
（／７，）＝Ｆ ｆ（ｎ）（１＋卢 （ｎ））
定程度上实现了ＰＣＮＮ模型的自适应性。最后，选
）＝
Ｅ ｆ（／７，）＝ｅ－￣ＥＥ ｆ（ｎ～１）＋ （ｎ）
（４）
（５）
取具有较大点火次数的系数作为融合图像的系数，经
逆ＮＳＣＴ变换重构融合图像。并通过大量实验，验证
本文方法的有效性和正确性。
２ ＮＳＣＴ和ＰＣＮＮ
２．１ ＮＳＣＴ
式中：内部活动项的连接系数为 ，神经元强制激发
的外部激励为图像像素灰度值ｓ 反馈输入域中放
大系数和衰减时间常数分别为 和Ｏ／ ，耦合连接
域 的放大系数和衰减时间常数分别为 和 ，
动态门限Ｅ的放大系数和衰减时间常数分别为
Ｄａ Ｃｕｎｈａ和Ｚｈｏｕ提出ＮＳＣＴ，ＮＳＣＴ具有完全平
和 ，权值矩阵 和 分别为反馈输入域和耦
移不变性、更好的频率选择特性和正则性，能有效地
合连接域的连接矩阵。
２８２ 信 号 处 理 第３３卷
圆
图２基于ＮＳＣＴ的图像融合方法
Ｆｉｇ．２ Ｉｍａｇｅ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ Ｏｉｌ ＮＳＣＴ
１ｒ－
…
一 －ｉ
Ｓ．
分支树
￣ ｄ
：调制耦合器：
Ｉ
，．１－
脉冲发生器
－４ Ｅ ｆｑ
图３脉冲耦合神经元模型
Ｆｉｇ．３ ＰＣＮＮ ｍｏｄｅｌ
基于ＰＣＮＮ的图像融合以图像的像素值作为
ＰＣＮＮ神经元的激励值，网络中神经元数目与图像
像素数目相一致，每个神经元与每个像素一一对
应；每个神经元在一个ｎ×ｎ（一般３ｘ３或５ｘ５）连接
权矩阵ＭⅢ和ｗｆ删的中心，其相邻像素为该矩阵中
对应神经元，每一神经元与其相邻神经元相连接的
权值可有多种选择，例如可取为相连神经元的欧几
里得距离的平方倒数。每个神经元有点火和不点
火两种输出状态，每个神经元的点火次数总和将构
成一个点火映射图，以点火次数作为活性水平测
度，选取点火次数大的像素作为融合图像的像素，
最终得到融合图像，其流程如图４所示。
图４基于ＰＣＮＮ的图像融合方法
Ｆｉｇ．４ Ｉｍａｇｅ ｆｕｓｉｏｎ ａｌｇｏｒｉｔｈｍｓ ｂａｓｅｄ ｏｎ ＰＣＮＮ
２．３链接强度 的自适应设置
链接强度 反映系数问的变化，并能调整内部活
动项中链接通道的权重，在图像融合中起着关键作
用。通常，大多数文献根据实验或经验为每个神经元
设置相同的链接强度值，例如将其设置为０．２＿１ 。这
个缺点是ＰＣＮＮ处理过程自动化和通用化的一个巨
大的局限。对于人眼视觉系统，将所有神经元的连
接系数设置成同一数值是不合理的，一个实际神经
元的连接系数应该和该神经元所处的环境有关。
因此，许多研究者选取像素的清晰度以自适应设置
ＰＣＮＮ神经元的链接强度，诸如空间频率 、方向
信息¨ 、标准差 等。考虑到像素梯度是局部邻
域区域的一个显著特征并能反映图像的边界特征，
本文利用平均梯度自适应设置链接强度。图像的
平均梯度代表图像灰度值的变换，是反映图像清晰
度的主要指标之一，此外，平均梯度也能表示边界
和纹理等细节信息。平均梯度的数学表达式如下：
１ １
，．．、
ｇ ｌ，ｊ） ＿＿２—２一
￣／［ｇｌ（ｉ＋，ｎ， ＋ｎ）＋ｇ２（ｉ＋，ｎ， ＋ｎ）］／２（６）
ｇ。（ｉ， ）＝［，（ｉ， ）一，（ｉ＋１， ）］２ （７）
ｇ：（ｉ， ）＝［，（ｉ， ）一，（ｉ，Ｊ．＋１）］ （８）
式中，ｇ（ｉ， ）表示（ｉ， ）位置处３×３局部邻域内的平
均梯度。ｇ，（ｉ， ）和ｇ：（ｉ， ）分别表示图像灰度值在
水平和垂直方向上的变化。
此时，链接系数定义为
１
‘９）
通过公式（６）可知， 值反映了图像窗内灰度
值的变化。平均梯度越大，图像局部区域越清晰，Ｊ８
值越大，相应神经元点火越早。链接系数可以根据
平均梯度自适应调整，这使得ＰＣＮＮ能有效地保留
图像细节信息，提高图像融合的效果。
３基于ＮＳＣＴ和ＰＣＮＮ的图像融合方法
在本节中，论文介绍一种新的基于ＮＳＣＴ和ＰＣ．
ＮＮ的图像融合方法。选择ＮＳＣＴ作为图像的多尺
度分解方法，相较于小波变换，ＮＳＣＴ具有更好的轮
廓描述特性，并且克服了ＣＴ在奇异处产生的伪吉
布斯现象。在本文提出的图像融合方法中，首先利
用ＮＳＣＴ对输入图像进行多尺度和多方向分解，然
后利用ＰＣＮＮ构造决策图以选取低频和高频分解系
数，具体融合规则叙述如下。
３．１低频融合规则
本文选取改进拉普拉斯能量和作为ＰＣＮＮ神经
元的外部激励，ＳＭＬ能有效地表示图像梯度信息，
假设Ｃ（ｉ，Ｊ）表示位置（ｉ， ）处的低通子带系数，则其
相应的ＳＭＬ值定义如下：
ｉ＝ ＋，ｖ Ｊ：ｙ＋Ｎ
ＳＭＬ（ ， ）：∑
ｉ＝ｘ—Ｎ｜：，一＾
∑ＭＬ（ ， ） （１０）
ＭＬ（ｉ，Ｊ）＝｛２Ｃ（ｉ， ）一Ｃ（ｉ－ｓｔｅｐ，Ｊ）一Ｃ（ｉ＋ｓｔｅｐ， ）ｌ＋
ｌ２Ｃ（ｉ， ）一Ｃ（ｉ，Ｊ—ｓｔｅｐ）一Ｃ（ｉ， ＋ｓｔｅｐ）ｌ
（１ １）
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法 ２８３
式中，“ｓｔｅｐ”表示系数之间的可变间隔，本文中将其
设置为１。
３．２高频子带融合规则
对于高频方向子带图像，利用改进的空问频率
（ｍｏｄｉｉｆｅｄ ｓｐａｔｉａｌ￣ｅｑｕｅｎｃｙ，ＭＳＦ）¨ 激励ＰＣＮＮ神
经元。空间频率（ｓｐａｔｉａｌ￣ｅｑｕｅｎｃｙ，ＳＦ）利用滑动窗
选取子带系数，通过求取行方向和列方向的梯度能
量计算得到。本文对ｓＦ进行改进，除计算水平和
垂直方向图像的梯度能量外，增加两个对角线方向
的梯度能量，可以更好地提取图像信息。假设Ｃ
（ｉ， ）表示ＮＳＣＴ域中第ｚ层上第ｋ个方向子带（ｉ， ）
处的系数值，ＭＳＦ定义如下：
１ ＭⅣ
Ｍｓ （ＲＦ＋ＣＦ＋ＭＤＦ＋ＳＤＦ）
（１２）
式中：
ＲＦ＝［Ｃ （ｉ，Ｊ）一Ｃ （ ，Ｊ一１）］ （１３）
ＣＦ＝［ｃ （ ， ）一Ｃ （ｉ一１， ）］ （１４）
ＭＤＦ＝［ｃ （ ， ）一Ｃ （ｉ一１，Ｊ—１）］ （１５）
ＳＤＦ＝［ （ ， ）一Ｃｆ ．（ｉ一１， ＋１）］ （１６）
ＲＦ、ＣＦ、ＭＤＦ和ＳＤＦ分别表示行频率、列频率、
主对角频率和负对角频率。 和Ⅳ表示计算ＭＳＦ的
矩形窗的大小，本文选取３ｘ３的邻域区域计算ＭＳＦ。
３．３融合过程
本文方法图像融合过程如图５所示，融合之前，
源图像已严格配准。具体融合步骤如下：
（１）将两幅源图像Ａ和Ｂ进行ＮＳＣＴ分解，得
到相应的低频子带系数和高频子带系数。
（２）利用公式（１０）～（１１）计算图像低频子带系
数的ＳＭＬ值，利用公式（１２）～（１６）计算高频方向子
带的ＭＳＦ值，并分别将其作为ＰＣＮＮ的外部激励。
（３）利用ＰＣＮＮ分别选取融合图像的低频子带
系数和高频子带系数，具体过程描述如下：
（３．１）令Ｌ ０）＝０、 ｌ （０）＝０、Ｅ ０）＝０、
（０）＝０、 ｌ’ （０）＝Ｏ；
（３．２）计算每个像素的平均梯度，利用公式（６）
～
（９）计算每个神经元的链接强度；
（３．３）分别计算低频方向子带的ＳＭＬ和高频方
向子带的ＭＳＦ ，并将其作为ＰＣＮＮ的外部激励，利
用公式（１）～（５）计算 （ ）、 （ｎ）、Ｅ （ｎ）；
（３．４）重复步骤（３．３），直至达到最大迭代次数
即／ｔ＇＝Ⅳ，停止迭代。融合系数选取规则如下。
（４）根据点火映射图，利用公式（１７）计算相应
子带对应的决策图，并利用公式（１８）选取具有较大
点火次数的子带系数作为融合图像相应子带的
系数。
ｌ，ｋ
｛ ，
ｌ，ｋ
』
，
，＝
ｘ
Ｌ ，’ 囊： 三 （－８）
ｌ ，ｋ
ｘ
、
Ｘ＇ ｌｉ
，
ｊ
和ｚ 分别表示融合图像和两幅源图
像第ｌ层上第ｋ个方向子带（ｉ，Ｊ）处的系数。
（５）利用选取出的子带系数进行逆ＮＳＣＴ变换
重构融合图像。
图５本文图像融合方法系统框图
Ｆｉｇ．５ Ｓｃｈｅｍａｔｉｃ ｄｉａｇｒａｍ ｏｆ ｔｈｅ ｐｒｏｐｏｓｅｄ ｉｍａｇｅ ｆｕｓｉｏｎ ｍｅｔｈｏｄ
４实验结果与分析
为了验证本文方法的优越性，设计了三组实
验。实验一：分析比较基于ＤＷＴ、平移不变离散小
波变换（ｓｈｉｔｆ ｉｎｖａｒｉａｎｔ ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ，
ＳＩＤＷＴ）、ＣＴ和ＮＳＣＴ等图像多尺度分解方法的融
合图像效果；实验二：在ＮＳＣＴ域中比较不同的活性
水平测度方法；实验三：在ＣＴ、ＳＩＤＷＴ、ＮＳＣＴ域中比
较基于ＰＣＮＮ的图像融合方法。论文从主观和客观
评价两个方面对融合图像进行评价，客观评价选择
如下两个评价标准：互信息（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，
ＭＩ） 埔 和Ｑ 评价算子 ］。
互信息可表示融合图像从源图像所获取的信
息量的多少，其值越大说明融合图像从源图像中获
取的信息越多，融合效果越好。Ｑ 的取值范围为
［０，１］，值越大表示融合图像保留源图像边缘信息
越多，融合效果越好。
４．１ 图像多尺度分解方法比较
实验中选择ＤＷＴ、ＳＩＤＷＴ、ＣＴ和ＮＳＣＴ作为图
像多尺度分解方法，ＤＷＴ选择的是ＤＢＳＳ（２，２）小波
基，ＳＩＤＷＴ采用Ｈａｒｒ小波分解，采用的融合规则是：
低频分量采用平均法，高频分量采用像素值取大的
２８４ 信 号 处 理 第３３卷
融合方法 图６、图７和图８分别给出了多聚焦图
像、红外和可见光图像以及医学图像的融合结果。
从图中可以看出，基于ＳＩＤＷＴ和ＮＳＣＴ方法的
融合结果图像要比基于ＤＷＴ和ＣＴ方法的融合结
果图像更清晰、更自然，ＳＩＤＷＴ和ＮＳＣＴ都具有平移
不变性，这足以证明基于平移不变性的图像融合方
法能够成功克服融合图像中的伪吉布斯现象，并能
有效地提高融合图像的质量。
基于以上四种方法的融合图像的客观评价如
表ｌ所示，从表中可以看出基于ＮＳＣＴ方法的融合
图像可以从源图像中获得更多的信息，其融合结果
要比其他三种多尺度分解方法更优越，表明ＮＳＣＴ
是最好的多尺度分解方法，这也是本文选择ＮＳＣＴ
作为多尺度分解方法的原因。
表１ 基于不同的ＭＳＤ方法的融合图像的客观评价指标
Ｔａｂ．１ Ｃｏｍｐａｒｉｓｏｎ ｏｎ ｏｂｊｅｃｔｉｖｅ ｃｒｉｔｅｒｉａ ｏｆ ｆｕｓｅｄ
ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ｄｉｆｆｅｒｅｎｔ ＭＳＤ ｍｅｔｈｏｄｓ
法
４．２ ＮＳＣＴ域中不同活性水平测度分析比较
本实验主要在ＮＳＣＴ域中比较各种不同活性水
平测度的优劣，选取三种不同的方法。第一种方法
是低频分量取平均，高频分量取大，为叙述方便将
（ ）
此方法记作ＮＳＣＴ方法；第二种方法，分别计算图像
低频子带和高频方向子带的ＳＭＬ，以此作为活性水
平测度，选取活性水平’顷０度大的作为融合图像的系
数，将此方法记作ＮＳＣＴ．ＳＭＬ方法；第三种方法，将
低频子带和高频方向子带系数作为ＰＣＮＮ的外部激
励，以神经元点火次数作为活性水平测度，选取具
有较大点火次数的系数作为融合图像的系数，将此
方法记作ＮＳＣＴ—ＰＣＮＮ方法。
图
从图９（ｂ）、１０（ｂ）和ｌｌ（ｂ）的融合结果图像可
以看出ＳＭＬ可以更好地提取图像的边缘等细节信
息，而图９（ｃ）、１０（ｃ）和１ １（ｅ）的融合结果图像更加
的清晰自然，这是由于ＰＣＮＮ神经元的全局耦合和
ｆｄ） （ｅ） （ｆ）
（ａ）ＣＴＩ￣］像．（ｂ１ＭＲＩ［￣像．（ｃ）ＤＷＴｈ法，（ｄ）ＳＩＤＷＴｈ－法，（ｅ）ＣＴ疗法，（ｆ）ＮｓｃＴ方法
脉冲同步发放特性，使得其能更多地利用邻域系数
来选择融合图像的系数。表２给出了基于以上几种
活性水平测度的融合图像的客观评价指标值，从表
中可以看出基于ＮＳＣＴ—ＳＭＬ和ＮＳＣＴ—ＰＣＮＮ方法的
８ 基于不同ＭＳＤ方法的医学图像融合结果
Ｆｉｇ．８ Ｆｕｓｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｍｅｄｉｃａｌ ｉｍａｇｅｓ ｂａｓｅｄ
ｏｎ ｄｉｆｆｅｒｅｎｔ ＭＳＤ ｍｅｔｈｏｄｓ
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法
４．３与典型的ＰＣＮＮ方法比较
２８５
融合图像从源图像中获得了更多的信息，也证明了
在ＮＳＣＴ域中将ＳＭＩ 和ＰＣＮＮ相结合进行图像融合
是一种可行的选择
本实验主要比较几种不同的基于ＰＣＮＮ的图像
融合方法。主要有基于ＣＴ和ＰＣＮＮ的图像融合方
法（ＣＴ—ＰＣＮＮ），基于ＳＩＤＷＴ和ＰＣＮＮ的图像融合方
法（ＳＩＤＷＴ—ＰＣＮＮ），基于ＮＳＣＴ—ＰＣＮＮ的图像融合方
法（ＮＳＣＴ—ＰＣＮＮ）以及本文方法。
图ｌ２给出了红外与可见光图像的融合结果，从
主观视觉上可以发现基于ＳＩＤＷＴ—ＰＣＮＮ、ＮＳＣＴ—ＰＣＮＮ
和ＮＳＣＴ—ＳＭＬ—ＰＣＮＮ方法的融合结果要优于ＣＴ—ＰＣ—
ＮＮ。图１２（ｋ）和（１）分别是图１２（ｄ）与图７（ａ）（ｂ）的
差值图像，从视觉上可以看出本文方法能更好地从可
见光图像提取“树”，从红外图像提取“人”。
（ｈ）
（ａ）ＣＴ－ＰｃＮＮ方法。ｆｂ）ＳＩＤＷＴ－ＰＣＮＮ万祛，【ｃ】ＮＳＣＴ－ＰＣＮＮ万扶，
（ｄ）本文方法，（ｅ×ｇ）（试ｋ）分别为网１２（８Ｈｄ）与网７（ａ）的蔗值罔像，
（ｆ）（ｈ）（ｊＸＩ）分别为图１２（ａ）－（ｄ） 网７（ｂ）的差值图像
图ｌ２ 基于各种ＰＣＮＮ方法的红外与可见光图像融合结果
Ｆｉｇ．１ ２ Ｆｕｓｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｉｎｆｒａｒｅｄ ａｎｄ ｖｉｓｉｂｌｅ
ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ｄｉｆｆｅｒｅｎｔ ＰＣＮＮ ｍｅｔｈｏｄｓ
图ｌ３给出了多聚焦图像的融合结果，主观视觉
上ＳＩＤＷＴ—ＰＣＮＮ、ＮＳＣＴ—ＰＣＮＮ和ＮＳＣＴ—ＳＭＬ—ＰＣＮＮ
方法的融合结果要优于ＣＴ－ＰＣＮＮ，主要是因为ＣＴ
不具有平移不变性。图１３（ｋ）和（１）分别是图Ｉ３
（ｄ）与图６（ａ）和（ｂ）的差值图像，可以发现本文方
法几乎从源图像中提取了源图像所有的聚焦部分
（ｄ） （ｅ） （ｆＪ
（ａ）ＮＳＣＴＴ￣法，（ｂ）ＮＳＣＴ－ＳＭＬ方法．（ｃ１ＮＳＣＴ—Ｋ＇ＮＮ￣Ｊ法，
并且能更好地保持图像的细节信息。
（ｄ） ｎ分别为罔ＩＩ（ａＨｃ）与闱８（ａ）的差值阁像
图ｌ４给出了医学图像的融合结果，四种方法的
主观视觉差别不大。表３给出了以上融合结果的客
观评价指标，结果表明本文方法要优于其余三种方
法，也证明了本文方法的有效性和优越性。
图１ １ 基于不同活性水平测度的医学图像融合结果
Ｆｉｇ．１ １ Ｆｕｓｉｏｎ ｒｅｓｕｌｔｓ ｏｆ ｍｅｄｉｃａｌ ｉｍａｇｅｓ ｂａｓｅｄ
ｄｉｆｆｅｒｅｎｔ ａｃｔｉｖｉｔｙ ｌｅｖｅｌ ｍｅａｓｕｒｅｓ
２８６ 号 处 列 第３３卷
丧２ 琏ｊ：，＿ｆ 同的活性水 洲度的融合图像的样脱 价指标
（ｊ） （ｋ） ＬＩ１
（３ｌ【Ｔ—ＰＣＮＮ，Ｊ ＬＪ，
．
（ｈ１ ＳＩＤＷ ｒ—ＰｅＮＮ Ｊ ，（ｃｌ ＮＳＣＴ—Ｐ（’ＮＮ ．
（ｄ）啦《ｆｊ浊，｛ｅ）Ｉｇ）（１）（ｋ）分圳匀 ＨＩａ１１｛ｄ） Ｊ ８（ａ）∞ …矧豫，
（ｎＩｌ１）｛Ｊ｝ｌｌ】分刺 １４１ａ｝～ （ｄ） Ｉ ｓ（ｈ蚰 簟，｝．ｆ１ 豫
矧１４ 丁符种ＰＣＮＮ 法的 、 像融合纳果
＿ｏｔ’Ｉｌｌ｛ （“Ｌ．ａｌ ｉＩＩＩｔｌ￣｛＇ｓ
Ｊ （：Ｎ Ｎ ｍｅｌｈ｛Ｊ（１ｓ
Ｔａｂ．２ Ｃｏｌｎｐａｔｉｓｏｌｌ ＯｌＩ ｏｌｌｊ￣ ｔ’ｌｉｖｅ ｅｌ’ｉｔｅｒｉａ Ｉ１ｆ ｔｈｓ￣ ｔｌ ｉｍａｇｅｓ
｝ａｓｅｄ ｏｎ ｄｉｆｆｅｒｅｎｔ ａｌｑｉｖｉｔｙ ｌｅｖｅｌ ＩＩＩ｛＇：ＨＳｉｌｌｅｓ
＿＆３ 符ＰＣＮＮ方法的融合 像的客观 价指标
ｌ１）．３（］Ｏｎｌｌ｝ａｌ‘ｉｓｏｎ Ｏ１１ ｉｌｌ￣ｊｅｃｔｉｖｅ ｃｒｉｔｅｒｉａ ｏｔ’ｆｕｓｅ｛ｌ
ｎａｇｅｓ ｌｌａｓｅｌｌ ｏｎ ｄｉｆｆｅｒ￣ ｌｉｔ ＰＣＮＮ ｍｅｔｈｏｄｓ
５ 结论
沦文提出了一种新的牲于ＰＣＮＮ和ＮＳＣＴ的
像融合方法，首先对待融合 像进行ＮＳＣＴ分解以得
到低频子带和高频子带系数，在融合过程Ｌ１１，利用各
子带陶像的平均梯度白适心调节ＰＣＮＮ的链接强度，
埘ｆ低频于带，利用改进托普拉斯能域和作为特征激
励ＰＣＮＮ，对于高频方向子带，采用改进的 问频率
作为ＰｅＮＮ的外部激励，并 选取具有较人点火次数
的系数作为融合图像的系数，最后经逆ＮＳＣ ｒｌ、变换重
佝融合图像。实验结果表【ｆ』Ｊ本文方法尤沦在主观视
觉还是： 观评价标准上都要优于传统的蛙于小波变
换、ｃｏｎｔｏｕｒｌｅｔ变换、ＰＣＮＮ的图像融合方法． ．
参考文献
１ ｉｕ Ｙｕ，Ｌｉｕ Ｓｈｕｐｉｎｇ，Ｖ－…ｒ．．｛ｇＺｅｎｇｆｕ．Ａ【 ｎｅｒａＩ Ｆｒａｌｎｅ—
ＷＯＩ ｋ ｆｉｌｒ Ｉｎｍｇｅ Ｆｕｓｉｏｎ Ｂａｓｅｄ ｏｎ Ｍｕｈｉ＋ｓｔ ａｌＰ ｒｒｒａｌｌＳ￣）ｌ＇ｌｌｌ
￣ｔ ｒｌｄ Ｓｐａｒｓｅ Ｒｅｐｒｅｓｅｎｔａｔｉｏｌ１［Ｊ］．１ｌｆｏｒｍａｔｉｏｎ Ｆｕｓｉｏｎ，
２０ｌ５，２４：ｌ４７一ｌ６４．
Ｂａｃｏ Ｅ．Ｕｋｉｍｕｌ’ａ（） Ｉｈｕｌ Ｅ，ｅｔ ａ１．Ｍａｇｎｅｔｉｃ ｌ｛ｅｓｏｎａｌｌＣｅ
ｈｎａｇｉｎｇ—Ｔｒａｎｓｅ｛‘ｔａＩ Ｕｌｔｌ＇ａｓｏｕｎｄ ｈｎａｇｅ—ｆｕｓｉｏｎ Ｂｉｌ｝ｐｓｉｅｓ Ａ（‘一
｛＇ｔｌｒａ．ｔｌｅＩｖ Ｃｈａｒａｃｔｅｒｉｚｅ ｔｈｅ ｌｎｄｅｘ Ｔｌｌｎｌｏｒ：Ｃｏｌ’１’ｅｌａｌｉｏｎ ｗｉｔｈ
Ｓｔｅｐ—ｓｅｃｔｉｏｎｅｄ Ｒａｌｔｉ｛，ａｌ Ｐｒ｛｝ｓｔａｔｅｅｔｏｍ），Ｓｌｌｅ｛’ｉＩｌｌｅｌ１ｓ ｉｎ Ｉ ３５
Ｐａｌｉｅｎｌｓ［Ｊ］．Ｅｕｒｏｐｅａｎ Ｕｒｏｈ｝ｇｙ，２０１５，６７（４）：７８７—７９４，
第３期 荣传振等：ＮＳＣＴ域内基于自适应ＰＣＮＮ的图像融合新方法 ２８７
［３］ Ｓｔａｔｈａｋｉ Ｔ．１ｎｍｇｅ Ｆｕｓｉｏｎ：Ａｌｇｏｆｉｔｌｍ￣ｓ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎｓ［Ｍ］．
ＵＫ：Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ，２００８．
［Ｊ ６］
Ｃｈａｉ Ｙ．Ｌｉ Ｈ Ｆ．Ｑｕ Ｊ Ｆ．Ｉｍａｇｅ ｆｉｌｓｉｏｎ ｈｅｉｎｅ ｕｓｉｎｇ ａ
ｎｏｖｅｌ ｄｕａｌ—ｃｈａｎｎｅｌ ＰＣＮＮ ｉ ｒａ ｌｉｆｔｉｎｇ ｓｔａｔｉ（ｍａｒｙ ｗａｖｅｌｅｌ ｄｏ—
『４］ Ｇｅｎｎａｒｅｌｌｉ Ｇ，Ａｍｉｎ Ｍ Ｇ，Ｓｏｌｄｏｖｉｅｒｉ Ｆ，ｅｔ ａ１．Ｐａｓｓｉｖｅ
Ｍｕｈｉａｒｒａｙ Ｉｍａｇｅ Ｆｕｓｉｏｎ ｆｏｒ ＲＦ Ｔｏｍｏｇｒａｐｈｙ ｂｙ Ｏｐｐｏｒｔｕｎ—
ｍａｉｎ［Ｊ］．Ｏｐｔ．Ｃｏｎｎｌｌｕｎ．，２０１０，２８３（１９）：３５９１—３６０２．
Ｘｉ．Ｚｈａｏ Ｗｅｉ．Ｃ，ａｏ Ｆｅｉ．ｈｎａｇｅ ｆｔ，ｓｉｏｎ ａｌｇｏｒｉｔｈｍ
［１７］
Ｃａｉ
ｈａｓｅｄ ｏｎ ａｄａｐｔｉｖｅ ｐｕｌｓｅ‘ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒ ｋｓ ｉｎ ｃｕｒ－
ｉｓｔｉｃ Ｓｏｍ＇ｅｅｓ ｌ Ｊ １。ＩＥＥＥ Ｇｅｏｓｃｉｅｎｃｅ＆Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ
Ｌｅｔｔｅｒｓ，２０１５，Ｉ２（３）：６４１—６４５．
ｖｅｌｅｔ ｄｏｍａｉｎ『Ｃ］／／ＩＥＥＥ １Ｏｔｈ Ｉｎｔｅｌ・ｎａｔｉ（）Ｉｌａｌ ＣｏｎｆｅＩ－ｅｎｃｅ
ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，Ｂｅｉｊｉｎｇ．２０１０：８４５—８４８．
［５］Ｑｕ Ｘｉａｏｂｏ，Ｙａｎ Ｊｉｎｇｗｅｎ，Ｘｉａｏ Ｈｏｎｇｚｈｉ，ｃｔ ａ１．Ｉｍａｇｅ ｆｕ—
ｓｉｏｎ ａｌｇｏｒｉｔｌｌｎｌ ｂａｓｅｄ ｏｎ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ—ｎｍｔｉｖａｔｅｄ ｐｕｌｓｅ
［Ｉ８］
Ｑｕ Ｇｕｉｈｏｎｇ，Ｚｈａｎｇ Ｄａｌｉ，Ｙａｎ Ｐｉｎｇｆａｎ．１ａｆｎｒ’ｎ｜ａｔｉｏｎ ｉｎｅａｓｕｒｅ
ｏｆｒ ｐｅｒｆｏｒｍａｒｌ（ ｏｆ ｉｎｍｇｅ ｆｕｓｉｏｎ［Ｊ］．Ｅｌｅ（‘ｔｒｏｎｋ’ｓ Ｌｅｔｔｅｒｓ，
２００２．３８（７）：３１３－３１５．
ｒｏｖｉ Ｖ，Ｘｙｄｅａｓ Ｃ．Ｏｎ ｔｉｌｅ ｅｆｆｅｃｔｓ ｏｔ’ｓｅｎｓｏｒ ｎｏｉｓｅ ｉｎ
［１９］
Ｐｅｔ
ｃｏｕｐｌｅｄ ｎｅｎｒａｌ ｎｅｔｗｏｒｋｓ ｉｎ ｎｏｎｓｕｂｓａｍｐｌｅｄ ｃｏｎｔｏｕｒｌｅｔ
ｔｒａｎｓｆｏｒｍ ｄｏｍａｉｎ『Ｊ］．Ａｃｔａ Ａｕｔｏｍａｔｉｃａ Ｓｉｎｉｃａ，２００８，３４
（１２）：１５０８—１５１４．
『６１ Ｍｉｎｈ Ｎ．Ｄｏ，Ｍａｒｔｉｎ Ｖｅｔｅｒｌｉ．Ｔｈｅ ｃｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ：
ａｎ ｅｆｆｉｃｉｅｎｔ ｄｉｒｅｃｔｉｏｎａｌ ｍｕｈｉｒｅｓｏｌｕｔｉｏｎ ｉｍａｇｅ ｒｅｐｒｅｓｅｎｔａ—
ｐｉｘｅｌ—ｌｅｖｅｌ ｉｍａｇｅ ｆｕｓｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇ ｏｆ
ｔｈｅ ３Ｈｌ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｆｅｎｃｅ ｏｎ Ｉｎｍｇｅ Ｆｕｓｉｏｎ．Ｐａｒｉｓ．
２０００：１４一ｌ９．
ｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００５，
１４（１２）：２０９１—２１０６．
［７］Ａｒｔｈｕｒ Ｌ．ｄａ Ｃｕ，１ｈａ，Ｚｈｏｕ Ｊｉａｎｐｉｎｇ，Ｍｉｎｈ Ｎ．Ｄｏ．Ｔｈｅ
ｎｏｎｓｕｂｓａｍｐｌｅｄ ｅｏｎｔｏｕｒｌｅｔ ｔｒａｎｓｆｏｒｍ：ｔｈｅｏｒｙ，ｄｅｓｉｇｎ，ａｎｄ
作者简介
ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｎ￣．ｅｓｓ—
ｉｎｇ，２００６，１５（１０）：３０８９－３１Ｏ１．
荣传振 男，ｌ９８５年 ，江苏徐州
人。解放军理工大学讲师，主要研究方向
为语音与 像处理。
Ｅ—ｍａｉｌ：ＦＣＺ＠ｆｏｘｍａｉｌ．ＣＯＩ］ｌｌ
［８］ Ｂａｉ Ｘｉａｎｇｚｈｉ，Ｚｈａｎｇ Ｙｕ，Ｚｈｏｕ Ｆｕｇｅｎ，ｅｔ ａ１．Ｑｕａｄｔｒｅｅ—
ｂａｓｅｄ ｍｕｌｔｉ－－ｆｏｃｕｓ ｉｍａｇｅ ｆｕｓｉｏｎ ｕｓｉｎｇ ａ ｗｅｉｇｈｔｅｄ ｆｏｃｕｓ・－
ｍｅａｓｕｒｅ『Ｊ＿．Ｉ．ｆｉ）ｒｍａｔｉｏｎ Ｆｕｓｉｏｎ，２０１５，２２：１０５—１ｌ８．
［９］ Ｊｏｈｎ【Ｊ＿Ｊｏｈｎｓｏｎ，ＭａＬｗ Ｌｏｕ Ｐａｄｇｅｔｔ．ＰＣＮＮ Ｍｏｄｅｌｓ ａｎｄ
Ａｐｐｌｉｃａｔｉｏｎｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｎｅｕｒａｌ Ｎｅｔ—
ｗｏｒｋｓ．１９９９．１０（３）：４８０—４９８．
贾永兴（通信作者） ，３，１９７４年生，
新疆阿克苏人。解放军理工大学教授．主
要研究方向为信号与信息处理。
Ｅ—ｍａｉｌ：ｊｖ．ｘｌ９７４０５＠１６３．ｃｏｎｌ
［１ ０］Ｇａｒｇ Ｒｉｓｈｕ，Ｇｕｐｔａ Ｐｒｅｅｔｉ，Ｋａｕｒ Ｈａｒｖｉｎｄｅｒ．Ｓｕｒｖｅｙ ｏｎ
Ｍｕｈｉ．Ｆｏｃｕｓ Ｉｍａｇｅ Ｆｕｓｉｏｎ Ａｌｇｏｒｉｔｈｍｓ［Ｃ］∥Ｐｒｏｃｅｅｄｉｎｇ ｏｆ
２０１４ Ｒｅｃｅｎｔ Ａｄｖａｎｃｅｓ ｉ ｒａ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｃｏｍｐｕｔａｔｉｏｎａｌ
Ｓｃｉｅｎｃｅｓ．Ｃｈａｎｄｉｇａｒｈ，２０ｌ４：１－５．
［１ １］Ｖｅｙｓｅｌ Ａｓｌａｎｔａｓ，Ａｈｍｅｔ Ｎｕｓｒｃｔ Ｔｏｐｒａｋ．Ａ ｐｉｘｅｌ ｂａｓｅｄ
杨 字 男．１９８４年牛，河北保定
ｎｍｈｉ—ｏｆｃｕｓ ｉｍａｇｅ ｆｕｓｉｏｎ ｍｅｔｈｏｄ［Ｊ］．Ｏｐｔｉｃｓ Ｃｏｍｍｕｎｉｃａ—
ｔｉｏｎｓ．２ｏｌ４，３３２：３５０－３５８，
人 解放军理二［：大学讲师，主要研究方
向为｝１Ｉ标跟踪。
Ｅ—ｎｍｉｌ：ｉｃｈｉｎａ＠ｑｑ．ｃｏｎｌ
［１２］Ｘｉａｎｇ Ｔｉａｎｚｈｕ，Ｙａｈ Ｌｉ，Ｇａｏ Ｒｏｎｇｒｏｎｇ．Ａ ｆｕｓｉｏｎ ａｌｇｏ—
ｒｉｔｈｍ ｆｏｒ ｉｎｆｒａｒｅｄ ａｎｄ ｖｉｓｉｂｌｅ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ ａｄａｐｔｉｖｅ
ｄｕａ１．ｃｈａｎｎｅｌ ｕｎｉｔ．１ｉｎｋｉｎｇ ＰＣＮＮ ｉｎ ＮＳＣＴ ｄｏｍａｉｎ ＪＪ １．
Ｉｎｆｒａｒｅｄ Ｐｈｙｓｉｃｓ＆Ｔｅｃｈｎｏｌｏｇｙ．２０１５，６９：５３—６Ｉ．
朱 莹 女，１９８３年生，江苏镇江
［１ ３］Ｈｕａｎｇ Ｗｅｉ，Ｊｉｎｇ Ｚｈｏｎｇｌｉａｎｇ．Ｅｖａｌｕａｔｉｏｎ ｏｆ ｆｏｃｕｓ ｎｌｅａｓ—
ｕｒｅｓ ｉｎ ｎｍｈｉ—ｆｏｃｕｓ ｉｍａｇｅ ｆｕｓｉｏｎ［Ｊ］．Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ
Ｌｅｔｔｅｒ＇ｓ，２００７．２８：４９３—５ＯＨＤ．
人 解放军理工大学讲师，主要研究方向
为图像处理～
Ｅ－ｍａｉｌ：ｚｙｉｎｇ＠１６３．（＇０１１１
『１ ４］Ｄａｓ Ｓｕｄｅｂ，Ｋｕｎｄｕ Ｍａｌａｙ Ｋｕｍａｒ．ＮＳＣＴ－ｂａｓｅｄ ｍｕｈｉｍｏ—
ｄａｌ ｍｅｄｉｃａｌ ｉｍａｇｅ ｆｕｓｉｏｎ ｕｓｉｎｇ ｐｕｌｓｅ・－ｃｏｕｐｌｅｄ ｎｅｕｒａｌ ｎｅｔ－－
ｗｏｒｋ ａｎｄ ｍｏｄｉｉｆｅｄ ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ［Ｊ］．Ｍｅｄ．Ｂｉｏ１．
Ｅｎｇ．Ｃｏｍｐｕｔ．，２０１２，５０（１０）：１１０５－１１１４．
王渊女，１９８４年生，江苏连云港
人。解放军理工大学讲师，主要研究方向
为图像处理。
Ｅ－ｍａｉｌ：ｌｉｎｙｕａｎｊｕ４４５５＠１ ６３．（＇ｏｎｌ
［１５］Ｋｏｎｇ Ｗｅｉｗｅｉ，Ｚｈａｎｇ Ｌｏｎｇｊｕｎ，Ｌｅｉ Ｙａｎｇ．Ｎｏｖｅｌ ｆｌｌｓｉｏｎ
ｍｅｔｈｏｄ ｆｏｒ ｖｉｓｉｂｌｅ ｌｉｇｈｔ ａｎｄ ｉｎｆｒａｒｅｄ ｉｍａｇｅｓ ｂａｓｅｄ ｏｎ
ＮＳＳＴ—ＳＦ—ＰＣＮＮ［Ｊ］．Ｉｎｆｒａｒｅｄ Ｐｈｙｓ．Ｔｅｃｌｅｒｅ１．，２０ １４，
６５：ｌ０３—１ｌ２．