最新消息: USBMI致力于为网友们分享Windows、安卓、IOS等主流手机系统相关的资讯以及评测、同时提供相关教程、应用、软件下载等服务。

连续小波过程神经元网络在非线性函数逼近的应用

IT圈 admin 37浏览 0评论

2024年4月23日发(作者:母夏璇)

第33卷第3期 

201011 ̄9 

。 一一一一= 一…=.=一 ,一:一一一

长脊 工人学学报(闩然利学版) 

Journal el’Chang ̄hun University ur Science and Tt ̄ohnology(Natural Soi ̄n ̄ ̄Edition) 

=: ====…=. ’.____一一=: …一 ‘… 

\L)l 33 NO,; 

Sep.20i0 

连续小波过程神经元网络在非线性函数逼近的应用 

刘金月 ,祝宝玲 

(1,东北石油大学计算机与信息技术学院,大庆16331g 2.吉林油m公司天然气地而T稚建设项 绎 部,松原l38000) 

摘要:建立舔于BP叫络的连续小波过程神经元恻络模 ,分析I】cj4络抒i扑 构。给…学)J 。模 根据_刈络逼 

近函数特性,选取Morlet函数作为隐层结点激励两数,利用LMS算法训练M络权位、八度 rj=¨、¨;㈧J ,输出 

层采用线性函数,使网络兼具过程神经元网络和小波变欹优点。分州 连续小波过 冲经/ ;引:;㈨J】l 

非线性函数,仿真结果表明,小波网络逼近精度明显优于BP网耋}} 

‘ 

文章编 :1672-9870(2010)07,一{)】41)一1)2 

关键词:小波变换:过程神经元网络;函数逼近 

巾闺分类号:TPl83 文献标识码:A 

ContinuousⅥ, Iet Process Neural Networks in the 

Application of Approximating Nonlinear Functions 

LIU Jinyue ,ZHU Baoling 

(1.Computer and Informat:ca T ̄lmology College,Northeast Petroleum University,Daqing l 633 l 8: 

2.Natural Gas Surface Engineering Proj ̄t Management Department of Jilin Oilifeld Company・Songyuan 1 3800) 

AbsU’act:The paper established the continuous wavelet process rteuxal networks model based on RP tlctwor[<,analyzed 

topology structure of the network and gax c learning algorithm.According to approximating fimotion characteristics o J’the 

he,york,theMorletwaveletfunctionwas employedas activationfunctioninthehidden node,networkweights,scalefac— 

tor and displacement factor were trained by using LMS algorihm。ltinear function、Vas adopted in the output laye r ,so LI1c 

continuous wavelet process neural networks had better characters combining wih twa、,elet transfornl and neural network The 

continuous wavelet process neur ̄networks and BP network were used in approxinaating the S ̄lile nonlhaeat-functioil rcspc ̄。 

tively,the result showed hat tthe wavelet networks had better erpformance than BP network in the approximation acctll。acy 

Key words:wavelet transform process neural networks:function approximat:on 

近年来,非线性系统的研究成为国内外科学研 

究的热点问题…,要解决这类问题,传统方法一般 

需要建立较为复杂的数学模型或采用经验统计公 

式,但甜于有较多影响因素的复杂非线性问题,山 

移因子,通过对1 线性辨识问题进行仿真实验, 

取得了令人满意的结果。 

l 网络模型 

连续小波过稃神终 网络结构以小波分忻作为 

论依拂:,小波变化必颂存 反 

“容许条件”n , 

, 西物。。 

间L ( )rf1,选择 ,’个 小湫 数I/l( ),什 

于缺乏先验理论和知识,传统方法普遍存在建模困 

难、适应性差且求解难度人等问题[2】。本文采用连 

续小波过程神经元网络埘非线性系统进行建模,将 

小波变换与PNN(过程神经元网络)进行藕合构造 

网络模型,采J{j具有良好时频局域化特性的小波函 

数作为隐层结点的激励函数,利用LMS(Least 

Mean Squares)算法n 训练 络权值、尺度因了和 

C 

’ 

jw} 

【w)I。d14'.7 cx9 

式中 (w)为 x)ffJ Fourier变换。刈 (x)作f【{J 、 l 

收稿H划:2010.03.22 

作 简介:刘金,f_j(1978・),女,硕 J ,讲师,_中要从m人 I 智能和神绎l叫络力面的研究,E-mail:liujinyuc200I@163 c 

第3期 刘金月,等:连续小波过程神经九 络在_ 线性 数趟近的廊川 14 

移变换得到小波基函数系{ . (X)), 

【 J .a≠o) 

其中,a为伸缩因子,b为平移因子。 

对任意厂 )∈ 2( ),其连续小波变换定义为 

,6) 告 吐 Jdx 

其重构公式为: 

吉量 如 

在实际应用中,尤其是在计算机上实现时,连 

续小波变换必须加以离散化。 

连续小波过程神经元网络是以小波基函数为神 

经元激励函数的前馈网络模型,信号表示是通过所 

选取的小波基进行线性叠加实现。设过程神经元l叫 

络 的输入为 r)= (,), (,),…, r)),期望输 

出为 r), r)、 ,)∈[O,力,.[O,7’]为系统 

过程输入区间。为空剧的一组小波基,则可在该 

组基函数下按照给定精度表示为有限项的展开形 

式。设其展开式为: 

沪 f) 

嘲络拓扑结构如图1所示,网络输入层n个节 

点单元,用于完成n个时变函数 。(f), O), 

, 。

(f))向网络的输入;第一隐层(过程神经元隐 

层)有 个节点,完成对个n输入函数在空间.卜的 

加权聚合和对时间过程效应的累积运算, 为输入 

层到过程神经元隐层的权熏系数;第二隐层(一般 

非时变神经元隐层)有L个节点,用于提高网络对 

系统输入输出之间复杂关系的非线性映射能力, 

为过程神经元隐层到‘般非时变神经元隐层的权晕 

系数:输出层用于完成系统输}I{。 

兰 

冈1 连续小波过 神经元蚓络拓扑结构图 

Fig.1 Topological structure diagram of the continuous 

wavelet process neural networks 

2学习算法 

步1选取输入空问小波基函数 (f), :(,), 

6『(f),将输入函数和网络连接权函数表示为尽 

函数的展开形式; 

步2给定网络学习误差精度£,累积学习迭代 

次数s=0,学习最人达代次数M: 

步3初始化网络连接权俏和激励l 值: 

步4 南下式计算误差函数E,式llI,以为筇 

个函数样本的期望输}}{, 为网络的实际输m。如 

粜E<£或s>M转步6,否则转步5; 

K 

E=∑ 一 )2 

k。l 

步5采用LMS算法修正连接权值和激励阅 

值,s+l—s,转步4: 

步6输m学习结果,幺 束、 

3 应用举例 

依照上述网络模型,对非线性函数i/'(x)=sint2n 

x)+3cos(2m ̄)进伯 雨数逼近,在[一1,1] l 

I:,每隔0 O5选墩一点作为网络学爿样小,隐层神 

经元的激活函数采用Morlet小波函数 )=(1 

一 已 “,输一{层神经元激活函数为线性函数;网络 

拓扑结构为!一l0一l,即1个输入*点,1O个过莉! 

神经元隐层节点,1个输出节点。网络的初始权位 

由随机函数RA D()给IlI{,学习精度£=0.01,学习 

最大迭代次数M=50。 

j\ 

、|x 

t ’  f

‘ f 

{ ._ ll1 { 、

-』 L— 一一

. 

广——— 丁———— ———— —

… .一一一i 

 t

lt; _^ 

2 BP同络 数 J剖,3 ,J、波过稃 野 

逼近 线 l叫络函数逼近 线 

Fig.2 Function approx- Fig.3 Function approxim-・ 

imation curve of BP ation curve of WPNN 

分别用同等规模的BP网络和连续小波过程神经 

元网络逼近上述1 线性函数,图2是采用BP嘲络的 

仿真结果,其中‘一’代表网络的目标曲线, ‘+’ 

代表网络的期望输出,网络均方差MSE=0.009081; 

3是采片j连续小波过程神经元网络进行的仿真结 

果,网络均方筹MSE=O.003162。从实验 果町以 

看出,小波神经I叫络综合了小波分析币¨ 经 络的 

优点,误差分 均匀,具有刈数据进行时棚 化 

分析及自学习能,』,小波网 谛{斤一 ‘而I t 

好于BP 络。 

(1、 I 5 2j , 

k夼 工人学学报(向然科学版) 

3 网络自主学习评价系统实现 

根据以上建立的学牛自主学习评价指标体系, 

借助教师和专家的问卷调企确定评价指标体系中二 

级指标对一级指标的影响权重,找出影响度高的前 

五项指标分别是:学习能力、应用能力、创新能 

力、自觉性和平时测验。冉通过计算机web日志挖 

掘采集到的每个学牛白 !学刊的 上访问记录与该 

生的五项指标进行模糊判别,找}Ij那些这五项指标 

处于较好评价的学生的自主学习网上访问特点以及 

处于较差评价学生的恻上访问特点,分别形成数据 

库,从而在网络课程建设中借助该数据库埘每个学 

牛的自丰学习方式评价,有针对性地引导学牛,根 

据所学专业和学习日的的不同,选择高效率的网.卜 

访问学习模式。 

通过B,w/A/【)和C/S结合的结合使用,在Re. 

sin+Oraele+JSP的操作模式下,以Drcamweaver 

Mx作为编写代码的 具软件,动态和静态的有机 

结合,采用Oracle数据库,实现该网络自主学 评 

价系统网络教学平台的实现。其中Java、JavaBean 

和JDBC等技术解决了该程序设计不受平台影响的 

问题 。 

(上接第141页) 

4结论 

本文提出用连续小波过程神经元网络模型逼近 

非线性函数,提高了网络对系统输入输出之间复杂 

关系的映射能力,仿真实验表明,该方法在仿真精 

度.h明显优于同等规模的BP网络,提高了网络的 

学习效率,为非线性系统建模提供了一种新方法。 

参考文献 

[1] _丁美玲,张长江,付梦印,等. 种用丁非线 I:函数遛近 

的小波神经网络算法仿真[J]北京理 人学学报,2002 

4结束语 

该系统虽然 经进行了初步的试用,效果良 

好,但在进行动态评价时,由.丁同前还缺乏一定的 

技术支持,有些涉及情感、态度、体验的内容,兀 

法由机器代替教师进行模糊评价 而H从评价IIJ我 

们发现,学生文件夹的质 有铀:提高 学中创作 

文什央质量参筹 齐,有的能较好地摊教IJj1j璎水!, 

成,有的却内容不个,直接影口向评价效 。但 :该 

系统的研究初期人机互动评价,缺失数掘的人为添 

加都是不可避免的。在今后的 惭深入训'i- ̄[T rI 

中,我们相信通过数掘库的不断充善,系统 能化 

水平的不断提高,最终会达到…种客观 良实的评价 

效果。 

参考文献 

[1]姜振 .网络学 缋效评价系统的设训’与实施[J]l湖州 

师范学院学报,2008(2):124-127. 

[2]郝耀军,程 忠,张世禄.网络课程模糊评价系统的设计 

与实现[J]现代教伶技术,2007(3):58.61 

[3]侯丽平对网络学习 形啦竹评价硬 价不 :  j

设计[D]北京交j砸人学.2007 

[4] 长l5U.基 r枞糊理论 J 次分 法的川络教学 一 ¨i I 

宄LDj毕尔纠 .L人学,200o 

6:275-278 

[2]何新贵,许少华.输入输出均为时变 数的过秤神 网 

络及应用[J].软什学报,2003,14(4):764.769 

[3]孙娟,_千俊,刘斌.幕 J 对误差互 I关函数的变步长 

LMS算法[J]系统上稃与l 子技术,2008,30(12):2316 

2320. 

[4]周伟,棒林,周林,等 MATLAB小波分析高级技术[M] 

西安:西安电J 科技人学…版社,2006,l:5.6 

L5J HEXinGui,XU ShaoHua,LIANG JiuZhen,et al PI‘ocess 

neural networks Theory and Applications[M J springm , 

2008,2:28-3l 

[6] K虹,“ ,j: f \lattab l』- , . 、 . J '

H{[M].北京:… I.业I山I版}ll,2004,1:26—27 

2024年4月23日发(作者:母夏璇)

第33卷第3期 

201011 ̄9 

。 一一一一= 一…=.=一 ,一:一一一

长脊 工人学学报(闩然利学版) 

Journal el’Chang ̄hun University ur Science and Tt ̄ohnology(Natural Soi ̄n ̄ ̄Edition) 

=: ====…=. ’.____一一=: …一 ‘… 

\L)l 33 NO,; 

Sep.20i0 

连续小波过程神经元网络在非线性函数逼近的应用 

刘金月 ,祝宝玲 

(1,东北石油大学计算机与信息技术学院,大庆16331g 2.吉林油m公司天然气地而T稚建设项 绎 部,松原l38000) 

摘要:建立舔于BP叫络的连续小波过程神经元恻络模 ,分析I】cj4络抒i扑 构。给…学)J 。模 根据_刈络逼 

近函数特性,选取Morlet函数作为隐层结点激励两数,利用LMS算法训练M络权位、八度 rj=¨、¨;㈧J ,输出 

层采用线性函数,使网络兼具过程神经元网络和小波变欹优点。分州 连续小波过 冲经/ ;引:;㈨J】l 

非线性函数,仿真结果表明,小波网络逼近精度明显优于BP网耋}} 

‘ 

文章编 :1672-9870(2010)07,一{)】41)一1)2 

关键词:小波变换:过程神经元网络;函数逼近 

巾闺分类号:TPl83 文献标识码:A 

ContinuousⅥ, Iet Process Neural Networks in the 

Application of Approximating Nonlinear Functions 

LIU Jinyue ,ZHU Baoling 

(1.Computer and Informat:ca T ̄lmology College,Northeast Petroleum University,Daqing l 633 l 8: 

2.Natural Gas Surface Engineering Proj ̄t Management Department of Jilin Oilifeld Company・Songyuan 1 3800) 

AbsU’act:The paper established the continuous wavelet process rteuxal networks model based on RP tlctwor[<,analyzed 

topology structure of the network and gax c learning algorithm.According to approximating fimotion characteristics o J’the 

he,york,theMorletwaveletfunctionwas employedas activationfunctioninthehidden node,networkweights,scalefac— 

tor and displacement factor were trained by using LMS algorihm。ltinear function、Vas adopted in the output laye r ,so LI1c 

continuous wavelet process neural networks had better characters combining wih twa、,elet transfornl and neural network The 

continuous wavelet process neur ̄networks and BP network were used in approxinaating the S ̄lile nonlhaeat-functioil rcspc ̄。 

tively,the result showed hat tthe wavelet networks had better erpformance than BP network in the approximation acctll。acy 

Key words:wavelet transform process neural networks:function approximat:on 

近年来,非线性系统的研究成为国内外科学研 

究的热点问题…,要解决这类问题,传统方法一般 

需要建立较为复杂的数学模型或采用经验统计公 

式,但甜于有较多影响因素的复杂非线性问题,山 

移因子,通过对1 线性辨识问题进行仿真实验, 

取得了令人满意的结果。 

l 网络模型 

连续小波过稃神终 网络结构以小波分忻作为 

论依拂:,小波变化必颂存 反 

“容许条件”n , 

, 西物。。 

间L ( )rf1,选择 ,’个 小湫 数I/l( ),什 

于缺乏先验理论和知识,传统方法普遍存在建模困 

难、适应性差且求解难度人等问题[2】。本文采用连 

续小波过程神经元网络埘非线性系统进行建模,将 

小波变换与PNN(过程神经元网络)进行藕合构造 

网络模型,采J{j具有良好时频局域化特性的小波函 

数作为隐层结点的激励函数,利用LMS(Least 

Mean Squares)算法n 训练 络权值、尺度因了和 

C 

’ 

jw} 

【w)I。d14'.7 cx9 

式中 (w)为 x)ffJ Fourier变换。刈 (x)作f【{J 、 l 

收稿H划:2010.03.22 

作 简介:刘金,f_j(1978・),女,硕 J ,讲师,_中要从m人 I 智能和神绎l叫络力面的研究,E-mail:liujinyuc200I@163 c 

第3期 刘金月,等:连续小波过程神经九 络在_ 线性 数趟近的廊川 14 

移变换得到小波基函数系{ . (X)), 

【 J .a≠o) 

其中,a为伸缩因子,b为平移因子。 

对任意厂 )∈ 2( ),其连续小波变换定义为 

,6) 告 吐 Jdx 

其重构公式为: 

吉量 如 

在实际应用中,尤其是在计算机上实现时,连 

续小波变换必须加以离散化。 

连续小波过程神经元网络是以小波基函数为神 

经元激励函数的前馈网络模型,信号表示是通过所 

选取的小波基进行线性叠加实现。设过程神经元l叫 

络 的输入为 r)= (,), (,),…, r)),期望输 

出为 r), r)、 ,)∈[O,力,.[O,7’]为系统 

过程输入区间。为空剧的一组小波基,则可在该 

组基函数下按照给定精度表示为有限项的展开形 

式。设其展开式为: 

沪 f) 

嘲络拓扑结构如图1所示,网络输入层n个节 

点单元,用于完成n个时变函数 。(f), O), 

, 。

(f))向网络的输入;第一隐层(过程神经元隐 

层)有 个节点,完成对个n输入函数在空间.卜的 

加权聚合和对时间过程效应的累积运算, 为输入 

层到过程神经元隐层的权熏系数;第二隐层(一般 

非时变神经元隐层)有L个节点,用于提高网络对 

系统输入输出之间复杂关系的非线性映射能力, 

为过程神经元隐层到‘般非时变神经元隐层的权晕 

系数:输出层用于完成系统输}I{。 

兰 

冈1 连续小波过 神经元蚓络拓扑结构图 

Fig.1 Topological structure diagram of the continuous 

wavelet process neural networks 

2学习算法 

步1选取输入空问小波基函数 (f), :(,), 

6『(f),将输入函数和网络连接权函数表示为尽 

函数的展开形式; 

步2给定网络学习误差精度£,累积学习迭代 

次数s=0,学习最人达代次数M: 

步3初始化网络连接权俏和激励l 值: 

步4 南下式计算误差函数E,式llI,以为筇 

个函数样本的期望输}}{, 为网络的实际输m。如 

粜E<£或s>M转步6,否则转步5; 

K 

E=∑ 一 )2 

k。l 

步5采用LMS算法修正连接权值和激励阅 

值,s+l—s,转步4: 

步6输m学习结果,幺 束、 

3 应用举例 

依照上述网络模型,对非线性函数i/'(x)=sint2n 

x)+3cos(2m ̄)进伯 雨数逼近,在[一1,1] l 

I:,每隔0 O5选墩一点作为网络学爿样小,隐层神 

经元的激活函数采用Morlet小波函数 )=(1 

一 已 “,输一{层神经元激活函数为线性函数;网络 

拓扑结构为!一l0一l,即1个输入*点,1O个过莉! 

神经元隐层节点,1个输出节点。网络的初始权位 

由随机函数RA D()给IlI{,学习精度£=0.01,学习 

最大迭代次数M=50。 

j\ 

、|x 

t ’  f

‘ f 

{ ._ ll1 { 、

-』 L— 一一

. 

广——— 丁———— ———— —

… .一一一i 

 t

lt; _^ 

2 BP同络 数 J剖,3 ,J、波过稃 野 

逼近 线 l叫络函数逼近 线 

Fig.2 Function approx- Fig.3 Function approxim-・ 

imation curve of BP ation curve of WPNN 

分别用同等规模的BP网络和连续小波过程神经 

元网络逼近上述1 线性函数,图2是采用BP嘲络的 

仿真结果,其中‘一’代表网络的目标曲线, ‘+’ 

代表网络的期望输出,网络均方差MSE=0.009081; 

3是采片j连续小波过程神经元网络进行的仿真结 

果,网络均方筹MSE=O.003162。从实验 果町以 

看出,小波神经I叫络综合了小波分析币¨ 经 络的 

优点,误差分 均匀,具有刈数据进行时棚 化 

分析及自学习能,』,小波网 谛{斤一 ‘而I t 

好于BP 络。 

(1、 I 5 2j , 

k夼 工人学学报(向然科学版) 

3 网络自主学习评价系统实现 

根据以上建立的学牛自主学习评价指标体系, 

借助教师和专家的问卷调企确定评价指标体系中二 

级指标对一级指标的影响权重,找出影响度高的前 

五项指标分别是:学习能力、应用能力、创新能 

力、自觉性和平时测验。冉通过计算机web日志挖 

掘采集到的每个学牛白 !学刊的 上访问记录与该 

生的五项指标进行模糊判别,找}Ij那些这五项指标 

处于较好评价的学生的自主学习网上访问特点以及 

处于较差评价学生的恻上访问特点,分别形成数据 

库,从而在网络课程建设中借助该数据库埘每个学 

牛的自丰学习方式评价,有针对性地引导学牛,根 

据所学专业和学习日的的不同,选择高效率的网.卜 

访问学习模式。 

通过B,w/A/【)和C/S结合的结合使用,在Re. 

sin+Oraele+JSP的操作模式下,以Drcamweaver 

Mx作为编写代码的 具软件,动态和静态的有机 

结合,采用Oracle数据库,实现该网络自主学 评 

价系统网络教学平台的实现。其中Java、JavaBean 

和JDBC等技术解决了该程序设计不受平台影响的 

问题 。 

(上接第141页) 

4结论 

本文提出用连续小波过程神经元网络模型逼近 

非线性函数,提高了网络对系统输入输出之间复杂 

关系的映射能力,仿真实验表明,该方法在仿真精 

度.h明显优于同等规模的BP网络,提高了网络的 

学习效率,为非线性系统建模提供了一种新方法。 

参考文献 

[1] _丁美玲,张长江,付梦印,等. 种用丁非线 I:函数遛近 

的小波神经网络算法仿真[J]北京理 人学学报,2002 

4结束语 

该系统虽然 经进行了初步的试用,效果良 

好,但在进行动态评价时,由.丁同前还缺乏一定的 

技术支持,有些涉及情感、态度、体验的内容,兀 

法由机器代替教师进行模糊评价 而H从评价IIJ我 

们发现,学生文件夹的质 有铀:提高 学中创作 

文什央质量参筹 齐,有的能较好地摊教IJj1j璎水!, 

成,有的却内容不个,直接影口向评价效 。但 :该 

系统的研究初期人机互动评价,缺失数掘的人为添 

加都是不可避免的。在今后的 惭深入训'i- ̄[T rI 

中,我们相信通过数掘库的不断充善,系统 能化 

水平的不断提高,最终会达到…种客观 良实的评价 

效果。 

参考文献 

[1]姜振 .网络学 缋效评价系统的设训’与实施[J]l湖州 

师范学院学报,2008(2):124-127. 

[2]郝耀军,程 忠,张世禄.网络课程模糊评价系统的设计 

与实现[J]现代教伶技术,2007(3):58.61 

[3]侯丽平对网络学习 形啦竹评价硬 价不 :  j

设计[D]北京交j砸人学.2007 

[4] 长l5U.基 r枞糊理论 J 次分 法的川络教学 一 ¨i I 

宄LDj毕尔纠 .L人学,200o 

6:275-278 

[2]何新贵,许少华.输入输出均为时变 数的过秤神 网 

络及应用[J].软什学报,2003,14(4):764.769 

[3]孙娟,_千俊,刘斌.幕 J 对误差互 I关函数的变步长 

LMS算法[J]系统上稃与l 子技术,2008,30(12):2316 

2320. 

[4]周伟,棒林,周林,等 MATLAB小波分析高级技术[M] 

西安:西安电J 科技人学…版社,2006,l:5.6 

L5J HEXinGui,XU ShaoHua,LIANG JiuZhen,et al PI‘ocess 

neural networks Theory and Applications[M J springm , 

2008,2:28-3l 

[6] K虹,“ ,j: f \lattab l』- , . 、 . J '

H{[M].北京:… I.业I山I版}ll,2004,1:26—27 

发布评论

评论列表 (0)

  1. 暂无评论