2024年4月23日发(作者:母夏璇)
第33卷第3期
201011 ̄9
。 一一一一= 一…=.=一 ,一:一一一
长脊 工人学学报(闩然利学版)
Journal el’Chang ̄hun University ur Science and Tt ̄ohnology(Natural Soi ̄n ̄ ̄Edition)
=: ====…=. ’.____一一=: …一 ‘…
\L)l 33 NO,;
Sep.20i0
连续小波过程神经元网络在非线性函数逼近的应用
刘金月 ,祝宝玲
(1,东北石油大学计算机与信息技术学院,大庆16331g 2.吉林油m公司天然气地而T稚建设项 绎 部,松原l38000)
摘要:建立舔于BP叫络的连续小波过程神经元恻络模 ,分析I】cj4络抒i扑 构。给…学)J 。模 根据_刈络逼
近函数特性,选取Morlet函数作为隐层结点激励两数,利用LMS算法训练M络权位、八度 rj=¨、¨;㈧J ,输出
层采用线性函数,使网络兼具过程神经元网络和小波变欹优点。分州 连续小波过 冲经/ ;引:;㈨J】l
一
非线性函数,仿真结果表明,小波网络逼近精度明显优于BP网耋}}
‘
文章编 :1672-9870(2010)07,一{)】41)一1)2
关键词:小波变换:过程神经元网络;函数逼近
巾闺分类号:TPl83 文献标识码:A
ContinuousⅥ, Iet Process Neural Networks in the
Application of Approximating Nonlinear Functions
LIU Jinyue ,ZHU Baoling
(1.Computer and Informat:ca T ̄lmology College,Northeast Petroleum University,Daqing l 633 l 8:
2.Natural Gas Surface Engineering Proj ̄t Management Department of Jilin Oilifeld Company・Songyuan 1 3800)
AbsU’act:The paper established the continuous wavelet process rteuxal networks model based on RP tlctwor[<,analyzed
topology structure of the network and gax c learning algorithm.According to approximating fimotion characteristics o J’the
he,york,theMorletwaveletfunctionwas employedas activationfunctioninthehidden node,networkweights,scalefac—
tor and displacement factor were trained by using LMS algorihm。ltinear function、Vas adopted in the output laye r ,so LI1c
continuous wavelet process neural networks had better characters combining wih twa、,elet transfornl and neural network The
continuous wavelet process neur ̄networks and BP network were used in approxinaating the S ̄lile nonlhaeat-functioil rcspc ̄。
tively,the result showed hat tthe wavelet networks had better erpformance than BP network in the approximation acctll。acy
Key words:wavelet transform process neural networks:function approximat:on
近年来,非线性系统的研究成为国内外科学研
究的热点问题…,要解决这类问题,传统方法一般
需要建立较为复杂的数学模型或采用经验统计公
式,但甜于有较多影响因素的复杂非线性问题,山
移因子,通过对1 线性辨识问题进行仿真实验,
取得了令人满意的结果。
l 网络模型
连续小波过稃神终 网络结构以小波分忻作为
论依拂:,小波变化必颂存 反
“容许条件”n ,
, 西物。。
间L ( )rf1,选择 ,’个 小湫 数I/l( ),什
于缺乏先验理论和知识,传统方法普遍存在建模困
难、适应性差且求解难度人等问题[2】。本文采用连
续小波过程神经元网络埘非线性系统进行建模,将
小波变换与PNN(过程神经元网络)进行藕合构造
网络模型,采J{j具有良好时频局域化特性的小波函
数作为隐层结点的激励函数,利用LMS(Least
Mean Squares)算法n 训练 络权值、尺度因了和
C
’
jw}
【w)I。d14'.7 cx9
式中 (w)为 x)ffJ Fourier变换。刈 (x)作f【{J 、 l
收稿H划:2010.03.22
作 简介:刘金,f_j(1978・),女,硕 J ,讲师,_中要从m人 I 智能和神绎l叫络力面的研究,E-mail:liujinyuc200I@163 c
第3期 刘金月,等:连续小波过程神经九 络在_ 线性 数趟近的廊川 14
移变换得到小波基函数系{ . (X)),
【 J .a≠o)
其中,a为伸缩因子,b为平移因子。
对任意厂 )∈ 2( ),其连续小波变换定义为
,6) 告 吐 Jdx
其重构公式为:
:
吉量 如
在实际应用中,尤其是在计算机上实现时,连
续小波变换必须加以离散化。
连续小波过程神经元网络是以小波基函数为神
经元激励函数的前馈网络模型,信号表示是通过所
选取的小波基进行线性叠加实现。设过程神经元l叫
络 的输入为 r)= (,), (,),…, r)),期望输
出为 r), r)、 ,)∈[O,力,.[O,7’]为系统
过程输入区间。为空剧的一组小波基,则可在该
组基函数下按照给定精度表示为有限项的展开形
式。设其展开式为:
沪 f)
嘲络拓扑结构如图1所示,网络输入层n个节
点单元,用于完成n个时变函数 。(f), O),
…
, 。
(f))向网络的输入;第一隐层(过程神经元隐
层)有 个节点,完成对个n输入函数在空间.卜的
加权聚合和对时间过程效应的累积运算, 为输入
层到过程神经元隐层的权熏系数;第二隐层(一般
非时变神经元隐层)有L个节点,用于提高网络对
系统输入输出之间复杂关系的非线性映射能力,
为过程神经元隐层到‘般非时变神经元隐层的权晕
系数:输出层用于完成系统输}I{。
兰
冈1 连续小波过 神经元蚓络拓扑结构图
Fig.1 Topological structure diagram of the continuous
wavelet process neural networks
2学习算法
步1选取输入空问小波基函数 (f), :(,),
…
,
6『(f),将输入函数和网络连接权函数表示为尽
函数的展开形式;
步2给定网络学习误差精度£,累积学习迭代
次数s=0,学习最人达代次数M:
步3初始化网络连接权俏和激励l 值:
步4 南下式计算误差函数E,式llI,以为筇
个函数样本的期望输}}{, 为网络的实际输m。如
粜E<£或s>M转步6,否则转步5;
K
E=∑ 一 )2
k。l
步5采用LMS算法修正连接权值和激励阅
值,s+l—s,转步4:
步6输m学习结果,幺 束、
3 应用举例
依照上述网络模型,对非线性函数i/'(x)=sint2n
x)+3cos(2m ̄)进伯 雨数逼近,在[一1,1] l
.
I:,每隔0 O5选墩一点作为网络学爿样小,隐层神
经元的激活函数采用Morlet小波函数 )=(1
一 已 “,输一{层神经元激活函数为线性函数;网络
拓扑结构为!一l0一l,即1个输入*点,1O个过莉!
神经元隐层节点,1个输出节点。网络的初始权位
由随机函数RA D()给IlI{,学习精度£=0.01,学习
最大迭代次数M=50。
j\
、|x
t ’ f
‘ f
{ ._ ll1 { 、
—
-』 L— 一一
.
广——— 丁———— ———— —
… .一一一i
t
lt; _^
2 BP同络 数 J剖,3 ,J、波过稃 野
逼近 线 l叫络函数逼近 线
Fig.2 Function approx- Fig.3 Function approxim-・
imation curve of BP ation curve of WPNN
分别用同等规模的BP网络和连续小波过程神经
元网络逼近上述1 线性函数,图2是采用BP嘲络的
仿真结果,其中‘一’代表网络的目标曲线, ‘+’
代表网络的期望输出,网络均方差MSE=0.009081;
3是采片j连续小波过程神经元网络进行的仿真结
果,网络均方筹MSE=O.003162。从实验 果町以
看出,小波神经I叫络综合了小波分析币¨ 经 络的
优点,误差分 均匀,具有刈数据进行时棚 化
分析及自学习能,』,小波网 谛{斤一 ‘而I t
好于BP 络。
(1、 I 5 2j ,
k夼 工人学学报(向然科学版)
3 网络自主学习评价系统实现
根据以上建立的学牛自主学习评价指标体系,
借助教师和专家的问卷调企确定评价指标体系中二
级指标对一级指标的影响权重,找出影响度高的前
五项指标分别是:学习能力、应用能力、创新能
力、自觉性和平时测验。冉通过计算机web日志挖
掘采集到的每个学牛白 !学刊的 上访问记录与该
生的五项指标进行模糊判别,找}Ij那些这五项指标
处于较好评价的学生的自主学习网上访问特点以及
处于较差评价学生的恻上访问特点,分别形成数据
库,从而在网络课程建设中借助该数据库埘每个学
牛的自丰学习方式评价,有针对性地引导学牛,根
据所学专业和学习日的的不同,选择高效率的网.卜
访问学习模式。
通过B,w/A/【)和C/S结合的结合使用,在Re.
sin+Oraele+JSP的操作模式下,以Drcamweaver
Mx作为编写代码的 具软件,动态和静态的有机
结合,采用Oracle数据库,实现该网络自主学 评
价系统网络教学平台的实现。其中Java、JavaBean
和JDBC等技术解决了该程序设计不受平台影响的
问题 。
(上接第141页)
4结论
本文提出用连续小波过程神经元网络模型逼近
非线性函数,提高了网络对系统输入输出之间复杂
关系的映射能力,仿真实验表明,该方法在仿真精
度.h明显优于同等规模的BP网络,提高了网络的
学习效率,为非线性系统建模提供了一种新方法。
参考文献
[1] _丁美玲,张长江,付梦印,等. 种用丁非线 I:函数遛近
的小波神经网络算法仿真[J]北京理 人学学报,2002
4结束语
该系统虽然 经进行了初步的试用,效果良
好,但在进行动态评价时,由.丁同前还缺乏一定的
技术支持,有些涉及情感、态度、体验的内容,兀
法由机器代替教师进行模糊评价 而H从评价IIJ我
们发现,学生文件夹的质 有铀:提高 学中创作
文什央质量参筹 齐,有的能较好地摊教IJj1j璎水!,
成,有的却内容不个,直接影口向评价效 。但 :该
系统的研究初期人机互动评价,缺失数掘的人为添
加都是不可避免的。在今后的 惭深入训'i- ̄[T rI
中,我们相信通过数掘库的不断充善,系统 能化
水平的不断提高,最终会达到…种客观 良实的评价
效果。
参考文献
[1]姜振 .网络学 缋效评价系统的设训’与实施[J]l湖州
师范学院学报,2008(2):124-127.
[2]郝耀军,程 忠,张世禄.网络课程模糊评价系统的设计
与实现[J]现代教伶技术,2007(3):58.61
[3]侯丽平对网络学习 形啦竹评价硬 价不 : j
设计[D]北京交j砸人学.2007
[4] 长l5U.基 r枞糊理论 J 次分 法的川络教学 一 ¨i I
宄LDj毕尔纠 .L人学,200o
6:275-278
[2]何新贵,许少华.输入输出均为时变 数的过秤神 网
络及应用[J].软什学报,2003,14(4):764.769
[3]孙娟,_千俊,刘斌.幕 J 对误差互 I关函数的变步长
LMS算法[J]系统上稃与l 子技术,2008,30(12):2316
-
2320.
[4]周伟,棒林,周林,等 MATLAB小波分析高级技术[M]
西安:西安电J 科技人学…版社,2006,l:5.6
L5J HEXinGui,XU ShaoHua,LIANG JiuZhen,et al PI‘ocess
neural networks Theory and Applications[M J springm ,
2008,2:28-3l
[6] K虹,“ ,j: f \lattab l』- , . 、 . J '
H{[M].北京:… I.业I山I版}ll,2004,1:26—27
2024年4月23日发(作者:母夏璇)
第33卷第3期
201011 ̄9
。 一一一一= 一…=.=一 ,一:一一一
长脊 工人学学报(闩然利学版)
Journal el’Chang ̄hun University ur Science and Tt ̄ohnology(Natural Soi ̄n ̄ ̄Edition)
=: ====…=. ’.____一一=: …一 ‘…
\L)l 33 NO,;
Sep.20i0
连续小波过程神经元网络在非线性函数逼近的应用
刘金月 ,祝宝玲
(1,东北石油大学计算机与信息技术学院,大庆16331g 2.吉林油m公司天然气地而T稚建设项 绎 部,松原l38000)
摘要:建立舔于BP叫络的连续小波过程神经元恻络模 ,分析I】cj4络抒i扑 构。给…学)J 。模 根据_刈络逼
近函数特性,选取Morlet函数作为隐层结点激励两数,利用LMS算法训练M络权位、八度 rj=¨、¨;㈧J ,输出
层采用线性函数,使网络兼具过程神经元网络和小波变欹优点。分州 连续小波过 冲经/ ;引:;㈨J】l
一
非线性函数,仿真结果表明,小波网络逼近精度明显优于BP网耋}}
‘
文章编 :1672-9870(2010)07,一{)】41)一1)2
关键词:小波变换:过程神经元网络;函数逼近
巾闺分类号:TPl83 文献标识码:A
ContinuousⅥ, Iet Process Neural Networks in the
Application of Approximating Nonlinear Functions
LIU Jinyue ,ZHU Baoling
(1.Computer and Informat:ca T ̄lmology College,Northeast Petroleum University,Daqing l 633 l 8:
2.Natural Gas Surface Engineering Proj ̄t Management Department of Jilin Oilifeld Company・Songyuan 1 3800)
AbsU’act:The paper established the continuous wavelet process rteuxal networks model based on RP tlctwor[<,analyzed
topology structure of the network and gax c learning algorithm.According to approximating fimotion characteristics o J’the
he,york,theMorletwaveletfunctionwas employedas activationfunctioninthehidden node,networkweights,scalefac—
tor and displacement factor were trained by using LMS algorihm。ltinear function、Vas adopted in the output laye r ,so LI1c
continuous wavelet process neural networks had better characters combining wih twa、,elet transfornl and neural network The
continuous wavelet process neur ̄networks and BP network were used in approxinaating the S ̄lile nonlhaeat-functioil rcspc ̄。
tively,the result showed hat tthe wavelet networks had better erpformance than BP network in the approximation acctll。acy
Key words:wavelet transform process neural networks:function approximat:on
近年来,非线性系统的研究成为国内外科学研
究的热点问题…,要解决这类问题,传统方法一般
需要建立较为复杂的数学模型或采用经验统计公
式,但甜于有较多影响因素的复杂非线性问题,山
移因子,通过对1 线性辨识问题进行仿真实验,
取得了令人满意的结果。
l 网络模型
连续小波过稃神终 网络结构以小波分忻作为
论依拂:,小波变化必颂存 反
“容许条件”n ,
, 西物。。
间L ( )rf1,选择 ,’个 小湫 数I/l( ),什
于缺乏先验理论和知识,传统方法普遍存在建模困
难、适应性差且求解难度人等问题[2】。本文采用连
续小波过程神经元网络埘非线性系统进行建模,将
小波变换与PNN(过程神经元网络)进行藕合构造
网络模型,采J{j具有良好时频局域化特性的小波函
数作为隐层结点的激励函数,利用LMS(Least
Mean Squares)算法n 训练 络权值、尺度因了和
C
’
jw}
【w)I。d14'.7 cx9
式中 (w)为 x)ffJ Fourier变换。刈 (x)作f【{J 、 l
收稿H划:2010.03.22
作 简介:刘金,f_j(1978・),女,硕 J ,讲师,_中要从m人 I 智能和神绎l叫络力面的研究,E-mail:liujinyuc200I@163 c
第3期 刘金月,等:连续小波过程神经九 络在_ 线性 数趟近的廊川 14
移变换得到小波基函数系{ . (X)),
【 J .a≠o)
其中,a为伸缩因子,b为平移因子。
对任意厂 )∈ 2( ),其连续小波变换定义为
,6) 告 吐 Jdx
其重构公式为:
:
吉量 如
在实际应用中,尤其是在计算机上实现时,连
续小波变换必须加以离散化。
连续小波过程神经元网络是以小波基函数为神
经元激励函数的前馈网络模型,信号表示是通过所
选取的小波基进行线性叠加实现。设过程神经元l叫
络 的输入为 r)= (,), (,),…, r)),期望输
出为 r), r)、 ,)∈[O,力,.[O,7’]为系统
过程输入区间。为空剧的一组小波基,则可在该
组基函数下按照给定精度表示为有限项的展开形
式。设其展开式为:
沪 f)
嘲络拓扑结构如图1所示,网络输入层n个节
点单元,用于完成n个时变函数 。(f), O),
…
, 。
(f))向网络的输入;第一隐层(过程神经元隐
层)有 个节点,完成对个n输入函数在空间.卜的
加权聚合和对时间过程效应的累积运算, 为输入
层到过程神经元隐层的权熏系数;第二隐层(一般
非时变神经元隐层)有L个节点,用于提高网络对
系统输入输出之间复杂关系的非线性映射能力,
为过程神经元隐层到‘般非时变神经元隐层的权晕
系数:输出层用于完成系统输}I{。
兰
冈1 连续小波过 神经元蚓络拓扑结构图
Fig.1 Topological structure diagram of the continuous
wavelet process neural networks
2学习算法
步1选取输入空问小波基函数 (f), :(,),
…
,
6『(f),将输入函数和网络连接权函数表示为尽
函数的展开形式;
步2给定网络学习误差精度£,累积学习迭代
次数s=0,学习最人达代次数M:
步3初始化网络连接权俏和激励l 值:
步4 南下式计算误差函数E,式llI,以为筇
个函数样本的期望输}}{, 为网络的实际输m。如
粜E<£或s>M转步6,否则转步5;
K
E=∑ 一 )2
k。l
步5采用LMS算法修正连接权值和激励阅
值,s+l—s,转步4:
步6输m学习结果,幺 束、
3 应用举例
依照上述网络模型,对非线性函数i/'(x)=sint2n
x)+3cos(2m ̄)进伯 雨数逼近,在[一1,1] l
.
I:,每隔0 O5选墩一点作为网络学爿样小,隐层神
经元的激活函数采用Morlet小波函数 )=(1
一 已 “,输一{层神经元激活函数为线性函数;网络
拓扑结构为!一l0一l,即1个输入*点,1O个过莉!
神经元隐层节点,1个输出节点。网络的初始权位
由随机函数RA D()给IlI{,学习精度£=0.01,学习
最大迭代次数M=50。
j\
、|x
t ’ f
‘ f
{ ._ ll1 { 、
—
-』 L— 一一
.
广——— 丁———— ———— —
… .一一一i
t
lt; _^
2 BP同络 数 J剖,3 ,J、波过稃 野
逼近 线 l叫络函数逼近 线
Fig.2 Function approx- Fig.3 Function approxim-・
imation curve of BP ation curve of WPNN
分别用同等规模的BP网络和连续小波过程神经
元网络逼近上述1 线性函数,图2是采用BP嘲络的
仿真结果,其中‘一’代表网络的目标曲线, ‘+’
代表网络的期望输出,网络均方差MSE=0.009081;
3是采片j连续小波过程神经元网络进行的仿真结
果,网络均方筹MSE=O.003162。从实验 果町以
看出,小波神经I叫络综合了小波分析币¨ 经 络的
优点,误差分 均匀,具有刈数据进行时棚 化
分析及自学习能,』,小波网 谛{斤一 ‘而I t
好于BP 络。
(1、 I 5 2j ,
k夼 工人学学报(向然科学版)
3 网络自主学习评价系统实现
根据以上建立的学牛自主学习评价指标体系,
借助教师和专家的问卷调企确定评价指标体系中二
级指标对一级指标的影响权重,找出影响度高的前
五项指标分别是:学习能力、应用能力、创新能
力、自觉性和平时测验。冉通过计算机web日志挖
掘采集到的每个学牛白 !学刊的 上访问记录与该
生的五项指标进行模糊判别,找}Ij那些这五项指标
处于较好评价的学生的自主学习网上访问特点以及
处于较差评价学生的恻上访问特点,分别形成数据
库,从而在网络课程建设中借助该数据库埘每个学
牛的自丰学习方式评价,有针对性地引导学牛,根
据所学专业和学习日的的不同,选择高效率的网.卜
访问学习模式。
通过B,w/A/【)和C/S结合的结合使用,在Re.
sin+Oraele+JSP的操作模式下,以Drcamweaver
Mx作为编写代码的 具软件,动态和静态的有机
结合,采用Oracle数据库,实现该网络自主学 评
价系统网络教学平台的实现。其中Java、JavaBean
和JDBC等技术解决了该程序设计不受平台影响的
问题 。
(上接第141页)
4结论
本文提出用连续小波过程神经元网络模型逼近
非线性函数,提高了网络对系统输入输出之间复杂
关系的映射能力,仿真实验表明,该方法在仿真精
度.h明显优于同等规模的BP网络,提高了网络的
学习效率,为非线性系统建模提供了一种新方法。
参考文献
[1] _丁美玲,张长江,付梦印,等. 种用丁非线 I:函数遛近
的小波神经网络算法仿真[J]北京理 人学学报,2002
4结束语
该系统虽然 经进行了初步的试用,效果良
好,但在进行动态评价时,由.丁同前还缺乏一定的
技术支持,有些涉及情感、态度、体验的内容,兀
法由机器代替教师进行模糊评价 而H从评价IIJ我
们发现,学生文件夹的质 有铀:提高 学中创作
文什央质量参筹 齐,有的能较好地摊教IJj1j璎水!,
成,有的却内容不个,直接影口向评价效 。但 :该
系统的研究初期人机互动评价,缺失数掘的人为添
加都是不可避免的。在今后的 惭深入训'i- ̄[T rI
中,我们相信通过数掘库的不断充善,系统 能化
水平的不断提高,最终会达到…种客观 良实的评价
效果。
参考文献
[1]姜振 .网络学 缋效评价系统的设训’与实施[J]l湖州
师范学院学报,2008(2):124-127.
[2]郝耀军,程 忠,张世禄.网络课程模糊评价系统的设计
与实现[J]现代教伶技术,2007(3):58.61
[3]侯丽平对网络学习 形啦竹评价硬 价不 : j
设计[D]北京交j砸人学.2007
[4] 长l5U.基 r枞糊理论 J 次分 法的川络教学 一 ¨i I
宄LDj毕尔纠 .L人学,200o
6:275-278
[2]何新贵,许少华.输入输出均为时变 数的过秤神 网
络及应用[J].软什学报,2003,14(4):764.769
[3]孙娟,_千俊,刘斌.幕 J 对误差互 I关函数的变步长
LMS算法[J]系统上稃与l 子技术,2008,30(12):2316
-
2320.
[4]周伟,棒林,周林,等 MATLAB小波分析高级技术[M]
西安:西安电J 科技人学…版社,2006,l:5.6
L5J HEXinGui,XU ShaoHua,LIANG JiuZhen,et al PI‘ocess
neural networks Theory and Applications[M J springm ,
2008,2:28-3l
[6] K虹,“ ,j: f \lattab l』- , . 、 . J '
H{[M].北京:… I.业I山I版}ll,2004,1:26—27