2024年3月1日发(作者：禽颖慧)
第２８卷第６期 南京邮电大学学报（自然科学版） Ｖｏ１．２８ Ｎｏ．６ Ｄｅｅ．２００８ ２００８年１２月 Ｊｏｕｒｎａｌ ｏｆ Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ） 文章编号：１６７３—５４３９（２００８）０６－００７８－０５ 一种基于稀疏指数联想记忆神经网络的图像识别方法 王传栋，陈 蕾 （南京邮电大学计算机学院，江苏南京２１０００３） 摘要：区别于一般的图像识别方法，指数联想记忆模型（ＥＡＭ）是一种对数据分布无任何要求的非线 性技术，具有指数级的存储容量和良好的容噪性能。随着实际的需求和被处理问题规模的扩大， ＥＡＭ所采用的全互连结构将导致布线工艺上的困难而难以克服，限制了模型的Ｖｌ ＳＩ（超大规模集 成电路）硬件实现 通过在ＥＡＭ中引入社会领域中广泛存在的“六度分离”现象，借鉴Ｗａｔｔｓ和 Ｓｔｒｏｇａｔｚ提出的“小世界网络”理论对ＥＡＭ进行了稀疏化改造。改造后的稀疏指数联想记忆模型 （ＳＥＡＭ）不仅结构相对简单、易于硬件实现，而且仿真结果表明在灰度图像加噪和部分缺失的情况 下，ＳＥＡＭ识别性能和全互连的ＥＡＭ相当，表现出了较强的鲁棒性。 关键词：人工神经网络；联想记忆；模式识别；稀疏网络结构 中图分类号：ＴＰＩ８３ 文献标识码：Ｂ Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｓｐａｒｓｅ Ｅｘｐｏｎｅｎｔｉａｌ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ＷＡＮＧ Ｃｈｕａｎ－ｄｏｎｇ，ＣＨＥＮ Ｌｅｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉ０ｎｓ，Ｎａｍｉｎｇ ２１０００３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｂｓｔｒａｃｔ：Ｄｉｓｔｉｎｇｕｉｓｈｅｄ ｆｒｏｍ ｔｈｅ ｃｏｎｖｅｎｔｉｏｎａｌ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄｓ，Ｅｘｐｏｎｅｎｔｉａｌ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ（ＥＡＭ）ｉｓ ａ ｎｏｎｌｉｎｅａｒ ｔｅｃｈｎｏｌｏｇｙ ａｐｐｌｉｃａｂｌｅ ｆｏｒ ｔｈｅ ｄａｔａ ｗｉｔｈ ａｎｙ ｄｉｓｔｉｒｂｕｔｉｏｎ．ＥＡＭ ｈｏｌｄｓ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｅｘｐｏｎｅｎｔｉａｌ ｓｔｏｒａｇｅ ｃａｐａｃｉｔｙ ａｎｄ ｂｅｔｔｅｒ ｎｏｉｓｅ—ｔｏｌｅｒａｎｃｅ ｐｅｒｆｏｒｍａｎｃｅ．Ｗｉｔｈ ｔｈｅ ｒｅａｌ ｄｅｍａｎｄｓ ａｎｄ ｔｈｅ ｅｎｌａｒｇｉｎｇ ｏｆ ｔｈｅ ｓｃａｌｅ ｏｆ ｈａｎｄｌｅｄ ｐｒｏｂｌｅｍ，ｔｈｅ ｆｕｌｌ—ｃｏｎｎｅｃｔｅｄ ａｒｃｈｉｔｅｃｔｕｒｅ ｉｎ ＥＡＭ ｍａｋｅｓ ｄｉｉｃｕｌｔｙ ｔｏ ｃｏｎｎｅｔｆ ｕｐ ｏｎ ｔｈｅ ｃｒａｆｔ ａｎｄ ｒｅｓｔｒｉｃｔｓ ｍｏｄｅｌ’Ｓ ＶＬＳ１ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ．Ｉｎｓｐｉｒｅｄ ｂｙ ｅｘｔｅｎｓｉｖｅｌｙ ｅｘｉｓｔｅｄ“ｓｉｘ ｄｅｇｒｅｅ ｏｆ ｓｅｐａｒａｔｉｏｎ”ｉｎ ｓｏｃｉａｌ ｆｉｅｌｄｓ．ａ ｓｐａｒｓｅ ｅｘｐｏｎｅｎｔｉａｌ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ（ＳＥＡＭ）ｉｓ ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ ｂａｓｅｄ Ｏｉｌ ｔｈｅ“ｓｍａｌｌ—ｗｏｒｌｄ ｎｅｔｗｏｒｋ”ｔｈｅｏｒｙ ｄｅ— ｓｃｒｉｂｅｄ ｂｙ Ｗａｔｔｓ ａｎｄ Ｓｔｒｏｇａｔｚ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｐｅｒｆｏｒｍｅｄ ｏｎ ｔｈｅ ｉｎｔｅｎｓｉｔｙ ｉｍａｇｅｓ ａｄｄｅｄ ｎｏｉｓｅ ｏｒ ｐａｒｔｉａｌｌｙ ｏｃｃｌｕｄｅｄ ｉｎ ａ ｍｏｓａｉｃ ｗａｙ ｖｅｒｉｆｙ ｔｈａｔ，ＳＥＡＭ ｗｉｔｈ ｓｉｍｐｌｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｏｂｔａｉｎｓ ｃｏｍｐａｒａｂｌｅ ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｔｈｅ ｆｕ１１．ｃｏｎｎｅｃｔｅｄ ＥＡＭ． Ｋｅｙ ｗｏｒｄｓ：Ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ；Ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ；Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ；Ｓｐａｒｓｅ ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅ ０ 引 言 传统的图像识别方法中，一般包括以下几个步 收稿日期：２００７—１２—３１；修嘲Ｈ期：２００８－０５－０８ 骤：（１）图像预处理，即对获得的图像滤去干扰、噪 声，当图像信息微弱无法识别时，还需对图像进行增 强处理，几何调整，颜色校正等；（２）图像分割，从图 像中定位和分离出不同的待识别物体；（３）图像特 征抽取，在需要识别的物体被分割出来的基础上，提 基金项目：南京邮电大学青蓝计划（ＮＹ２０６０４２）资助项目 通讯作者：王传栋电话：（０２５）８５８６６４２３ Ｅ—ｍａｉｌ：ｃｈｄｗａｎｇ＠ｎｊｕｐｔ．ｅｄｕ．ｅｌｌ 取需要的特征，并对某些参数进行计算、测量；（４） 图像分类，根据提取的特征值，利用模式识别的方法
第６期 王传栋等：一种基于稀疏指数联想记忆神经网络的图像识别方法 ７９ 进行分类。 ＥＡＭ模型的数学描述如下：设｛ ｝， １，２，…， ， 是一组待记忆的模式，Ｘ＝（ ， ，…， ） 为任一 区别于传统的图像识别方法，联想记忆神经网 络是一种对数据分布无任何要求的非线性技术，它 充分利用了联想记忆的特点，无需对待识别图像进 行上述处理，只需提供未经任何预处理的学习（训 个输人模式， 是 的下一个状态，其中 ， ，Ｘ ∈ ｛一１，一（ｍ一１）／ｍ，…，一１／ｍ，０，１／ｍ，…，（，ｎ一 １）／ｍ，１｝”，由此得到ＥＡＭ的回忆规则如下： Ｍ ｎ 练）样本，并且允许待识别（测试）样本有较大的缺 损、畸变，可处理一些环境信息十分复杂，背景知识 『－ ［Ｘｉｅｘｐ（一∑ｌ 一 Ｉ）］ 不清楚，推理规则不明确的问题。迄今为止，在联想 记忆神经网络的研究领域中，有代表性的网络模型 已达数十种 －４ ，但这些模型绝大多数采用的都是 全互连结构，联想记忆模型尽管可以用软件模拟 （数学方程、算法、程序），但其终极目标是以硬件实 现（用半导体器件、光学器件或分子器件）。传统的 全互连结构导致布线工艺上的困难难以克服，限制 了模型的ＶＬＳＩ硬件实现。目前，在单片上集成近百 个神经元的制作技术已经没有困难，但这种规模的 联想记忆网络与实际的应用要求尚有较大差距。因 此，如何简化联想记忆模型的复杂结构就成了当前 非常紧迫而又现实的问题，它直接影响到联想记忆 模型的商品化实现。 无论是在结构上还是在学习算法上，现有的联 想记忆模型更多的是从数学角度，而不是生物学角 度来研究。这种单纯依靠数学的方法可能导致人工 联想记忆模型与生物学联想记忆模型在结构上偏离 更远。既然是对人脑记忆功能的模仿，那么自然应 该融人更多的生物特性。大脑神经生物学的研究表 明 ｊ：联想记忆模型的性能不仅依赖于连接的方 式，也依赖于连接的稀疏性。因此，本文通过在指数 联想记忆模型 （ＥＡＭ）中引入社会领域中广泛存 在的“六度分离”现象 Ｊ，借鉴Ｗａｔｔｓ和Ｓｔｒｏｇａｔｚ提出 的“小世界网络”理论 对ＥＡＭ进行了稀疏化改 造。改进后的稀疏指数联想记忆模型（ＳＥＡＭ）提供 了一种新的基于联想的图像识别方法。在灰度图像 加噪和部分缺失的情况下，仿真结果表明ＳＥＡＭ识 别性能和全互连的ＥＡＭ相当，表现出了较强的鲁棒 性 １稀疏指数联想记忆神经网络 １．１指数联想记忆神经网络模型 早在１９９４年，香港中文大学的两位学者Ｚｈｏｎｇ— Ｙｕ Ｃｈｅｎ和Ｃｈｕｎｇ—Ｐｉｎｇ Ｋｗｏｎｇ在文献［３］中就提出 了多值指数联想记忆神经网络模型（ＥＡＭ），并且在 理论上证明了该模型的存储容量达到了指数级。 Ｘ ＝Ｈｌ — 已 Ｌ ∑ｅｘｐ（∑ｌ 一 １） 『一１，ｕ＜ 其中，日（ ）＝ ＿．…∈【ｆ（２ｋ一１）（２ｋ＋１）１ ， ｊ １，ｕ≥ ｋ＝０，±１，±２，…，±（ｍ一１） １．２ ３种典型的稀疏网络结构 由于ＥＡＭ模型采用全互连结构，其高性能的获 得是以模型结构复杂度的增加为代价的。有研究表 明 Ｊ，人脑神经元的构成呈现出小世界网络的结 构，即以大量的短程连接为主，少量的长程连接（捷 径）为辅的一种稀疏网络结构。与此同时，在现实 世界中，还广泛存在着几种其他类型的稀疏网络结 构：随机互联网络 Ｊ、规则互联网络¨。。和无标度网 络 。上述４种稀疏网络结构已经日益引起国际 学术界的广泛关注。同时，对这些稀疏网络的动力 学行为的研究也日渐深入。 “小世界网络”的概念首先是由美国哈佛大学 Ｓ．Ｍｉｌｇｒａｍ在１９６７年通过一项社会调查而提出 的 ｊ。他指出虽然在社会网络中人与人之间有着 高度的集团化特征，但任何两个人都可以通过平均 ６个人联系起来，这就是人们常说的“六度分离” （ｓｉｘ ｄｅｇｒｅｅ ｏｆ ｓｅｐａｒａｔｉｏｎ）的现象。１９９８年，Ｗａｔｔｓ和 Ｓｔｒｏｇａｔｚ在Ｎａｔｕｒｅ杂志上发表了对“小世界网络”的 动力学行为特性的研究结果 Ｊ，指出小世界体系既 区别于完全规则互连网络也不同于彻底的随机互连 网络，其实质是以密集的局部连接为主，以稀少的长 程连结为辅的一种体系结构，它介于规则连结和随 机互连之间。 假设所考察网络的节点数ｎ＝２０，每个节点的 平均度数ｋ：４，每一条边重新连接的概率为Ｐ。显 然，Ｐ＝０代表一个规则网络，而Ｐ＝１代表一个随机 网络。选择一个环形网络作为规则网络，这个随机 重新连线的过程如图１所示。
８０ 南京邮电大学学报（自然科学版） ２００８年 ０◇ （ａ）规则Ｉ网络（ｐ＝Ｏ）（ｂ）小世界网络（Ｏ＜ｐ＜１）（ｃ）随机网络 ＝１） ＝ 『 ｅｘｐ（∑ｘｉ￣．Ｄ（ｋ， ）一 Ｄ（ｋ， ））］ ｌＬ旦 — —————一ｌ ∑ｅｘｐ∑Ｘ￣Ｄ（ｋ， ）一 Ｄ（ｋ， ）Ｊ ＝１ ｋ：ｌ 其中， ， ，分别表示向量 ， ， 的第 个分 图１ 规则网络、小世界网络和随机网络体系结构的演变 量，Ｄ（：， ）表示前述距离矩阵Ｄ的第 列。由于Ｄ 是一个较大规模的稀疏矩阵，所以神经元权值的计 １．３稀疏指数联想记忆模型 在实验上对联想记忆模型结构和连接稀疏性的 算只涉及到部分的神经元，可以一定程度地降低 ＥＡＭ模型的复杂度。 研究由Ｂｏｈｌａｎｄ等人 在Ｈｏｐｆｉｅｌｄ联想记忆模型 （ＨＡＭ）上完成。通过采用了小世界体系结构的 ＨＡＭ的构建，证实了局部的规则连接与稀少的全局 长程连接（占总连接数的４０％）能获得与随机互连 ２基于联想的图像识别 基于ＳＥＡＭ模型的图像识别方法有别于传统的 图像识别方法，它能够充分利用联想记忆的特点，无 需对待识别图像进行预处理、分割和特征提取等几 个步骤，只需提供具有同样大小的单个训练样本，并 且允许待测试样本有较大的缺损、畸变。基于 ＳＥＡＭ的单训练样本图像识别算法可描述如下： Ｓｔｅｐ １：训练阶段。用训练样本集｝ＪＩｌ练ＳＥＡＭ模 的连接极他 Ｓｔｅｐ ２：测试阶段。把测试样本集 ｛ｆ第 个测试 的ＨＡＭ相当的性能，且其结构上的优越性更有利 于工艺上的实现。但它不可避免地继承了ＨＡＭ模 型的缺陷：（１）仅能处理二值，难以直接推广至多值 类型；（２）低存储量和差的纠错性能等，因此难以获 得实际应用。 为了克服上述缺陷，本文借鉴上述３种稀疏网 络结构的思想对ＥＡＭ模型进行稀疏化改造，提出了 一般意义上的稀疏指数联想记忆模型（ＳＥＡＭ）如 假设稀疏网络山ｎ个神绎几细成，神经元之问 下： 样本作为输入模式送到Ｓｔｅｐ １巾训练好的ＳＥＡＭ模 型中，经若干次迭代以后，若与训练集中第 个训练 样本完全吻合，则第 个图像被成功识别；否则，第 个图像没有被成功识别。 的连接由图Ｇ给ｍ。如果边（ｉ， ）∈Ｇ，＿Ｊｊｌ５么从神经 元ｉ到 存在一个连接，即 嘶ｆ！ｉ，）＝０ｉｊ ，１实验中随机选取了４０幅３０ Ｘ ３０像素的不同内 容、不同背景的２５６色灰度图像作为计算机仿真的 训练样本集，训练时除了对它们的大小进行了归一 这里Ｄ是一个体现稀疏网络结构的稀疏矩阵，初始 时，网络是一封闭环（见图１（ａ）），每个神经元仅将 其输出反馈给它的ｆ：ＯＬ／／．个最近邻，这里ＯＬ是网络 的全局连接度（即实际连接占全互连连接的比例）。 然后，按照文献［７］中的方法以重连概率Ｐ遍历网 络中所有连接一次，当Ｐ取不同的值时就相应的得 到了上述３种不同的稀疏网络结构。 ＳＥＡＭ可由如下的回忆规则来描述： 化以外，并未进行任何其他处理，图２给出了部分训 练样本。实验时考察的两种ＳＥＡＭ模型分别为： （１）ＳＥＡＭ４０：稀疏连接度为ＯＬ一０．４，Ｐ＝０．３７７ ８； （２）ＳＥＡＭ６０：稀疏连接度为 ＝０．６，Ｐ＝０．３３３ ３。 考虑到噪声和图像部分缺失的随机性，每个实验均 重复２Ｏ次，所获取的数据均为２０次的平均值。 婶 网 圆 ■■■圈 隧 叠 ■警一翻豳 ■ 图２部分２５６色３０×３０像素灰度图像训练样本 实验１ 图像被添加不同程度的椒盐噪声和０ 均值高斯白噪声时ＥＡＭ、ＳＥＡＭ６０、ＳＥＡＭ４０的识别
第６期 王传栋等：一种基于稀疏指数联想记忆神经网络的图像识别方法 ８１ 率比较。 从图３和图４容易看出，指数联想记忆神经网 络模型对于椒盐噪声和高斯噪声是不敏感的，即使 在训练样本上分别添加高达８０％的椒盐噪声，或者 添加方差值为０．７的０均值高斯白噪声，ＥＡＭ、 ＳＥＡＭ６０、ＳＥＡＭ４０的识别率几乎均接近１００％。更 （ａ）缺失４０％图像示例 为重要的是，与全互连的ＥＡＭ比较，ＳＥＡＭ４０模型 ■豳圈 ｆｂ）缺失３Ｏ％图像示例 在减少了６０％的网络连接的前提下，以较小的代价 图５部分缺失图像示例 仍然获得了同样高的识别率，在较大程度上减少了 传统的联想记忆模型因网络结构过于复杂而难以在 电路上实现的困难。 图 添加椒盐噪声时 檄 图 ３ 添加椒盐噪声时 ＥＡＭ ＳＥＡＭ６０ ＳＥＡＭ４０ 、 、 的识别率 『Ｊ率 一 ０ ０均值商斯Ｆ｛噪声方差值 图４添加０均值高斯白噪声时ＥＡＭ、 ＳＥＡＭ６０、ＳＥＡＭ４０的识别率 实验２ 图像部分缺失时ＥＡＭ、ＳＥＡＭ６０、 ＳＥＡＭ４０的识别率比较。 这里需要说明的是在本实验中，图像缺失部分 被打上马赛克进行模拟（见图５），然后把打上马赛 克后的图像用来作为输入，分别通过ＥＡＭ、 ＳＥＡＭ６０、ＳＥＡＭ４０进行联想，如果得到的输出图像 和对应的原始训练图像完全吻合，即认为识别成功。 从图６容易看出，在缺失部分低于４０％时，３种算法 的识别率均接近１００％，即使缺失部分超过５０％，考 虑到连接复杂度的降低，ＳＥＡＭ４０模型的识别率仍 然是可以接受的。 褂 ２０ ３０ ４０ ５０ ６０ ７０ ８０ 图像部分缺失／％ 图６ 图像部分缺失时ＥＡＭ、ＳＥＡＭ６０、ＳＥＡＭ４０的识别率 ３结 论 ’。 通过在指数联想记忆神经网络（ＥＡＭ）中引入 社会领域中广泛存在的“六度分离”现象，借鉴“小 世界网络”理论对ＥＡＭ进行了稀疏化改造。改造 后的稀疏指数联想记忆模型（ＳＥＡＭ）不仅结构相对 简单、易于硬件实现，而且可成功地被用来进行图像 识别，仿真结果表明在灰度图像加噪和部分缺失的 情况下，稀疏度分别为４０％和６０％的ＳＥＡＭ识别性 能和全互连的ＥＡＭ大体相当，表现出了较强的鲁棒 性。同时，如果把上述模型中小世界网络结构分别 替换成随机网络、规则网络和无标度网络，还可以类 似地构建出另外３种结构的稀疏指数联想记忆模 型 参考文献： ［１］周志华，曹存根．神经网络及其应用［Ｍ］．北京：清华大学出版 社，２００４：２９５—３２０． ［２］ＩｔＯＰＦＩＥＬＤ Ｊ Ｊ．Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｎｄ ｐｈｙｓｉｃａｌ ｓｙｓｔｅｍｓ ｗｉｔｈ ｅｍｅｒｇｅｎｔ ｃｏｌｌｅｃｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｂｉｌｉｔｉｅｓ［Ａ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓｌ Ｃ．１９８２，７９：２５５４—２５５８． ［３］ＣｔｔＥＮ Ｚ Ｙ，ＫＷＯＮＧ Ｃ Ｐ．Ｒｅｃｕｒｒｅｎｔ ｃｏｒｒｅｌａｔｉｏｎ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ— ｉｔｅｓ ｗｉｔｈ ｕｍｈｉｐｌｅ—ｖａｌｕｅ［Ａ］／／Ｐｒｃｏ ｏｆ ＩＥＥＥ ｌｎｔ Ｃｏｎｆ Ｎｅｕｒａｌ Ｎｅｔ— ｗｏｒｋｓ［Ｃ］．１９９４：１０６８—１０７３． ［４］ＣＨＥＮ Ｌｅｉ，ＣＨＥＮ Ｓｏｎｇ—ｃａｎ．Ｄｉｓｔａｎｃｅ—ｂａｓｅｄ ｓｐａｒｓｅ ａｓｓｏｃｉａｔｉｖｅ
８２ 南京邮电大学学报（自然科学版） ２００８年 ｍｅｎ０ｒｙ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｐａｒｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］・Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，２００６（２４）：６７—８Ｏ． 作者简介： 千侍糯ｆ １９７１１．羁．１ＩＩ东涕 —［５］ＢＯＨＬＡＮＤ Ｊ Ｗ，ＭＩＮＡＩ Ａ Ａ．Ｅｆｉｆｃｉｅｎｔ ａｓｓｏｃｉａｔｉＶｅ ｍｅｎ。ｒｙ ＵＳｉｎ ［６］ＭＩＬＧＲＡＭ Ｓ．Ｔｈｅ ｓｍａｌｌ—ｗｏｒｌｄ ｐｒｏｂｌｅｍ［Ｊ］．Ｐｓｙｃｈｏｌ Ｔｏｄａｙ，１９６７ ＯＧ．ｉ 礴 ｌ 南人。南京邮电大学计算机学院 师。主要研究方向：神经网络与模 活义Ｗｅｂ０ ［］ｗＡＴＴｓＤ ， ＳＺＳ Ｈ． Ｃｏｌｌｅｃｔｉｖｅ ｄｙｎａｍｉｃｓ ｏｆ・ｓ‘ｍａｌｌ一 式识 数据雠‘ ．ｗｏｒｌｄ ｎｅｔＮａｔｕｒｅ １９９８ ３９３ ４４０ ４４２ ’ ｗｏｒｋｓ … ［Ｊ］．， ， ： 一 ． ，．一一［１ＶＡｓｎｒｉｇｒａｐｈｓａｎｄｓｐａｒｓｉ ｙ［Ｊ］．ＩＥＥＥＴｒａｎｓ０ｎＩｎｆ０ｍｌａｔｉ０ｎＴｈｅｏｒｙ，疆 黼慰 师 丰耍研究方向：机器学习、神绍 ｌ９９２，３８：ｌ１１４一ｌ】ｌ９． ｌ网络 艚 ｛日驯｛＋笛加网络客全 …［１】］ ＢＡＲＡＢＡｓＩ Ａ Ｌ，ＡＬＢＥＲＴ Ｒ，ＪＥ０ＮＧ Ｈ．Ｍｅａｎ一矗ｅ１ｄ ｔ｝】ｅｏｒｙ ｆ０ｒ弱鞠ｉｉ 霞 甘箭目 ：Ｎ… ｌ ｐ …。。 ｎ Ｔ 什 ｓｃａｌｅ—ｆｒｅｅ ｍｎｄｏｍ ｎｅ【ｗｏｒｋｓ［Ｊ］．Ｐｈｙｓｉｃａ Ａ，１９９９，２７２：ｌ７３一 零甏 ＃ Ｍ ………ｌ＝．…∥枷， 出 日 雏甘Ｈ １８７． 黼 鏊《誊 …。一… 、。、一 （上接第７３页） 作者简介： 戴建新（１９７１一），男，江苏盐城 宋洪雪（１９７６一），女，辽宁西丰 人。南京邮电大学数理学院讲师。 人。南京邮电大学数理学院讲师。 主要从事数学教学工作。研究方 主要从事数学教学工作。研究方 向：现代智能信号处理。 向：图论及其应用。 郦志新（１９６３一），男，江苏丹阳 人。南京邮电大学数理学院副教 授。１９８５年毕业于南京大学数学 系。主要从事数学教学工作。研究 方向：信息安全、数学教育研究。
2024年3月1日发(作者：禽颖慧)
第２８卷第６期 南京邮电大学学报（自然科学版） Ｖｏ１．２８ Ｎｏ．６ Ｄｅｅ．２００８ ２００８年１２月 Ｊｏｕｒｎａｌ ｏｆ Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ） 文章编号：１６７３—５４３９（２００８）０６－００７８－０５ 一种基于稀疏指数联想记忆神经网络的图像识别方法 王传栋，陈 蕾 （南京邮电大学计算机学院，江苏南京２１０００３） 摘要：区别于一般的图像识别方法，指数联想记忆模型（ＥＡＭ）是一种对数据分布无任何要求的非线 性技术，具有指数级的存储容量和良好的容噪性能。随着实际的需求和被处理问题规模的扩大， ＥＡＭ所采用的全互连结构将导致布线工艺上的困难而难以克服，限制了模型的Ｖｌ ＳＩ（超大规模集 成电路）硬件实现 通过在ＥＡＭ中引入社会领域中广泛存在的“六度分离”现象，借鉴Ｗａｔｔｓ和 Ｓｔｒｏｇａｔｚ提出的“小世界网络”理论对ＥＡＭ进行了稀疏化改造。改造后的稀疏指数联想记忆模型 （ＳＥＡＭ）不仅结构相对简单、易于硬件实现，而且仿真结果表明在灰度图像加噪和部分缺失的情况 下，ＳＥＡＭ识别性能和全互连的ＥＡＭ相当，表现出了较强的鲁棒性。 关键词：人工神经网络；联想记忆；模式识别；稀疏网络结构 中图分类号：ＴＰＩ８３ 文献标识码：Ｂ Ａ Ｍｅｔｈｏｄ ｆｏｒ Ｉｍａｇｅ Ｒｅｃｏｇｎｉｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｓｐａｒｓｅ Ｅｘｐｏｎｅｎｔｉａｌ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ＷＡＮＧ Ｃｈｕａｎ－ｄｏｎｇ，ＣＨＥＮ Ｌｅｉ （Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ ａｎｄ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉ０ｎｓ，Ｎａｍｉｎｇ ２１０００３，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｂｓｔｒａｃｔ：Ｄｉｓｔｉｎｇｕｉｓｈｅｄ ｆｒｏｍ ｔｈｅ ｃｏｎｖｅｎｔｉｏｎａｌ ｉｍａｇｅ ｒｅｃｏｇｎｉｔｉｏｎ ｍｅｔｈｏｄｓ，Ｅｘｐｏｎｅｎｔｉａｌ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ（ＥＡＭ）ｉｓ ａ ｎｏｎｌｉｎｅａｒ ｔｅｃｈｎｏｌｏｇｙ ａｐｐｌｉｃａｂｌｅ ｆｏｒ ｔｈｅ ｄａｔａ ｗｉｔｈ ａｎｙ ｄｉｓｔｉｒｂｕｔｉｏｎ．ＥＡＭ ｈｏｌｄｓ ｔｈｅ ａｄｖａｎｔａｇｅｓ ｏｆ ｅｘｐｏｎｅｎｔｉａｌ ｓｔｏｒａｇｅ ｃａｐａｃｉｔｙ ａｎｄ ｂｅｔｔｅｒ ｎｏｉｓｅ—ｔｏｌｅｒａｎｃｅ ｐｅｒｆｏｒｍａｎｃｅ．Ｗｉｔｈ ｔｈｅ ｒｅａｌ ｄｅｍａｎｄｓ ａｎｄ ｔｈｅ ｅｎｌａｒｇｉｎｇ ｏｆ ｔｈｅ ｓｃａｌｅ ｏｆ ｈａｎｄｌｅｄ ｐｒｏｂｌｅｍ，ｔｈｅ ｆｕｌｌ—ｃｏｎｎｅｃｔｅｄ ａｒｃｈｉｔｅｃｔｕｒｅ ｉｎ ＥＡＭ ｍａｋｅｓ ｄｉｉｃｕｌｔｙ ｔｏ ｃｏｎｎｅｔｆ ｕｐ ｏｎ ｔｈｅ ｃｒａｆｔ ａｎｄ ｒｅｓｔｒｉｃｔｓ ｍｏｄｅｌ’Ｓ ＶＬＳ１ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ．Ｉｎｓｐｉｒｅｄ ｂｙ ｅｘｔｅｎｓｉｖｅｌｙ ｅｘｉｓｔｅｄ“ｓｉｘ ｄｅｇｒｅｅ ｏｆ ｓｅｐａｒａｔｉｏｎ”ｉｎ ｓｏｃｉａｌ ｆｉｅｌｄｓ．ａ ｓｐａｒｓｅ ｅｘｐｏｎｅｎｔｉａｌ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ（ＳＥＡＭ）ｉｓ ｐｒｏｐｏｓｅｄ，ｗｈｉｃｈ ｂａｓｅｄ Ｏｉｌ ｔｈｅ“ｓｍａｌｌ—ｗｏｒｌｄ ｎｅｔｗｏｒｋ”ｔｈｅｏｒｙ ｄｅ— ｓｃｒｉｂｅｄ ｂｙ Ｗａｔｔｓ ａｎｄ Ｓｔｒｏｇａｔｚ．Ｔｈｅ ｅｘｐｅｒｉｍｅｎｔｓ ｐｅｒｆｏｒｍｅｄ ｏｎ ｔｈｅ ｉｎｔｅｎｓｉｔｙ ｉｍａｇｅｓ ａｄｄｅｄ ｎｏｉｓｅ ｏｒ ｐａｒｔｉａｌｌｙ ｏｃｃｌｕｄｅｄ ｉｎ ａ ｍｏｓａｉｃ ｗａｙ ｖｅｒｉｆｙ ｔｈａｔ，ＳＥＡＭ ｗｉｔｈ ｓｉｍｐｌｅ ａｒｃｈｉｔｅｃｔｕｒｅ ｏｂｔａｉｎｓ ｃｏｍｐａｒａｂｌｅ ｒｅｃｏｇｎｉｔｉｏｎ ｐｅｒｆｏｒｍａｎｃｅ ｗｉｔｈ ｔｈｅ ｆｕ１１．ｃｏｎｎｅｃｔｅｄ ＥＡＭ． Ｋｅｙ ｗｏｒｄｓ：Ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ；Ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ；Ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ；Ｓｐａｒｓｅ ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅ ０ 引 言 传统的图像识别方法中，一般包括以下几个步 收稿日期：２００７—１２—３１；修嘲Ｈ期：２００８－０５－０８ 骤：（１）图像预处理，即对获得的图像滤去干扰、噪 声，当图像信息微弱无法识别时，还需对图像进行增 强处理，几何调整，颜色校正等；（２）图像分割，从图 像中定位和分离出不同的待识别物体；（３）图像特 征抽取，在需要识别的物体被分割出来的基础上，提 基金项目：南京邮电大学青蓝计划（ＮＹ２０６０４２）资助项目 通讯作者：王传栋电话：（０２５）８５８６６４２３ Ｅ—ｍａｉｌ：ｃｈｄｗａｎｇ＠ｎｊｕｐｔ．ｅｄｕ．ｅｌｌ 取需要的特征，并对某些参数进行计算、测量；（４） 图像分类，根据提取的特征值，利用模式识别的方法
第６期 王传栋等：一种基于稀疏指数联想记忆神经网络的图像识别方法 ７９ 进行分类。 ＥＡＭ模型的数学描述如下：设｛ ｝， １，２，…， ， 是一组待记忆的模式，Ｘ＝（ ， ，…， ） 为任一 区别于传统的图像识别方法，联想记忆神经网 络是一种对数据分布无任何要求的非线性技术，它 充分利用了联想记忆的特点，无需对待识别图像进 行上述处理，只需提供未经任何预处理的学习（训 个输人模式， 是 的下一个状态，其中 ， ，Ｘ ∈ ｛一１，一（ｍ一１）／ｍ，…，一１／ｍ，０，１／ｍ，…，（，ｎ一 １）／ｍ，１｝”，由此得到ＥＡＭ的回忆规则如下： Ｍ ｎ 练）样本，并且允许待识别（测试）样本有较大的缺 损、畸变，可处理一些环境信息十分复杂，背景知识 『－ ［Ｘｉｅｘｐ（一∑ｌ 一 Ｉ）］ 不清楚，推理规则不明确的问题。迄今为止，在联想 记忆神经网络的研究领域中，有代表性的网络模型 已达数十种 －４ ，但这些模型绝大多数采用的都是 全互连结构，联想记忆模型尽管可以用软件模拟 （数学方程、算法、程序），但其终极目标是以硬件实 现（用半导体器件、光学器件或分子器件）。传统的 全互连结构导致布线工艺上的困难难以克服，限制 了模型的ＶＬＳＩ硬件实现。目前，在单片上集成近百 个神经元的制作技术已经没有困难，但这种规模的 联想记忆网络与实际的应用要求尚有较大差距。因 此，如何简化联想记忆模型的复杂结构就成了当前 非常紧迫而又现实的问题，它直接影响到联想记忆 模型的商品化实现。 无论是在结构上还是在学习算法上，现有的联 想记忆模型更多的是从数学角度，而不是生物学角 度来研究。这种单纯依靠数学的方法可能导致人工 联想记忆模型与生物学联想记忆模型在结构上偏离 更远。既然是对人脑记忆功能的模仿，那么自然应 该融人更多的生物特性。大脑神经生物学的研究表 明 ｊ：联想记忆模型的性能不仅依赖于连接的方 式，也依赖于连接的稀疏性。因此，本文通过在指数 联想记忆模型 （ＥＡＭ）中引入社会领域中广泛存 在的“六度分离”现象 Ｊ，借鉴Ｗａｔｔｓ和Ｓｔｒｏｇａｔｚ提出 的“小世界网络”理论 对ＥＡＭ进行了稀疏化改 造。改进后的稀疏指数联想记忆模型（ＳＥＡＭ）提供 了一种新的基于联想的图像识别方法。在灰度图像 加噪和部分缺失的情况下，仿真结果表明ＳＥＡＭ识 别性能和全互连的ＥＡＭ相当，表现出了较强的鲁棒 性 １稀疏指数联想记忆神经网络 １．１指数联想记忆神经网络模型 早在１９９４年，香港中文大学的两位学者Ｚｈｏｎｇ— Ｙｕ Ｃｈｅｎ和Ｃｈｕｎｇ—Ｐｉｎｇ Ｋｗｏｎｇ在文献［３］中就提出 了多值指数联想记忆神经网络模型（ＥＡＭ），并且在 理论上证明了该模型的存储容量达到了指数级。 Ｘ ＝Ｈｌ — 已 Ｌ ∑ｅｘｐ（∑ｌ 一 １） 『一１，ｕ＜ 其中，日（ ）＝ ＿．…∈【ｆ（２ｋ一１）（２ｋ＋１）１ ， ｊ １，ｕ≥ ｋ＝０，±１，±２，…，±（ｍ一１） １．２ ３种典型的稀疏网络结构 由于ＥＡＭ模型采用全互连结构，其高性能的获 得是以模型结构复杂度的增加为代价的。有研究表 明 Ｊ，人脑神经元的构成呈现出小世界网络的结 构，即以大量的短程连接为主，少量的长程连接（捷 径）为辅的一种稀疏网络结构。与此同时，在现实 世界中，还广泛存在着几种其他类型的稀疏网络结 构：随机互联网络 Ｊ、规则互联网络¨。。和无标度网 络 。上述４种稀疏网络结构已经日益引起国际 学术界的广泛关注。同时，对这些稀疏网络的动力 学行为的研究也日渐深入。 “小世界网络”的概念首先是由美国哈佛大学 Ｓ．Ｍｉｌｇｒａｍ在１９６７年通过一项社会调查而提出 的 ｊ。他指出虽然在社会网络中人与人之间有着 高度的集团化特征，但任何两个人都可以通过平均 ６个人联系起来，这就是人们常说的“六度分离” （ｓｉｘ ｄｅｇｒｅｅ ｏｆ ｓｅｐａｒａｔｉｏｎ）的现象。１９９８年，Ｗａｔｔｓ和 Ｓｔｒｏｇａｔｚ在Ｎａｔｕｒｅ杂志上发表了对“小世界网络”的 动力学行为特性的研究结果 Ｊ，指出小世界体系既 区别于完全规则互连网络也不同于彻底的随机互连 网络，其实质是以密集的局部连接为主，以稀少的长 程连结为辅的一种体系结构，它介于规则连结和随 机互连之间。 假设所考察网络的节点数ｎ＝２０，每个节点的 平均度数ｋ：４，每一条边重新连接的概率为Ｐ。显 然，Ｐ＝０代表一个规则网络，而Ｐ＝１代表一个随机 网络。选择一个环形网络作为规则网络，这个随机 重新连线的过程如图１所示。
８０ 南京邮电大学学报（自然科学版） ２００８年 ０◇ （ａ）规则Ｉ网络（ｐ＝Ｏ）（ｂ）小世界网络（Ｏ＜ｐ＜１）（ｃ）随机网络 ＝１） ＝ 『 ｅｘｐ（∑ｘｉ￣．Ｄ（ｋ， ）一 Ｄ（ｋ， ））］ ｌＬ旦 — —————一ｌ ∑ｅｘｐ∑Ｘ￣Ｄ（ｋ， ）一 Ｄ（ｋ， ）Ｊ ＝１ ｋ：ｌ 其中， ， ，分别表示向量 ， ， 的第 个分 图１ 规则网络、小世界网络和随机网络体系结构的演变 量，Ｄ（：， ）表示前述距离矩阵Ｄ的第 列。由于Ｄ 是一个较大规模的稀疏矩阵，所以神经元权值的计 １．３稀疏指数联想记忆模型 在实验上对联想记忆模型结构和连接稀疏性的 算只涉及到部分的神经元，可以一定程度地降低 ＥＡＭ模型的复杂度。 研究由Ｂｏｈｌａｎｄ等人 在Ｈｏｐｆｉｅｌｄ联想记忆模型 （ＨＡＭ）上完成。通过采用了小世界体系结构的 ＨＡＭ的构建，证实了局部的规则连接与稀少的全局 长程连接（占总连接数的４０％）能获得与随机互连 ２基于联想的图像识别 基于ＳＥＡＭ模型的图像识别方法有别于传统的 图像识别方法，它能够充分利用联想记忆的特点，无 需对待识别图像进行预处理、分割和特征提取等几 个步骤，只需提供具有同样大小的单个训练样本，并 且允许待测试样本有较大的缺损、畸变。基于 ＳＥＡＭ的单训练样本图像识别算法可描述如下： Ｓｔｅｐ １：训练阶段。用训练样本集｝ＪＩｌ练ＳＥＡＭ模 的连接极他 Ｓｔｅｐ ２：测试阶段。把测试样本集 ｛ｆ第 个测试 的ＨＡＭ相当的性能，且其结构上的优越性更有利 于工艺上的实现。但它不可避免地继承了ＨＡＭ模 型的缺陷：（１）仅能处理二值，难以直接推广至多值 类型；（２）低存储量和差的纠错性能等，因此难以获 得实际应用。 为了克服上述缺陷，本文借鉴上述３种稀疏网 络结构的思想对ＥＡＭ模型进行稀疏化改造，提出了 一般意义上的稀疏指数联想记忆模型（ＳＥＡＭ）如 假设稀疏网络山ｎ个神绎几细成，神经元之问 下： 样本作为输入模式送到Ｓｔｅｐ １巾训练好的ＳＥＡＭ模 型中，经若干次迭代以后，若与训练集中第 个训练 样本完全吻合，则第 个图像被成功识别；否则，第 个图像没有被成功识别。 的连接由图Ｇ给ｍ。如果边（ｉ， ）∈Ｇ，＿Ｊｊｌ５么从神经 元ｉ到 存在一个连接，即 嘶ｆ！ｉ，）＝０ｉｊ ，１实验中随机选取了４０幅３０ Ｘ ３０像素的不同内 容、不同背景的２５６色灰度图像作为计算机仿真的 训练样本集，训练时除了对它们的大小进行了归一 这里Ｄ是一个体现稀疏网络结构的稀疏矩阵，初始 时，网络是一封闭环（见图１（ａ）），每个神经元仅将 其输出反馈给它的ｆ：ＯＬ／／．个最近邻，这里ＯＬ是网络 的全局连接度（即实际连接占全互连连接的比例）。 然后，按照文献［７］中的方法以重连概率Ｐ遍历网 络中所有连接一次，当Ｐ取不同的值时就相应的得 到了上述３种不同的稀疏网络结构。 ＳＥＡＭ可由如下的回忆规则来描述： 化以外，并未进行任何其他处理，图２给出了部分训 练样本。实验时考察的两种ＳＥＡＭ模型分别为： （１）ＳＥＡＭ４０：稀疏连接度为ＯＬ一０．４，Ｐ＝０．３７７ ８； （２）ＳＥＡＭ６０：稀疏连接度为 ＝０．６，Ｐ＝０．３３３ ３。 考虑到噪声和图像部分缺失的随机性，每个实验均 重复２Ｏ次，所获取的数据均为２０次的平均值。 婶 网 圆 ■■■圈 隧 叠 ■警一翻豳 ■ 图２部分２５６色３０×３０像素灰度图像训练样本 实验１ 图像被添加不同程度的椒盐噪声和０ 均值高斯白噪声时ＥＡＭ、ＳＥＡＭ６０、ＳＥＡＭ４０的识别
第６期 王传栋等：一种基于稀疏指数联想记忆神经网络的图像识别方法 ８１ 率比较。 从图３和图４容易看出，指数联想记忆神经网 络模型对于椒盐噪声和高斯噪声是不敏感的，即使 在训练样本上分别添加高达８０％的椒盐噪声，或者 添加方差值为０．７的０均值高斯白噪声，ＥＡＭ、 ＳＥＡＭ６０、ＳＥＡＭ４０的识别率几乎均接近１００％。更 （ａ）缺失４０％图像示例 为重要的是，与全互连的ＥＡＭ比较，ＳＥＡＭ４０模型 ■豳圈 ｆｂ）缺失３Ｏ％图像示例 在减少了６０％的网络连接的前提下，以较小的代价 图５部分缺失图像示例 仍然获得了同样高的识别率，在较大程度上减少了 传统的联想记忆模型因网络结构过于复杂而难以在 电路上实现的困难。 图 添加椒盐噪声时 檄 图 ３ 添加椒盐噪声时 ＥＡＭ ＳＥＡＭ６０ ＳＥＡＭ４０ 、 、 的识别率 『Ｊ率 一 ０ ０均值商斯Ｆ｛噪声方差值 图４添加０均值高斯白噪声时ＥＡＭ、 ＳＥＡＭ６０、ＳＥＡＭ４０的识别率 实验２ 图像部分缺失时ＥＡＭ、ＳＥＡＭ６０、 ＳＥＡＭ４０的识别率比较。 这里需要说明的是在本实验中，图像缺失部分 被打上马赛克进行模拟（见图５），然后把打上马赛 克后的图像用来作为输入，分别通过ＥＡＭ、 ＳＥＡＭ６０、ＳＥＡＭ４０进行联想，如果得到的输出图像 和对应的原始训练图像完全吻合，即认为识别成功。 从图６容易看出，在缺失部分低于４０％时，３种算法 的识别率均接近１００％，即使缺失部分超过５０％，考 虑到连接复杂度的降低，ＳＥＡＭ４０模型的识别率仍 然是可以接受的。 褂 ２０ ３０ ４０ ５０ ６０ ７０ ８０ 图像部分缺失／％ 图６ 图像部分缺失时ＥＡＭ、ＳＥＡＭ６０、ＳＥＡＭ４０的识别率 ３结 论 ’。 通过在指数联想记忆神经网络（ＥＡＭ）中引入 社会领域中广泛存在的“六度分离”现象，借鉴“小 世界网络”理论对ＥＡＭ进行了稀疏化改造。改造 后的稀疏指数联想记忆模型（ＳＥＡＭ）不仅结构相对 简单、易于硬件实现，而且可成功地被用来进行图像 识别，仿真结果表明在灰度图像加噪和部分缺失的 情况下，稀疏度分别为４０％和６０％的ＳＥＡＭ识别性 能和全互连的ＥＡＭ大体相当，表现出了较强的鲁棒 性。同时，如果把上述模型中小世界网络结构分别 替换成随机网络、规则网络和无标度网络，还可以类 似地构建出另外３种结构的稀疏指数联想记忆模 型 参考文献： ［１］周志华，曹存根．神经网络及其应用［Ｍ］．北京：清华大学出版 社，２００４：２９５—３２０． ［２］ＩｔＯＰＦＩＥＬＤ Ｊ Ｊ．Ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｎｄ ｐｈｙｓｉｃａｌ ｓｙｓｔｅｍｓ ｗｉｔｈ ｅｍｅｒｇｅｎｔ ｃｏｌｌｅｃｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ａｂｉｌｉｔｉｅｓ［Ａ］／／Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓｌ Ｃ．１９８２，７９：２５５４—２５５８． ［３］ＣｔｔＥＮ Ｚ Ｙ，ＫＷＯＮＧ Ｃ Ｐ．Ｒｅｃｕｒｒｅｎｔ ｃｏｒｒｅｌａｔｉｏｎ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ— ｉｔｅｓ ｗｉｔｈ ｕｍｈｉｐｌｅ—ｖａｌｕｅ［Ａ］／／Ｐｒｃｏ ｏｆ ＩＥＥＥ ｌｎｔ Ｃｏｎｆ Ｎｅｕｒａｌ Ｎｅｔ— ｗｏｒｋｓ［Ｃ］．１９９４：１０６８—１０７３． ［４］ＣＨＥＮ Ｌｅｉ，ＣＨＥＮ Ｓｏｎｇ—ｃａｎ．Ｄｉｓｔａｎｃｅ—ｂａｓｅｄ ｓｐａｒｓｅ ａｓｓｏｃｉａｔｉｖｅ
８２ 南京邮电大学学报（自然科学版） ２００８年 ｍｅｎ０ｒｙ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ａｌｇｏｒｉｔｈｍ ｆｏｒ ｐａｒｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］・Ｎｅｕｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｌｅｔｔｅｒｓ，２００６（２４）：６７—８Ｏ． 作者简介： 千侍糯ｆ １９７１１．羁．１ＩＩ东涕 —［５］ＢＯＨＬＡＮＤ Ｊ Ｗ，ＭＩＮＡＩ Ａ Ａ．Ｅｆｉｆｃｉｅｎｔ ａｓｓｏｃｉａｔｉＶｅ ｍｅｎ。ｒｙ ＵＳｉｎ ［６］ＭＩＬＧＲＡＭ Ｓ．Ｔｈｅ ｓｍａｌｌ—ｗｏｒｌｄ ｐｒｏｂｌｅｍ［Ｊ］．Ｐｓｙｃｈｏｌ Ｔｏｄａｙ，１９６７ ＯＧ．ｉ 礴 ｌ 南人。南京邮电大学计算机学院 师。主要研究方向：神经网络与模 活义Ｗｅｂ０ ［］ｗＡＴＴｓＤ ， ＳＺＳ Ｈ． Ｃｏｌｌｅｃｔｉｖｅ ｄｙｎａｍｉｃｓ ｏｆ・ｓ‘ｍａｌｌ一 式识 数据雠‘ ．ｗｏｒｌｄ ｎｅｔＮａｔｕｒｅ １９９８ ３９３ ４４０ ４４２ ’ ｗｏｒｋｓ … ［Ｊ］．， ， ： 一 ． ，．一一［１ＶＡｓｎｒｉｇｒａｐｈｓａｎｄｓｐａｒｓｉ ｙ［Ｊ］．ＩＥＥＥＴｒａｎｓ０ｎＩｎｆ０ｍｌａｔｉ０ｎＴｈｅｏｒｙ，疆 黼慰 师 丰耍研究方向：机器学习、神绍 ｌ９９２，３８：ｌ１１４一ｌ】ｌ９． ｌ网络 艚 ｛日驯｛＋笛加网络客全 …［１】］ ＢＡＲＡＢＡｓＩ Ａ Ｌ，ＡＬＢＥＲＴ Ｒ，ＪＥ０ＮＧ Ｈ．Ｍｅａｎ一矗ｅ１ｄ ｔ｝】ｅｏｒｙ ｆ０ｒ弱鞠ｉｉ 霞 甘箭目 ：Ｎ… ｌ ｐ …。。 ｎ Ｔ 什 ｓｃａｌｅ—ｆｒｅｅ ｍｎｄｏｍ ｎｅ【ｗｏｒｋｓ［Ｊ］．Ｐｈｙｓｉｃａ Ａ，１９９９，２７２：ｌ７３一 零甏 ＃ Ｍ ………ｌ＝．…∥枷， 出 日 雏甘Ｈ １８７． 黼 鏊《誊 …。一… 、。、一 （上接第７３页） 作者简介： 戴建新（１９７１一），男，江苏盐城 宋洪雪（１９７６一），女，辽宁西丰 人。南京邮电大学数理学院讲师。 人。南京邮电大学数理学院讲师。 主要从事数学教学工作。研究方 主要从事数学教学工作。研究方 向：现代智能信号处理。 向：图论及其应用。 郦志新（１９６３一），男，江苏丹阳 人。南京邮电大学数理学院副教 授。１９８５年毕业于南京大学数学 系。主要从事数学教学工作。研究 方向：信息安全、数学教育研究。