2024年3月1日发(作者：兆冰海)
第２ｌ卷第３期 计算机技术与发展 ＣＯＭＰＵＴＥＲ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ ２０１１年３月 Ｖ０Ｉ．２ｌ Ｎｏ．３ Ｍａｒ． ２０ｌｌ 自联想记忆神经网络研究 王传栋 ，杨雁莹。 （１．南京邮电大学计算机学院，江苏南京２１０００３； ２．南京邮电大学计算机技术研究所，江苏南京２１０００３； ３．南京森林警察学院信息技术系，江苏南京２１００４６） 摘要：自联想记忆神经网络能模拟人脑思维和机器智能，具有信息分布式存储和内容可寻址访问的重要特征，是人工神 经网络研究的一个重要分支。介绍了开创自联想记忆神经网络研究先河的Ｈｏｐｆｉｅｌｄ联想记忆神经网络模型，分析了该模 型的优缺点；然后在系统分析现有白联想记忆神经网络相关研究文献的基础上，从学习算法、体系结构和应用领域三个方 面对自联想记忆神经网络的研究进展进行了归纳阐述；总结了自联想记忆神经网络目前存在的主要问题，并且预测了其 未来的发展趋势。 关键词：神经网络；自联想记忆；智能信息处理 中图分类号：＿ｒＰ１８３ 文献标识码：Ａ 文章编号：１６７３－６２９Ｘ（２０ｌ１）０３－０１０９—０４ Ｒｅｓｅａｒｃｈ ｏｎ Ａｕｔｏ－Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ＷＡＮＧ Ｃｈｕａｎ—ｄｏｎｇ ，－．ＹＡＮＧ Ｙａｎ—ｙｉｎｇ （１．Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ ２ １０００３，Ｃｈｉｎａ； ２．Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ ２１０００３，Ｃｈｉｎａ； ３．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ Ｃｏｌｌｅｇｅ ｏｆ Ｆｏｒｅｓｔｒｙ Ｐｏｌｉｃｅ，Ｎａｎｊｉｎｇ ２１００４６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓ ａｌｌ ｉｍｐｏｒｔａｎｔ ａｒｔｉｉｆｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ａｕｔｏ—ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌ（ＡＭ）ｃａｌｌ ｂｅ ｅｍｐｌｏｙｅｄ ｔｏ ｍｉｍｉｃ ｈｕｍａｎ ｔｈｉｎｋｉｎｇ ｎｄ ｍａｃｈｉａｎｅ ｉｎｔｅｌｉｇｅｎｃｅ，ｗｈｉｆｃｈ ｈａｓ ｍａｓｓｉｖｅｌｙ ｐａｒａｌｌｅｌ ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｎｆｉｇｕｒａｔｉｏｎ ａｎｄ ｃｏｎｔｅｎｔ－ａｄｄｒｅｓｓａｂｌｅ ａｂｉｌｉｔｙ．Ｉｎ ｔｈｉｓ ｐａｐｃｒ，ｉｎｔｒｏｄｕｃｅ ｉｎ ｄｅｔａｉｌ ｔｈｅ Ｈｏｐｆｉｅｌｄ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏ￣（ＨＡＭ）ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｈａｓ ｙｉｅｌｄｅｄ ａ ｇｒｅａｔ ｉｍｐａｃｔ ｏｎ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ａｕｔｏ－ａｓｓｏｃｉａ・ ｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌ，ａｎｄ ａｎａｌｙｚｅ ＨＡＭ’Ｓ ｓｔｒｏｎｇｐｏｉｎｔ ａｎｄ ｄｒａｗｂａｃｋ． Ｓｅｃｏｎｄｌｙ，ｆｃｕｓｉｏｎｇ ｏｎ ｔｈｅ ｅｘｉｓｔｉｎｇ ｒｅｌｅｖａｎｔ ｒｅｓｅａｒｃｈ ｌｉｔｅｒａｔｕｒｅｓ， ｐｒｅｓｅｎｔ ａ ｓｕ￣ｅｙ ｏｆ ａｕｔｏ－ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌｓ ｆｒｏｍ ｔｈｅ ｔｈｒｅｅ ａｓｐｅｃｔｓ ｓｕｃｈ ａｓ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ，ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅ ｎｄ ｐｒａａｃｔｉｃａｌ ａｐｐｌｉｃａｔｉｏｎ；Ｆｉｎａｌｌｙ，ｓｕｍｍａｒｉｚｅ ｔｈｅ ｍａｉｎ ｑｕｅｓｔｉｏｎ ｗｈｉｃｈ ａｕｔｏ－ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌｓ ａｒｅ ｆａｃｅｄ ｗｉｈ ａｔｔ ｐｒｅｓｅｎｔ，ａｎｄ￣ｒｅｃａｓｔ ｉｔｓ ｆｕ— ｔｕｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｔｅｎｄｅｎｃｙ． Ｋｅｙ ｗｏｒｄｓ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ａｕｔｏ—ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣；ｉｎｔｅｌｌｉｇｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ０ 引 言 长期以来，为了模仿人脑功能，构造出具有类人智 联想回忆出不完整的输入，特别适用于处理含噪和不 确定的信息，因此在内容可寻址存储、智能搜索和检 索、优化计算、纠错编码、智能控制、图像压缩、模式识 别和知识推理等方面获得了极为广泛的应用，成为当 能的人工智能系统，人们对大脑的工作机制和思维的 本质作了大量的研究工作。人工神经网络就是这样一 种能够模仿和延伸人脑智能、思维和意识等功能的自 适应动力学系统。联想记忆模型作为人工神经网络研 究的一个重要分支，具有信息分布式存储和内容可寻 址访问的重要特点，能模拟人脑简单的思维功能，通过 今神经计算主要研究课题之一…。 迄今为止，作为人工神经网络研究的一个重要分 支，联想记忆模型的研究已经取得了丰硕的成果，涉及 到自联想、异联想、序列联想、多向联想和多对多联想 等各种联想模式 ，研究重点主要包括体系结构、学习 算法和实际应用。文中在系统调研现有自联想记忆神 收稿日期：２０１０—０８—２０；修回日期：２０１０—１ ｌ一２０ 基金项目：国家自然科学基金（６１００３０４０）；南京邮电大学校科研基 金（ＮＹ２１００４３） 经网络相关研究文献的基础上，结合我们在该领域的 研究成果，首先详细介绍了著名的Ｈｏｐｆｉｅｌｄ联想记忆 模型（Ｈｏｐｆｉｅｌｄ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ，ＨＡＭ），接着归纳 作者简介：王传栋（１９７１一），男，讲师，硕士，研究方向为神经网络与 模式识别、数据仓库与数据挖掘；杨雁莹，副教授，硕士，研究方向为 软件工程与数据库、数据挖掘。 阐述了自联想记忆神经网络的研究进展，最后总结了 自联想记忆神经网络目前存在的主要问题，并且预测
计算机技术与发展 第２１卷 了其未来的发展趋势。 （１）创造性地引入Ｌｙａｐｕｎｏｖ能量函数描述神经网 络状态的动态学习行为，能量函数的局部最小点存储 １ Ｈｏｐｆｉｅｌｄ联想记忆模型 了所有待学习的模式或信息； 早在２０世纪８０年代初，美国著名物理学家 （２）能够通过数学理论分析该模型的存储容量以 Ｈｏｐｆｉｅｌｄ发表了两篇具有划时代意义的论文 ，这两 及所能获得的纠错性能； 篇文章吸收了前人的许多观点，如Ｇｒｏｓｓｂｅｒｇ的改进模 （３）开创了联想记忆神经网络研究的先河，特别 型，ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ的神经模型，Ａｎｄｅｒｓｏｎ的线性联 是通过能量函数分析网络稳定性的思路在后续很多联 想器模型和盒中脑状态模型等。Ｈｏｐｆｉｅｌｄ把这些重要 想记忆模型的研究中得以广泛使用； 思想结合起来并进行了简明的数学分析（Ｌｙａｐｕｎｏｖ稳 （４）为解决组合优化等实际应用问题提供了有益 定性定理的应用），在此基础上提出了影响深远的 的思路。 Ｈｏｐｆｌｅｌｄ联想记忆模型，不仅开创了自联想记忆模型 研究的先河，而且显示出了神经网络的巨大潜力，对神 ２ 自联想记忆模型研究进展 经网络研究的复苏起了重要作用。 尽管ＨＡＭ模型的影响甚大，推动了神经网络方 １）ＨＡＭ模型权值更新规则。 向的研究，但分析表明该模型仍然存在如下缺陷： ＨＡＭ模型是由二值神经元以全互连的方式构成， （１）存储容量偏低，其上界仅为０．１５Ｎ（Ｎ为网络 其学习算法采用了著名的Ｈｅｂｂ学习规则。学习的实 中神经元个数）； 质是最小化Ｌｙａｐｕｎｏｖ能量函数，通过调整各个神经元 （２）神经元状态仅为二值，无法直接处理现实中 的权值最终达到存储待记忆模式的目的。假设有一组 的多值情形； 待记忆的ｎ维模式列向量｛Ｘ。∈｛一１，１｝ ，ｉ＝１，２， （３）网络结构过度复杂，随着网络规模的扩大，神 …，Ｍ｝， 为任意输入模式，ｘ 为ｘ的下一个状态， 经元个数的增多将导致不可实现的全互连，等等。 ＨＡＭ的回忆规则描述如下： 因此，Ｈｏｐｆｉｅｌｄ模型更多的是在于理论指导意义， ：ｓｇｎ（ｗｘ）＝ｓｇｎ（∑ 。 ‘（ ‘） ）＝ 为此，国内外许多学者从以下三个方面展开了一系列 ｓｇｎ（∑ ， （ ， ）） （１） 富有成效的研究： １）学习算法方面。 其中，Ｗ＝∑？， （ｘ。） ，这里Ｗ为权值矩阵， 为了提高ＨＡＭ的存储容量，扩大它的处理范围， ｓｇｎ（・）为二值符号函数。 众多研究人员对此进行了长期不懈的研究，提出了许 ２）ＨＡＭ模型收敛性分析。 多新的自联想记忆模型学习算法。１９８６年，Ｐｓａｌｔｉｓ 网络的收敛性决定着网络的动态行为最终能否稳 等人提出了一个高阶关联联想记忆模型（Ｈｉｇｈ—Ｏｒｄｅｒ 定。如果 满足等式Ｘ＝ｓｇｎ（ＷＸ一０），则ＨＡＭ网络 Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ，ＨＯＣＡＭ），ＨＯＣＡＭ按 达到稳定状态，此时状态 即为Ｌｙａｐｕｎｏｖ能量函数的 下面的演化规则进行迭代： 吸引子或不动点。网络迭代学习的日的就是通过权值 ＝ｓｇｎ（∑ Ｍ：．（（ ， ）＋ｎ） Ｘｉ），ｇ∈Ⅳ，ｑ １ 更新使待记忆模式成为吸引子或不动点。容易证明， （３） 异步更新模式下，ＨＡＭ从任意初态出发最终都将收敛 虽然ＨＯＣＡＭ也是二值模型，但其存储容量较 到吸引子或不动点。或者说，对于ＨＡＭ网络的任意 个输入模式，经过若干次迭代学习后，神经元一定会 Ｈｏｐｆｉｅｌｄ模型有了很大的提高，在数量级上达到了 一Ｎｑ。１９８８年，Ｄｅｍｂｏ和Ｚｅｉｔｏｕｎｉ 提出了势函数关联 趋于稳定，输出结果或者是已记忆模式，或者是未记忆 联想记忆模型（Ｐｏｔｅｎｔｉａｌ—Ｆｕｎｃｔｉｏｎ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａ． 模式（未记忆模式称为ＨＡＭ网络的伪稳态模式）。 ｔｉｖｅ Ｍｅｍｏｒｙ，ＰＦＣＡＭ）。该模型的演化规则如下： 在离散时刻和离散状态下，对于Ｘ（ｔ）的异步变 化，如果Ｌｙａｐｕｎｏｖ能量函数： ＝ｓｇｎ（∑ （ｎ一＜ ‘， ））一￥ ‘）， 兰１ ｌ — Ｅ（ｔ）＝一÷ （二 ） ｗｘ（ｔ）十 （ｔ） ０ （２） （４） ＰＦＣＡＭ模型的存储容量达到了模式向量维数的 满足两个条件：（１）能量函数Ｅ（ｔ）有界；（２）能量函数 指数倍，比ＨＯＣＡＭ模型的存储容量又有了相当大的 Ｅ（ｔ）随 （ｔ）的变化而减小，则说明ＨＡＭ网络在该更 提高，但是该模型的一个最大缺点是势函数的硬件实 新方式下收敛，详细证明过程参见文献［５］。 现非常复杂 。１９９１年，指数关联联想记忆模型（Ｅｘ— ３）ＨＡＭ模型的特点。 ｐｏｎｅｎｔｉａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ，ＥＣＡＭ）由Ｃｈｉ． ＨＡＭ模型具有以下几个特点： ｕｅｈ和Ｇｏｏｄｍａｎ提出 ，ＥＣＡＭ实际上是一双层非线
第３期 王传栋等：自联想记忆神经网络研究 ．１１１． 性反馈神经网络，第一层神经元用于计算输入模式与 值拓展成整数多值，进一步提出了多值指数关联联想 记忆模型（Ｍｏｄｉｆｉｅｄ Ｍｕｌｔｉ—ｖａｌｕｅｄ Ｅｘｐｏｎｅｎｔｉａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏ￣Ｍｏｄｅｌ，ＭＭＶ－ＥＣＡＭ），同时采用类 所有训练模式的关联值，这些关联值经过非线性变换 后接着输入第二层．第二层神经元对这些中间值进行 加权求和并取阈值从而产生网络的下一个状态，然后 再反馈给第一层。ＥＣＡＭ可由下面的权值更新规则来 描述： 似于Ｍ ＥＲＣＡＭ模型的能量函数分析法证明了异步更 新模式下的稳定性。Ｗａｎｇ的ＭＭＶ＇ＥＣＡＭ模型是自 联想记忆模型中非常重要的一类多值模型，双向联想、 Ｘ ＝ｓｇｎ（∑Ｍ ｂ ￥Ｘ‘），ｂ＞１ （５） 序列联想和多向联想等其它联想记忆模型的多值化拓 ＥＣＡＭ模型具有与ＰＦＣＡＭ大致相当的存储容量 和纠错性能，而且更为重要的是，ＥＣＡＭ模型的硬件实 现比ＰＦＣＡＭ容易得多，实际的测试结果表明，ＥＣＡＭ 芯片执行的效果与其理论模型的仿真结果一致，且能 满足实时性要求。虽然这些模型的存储容量得到了很 大的提高，但是仅能处理二值模式。１９９３年，Ｃｈｉｕｅｈ 等人 。 在前述ＥＣＡＭ的基础上又提出了一种多值指 数关联联想记忆模型（Ｍｕｌｔｉ－ｖａｌｕｅｄ Ｅｘｐｏｎｅｎｔｉａｌ Ｃｏｒｒｅ－ ｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏ￣，ＭＶＥＣＡＭ），该模型不再局 限于二值自联想记忆模型的数值处理范围，能够处理 现实世界中的多值问题。ＭＶＥＣＡＭ的权值更新规则 ／，．．。。．Ｈ 描述如下： ＝∑ 。■ ＝ｌＸ‘ ６ ／∑ 。■ ＝ｉ ｌ ｂ ‘ ，ｂ＞１（６） ＭＶＥＣＡＭ模型虽然在数值表示范围上取得了突 破性的进展，但是，该模型很难在有限的迭代步内收敛 到一个理想的稳定点，并且缺乏稳定性证明和纠错性 能的分析。１９９４年，Ｃｈｅｎ和Ｋｗｏｎｇ¨ 改进了ＭＶＥ— ＣＡＭ模型，提出了改进的多值指数递归关联联想记忆 模型（Ｍｏｄｉｆｉｅｄ Ｍｕｌｔｉ—ｖａｌｕｅｄ Ｒｅｃｕｒｒｅｎｔ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏ— ｃｉａｔｉｖｅ Ｍｅｍｏ￣ｗｉｔｈ Ｅｘｐｏｎｅｎｔｉａｌ ｆｕｎｃｔｉｏｎ，Ｍ ＥＲＣＡＭ）， 并且通过定义一个简单的能量函数证明了该模型在有 限步迭代之内一定收敛。下面给出Ｍ ＥＲＣＡＭ的演化 规则： ＝日（、 一ｉ：Ｉ －￥６（ ／ 一ｉ：１ ６＜ ），ｂ＞１ （７） 这里Ｈ（．）是向量阶梯阈值函数，其在每个分量上 的定义为： Ｈ（Ｍ ）＝ ｆ一１，ｕ ＜一（２Ｌ一１）／（２ ＋１） ｌ ｌ，Ｍ （２Ｌ一１）／（２Ｌ＋１） Ｉ ｒ／Ｌ，“ ∈［（２ｒ一１）／（２Ｌ＋１），（２ｒ＋１）／（２Ｌ＋１）） Ｌｒ＝０，±１，４－１，…，±（Ｌ一１） Ｍ ＥＲＣＡＭ模型主要采用了模式向量的内积相似 性度量，适用于解决那些能表征为稀疏向量模式的实 际问题，对非稀疏向量模式的存储和纠错性能比较一 般。１９９６年，Ｗａｎｇ等人¨ 用欧式距离代替内积相似 度，并且修改了多值向量阶梯阈值函数，把小于１的多 展大多数采用了类似的思想。ＭＭＶ—ＥＣＡＭ模型具有 如下状态更新规则： ∑ “ ］，６＞・，其中日ｃ ｕ ＝ ６一 一 －一 ＝１ ㈩ 【Ｌ（Ｌ／Ｄ） ｕ ＋０．５Ｊ，ｅｌｓｅｗｈｅｒｅ
・ｌｌ２・ 计算机技术与发展 第２１卷 络全互连体系结构的局限性提供了一种思路。 Ｂｏｈｌａｎｄ等人¨ 率先对ＨＡＭ模型的结构和连接稀疏 性进行了研究，通过构建具有小世界体系结构的 ＨＡＭ，在实验上证实了局部邻域的规则连接与稀少的 展，但离实际的设计目标仍有很大差距，在学习算法 上，目前的研究者并不是从生物学本身出发，而仅仅从 数学角度来设计算法、分析算法的稳定性和收敛性。 确实，通过数学建模的自联想记忆模型具有了一定的 联想记忆功能，也能进行应用，但单纯依靠数学建模的 全局长程连接能获得与全互连的ＨＡＭ相当的性能， 且其结构上的优越性有利于模型硬件制作工艺上的实 方法可能导致对自联想记忆模型研究的偏离。自联想 记忆模型研究的出发点是模拟人脑的记忆功能，自然 现。但它不可避免地继承了ＨＡＭ模型的缺陷：①数 值处理范围局限于二值形式；②存储容量和纠错能力 应该从模拟人脑生物神经网络的信息存储和加工处理 偏低，因此难以获得实际应用。２００５年，Ｃｈｅｎ等人¨ 通过在ＫＡＭｓ中引入类似的“小世界现象”，进一步提 出了一类基于小世界体系的多值核自联想记忆模型 （Ｓｍａｌｌ－Ｗｏｒｌｄ Ｓｔｒｕｃｔｕｒｅ Ｉｎｓｐｉｒｅｄ Ｋｅｒｎｅｌ Ａｕｔｏ－ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ Ｍｏｄｅｌｓ，ＳＷＳＩ－ＫＡＭｓ）。实验结果表明，该模型 只需保持稀疏的局部连接就能达到其全互连结构时相 当的存储和纠错性能。既克服了Ｂｏｈｌａｎｄ等人的缺 陷，又简化了传统的自联想记忆模型的全互连拓扑结 构，在较大程度上解决了一类重要的神经网络硬件实 现时布线工艺上的瓶颈问题。 ３）实际应用方面。 自联想记忆神经网络不仅在算法理论和体系结构 设计方面取得了一定的进展，而且在许多实际应用领 域亦取得了显著的成效。自联想记忆神经网络最早的 应用范例是旅行商问题 （Ｔｒａｖｅｌｉｎｇ Ｓａｌｅｓｍａｎ Ｐｒｏｂ－ ｌｅｍ，ａｓＰ）求解。在模式识别领域，白联想记忆神经网 络已成功应用于字符识别 、汽车牌照识别 、指纹 和声音识别¨ 、人脸识别 、结构损伤位置识别¨９ 和 单样本图像识别 Ｊ。在图像处理领域，王耀南等人 将一种基于自联想记忆神经网络的遥感图像主分量提 取方法应用于图像压缩、特征提取和图像滤波，王宇等 人 利用一种改进的基于连续函数的全并行自反馈 Ｈｏｐｆｉｅｌｄ网络应用于图像复原。同时，自联想记忆神 经网络还被广泛应用于各种故障诊断，如传感器故障 诊断 引、发动机故障诊断 和谷氨酸发酵故障诊 断 等。我们相信，自联想记忆神经网络的应用领域 还将不断扩大，在未来的几年中有望在以下一些领域 取得更大的成功，如：数据挖掘、电力系统、地理信息系 统和自动控制系统等。 ３结束语 研究自联想记忆神经网络的最终目的是期望所设 计的模型达到如下的目标：（１）高存储量或训练集的 完全回忆；（２）高的纠错能力，即使所存模式的吸引域 尽可能大；（３）极少的伪稳态点；（４）不会遗忘；（５）易 于动态或在线记忆或学习；（６）易实现，不仅学习算法 易实现，硬件的实现也同样关键。 自联想记忆神经网络的研究尽管取得了一些进 机制人手。在体系结构方面，较符合生物特性的应是 小世界网络和无标度网络等各种复杂网络体系结构， 而这方面的研究刚刚起步，可能成为今后的一个重要 研究方向；在学习算法方面，结合具有生物特性的混沌 神经元模型和多对多联想功能的自联想记忆模型及算 法将可能成为近期的研究目标之一。总之，自联想记 忆神经网络的研究具既有挑战性，又具有极大的吸引 力。 参考文献： ［１］周志华，曹存根．神经网络的研究和进展［Ｍ］．北京：清华 大学出版社，２００４． ［２］ 陈蕾，陈松灿，张道强．小世界体系的多对多核联想记忆 模型及其应用［Ｊ］．软件学报，２００６，１７（２）：２２３—２３１． ［３］Ｈｏｐｉｆｅｌｄ Ｊ Ｊ．Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｐｈｙｓｉｃａｌ ｓｙｓｔｅｍｓ ｗｉｔｈ ｅｍｅｒｇｅｎｔｃｏｌｌｅｃｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｒｏｐｅ￣ｉｅｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，ＵＳＡ，１９８２，７９：２５５４— ２５５８。 ［４］Ｈｏｐｆｉｅｌｄ Ｊ Ｊ．Ｎｅｕｒｏｎｓ ｗｉｔｈ ｇｒａｄｅ ｒｅｓｐｏｎｓｅ ｈａｖｅ ｃｏｌｌｅｃｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｒｏｐｅ￣ｉｅｓ ｌｉｋｅ ｔｈｏｓｅ ｏｆ ｔｗｏ－ｓｔａｔｅ ｎｅｕｒｏｎｓ［Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，ＵＳＡ，１９８４， ８１：３０８８—３０９２． ［５］杨行峻，郑君里．人工神经网络［Ｍ］．北京：高等教育出版 社，１９９２：ｌ一２５． ［６］Ｐｓａｌｔｉｓ Ｄ，Ｐａｒｋ Ｈ Ｃ．Ｎｏｎｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ｆｕｎｃｔｉｏｎｓ ａｎｄ ａｓ— ｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｉｅｓ［Ｍ］／／ｉｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ． Ｄｅｎｋｅｒ Ｊ Ｓ．Ｎｅｗ Ｙｏｒｋ，ＮＹ：Ａｍｅｒｉｃａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｐｈｙｓｉｃｓ。 １９８６：３７０—３７５ ［７］Ｄｅｍｂｏ Ａ，Ｚｅｉｔｏｕｎｉ Ｏ．Ｈｉ【ｓｈ ｄｅｎｓｉｔｙ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｉｅｓ ［Ｍ］／／ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ．Ａｎｄｅｒｓｏｎ Ｄ Ｚ．Ｎｅｗ Ｙｏｒｋ，ＮＹ：Ａｍｅｒｉｃａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｐｈｙｓｉｃｓ，１９８８：２１ １ —２ｌ８． ［８］Ｄｅｍｂｏ Ａ，Ｚｅｉｔｏｕｎｉ ０。Ｇｅｎｅｒａｌ ｐｏｔｅｎｔｉｌａ Ｓｕｌ￣ａｅｅｓ ａｎｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．Ｐｈｙｓｉｃｓ Ｒｅｖｉｅｗ Ａ，１９８８，３７（６）：２１３４—２１４３． ［９］ Ｃｈｉｕｅｈ Ｔ Ｄ，Ｇｏｏｄｍａｎ Ｒ Ｍ．Ｒｅｃｕｒｒｅｎｔ ｃｏｒｒｅｌａｔｉｏｎ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｉｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒ￣ｎｅｔｗｏｒｋｓ，１９９１，２ （２）：２７５—２８４ ［１０］Ｃｈｉｕｅｈ Ｔ—Ｄ，Ｔｓａｉ Ｈ—Ｋ．Ｍｕｌｔｉｖｌａｕｅｄ Ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｉｒｅｓ ｂａｓｅｄ ｏｎ ｒｅｃｕｒｒｅｎｔ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｓ，１９９３，４（２）：３６４—３６６． （下转第ｌｌ６页）
・１ｌ６・ 计算机技术与发展 第２ｌ卷 表ｌ 基于文中的方法与，Ｊ、波类方法的比较结果 ［３］何东健．数字图像处理［Ｍ］．西安：西安电子科技大学出版 测试 输入噪 ＰＳＮＲ 社，２０ｏ３． 结果 声水平 ＳＬＳ－ＣＳＭ（ｄＢ） 文中方法（ｄＢ） 差值（曲） ［４］ Ｅｌａｄ Ｍ，Ａｈａｒｏｎ Ｍ．Ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ｖｉａ ｓｐａｒｓｅ ａｎｄ ｒｅｄｕｎｄａｎｔ ｌ０ ３０．８７ ３２．１８ ＋１．３１ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｖｅｒ ｌｅａｒｎｅｄ ｄｉｃｔｉｏｎａｒｉｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｌｅｎａ １５ ２８．３２ ２９．７５ ＋１．４３ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００６，１５（１２）：３７３６－３７４５． ２０ ２６．４０ ２８．０ｌ ＋１．６ｌ ［５］傅霆，尧德克．稀疏分解的加权迭代方法及其初步应用 １０ ３２．６５ ３３．１８ ＋１．５３ ｃｌｏｔｈ ｌ５ ２８．３６ ３Ｏ．２５ ＋Ｉ．８９ ［Ｊ］．电于学报，２００４，３２（４）：５６７－５７０． ２０ ２７．０ｌ ２８．７６ ＋１．７６ ［６］ Ｒｅｍｉ Ｇ，Ｅｍｍａｎｕｅｌ Ｂ．Ｈａｒｍｏｎｉｃ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ａｕｄｉｏ ｓｉｇ— ｎａｌｓ ｗｉｔ ｈ ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００３，５１（１）：１０１一ｌ１１． ５结束语 ［７］夏德深，傅德胜．现代图像处理技术与应用［Ｍ］．南京：东 提出一种基于稀疏序列的图像去噪方法，并将其 南大学出版社，１９９７． 应用在布坯缺陷检测中。首先将含噪图像中采集的子 ［８］Ａｈａｒｏｎ Ｍ，Ｅｌａｄ Ｍ，Ｂｒｕｃｋｓｔｅｉｎ Ａ Ｍ．Ｔｈｅ Ｋ－ＳＶＤ：Ａｎ ａｌｇｏ— 图通过学习，得到字典Ｄ，再求解各子图像在此字典 ｒｉｔｈｍ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｏｆ ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｉｅｓ ｏｆｒ ｓｐａｒｓｅ ｒｅｐ— 上的稀疏表示。该过程就是将原始图像和噪声分离开 ｒｅｓｅｎｔａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ．Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ，２００６，５４（１１）： 来，通过重建恢复原始图像。将本实验数据与ＢＬＳ— ４３ｌ１－４３２２． ＧＳＭ去噪方法相比，基于本文的方法对去除图像中的 ［９］ 田村秀行．计算机图像处理［Ｍ ３．金喜子，乔双译．北京： 高斯白噪声效果较好，提高了去噪图像的ＰＳＮＲ值， 科学出版社，２００４． ［１０］Ａｈａｒｏｎ Ｍ，Ｅｌａｄ Ｍ，Ｂｒｕｃｋｓｔｅｉｎ Ａ Ｍ．Ｏｎ ｔｈｅ ｕｎｉｑｕｅｎｅｓｓ ｏｆ 保留图像的细节信息，且具有更好的视觉效果。将所 ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｉｅｓ，ａｎｄ ａ ｐｒａｃｔｉｃａｌ ｗａｙ ｔｏ ｒｅｔｒｉｅｖｅ 采集到的数字图像去噪后将背景和缺陷进行分离，才 ｈｔｅｍ［Ｊ］＋Ｊ．Ｌｉｎ．Ａｌｇｅｂｒａ Ａｐｐｌ，２００６，４１６：４ｓ一６７． 能更有效地将缺陷进行界定，以利后续的相关特征提 ［１１］章毓晋．图象理解与计算机工程［Ｍ］．北京：清华大学出版 取。 社，２０００． ［１２］Ｇｒａｃｅ Ｃ Ｓ．Ｗａｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｍｕｈｉｐｌｅ Ｎｏｉｓｙ Ｉｍａｇｅ 参考文献： Ｃｏｐｉｅｓ［Ｊ］．ＩＥＥＥ Ｔｒｎａｓａｃｉｔｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０００，９ ［１］孙即祥．图像处理［Ｍ］．北京：科学出版社，２００４． （９）：１６３１—１６３５． ［２］冈萨雷斯．数字图像处理［Ｍ］．北京：电子工业出版社， ［１３］蔡泽民，赖剑煌．一种基于超完备字典学习的图像去噪方 ２００２． 法［Ｊ］．电子学报，２００９，３７（２）：４３８—４４１． （上接第１１２页） ［１１］Ｃｈｅｎ Ｚ Ｙ，Ｋｗｏｎｇ Ｃ Ｐ．Ｒｅｃｕｒｒｅｎｔ ｃｏｒｒｅｌａｔｉｏｎ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍ— 字符自联想识别［Ｊ］．模式识别与人工智能，２００４，１７（４）： ｏｒｉｅｓ ｗｉｔｈ ｍｕｌｔｉｐｌｅ—ｖａｌｕｅ［Ｃ］／／ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ－ ４６７—４７２． ｅｎｃｅ ｏ１１ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．Ｏｒｌａｎｄｏ，ＦＬ，ＵＳＡ：［Ｓ．ｎ．］，１９９４： ［１８］陈存宝，赵力．嵌入自联想神经网络的高斯混合模型说 １Ｏ６８—１０７３． 话人辨认［Ｊ］．电子与信息学报，２０１０，３２（３）：５２８—５３２． ［１２］Ｗａｎｇ Ｃ Ｃ，Ｈｗａｎｇ Ｓ Ｍ，Ｌｅｅ Ｊ Ｐ．Ｃａｐａｃｉｔｙ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ａｓ— ［１９］罗璇，程伟．利用模态编码进行结构损伤位置识别的自 ｙｍｐｔｏｔｉｃａｌｌｙ ｓｔａｂｌｅ ｍｕｈｉｖａｌｕｅｄ ｅｘｐｏｎｅｎｔｉＭ ｂｉｄｉｒｅｃｔｉｏｎａｌ ａｓｓｏ— 联想储存器神经网络方法［Ｊ］．航空学报，２００８，２９（１）： ｃｉａｔｉｖｅ ｍｅｍｏｒｙ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ ｓｙｓｔｅｍｓ，ｍａｌｌ，ａｎｄ ６ｏ～６５． ｃｙｂｅｒｎｅｔｉｃｓ，１９９６，２６（３）：７３３—７４３． ［２０］王传栋，陈蕾．一种基于稀疏指数联想记忆神经网络的 ［１３］Ｃｈｅｎ Ｓ Ｃ，Ｃｈｅｎ Ｌ，Ｚｈｏｕ Ｚ Ｈ．Ａ ｕｎｉｉｆｅｄ ＳＷＳＩ—ＫＡＭｓ ｆｒａｍｅ． 图像识别方法［Ｊ］ 南京邮电大学学报，２００８，２８（６）：７８— ｗｏｒｋ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｎｅｕ— ８３． ｏｒｃｏｍｐｕｔｉｎｇ，２００５，６８：５４—６９． ［２１］王耀南，谢勇．自联想神经网络的遥感图像主分量提取 ［１４］Ｂｏｈｌａｎｄ Ｊ Ｗ，Ｍｉｎａｉ Ａ Ａ．Ｅｆｆｉｃｉｅｎｔ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｕｓｉｎｇ ［Ｊ］．中国图象图形学报，２０００，５Ａ（１）：２５—２９． ｓｍａｌｌ－ｗｏｒｌｄ ａｒｃｈｉｔｅｃｔｕｒｅ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００１，３８（１）： ［２２］王宇，何小海．改进的Ｈｏｐｆｉｅｌｄ网络图像复原［Ｊ］．计算 ４８９－４９６． 机工程，２００７，３３（１７）：５４—５６． ［１５］Ｈｏｐｆｉｅｌｄ Ｊ Ｊ．Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｄｅｃｉｓｉｏｎｓ ｉｎ ｏｐｔｉｍｉｚａｔｉｏｎ ［２３］许跃，朱伟兴．基于自联想神经网络的传感器故障诊断 ｐｒｏｂｌｅｍｓ［Ｊ］．Ｂｉｏｌｏｇｉｃａｌ ｃｙｂｅｒｎｅｔｉｃｓ，１９８７，５２：１４１—１５２． ［Ｊ］．传感器与微系统，２００７，２６（４）：９４—９６． ［１６］陈蕾，王传栋，孙知信，等．距离加权的２－Ｄ核自联想记 ［２４］陈恬，孙健国，杨蔚华，等．自组织神经网络航空发动机 忆模型及其应用［Ｊ］．模式识别与人工智能，２００７，２０（１）： 气路故障诊断［Ｊ］．航空学报，２００３，２４（１）：４６—４８． ｌ１Ｏ—ｌ１４． ［２５］董传亮，史仲平．基于自联想神经网络的谷氨酸发酵故障 ［１７］芮挺，沈春林，张金林．基于字符特征的车牌英文和数字 诊断［Ｊ］．生物学杂志，２００９，２６（３）：３３—３７．
2024年3月1日发(作者：兆冰海)
第２ｌ卷第３期 计算机技术与发展 ＣＯＭＰＵＴＥＲ ＴＥＣＨＮＯＬＯＧＹ ＡＮＤ ＤＥＶＥＬＯＰＭＥＮＴ ２０１１年３月 Ｖ０Ｉ．２ｌ Ｎｏ．３ Ｍａｒ． ２０ｌｌ 自联想记忆神经网络研究 王传栋 ，杨雁莹。 （１．南京邮电大学计算机学院，江苏南京２１０００３； ２．南京邮电大学计算机技术研究所，江苏南京２１０００３； ３．南京森林警察学院信息技术系，江苏南京２１００４６） 摘要：自联想记忆神经网络能模拟人脑思维和机器智能，具有信息分布式存储和内容可寻址访问的重要特征，是人工神 经网络研究的一个重要分支。介绍了开创自联想记忆神经网络研究先河的Ｈｏｐｆｉｅｌｄ联想记忆神经网络模型，分析了该模 型的优缺点；然后在系统分析现有白联想记忆神经网络相关研究文献的基础上，从学习算法、体系结构和应用领域三个方 面对自联想记忆神经网络的研究进展进行了归纳阐述；总结了自联想记忆神经网络目前存在的主要问题，并且预测了其 未来的发展趋势。 关键词：神经网络；自联想记忆；智能信息处理 中图分类号：＿ｒＰ１８３ 文献标识码：Ａ 文章编号：１６７３－６２９Ｘ（２０ｌ１）０３－０１０９—０４ Ｒｅｓｅａｒｃｈ ｏｎ Ａｕｔｏ－Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ＷＡＮＧ Ｃｈｕａｎ—ｄｏｎｇ ，－．ＹＡＮＧ Ｙａｎ—ｙｉｎｇ （１．Ｃｏｌｌｅｇｅ ｏｆ Ｃｏｍｐｕｔｅｒ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ ２ １０００３，Ｃｈｉｎａ； ２．Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｃｏｍｐｕｔｅｒ Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｐｏｓｔｓ＆Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ，Ｎａｎｊｉｎｇ ２１０００３，Ｃｈｉｎａ； ３．Ｄｅｐａｒｔｍｅｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ Ｃｏｌｌｅｇｅ ｏｆ Ｆｏｒｅｓｔｒｙ Ｐｏｌｉｃｅ，Ｎａｎｊｉｎｇ ２１００４６，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ａｓ ａｌｌ ｉｍｐｏｒｔａｎｔ ａｒｔｉｉｆｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ，ａｕｔｏ—ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌ（ＡＭ）ｃａｌｌ ｂｅ ｅｍｐｌｏｙｅｄ ｔｏ ｍｉｍｉｃ ｈｕｍａｎ ｔｈｉｎｋｉｎｇ ｎｄ ｍａｃｈｉａｎｅ ｉｎｔｅｌｉｇｅｎｃｅ，ｗｈｉｆｃｈ ｈａｓ ｍａｓｓｉｖｅｌｙ ｐａｒａｌｌｅｌ ｄｉｓｔｒｉｂｕｔｅｄ ｃｏｎｆｉｇｕｒａｔｉｏｎ ａｎｄ ｃｏｎｔｅｎｔ－ａｄｄｒｅｓｓａｂｌｅ ａｂｉｌｉｔｙ．Ｉｎ ｔｈｉｓ ｐａｐｃｒ，ｉｎｔｒｏｄｕｃｅ ｉｎ ｄｅｔａｉｌ ｔｈｅ Ｈｏｐｆｉｅｌｄ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏ￣（ＨＡＭ）ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｗｈｉｃｈ ｈａｓ ｙｉｅｌｄｅｄ ａ ｇｒｅａｔ ｉｍｐａｃｔ ｏｎ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｏｆ ａｕｔｏ－ａｓｓｏｃｉａ・ ｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌ，ａｎｄ ａｎａｌｙｚｅ ＨＡＭ’Ｓ ｓｔｒｏｎｇｐｏｉｎｔ ａｎｄ ｄｒａｗｂａｃｋ． Ｓｅｃｏｎｄｌｙ，ｆｃｕｓｉｏｎｇ ｏｎ ｔｈｅ ｅｘｉｓｔｉｎｇ ｒｅｌｅｖａｎｔ ｒｅｓｅａｒｃｈ ｌｉｔｅｒａｔｕｒｅｓ， ｐｒｅｓｅｎｔ ａ ｓｕ￣ｅｙ ｏｆ ａｕｔｏ－ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌｓ ｆｒｏｍ ｔｈｅ ｔｈｒｅｅ ａｓｐｅｃｔｓ ｓｕｃｈ ａｓ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍ，ｎｅｔｗｏｒｋ ａｒｃｈｉｔｅｃｔｕｒｅ ｎｄ ｐｒａａｃｔｉｃａｌ ａｐｐｌｉｃａｔｉｏｎ；Ｆｉｎａｌｌｙ，ｓｕｍｍａｒｉｚｅ ｔｈｅ ｍａｉｎ ｑｕｅｓｔｉｏｎ ｗｈｉｃｈ ａｕｔｏ－ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣ｍｏｄｅｌｓ ａｒｅ ｆａｃｅｄ ｗｉｈ ａｔｔ ｐｒｅｓｅｎｔ，ａｎｄ￣ｒｅｃａｓｔ ｉｔｓ ｆｕ— ｔｕｒｅ ｄｅｖｅｌｏｐｍｅｎｔ ｔｅｎｄｅｎｃｙ． Ｋｅｙ ｗｏｒｄｓ：ｎｅｕｒａｌ ｎｅｔｗｏｒｋ；ａｕｔｏ—ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏ￣；ｉｎｔｅｌｌｉｇｅｎｔ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ０ 引 言 长期以来，为了模仿人脑功能，构造出具有类人智 联想回忆出不完整的输入，特别适用于处理含噪和不 确定的信息，因此在内容可寻址存储、智能搜索和检 索、优化计算、纠错编码、智能控制、图像压缩、模式识 别和知识推理等方面获得了极为广泛的应用，成为当 能的人工智能系统，人们对大脑的工作机制和思维的 本质作了大量的研究工作。人工神经网络就是这样一 种能够模仿和延伸人脑智能、思维和意识等功能的自 适应动力学系统。联想记忆模型作为人工神经网络研 究的一个重要分支，具有信息分布式存储和内容可寻 址访问的重要特点，能模拟人脑简单的思维功能，通过 今神经计算主要研究课题之一…。 迄今为止，作为人工神经网络研究的一个重要分 支，联想记忆模型的研究已经取得了丰硕的成果，涉及 到自联想、异联想、序列联想、多向联想和多对多联想 等各种联想模式 ，研究重点主要包括体系结构、学习 算法和实际应用。文中在系统调研现有自联想记忆神 收稿日期：２０１０—０８—２０；修回日期：２０１０—１ ｌ一２０ 基金项目：国家自然科学基金（６１００３０４０）；南京邮电大学校科研基 金（ＮＹ２１００４３） 经网络相关研究文献的基础上，结合我们在该领域的 研究成果，首先详细介绍了著名的Ｈｏｐｆｉｅｌｄ联想记忆 模型（Ｈｏｐｆｉｅｌｄ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ，ＨＡＭ），接着归纳 作者简介：王传栋（１９７１一），男，讲师，硕士，研究方向为神经网络与 模式识别、数据仓库与数据挖掘；杨雁莹，副教授，硕士，研究方向为 软件工程与数据库、数据挖掘。 阐述了自联想记忆神经网络的研究进展，最后总结了 自联想记忆神经网络目前存在的主要问题，并且预测
计算机技术与发展 第２１卷 了其未来的发展趋势。 （１）创造性地引入Ｌｙａｐｕｎｏｖ能量函数描述神经网 络状态的动态学习行为，能量函数的局部最小点存储 １ Ｈｏｐｆｉｅｌｄ联想记忆模型 了所有待学习的模式或信息； 早在２０世纪８０年代初，美国著名物理学家 （２）能够通过数学理论分析该模型的存储容量以 Ｈｏｐｆｉｅｌｄ发表了两篇具有划时代意义的论文 ，这两 及所能获得的纠错性能； 篇文章吸收了前人的许多观点，如Ｇｒｏｓｓｂｅｒｇ的改进模 （３）开创了联想记忆神经网络研究的先河，特别 型，ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ的神经模型，Ａｎｄｅｒｓｏｎ的线性联 是通过能量函数分析网络稳定性的思路在后续很多联 想器模型和盒中脑状态模型等。Ｈｏｐｆｉｅｌｄ把这些重要 想记忆模型的研究中得以广泛使用； 思想结合起来并进行了简明的数学分析（Ｌｙａｐｕｎｏｖ稳 （４）为解决组合优化等实际应用问题提供了有益 定性定理的应用），在此基础上提出了影响深远的 的思路。 Ｈｏｐｆｌｅｌｄ联想记忆模型，不仅开创了自联想记忆模型 研究的先河，而且显示出了神经网络的巨大潜力，对神 ２ 自联想记忆模型研究进展 经网络研究的复苏起了重要作用。 尽管ＨＡＭ模型的影响甚大，推动了神经网络方 １）ＨＡＭ模型权值更新规则。 向的研究，但分析表明该模型仍然存在如下缺陷： ＨＡＭ模型是由二值神经元以全互连的方式构成， （１）存储容量偏低，其上界仅为０．１５Ｎ（Ｎ为网络 其学习算法采用了著名的Ｈｅｂｂ学习规则。学习的实 中神经元个数）； 质是最小化Ｌｙａｐｕｎｏｖ能量函数，通过调整各个神经元 （２）神经元状态仅为二值，无法直接处理现实中 的权值最终达到存储待记忆模式的目的。假设有一组 的多值情形； 待记忆的ｎ维模式列向量｛Ｘ。∈｛一１，１｝ ，ｉ＝１，２， （３）网络结构过度复杂，随着网络规模的扩大，神 …，Ｍ｝， 为任意输入模式，ｘ 为ｘ的下一个状态， 经元个数的增多将导致不可实现的全互连，等等。 ＨＡＭ的回忆规则描述如下： 因此，Ｈｏｐｆｉｅｌｄ模型更多的是在于理论指导意义， ：ｓｇｎ（ｗｘ）＝ｓｇｎ（∑ 。 ‘（ ‘） ）＝ 为此，国内外许多学者从以下三个方面展开了一系列 ｓｇｎ（∑ ， （ ， ）） （１） 富有成效的研究： １）学习算法方面。 其中，Ｗ＝∑？， （ｘ。） ，这里Ｗ为权值矩阵， 为了提高ＨＡＭ的存储容量，扩大它的处理范围， ｓｇｎ（・）为二值符号函数。 众多研究人员对此进行了长期不懈的研究，提出了许 ２）ＨＡＭ模型收敛性分析。 多新的自联想记忆模型学习算法。１９８６年，Ｐｓａｌｔｉｓ 网络的收敛性决定着网络的动态行为最终能否稳 等人提出了一个高阶关联联想记忆模型（Ｈｉｇｈ—Ｏｒｄｅｒ 定。如果 满足等式Ｘ＝ｓｇｎ（ＷＸ一０），则ＨＡＭ网络 Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ，ＨＯＣＡＭ），ＨＯＣＡＭ按 达到稳定状态，此时状态 即为Ｌｙａｐｕｎｏｖ能量函数的 下面的演化规则进行迭代： 吸引子或不动点。网络迭代学习的日的就是通过权值 ＝ｓｇｎ（∑ Ｍ：．（（ ， ）＋ｎ） Ｘｉ），ｇ∈Ⅳ，ｑ １ 更新使待记忆模式成为吸引子或不动点。容易证明， （３） 异步更新模式下，ＨＡＭ从任意初态出发最终都将收敛 虽然ＨＯＣＡＭ也是二值模型，但其存储容量较 到吸引子或不动点。或者说，对于ＨＡＭ网络的任意 个输入模式，经过若干次迭代学习后，神经元一定会 Ｈｏｐｆｉｅｌｄ模型有了很大的提高，在数量级上达到了 一Ｎｑ。１９８８年，Ｄｅｍｂｏ和Ｚｅｉｔｏｕｎｉ 提出了势函数关联 趋于稳定，输出结果或者是已记忆模式，或者是未记忆 联想记忆模型（Ｐｏｔｅｎｔｉａｌ—Ｆｕｎｃｔｉｏｎ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａ． 模式（未记忆模式称为ＨＡＭ网络的伪稳态模式）。 ｔｉｖｅ Ｍｅｍｏｒｙ，ＰＦＣＡＭ）。该模型的演化规则如下： 在离散时刻和离散状态下，对于Ｘ（ｔ）的异步变 化，如果Ｌｙａｐｕｎｏｖ能量函数： ＝ｓｇｎ（∑ （ｎ一＜ ‘， ））一￥ ‘）， 兰１ ｌ — Ｅ（ｔ）＝一÷ （二 ） ｗｘ（ｔ）十 （ｔ） ０ （２） （４） ＰＦＣＡＭ模型的存储容量达到了模式向量维数的 满足两个条件：（１）能量函数Ｅ（ｔ）有界；（２）能量函数 指数倍，比ＨＯＣＡＭ模型的存储容量又有了相当大的 Ｅ（ｔ）随 （ｔ）的变化而减小，则说明ＨＡＭ网络在该更 提高，但是该模型的一个最大缺点是势函数的硬件实 新方式下收敛，详细证明过程参见文献［５］。 现非常复杂 。１９９１年，指数关联联想记忆模型（Ｅｘ— ３）ＨＡＭ模型的特点。 ｐｏｎｅｎｔｉａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ，ＥＣＡＭ）由Ｃｈｉ． ＨＡＭ模型具有以下几个特点： ｕｅｈ和Ｇｏｏｄｍａｎ提出 ，ＥＣＡＭ实际上是一双层非线
第３期 王传栋等：自联想记忆神经网络研究 ．１１１． 性反馈神经网络，第一层神经元用于计算输入模式与 值拓展成整数多值，进一步提出了多值指数关联联想 记忆模型（Ｍｏｄｉｆｉｅｄ Ｍｕｌｔｉ—ｖａｌｕｅｄ Ｅｘｐｏｎｅｎｔｉａｌ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏ￣Ｍｏｄｅｌ，ＭＭＶ－ＥＣＡＭ），同时采用类 所有训练模式的关联值，这些关联值经过非线性变换 后接着输入第二层．第二层神经元对这些中间值进行 加权求和并取阈值从而产生网络的下一个状态，然后 再反馈给第一层。ＥＣＡＭ可由下面的权值更新规则来 描述： 似于Ｍ ＥＲＣＡＭ模型的能量函数分析法证明了异步更 新模式下的稳定性。Ｗａｎｇ的ＭＭＶ＇ＥＣＡＭ模型是自 联想记忆模型中非常重要的一类多值模型，双向联想、 Ｘ ＝ｓｇｎ（∑Ｍ ｂ ￥Ｘ‘），ｂ＞１ （５） 序列联想和多向联想等其它联想记忆模型的多值化拓 ＥＣＡＭ模型具有与ＰＦＣＡＭ大致相当的存储容量 和纠错性能，而且更为重要的是，ＥＣＡＭ模型的硬件实 现比ＰＦＣＡＭ容易得多，实际的测试结果表明，ＥＣＡＭ 芯片执行的效果与其理论模型的仿真结果一致，且能 满足实时性要求。虽然这些模型的存储容量得到了很 大的提高，但是仅能处理二值模式。１９９３年，Ｃｈｉｕｅｈ 等人 。 在前述ＥＣＡＭ的基础上又提出了一种多值指 数关联联想记忆模型（Ｍｕｌｔｉ－ｖａｌｕｅｄ Ｅｘｐｏｎｅｎｔｉａｌ Ｃｏｒｒｅ－ ｌａｔｉｏｎ Ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏ￣，ＭＶＥＣＡＭ），该模型不再局 限于二值自联想记忆模型的数值处理范围，能够处理 现实世界中的多值问题。ＭＶＥＣＡＭ的权值更新规则 ／，．．。。．Ｈ 描述如下： ＝∑ 。■ ＝ｌＸ‘ ６ ／∑ 。■ ＝ｉ ｌ ｂ ‘ ，ｂ＞１（６） ＭＶＥＣＡＭ模型虽然在数值表示范围上取得了突 破性的进展，但是，该模型很难在有限的迭代步内收敛 到一个理想的稳定点，并且缺乏稳定性证明和纠错性 能的分析。１９９４年，Ｃｈｅｎ和Ｋｗｏｎｇ¨ 改进了ＭＶＥ— ＣＡＭ模型，提出了改进的多值指数递归关联联想记忆 模型（Ｍｏｄｉｆｉｅｄ Ｍｕｌｔｉ—ｖａｌｕｅｄ Ｒｅｃｕｒｒｅｎｔ Ｃｏｒｒｅｌａｔｉｏｎ Ａｓｓｏ— ｃｉａｔｉｖｅ Ｍｅｍｏ￣ｗｉｔｈ Ｅｘｐｏｎｅｎｔｉａｌ ｆｕｎｃｔｉｏｎ，Ｍ ＥＲＣＡＭ）， 并且通过定义一个简单的能量函数证明了该模型在有 限步迭代之内一定收敛。下面给出Ｍ ＥＲＣＡＭ的演化 规则： ＝日（、 一ｉ：Ｉ －￥６（ ／ 一ｉ：１ ６＜ ），ｂ＞１ （７） 这里Ｈ（．）是向量阶梯阈值函数，其在每个分量上 的定义为： Ｈ（Ｍ ）＝ ｆ一１，ｕ ＜一（２Ｌ一１）／（２ ＋１） ｌ ｌ，Ｍ （２Ｌ一１）／（２Ｌ＋１） Ｉ ｒ／Ｌ，“ ∈［（２ｒ一１）／（２Ｌ＋１），（２ｒ＋１）／（２Ｌ＋１）） Ｌｒ＝０，±１，４－１，…，±（Ｌ一１） Ｍ ＥＲＣＡＭ模型主要采用了模式向量的内积相似 性度量，适用于解决那些能表征为稀疏向量模式的实 际问题，对非稀疏向量模式的存储和纠错性能比较一 般。１９９６年，Ｗａｎｇ等人¨ 用欧式距离代替内积相似 度，并且修改了多值向量阶梯阈值函数，把小于１的多 展大多数采用了类似的思想。ＭＭＶ—ＥＣＡＭ模型具有 如下状态更新规则： ∑ “ ］，６＞・，其中日ｃ ｕ ＝ ６一 一 －一 ＝１ ㈩ 【Ｌ（Ｌ／Ｄ） ｕ ＋０．５Ｊ，ｅｌｓｅｗｈｅｒｅ
・ｌｌ２・ 计算机技术与发展 第２１卷 络全互连体系结构的局限性提供了一种思路。 Ｂｏｈｌａｎｄ等人¨ 率先对ＨＡＭ模型的结构和连接稀疏 性进行了研究，通过构建具有小世界体系结构的 ＨＡＭ，在实验上证实了局部邻域的规则连接与稀少的 展，但离实际的设计目标仍有很大差距，在学习算法 上，目前的研究者并不是从生物学本身出发，而仅仅从 数学角度来设计算法、分析算法的稳定性和收敛性。 确实，通过数学建模的自联想记忆模型具有了一定的 联想记忆功能，也能进行应用，但单纯依靠数学建模的 全局长程连接能获得与全互连的ＨＡＭ相当的性能， 且其结构上的优越性有利于模型硬件制作工艺上的实 方法可能导致对自联想记忆模型研究的偏离。自联想 记忆模型研究的出发点是模拟人脑的记忆功能，自然 现。但它不可避免地继承了ＨＡＭ模型的缺陷：①数 值处理范围局限于二值形式；②存储容量和纠错能力 应该从模拟人脑生物神经网络的信息存储和加工处理 偏低，因此难以获得实际应用。２００５年，Ｃｈｅｎ等人¨ 通过在ＫＡＭｓ中引入类似的“小世界现象”，进一步提 出了一类基于小世界体系的多值核自联想记忆模型 （Ｓｍａｌｌ－Ｗｏｒｌｄ Ｓｔｒｕｃｔｕｒｅ Ｉｎｓｐｉｒｅｄ Ｋｅｒｎｅｌ Ａｕｔｏ－ａｓｓｏｃｉａｔｉｖｅ Ｍｅｍｏｒｙ Ｍｏｄｅｌｓ，ＳＷＳＩ－ＫＡＭｓ）。实验结果表明，该模型 只需保持稀疏的局部连接就能达到其全互连结构时相 当的存储和纠错性能。既克服了Ｂｏｈｌａｎｄ等人的缺 陷，又简化了传统的自联想记忆模型的全互连拓扑结 构，在较大程度上解决了一类重要的神经网络硬件实 现时布线工艺上的瓶颈问题。 ３）实际应用方面。 自联想记忆神经网络不仅在算法理论和体系结构 设计方面取得了一定的进展，而且在许多实际应用领 域亦取得了显著的成效。自联想记忆神经网络最早的 应用范例是旅行商问题 （Ｔｒａｖｅｌｉｎｇ Ｓａｌｅｓｍａｎ Ｐｒｏｂ－ ｌｅｍ，ａｓＰ）求解。在模式识别领域，白联想记忆神经网 络已成功应用于字符识别 、汽车牌照识别 、指纹 和声音识别¨ 、人脸识别 、结构损伤位置识别¨９ 和 单样本图像识别 Ｊ。在图像处理领域，王耀南等人 将一种基于自联想记忆神经网络的遥感图像主分量提 取方法应用于图像压缩、特征提取和图像滤波，王宇等 人 利用一种改进的基于连续函数的全并行自反馈 Ｈｏｐｆｉｅｌｄ网络应用于图像复原。同时，自联想记忆神 经网络还被广泛应用于各种故障诊断，如传感器故障 诊断 引、发动机故障诊断 和谷氨酸发酵故障诊 断 等。我们相信，自联想记忆神经网络的应用领域 还将不断扩大，在未来的几年中有望在以下一些领域 取得更大的成功，如：数据挖掘、电力系统、地理信息系 统和自动控制系统等。 ３结束语 研究自联想记忆神经网络的最终目的是期望所设 计的模型达到如下的目标：（１）高存储量或训练集的 完全回忆；（２）高的纠错能力，即使所存模式的吸引域 尽可能大；（３）极少的伪稳态点；（４）不会遗忘；（５）易 于动态或在线记忆或学习；（６）易实现，不仅学习算法 易实现，硬件的实现也同样关键。 自联想记忆神经网络的研究尽管取得了一些进 机制人手。在体系结构方面，较符合生物特性的应是 小世界网络和无标度网络等各种复杂网络体系结构， 而这方面的研究刚刚起步，可能成为今后的一个重要 研究方向；在学习算法方面，结合具有生物特性的混沌 神经元模型和多对多联想功能的自联想记忆模型及算 法将可能成为近期的研究目标之一。总之，自联想记 忆神经网络的研究具既有挑战性，又具有极大的吸引 力。 参考文献： ［１］周志华，曹存根．神经网络的研究和进展［Ｍ］．北京：清华 大学出版社，２００４． ［２］ 陈蕾，陈松灿，张道强．小世界体系的多对多核联想记忆 模型及其应用［Ｊ］．软件学报，２００６，１７（２）：２２３—２３１． ［３］Ｈｏｐｉｆｅｌｄ Ｊ Ｊ．Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ａｎｄ ｐｈｙｓｉｃａｌ ｓｙｓｔｅｍｓ ｗｉｔｈ ｅｍｅｒｇｅｎｔｃｏｌｌｅｃｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｒｏｐｅ￣ｉｅｓ［Ｊ］．Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，ＵＳＡ，１９８２，７９：２５５４— ２５５８。 ［４］Ｈｏｐｆｉｅｌｄ Ｊ Ｊ．Ｎｅｕｒｏｎｓ ｗｉｔｈ ｇｒａｄｅ ｒｅｓｐｏｎｓｅ ｈａｖｅ ｃｏｌｌｅｃｔｉｖｅ ｃｏｍｐｕｔａｔｉｏｎａｌ ｐｒｏｐｅ￣ｉｅｓ ｌｉｋｅ ｔｈｏｓｅ ｏｆ ｔｗｏ－ｓｔａｔｅ ｎｅｕｒｏｎｓ［Ｊ］． Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｎａｔｉｏｎａｌ Ａｃａｄｅｍｙ ｏｆ Ｓｃｉｅｎｃｅｓ，ＵＳＡ，１９８４， ８１：３０８８—３０９２． ［５］杨行峻，郑君里．人工神经网络［Ｍ］．北京：高等教育出版 社，１９９２：ｌ一２５． ［６］Ｐｓａｌｔｉｓ Ｄ，Ｐａｒｋ Ｈ Ｃ．Ｎｏｎｌｉｎｅａｒ ｄｉｓｃｒｉｍｉｎａｎｔ ｆｕｎｃｔｉｏｎｓ ａｎｄ ａｓ— ｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｉｅｓ［Ｍ］／／ｉｎ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｆｏｒ Ｃｏｍｐｕｔｉｎｇ． Ｄｅｎｋｅｒ Ｊ Ｓ．Ｎｅｗ Ｙｏｒｋ，ＮＹ：Ａｍｅｒｉｃａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｐｈｙｓｉｃｓ。 １９８６：３７０—３７５ ［７］Ｄｅｍｂｏ Ａ，Ｚｅｉｔｏｕｎｉ Ｏ．Ｈｉ【ｓｈ ｄｅｎｓｉｔｙ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｉｅｓ ［Ｍ］／／ｉｎ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ．Ａｎｄｅｒｓｏｎ Ｄ Ｚ．Ｎｅｗ Ｙｏｒｋ，ＮＹ：Ａｍｅｒｉｃａｎ Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｐｈｙｓｉｃｓ，１９８８：２１ １ —２ｌ８． ［８］Ｄｅｍｂｏ Ａ，Ｚｅｉｔｏｕｎｉ ０。Ｇｅｎｅｒａｌ ｐｏｔｅｎｔｉｌａ Ｓｕｌ￣ａｅｅｓ ａｎｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ［Ｊ］．Ｐｈｙｓｉｃｓ Ｒｅｖｉｅｗ Ａ，１９８８，３７（６）：２１３４—２１４３． ［９］ Ｃｈｉｕｅｈ Ｔ Ｄ，Ｇｏｏｄｍａｎ Ｒ Ｍ．Ｒｅｃｕｒｒｅｎｔ ｃｏｒｒｅｌａｔｉｏｎ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｉｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｎｅｕｒ￣ｎｅｔｗｏｒｋｓ，１９９１，２ （２）：２７５—２８４ ［１０］Ｃｈｉｕｅｈ Ｔ—Ｄ，Ｔｓａｉ Ｈ—Ｋ．Ｍｕｌｔｉｖｌａｕｅｄ Ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｉｒｅｓ ｂａｓｅｄ ｏｎ ｒｅｃｕｒｒｅｎｔ ｎｅｔｗｏｒｋｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｎｅｕｒａｌ Ｎｅｔｓ，１９９３，４（２）：３６４—３６６． （下转第ｌｌ６页）
・１ｌ６・ 计算机技术与发展 第２ｌ卷 表ｌ 基于文中的方法与，Ｊ、波类方法的比较结果 ［３］何东健．数字图像处理［Ｍ］．西安：西安电子科技大学出版 测试 输入噪 ＰＳＮＲ 社，２０ｏ３． 结果 声水平 ＳＬＳ－ＣＳＭ（ｄＢ） 文中方法（ｄＢ） 差值（曲） ［４］ Ｅｌａｄ Ｍ，Ａｈａｒｏｎ Ｍ．Ｉｍａｇｅ ｄｅｎｏｉｓｉｎｇ ｖｉａ ｓｐａｒｓｅ ａｎｄ ｒｅｄｕｎｄａｎｔ ｌ０ ３０．８７ ３２．１８ ＋１．３１ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｖｅｒ ｌｅａｒｎｅｄ ｄｉｃｔｉｏｎａｒｉｅｓ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ ｏｎ Ｌｅｎａ １５ ２８．３２ ２９．７５ ＋１．４３ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２００６，１５（１２）：３７３６－３７４５． ２０ ２６．４０ ２８．０ｌ ＋１．６ｌ ［５］傅霆，尧德克．稀疏分解的加权迭代方法及其初步应用 １０ ３２．６５ ３３．１８ ＋１．５３ ｃｌｏｔｈ ｌ５ ２８．３６ ３Ｏ．２５ ＋Ｉ．８９ ［Ｊ］．电于学报，２００４，３２（４）：５６７－５７０． ２０ ２７．０ｌ ２８．７６ ＋１．７６ ［６］ Ｒｅｍｉ Ｇ，Ｅｍｍａｎｕｅｌ Ｂ．Ｈａｒｍｏｎｉｃ ｄｅｃｏｍｐｏｓｉｔｉｏｎ ｏｆ ａｕｄｉｏ ｓｉｇ— ｎａｌｓ ｗｉｔ ｈ ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ，２００３，５１（１）：１０１一ｌ１１． ５结束语 ［７］夏德深，傅德胜．现代图像处理技术与应用［Ｍ］．南京：东 提出一种基于稀疏序列的图像去噪方法，并将其 南大学出版社，１９９７． 应用在布坯缺陷检测中。首先将含噪图像中采集的子 ［８］Ａｈａｒｏｎ Ｍ，Ｅｌａｄ Ｍ，Ｂｒｕｃｋｓｔｅｉｎ Ａ Ｍ．Ｔｈｅ Ｋ－ＳＶＤ：Ａｎ ａｌｇｏ— 图通过学习，得到字典Ｄ，再求解各子图像在此字典 ｒｉｔｈｍ ｆｏｒ ｄｅｓｉｇｎｉｎｇ ｏｆ ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｉｅｓ ｏｆｒ ｓｐａｒｓｅ ｒｅｐ— 上的稀疏表示。该过程就是将原始图像和噪声分离开 ｒｅｓｅｎｔａｔｉｏｎ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓ．Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓ，２００６，５４（１１）： 来，通过重建恢复原始图像。将本实验数据与ＢＬＳ— ４３ｌ１－４３２２． ＧＳＭ去噪方法相比，基于本文的方法对去除图像中的 ［９］ 田村秀行．计算机图像处理［Ｍ ３．金喜子，乔双译．北京： 高斯白噪声效果较好，提高了去噪图像的ＰＳＮＲ值， 科学出版社，２００４． ［１０］Ａｈａｒｏｎ Ｍ，Ｅｌａｄ Ｍ，Ｂｒｕｃｋｓｔｅｉｎ Ａ Ｍ．Ｏｎ ｔｈｅ ｕｎｉｑｕｅｎｅｓｓ ｏｆ 保留图像的细节信息，且具有更好的视觉效果。将所 ｏｖｅｒｃｏｍｐｌｅｔｅ ｄｉｃｔｉｏｎａｒｉｅｓ，ａｎｄ ａ ｐｒａｃｔｉｃａｌ ｗａｙ ｔｏ ｒｅｔｒｉｅｖｅ 采集到的数字图像去噪后将背景和缺陷进行分离，才 ｈｔｅｍ［Ｊ］＋Ｊ．Ｌｉｎ．Ａｌｇｅｂｒａ Ａｐｐｌ，２００６，４１６：４ｓ一６７． 能更有效地将缺陷进行界定，以利后续的相关特征提 ［１１］章毓晋．图象理解与计算机工程［Ｍ］．北京：清华大学出版 取。 社，２０００． ［１２］Ｇｒａｃｅ Ｃ Ｓ．Ｗａｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｍｕｈｉｐｌｅ Ｎｏｉｓｙ Ｉｍａｇｅ 参考文献： Ｃｏｐｉｅｓ［Ｊ］．ＩＥＥＥ Ｔｒｎａｓａｃｉｔｏｎｓ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ，２０００，９ ［１］孙即祥．图像处理［Ｍ］．北京：科学出版社，２００４． （９）：１６３１—１６３５． ［２］冈萨雷斯．数字图像处理［Ｍ］．北京：电子工业出版社， ［１３］蔡泽民，赖剑煌．一种基于超完备字典学习的图像去噪方 ２００２． 法［Ｊ］．电子学报，２００９，３７（２）：４３８—４４１． （上接第１１２页） ［１１］Ｃｈｅｎ Ｚ Ｙ，Ｋｗｏｎｇ Ｃ Ｐ．Ｒｅｃｕｒｒｅｎｔ ｃｏｒｒｅｌａｔｉｏｎ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍ— 字符自联想识别［Ｊ］．模式识别与人工智能，２００４，１７（４）： ｏｒｉｅｓ ｗｉｔｈ ｍｕｌｔｉｐｌｅ—ｖａｌｕｅ［Ｃ］／／ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒ－ ４６７—４７２． ｅｎｃｅ ｏ１１ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ．Ｏｒｌａｎｄｏ，ＦＬ，ＵＳＡ：［Ｓ．ｎ．］，１９９４： ［１８］陈存宝，赵力．嵌入自联想神经网络的高斯混合模型说 １Ｏ６８—１０７３． 话人辨认［Ｊ］．电子与信息学报，２０１０，３２（３）：５２８—５３２． ［１２］Ｗａｎｇ Ｃ Ｃ，Ｈｗａｎｇ Ｓ Ｍ，Ｌｅｅ Ｊ Ｐ．Ｃａｐａｃｉｔｙ ａｎａｌｙｓｉｓ ｏｆ ｔｈｅ ａｓ— ［１９］罗璇，程伟．利用模态编码进行结构损伤位置识别的自 ｙｍｐｔｏｔｉｃａｌｌｙ ｓｔａｂｌｅ ｍｕｈｉｖａｌｕｅｄ ｅｘｐｏｎｅｎｔｉＭ ｂｉｄｉｒｅｃｔｉｏｎａｌ ａｓｓｏ— 联想储存器神经网络方法［Ｊ］．航空学报，２００８，２９（１）： ｃｉａｔｉｖｅ ｍｅｍｏｒｙ［Ｊ］．ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎ ｏｎ ｓｙｓｔｅｍｓ，ｍａｌｌ，ａｎｄ ６ｏ～６５． ｃｙｂｅｒｎｅｔｉｃｓ，１９９６，２６（３）：７３３—７４３． ［２０］王传栋，陈蕾．一种基于稀疏指数联想记忆神经网络的 ［１３］Ｃｈｅｎ Ｓ Ｃ，Ｃｈｅｎ Ｌ，Ｚｈｏｕ Ｚ Ｈ．Ａ ｕｎｉｉｆｅｄ ＳＷＳＩ—ＫＡＭｓ ｆｒａｍｅ． 图像识别方法［Ｊ］ 南京邮电大学学报，２００８，２８（６）：７８— ｗｏｒｋ ａｎｄ ｐｅｒｆｏｒｍａｎｃｅ ｅｖａｌｕａｔｉｏｎ ｏｎ ｆａｃｅ ｒｅｃｏｇｎｉｔｉｏｎ［Ｊ］．Ｎｅｕ— ８３． ｏｒｃｏｍｐｕｔｉｎｇ，２００５，６８：５４—６９． ［２１］王耀南，谢勇．自联想神经网络的遥感图像主分量提取 ［１４］Ｂｏｈｌａｎｄ Ｊ Ｗ，Ｍｉｎａｉ Ａ Ａ．Ｅｆｆｉｃｉｅｎｔ ａｓｓｏｃｉａｔｉｖｅ ｍｅｍｏｒｙ ｕｓｉｎｇ ［Ｊ］．中国图象图形学报，２０００，５Ａ（１）：２５—２９． ｓｍａｌｌ－ｗｏｒｌｄ ａｒｃｈｉｔｅｃｔｕｒｅ［Ｊ］．Ｎｅｕｒｏｃｏｍｐｕｔｉｎｇ，２００１，３８（１）： ［２２］王宇，何小海．改进的Ｈｏｐｆｉｅｌｄ网络图像复原［Ｊ］．计算 ４８９－４９６． 机工程，２００７，３３（１７）：５４—５６． ［１５］Ｈｏｐｆｉｅｌｄ Ｊ Ｊ．Ｎｅｕｒａｌ ｃｏｍｐｕｔａｔｉｏｎ ｏｆ ｄｅｃｉｓｉｏｎｓ ｉｎ ｏｐｔｉｍｉｚａｔｉｏｎ ［２３］许跃，朱伟兴．基于自联想神经网络的传感器故障诊断 ｐｒｏｂｌｅｍｓ［Ｊ］．Ｂｉｏｌｏｇｉｃａｌ ｃｙｂｅｒｎｅｔｉｃｓ，１９８７，５２：１４１—１５２． ［Ｊ］．传感器与微系统，２００７，２６（４）：９４—９６． ［１６］陈蕾，王传栋，孙知信，等．距离加权的２－Ｄ核自联想记 ［２４］陈恬，孙健国，杨蔚华，等．自组织神经网络航空发动机 忆模型及其应用［Ｊ］．模式识别与人工智能，２００７，２０（１）： 气路故障诊断［Ｊ］．航空学报，２００３，２４（１）：４６—４８． ｌ１Ｏ—ｌ１４． ［２５］董传亮，史仲平．基于自联想神经网络的谷氨酸发酵故障 ［１７］芮挺，沈春林，张金林．基于字符特征的车牌英文和数字 诊断［Ｊ］．生物学杂志，２００９，２６（３）：３３—３７．