根据离散神经网络动力学过程中的系统能量演化的趋势，提出利用汉明距离构造高容量离散联想神经网络的设想，并用计算机进行数值模拟，给出了一些结果

刘瑞堂

郭东辉

陈振湘

Xiamen University Institutional Repository

第 15 卷第 3 期1 9 9峨年 9 月半 导 体 光 电Se m icon d u e to r O P拍e leet r o n icsV o l.1 5 N 0.3Se Pt.1 9 9 4具有高容量稳定存贮的加权神经网络¹ º郭东辉 (博士生 ) 刘瑞堂 陈振湘»(厦门大学物理系.厦门 361 00 5)摘 要:根据离散神经网络动 力学过程 中的系统能童演化的 趋势,提 出利用汉明距 离构造高容黄离散联怨神经网络 的设怨,并用计琴机进行数值模拟,给 出 了一些结果。关键词:神经网络 联想记忆 光计算A W e ig h te d N e u r a l N e tw o rk o f S ta ble S to r a g ew ith L a r g e C a Pa e ityG u o D o n g h u i L i u R u ita n g C h e n Z h e n x ia n g( .k Pt.成 P卜y s to.X la m e n U n lv e r slt y.X lam e n 36 10 0 5)A bs t ra e t : I n th is 琳pe r, a n id e a o f e o n s tr u e t in g a w e i g h t e d n e u r a l n e tw o r k o f sta b le sto r-a g e w i th la rg e e a阵e i ty 15 Pre se n te d,b ase d o n th e e v o lu t i o n t e n d e n e y o f d ise r e t e n e u r a l n e t-w o r k, 5 sy st e m e n e rg y in i ts d y n a m ie s e o u rs e.S e v e r a l r e s u lts sim u la t e d b y th e e o m Pu t e r a r eg i v e n o u t.K e yw o rd s : N e u r a l N e tw o r k , A s oc i a t i v e M e m o ry,O Pt ie a l C o m Pu t in gl 引 言程中系统能量深化的观点,来构造一种具有高容量稳定存贮的加权离散神经网络模型。自从 Ho p fi e 一d [ ’〕把 Ly a p u n ov函数 (也 称“能量”函数 )引入到神经网络这一领域 以来,使得人们对神经网络动力学 系统的研究出现新的热潮,特别是它在与之对应电路网络的存贮稳定性判断图和 T sP 优化问题 中〔’〕的成功应用,启发 了不少 人利 用它的思想来研究神经 网络的各种性能,以致建立一些 比较理想的模型 〔‘·5 ,。本文也利用神经网络动力学过2 离散神经网络的存贮原理目前出现的人工神经网络模型基本是模拟 / 、脑神经系统的某些功能而建立起来的,其 中联 想记忆是 人们 比较感 兴趣 的课题之一。H叩 fi e ld 联想记忆模型〔’〕是较有代表性且影响较大的一种人工神经网络模型。它是将记忆看作为一个动态系统的动力学过程,把¹ 29 9 3一 2一0 3收稿; 19 9 4一 03一 0 一定稿º福建省重点科技资助项 目» 参加本项研究的还有吴伯嘻同志第 1 5 卷 第 3 期 那东挥等:其有高容贵称定存贮的加权神经 网络所要存贮的记忆 (或称样本 )存放在系统的稳定吸引子上 (如图 l、图 2 (a) 所示的黑点 ),只要与之相差不多的样本 (即黑点 以外某不稳定态 )输入,通过该网络的迭代就可以 自动联想出所 存贮 的样本的完整 信息。但是对 于H oP fi el d 模型其存贮 容量是有限 的,当所 要存贮的样本数超过该模型的存贮容量时,那么该网络 系统的稳定吸引子将发生畸变[6],使 得存贮 样本变成 不稳定态 (如图 2 (b )所示 ),即使是存贮样本的输入也不会向存贮态收敛,更不用说是只带部分存贮信息的样本输入能联想出存贮样本。低,使之均处于系统的稳定吸引子上,那么只要各存贮样本之 间存在着一定的距离,不管增加多少存贮样本,照样可 以实现联想记忆的功能。3 具有确定稳定存贮的加权离散神经网络为了具体构造神经网络,先设一个由 N个神经元构成的神经网络,网络中存贮 尸个稳定样本,每个样本由 N 个“ l”或“ 0 ”状态表示: S , = (l,0 }万 ,其中 Ho p fie 一d [ 2〕提出:各存贮的样本以下式的关系构成一个连接矩阵 TIT. ,= 艺(2 5 护一 l) (2研一 l),i护j备, ]其 中,m ~ l,~ O,i一 j二1,2,⋯,N (1 )⋯,尸,而对于取截值 的式 (2 ),若图 1 表征记忆的状态空间取对 角元 界,一 l,该网络的存贮性能将有所提高川,故本文以下涉及到取截值的式 (2 ),均取对角元 Tl,一 1。当输入一个信息 s (k) ~ sl 一 (1,O),时,它按下式与连接矩 阵 T 相乘,得 出一个输 出信息 S (k + l)5.(无+ l)= 。 [艺T. jS 少(k )〕,、.户了,白dq了、了‘、,j~ l,⋯,Na[ X〕=l,X ) 00,X < 0根据 Ho pfie , d [, 〕引入的神 经网络系统 的能量函数 (即 Lia p u n o v 函数 )有刀 = 一 l/ 2 艺T. , 5.5 , (4 )对于对称的连接矩阵 T,易证J E ~ 」S,〔, 刀/, S‘〕= 乙s [ 一 艺T‘, ‘, 〕镇 0 (5 )图 2 表征记忆的能量分布为了解决这一问题,(如图 2 (c )所示 )只要设法加权存贮,使得各存贮样本的能量变显然,该系统在演 变过 程中,能 量 E 是单调下降的。由于 E 有界,因此 系统在演变 中必趋于稳定态,它对应于系统 的能量 E 函数在S 状态空间的局域极小。由此可见,只要把所要存贮的样本状态能量处于系统状态能量 的局域极 小点,那么神经网络就能表现出联想半 导 体 光 电 1 9 9 4 年 9 月记忆的功能.然而数值实验与计算困表明:对于该神经网络 当所要存贮的样本数大于该网络的容量时各存贮样本的状态能量并非是该系统状态能量 的局域极小点,为此必须设法改变 系统 的状 态能量的分布,使得存贮样本的能量变 低,使之成为系统状态能量 的极小点。根据 Heb 学习规则川,神经网络 系统对存贮样本的存贮学习是通过不断地调整神经元 间 的连 接强度 叭, ,其调 整 界,的原 则是:』T. ,一 a (2 5‘一 l) (25,一 l),其中a > 0,这一规则与“条件反射”学说一致,并已得到神经细胞学研究的证实川,为此可以设想:只要输入的样本 s 与存贮 的样本 夕 趋于一致则。变大,否则 。 变小,即只要构 造一个 函数。一 f(S,S , ),使之当 S 一夕 (m 一 1,⋯,尸 )时, a 出现极大值,从而达到改变存贮权重的 目的。为 了获 得 一个 适 当的权 重 函数 f (s,舒 ),可 以如下式定 义输入的样本 S 与各存贮样本 夕 之间的关 系X.一 艺(2 5‘一 1 )(25 梦一 l)~ N 一 ZdH(S,S’) (6 )其中 dH(S,夕 )为输 入样本 S 和 存贮样本 s’之间的汉 明距离。显然,离输入样本 S 越近的存 贮样本 夕 (即汉明距离 d。越小,其 中在联想记忆中 d。 ‘一 N 的样本与 己, ’一 0 的样本是一样的,值越大,这样就可以构造任意一单调递增 偶函数。一了(X。),当 }X。}增大时, 。一f (X’)也增大,从而满足 He b 学 习规则的要求,即有具有确定稳定存贮的加权离散神经网络的连接矩阵 T 可定义为T. := 艺f (X肉) (2 5 了一 1 )(2 5 罗一 I),E ~ 一 l/ 2艺叭,凡S,= 一 l/ 2 2 艺f (X’) (2 5梦一 1 ) (2 5了一 l)昌J m5.5 ,= 一 l/ 8艺艺f (X,) (2 5 梦一 l) (2 5 罗一 l).J 用[ (2 5:一 l) (2 5,一 I) + (2 5一 l) +(2 5,一 l)+ I〕= 一 l / 8 [ 名f (X’) (X,)’+ 2 艺f (X’)X . 名(2 5 梦一 l)+ 艺f (X,)艺 (2 5 梦一 l)艺(25 罗一 )〕 (8 ),夕一 !,2,⋯,N (7 )其中 m ~ !,⋯,尸为了计算方 便,假设所存贮的各样本中O,t 的位 数相 同 (更普遍 的情 况将另 文 讨论 ),则式 (8) 的二、三项的值均为 0,即系统的能量函数应为E = 一 l / 8 艺f(X,)(X.)2(9 )设 系统在演变过程 中,由状态 s一 状态夕,则系统的能量变化」E 一 E (X. ’)一 E (X用)~ 一 l/ 8 [ 名f (X” ) (X’‘’)一 艺f (X’)(X’)’〕 (1 0 )根据 中值 定理,对 于 单调 递增 偶 函数f(t),当 t) 0 时有f (t,) (t‘)2一f (t) (t)2) f (t)t(t,一 t) ( 1 1 )同样当 t< 0 时也有f (t,) (t‘)2一 f (t)(t )2) f (t )t(t,一 t) ( 12 )则 由式 (1 0 )( 一l)( 一2 )得乙E 镇一 l/ 8 艺f (X’) X’[X’‘一X’〕- 一 l/ 8 艺f (X,) 名 (2 5 丁一 l)(2 5‘一 l)(艺 2 5丁一 1 ) [ (2 5‘,一 l)一 (ZSJ一 I)〕一 一 l/ 4 艺艺f (X’) (2 5 梦一 l ) (2 5 梦一 I ) (2 5:一 l ) (S,一 5 7 )一 一 I/ 2 艺 艺f (X,) (2 5 罗一 I ) (2 5 罗4 系统能量稳定性分析一 1 ) S‘(S‘ ,一 S:)+ I/ 4 艺艺f (X’)J m(2 5 了一 l ) (S, ,一 S,)艺 (2万少一 l)对于式 (7 )加权连接矩 阵的神经网络 系统,同样可以如下定义系统的能量函数( 13 )第 15 卷 第 3 期 郊东挥等:具 有高容全稳定 存贮的加权神经 网络同样对于 O,1 位数相等的存贮样本,式 ( 13)的第二项的值为 O,而 由式 (2 ),(3 )的动力学过程可知,式 ( 13 )的第一项的值恒小于 O,则由式 ( 13) 得刁E ( 一 l/ 2 艺艺(X’)(25 罗一 l) (2 5 罗一 l) 5.(S, ,一 S,)镇 0 ( 14 )可见具有式 (7) 连接矩 阵的神经 网络 系统在演变过程中,系统的能量也是非增的,因此必趋于稳定,而由式 (9) 可知对于单调递增偶函数 f (x ),只要递增幅度 足够大,存贮样本的状态能量必处于 系统的局域能量谷底,可见该网络 比 H叩fie ld 网络具有更强的联 想记忆功能。为了更加直观地 了解该神经网络的存贮性能,下面用计 算机数值模拟几 个实际例子来进一步说明。5 计算机数值模拟为了进一步 比较各存贮样本在式 (7) 离散神经 网络和离散 H叩fie ld 神经网络中能量分布的差别,可以定义存贮样本 S’ 的能量E ’ ~ 一 1/ 2 艺T.J S 尸S罗 ( 15 )同时令由式 (2 )h‘= 名T: , S,J( 16 )(3) 神经网络动力学系统可知,仅当5.= l,h‘) 0S‘= 0,h‘< 0⋯,N ( 17 )恒成立时,该神经网络才稳定输出,因此对于任何一稳定态 S,必有况h:) 0 ⋯,N ( 18 )因此对于式 ( ! 5) 所定义存贮样本的能量 砂,户 > O,该样本不满足式 ( ! 8 ),所以不稳定,而只有 户毛 O的样本才可能稳定且能收敛。为了进行数值运算,对于式 (7 )加权离散神经网络,本文仅取单调递增偶函数 了(x )即f(X )~ !X },同时对式 ( 1 )和式 (7 )取截值以保证连接矩 阵 T 为〔l,O,一 ! },以便使 之在光学 上能较容易获得实现,根据 H叩fie ld 本人阅分析和大量 数值实验发现,取截值后的网络 系统的存贮性能变 化不大,特别是对式(7 )的连接矩阵,当单调递增 偶函数 了(t )的递增幅度越大,取截值的影响越小。同时由于对等重量且等汉 明距离 的存贮样本,神经网络的存贮联想的功能较强 [6],为此本文仅对等重量等汉明距离的存贮样本 (宁 }进行数值试验:如表 1 ~ 表 3( 万~ 4,甘一 5,万一 7) 这三种不同样本个数的存贮,从这三个表,本文得出以下几点。(1) 只要样本 的状态能量大于 O,则该样本在该神经网络中就不稳定,如表 3 所示:对于 H o p fie ld 神经 网络 (H N N ),以任一存贮样本输 入,均不稳定,且最终输 出在 1 1 1 1 1和 0 0 0 0 0 0 0 0 之间振荡;( 2 ) H o pf ie ld 神经 网络存 贮样本 的容量是有限的,如表 2 所示:只要存贮样本个数大于 4 时,该网络就不能表现 出联想记忆 的功能,例 如,输入 信号 为: S (o ) = 1 1 0 0 0 一0 0 (同存贮样本 52= [ 10 0 1 10 0 最近 )时,系统 向 s,收敛,其 中 驴 的状态能量最 低,然而对于式(7 )的加权离散神经网络仍然能收敛到 驴;( 3 )同 Ho p fie ld 神经 网络 相 比,式 (7 )的加权离散神经网络具有更大的存贮容量和更强的联想记忆功 能,如表 3 所示,对于 w N N系统,尽管 已存贮 7 个样本,但任意一存贮样本 宁 均是稳定的且能吸引任意与之相近 (错误 ! 位 )的输入样本 夕‘ 。这 主要是 由于在式 (7) 系统的迭 代过程中通过不断地调整存贮 网络的连接矩阵使得与输入样本 夕 相近的存贮样本 夕 的吸引能力加强,从而达到增强联想记忆的 目的,例如表 3,当 盯 一 7 时,输 入样本 sm一 一 0 0 0 一0 0,对取截值后的 H叩fie ]d 连接矩阵 几、 N为:2 5 4 半 导 体 光 电 1 9 9 4 年 9 月l 一 1 一 l 一 l 一 l 一 l 一 l一 1 1 一 l 一 l 一 1 一 l 一 1一 l 一 1 1 一 1 一 l 一 l 一 l一 1 一 1 一 1 1 一 1 一 l 一 l一 l 一 l 一 l 一 1 1 一 1 一 1一 l 一 l 一 l 一 1 一 1 1 1一 l 一 1 一 l 一 l 一 1 一 1 1一 1 一 1 一 1 一 l 一 l 一 1 一 l一 1一 1一 l一 l一- 日卜一 l一 1一 1l1 1 一 1 一 1 1 1 一 1 一 11 1 一 1 一 1 1 1 一 1 一 l一 1 一 1 1 1 一 l 一 1 1 1一 1 一 1 1 1 一 l 一 1 1 11 1 一 1 一 1 1 1 一 l 一 l1 1 一 1 一 1 1 1 一 l 一 l一 1 一 1 1 1 一 l 一 1 1 1一 l 一 1 1 1 一 l 一 1 1 17 H哪表 1 存贮样本 盯一 4 时的状态能t 和吸引能力’H N N 认尹N N5 .——E 认尸L E V铲 L1 1 1 1 0 0 0 0 一 2 + + 一 8 上 +1 1 0 0 1 1 0 0 一 2 山 + 一 8 + 山1 1 0 0 0 0 1 1 一 2 + 未 一 8 + +1 0 1 0 1 0 1 0 一 2 上 + 一 8 + 上了w阳除了上面例子,我们还用计算机遍历模拟 了 N 二 16,N ~ 3 2,N ~ 64 等 各种 存贮例子,由于篇幅的原 因,本文仅上面举 工一 8 的例子。6 结论表 2 存贮样本 万一 5 时的状态能t 和吸引能力H N N 认尹N NS .本文提出的加权离散神经网络具有增加稳定样本的存贮 容量的性能,只要单调递增偶函数 了(X )的递增幅度 足够大且 各存贮样本之间存在一定的距离,所存贮的样本均能稳定。虽然该网络的构造 比较复杂,然而我们利用电致发光器件图可以简单地构成光电混合型的神经网络且具有结构紧凑、空间小、成本低等特点,宜适应于今后器件集成化的要求。+十W工++W一+平十0 一 40 0E一 8一 8一 8一 8一 8UnU八U11nU目.1011UCU‘UJi.nU‘111U0nU, ‘三1二nU八j.1,二11. .nUi1二1J.i‘1CU表 3 存贮样本 盯一 7 时的状态能t 和吸引能力H N N 认尹N NS 币 参 考 文 献H o P fie ld J J.N e u r a l N e tw o r k s a n d Phy s iCa l S ys t e m sw i th E m e r g e n t C o lle e t iv e C o m Pu ta t io n a l A b i lit ie s·Proc.N a tl.A c a d.Sc i.U.S.A 二 1 9 8 2 ; 79:2 5 5 4 ~2 5 5 8H o Pfie ld J J.N e u r o n s W ith Gr ad e d R e印 o n s e H a v eC o lle e t iv e C o m P一t a tio n a l P r o Pe r rie s L ik e T h o s e o f丫、v o 一 s一a te N e u r o n s.Pr oc.N a t l.A e a d.宝1.U.S A 二1 9 8 4 : 8 1 : 3 0 8 8 一 3 0 9 2H o Pfie ld J J.N e 一lr a l C o m Pu ta t io n o f Dec is io n O Pti-m iz a t io n P r o b le m s.B io l.Cy be r n二 1 9 8 5; 5 2:1 4 1 ~1 5 2L e e Y C二 D o o le n G.M a e h in e Le a r n in g t丁s in g a H ig h -e r o r d e r C o r r e . a r io n N e t 、、o r k.Ph ysie a.1 9 86:D 2 2:2 7 6 ~ 3 0 6(下 转 第 2 7 6 页 )+十W一十+E 认尸L E一 一 一 8一 一 一 8一 一 一 8一 一 一 8一 一 一 8一 一 一 8一 一 一 8‘工J,0二0 0祖月Jj祖月,11nU古.卫J.且0 0nU.11心.1八UCO,lU丹ji.旧立,直0二0l‘五‘,1j.1,九日且,1j.‘1U,表中 H N N 为 Ho p fie ld 神经网络.W N N 为加权神经网络,E 为状态能量.w 为稳定 性.L 为吸 引能力.“+”表示稳定式吸引状态. “一”表示不稳定或不吸引状态 3而对于取截值后的式 (7) 连接矩阵,则调整变 4为 T。、 ,显然连接矩 阵 Tw , 、的分布倾向存贮本 sm一 一 0 0 一 0 0,因此 必 向该存 贮样 本 sm收敛,表现 出联想记忆的功能。2 5 4 半 导 体 光 电 1 9 9 4 年 9 月l 一 1 一 l 一 l 一 l 一 l 一 l一 1 1 一 l 一 l 一 1 一 l 一 1一 l 一 1 1 一 1 一 l 一 l 一 l一 1 一 1 一 1 1 一 1 一 l 一 l一 l 一 l 一 l 一 1 1 一 1 一 1一 l 一 l 一 l 一 1 一 1 1 1一 l 一 1 一 l 一 l 一 1 一 1 1一 1 一 1 一 1 一 l 一 l 一 1 一 l一 1一 1一 l一 l一- 日卜一 l一 1一 1l1 1 一 1 一 1 1 1 一 1 一 11 1 一 1 一 1 1 1 一 1 一 l一 1 一 1 1 1 一 l 一 1 1 1一 1 一 1 1 1 一 l 一 1 1 11 1 一 1 一 1 1 1 一 l 一 l1 1 一 1 一 1 1 1 一 l 一 l一 1 一 1 1 1 一 l 一 1 1 1一 l 一 1 1 1 一 l 一 1 1 17 H哪表 1 存贮样本 盯一 4 时的状态能t 和吸引能力’H N N 认尹N N5 .——E 认尸L E V铲 L1 1 1 1 0 0 0 0 一 2 + + 一 8 上 +1 1 0 0 1 1 0 0 一 2 山 + 一 8 + 山1 1 0 0 0 0 1 1 一 2 + 未 一 8 + +1 0 1 0 1 0 1 0 一 2 上 + 一 8 + 上了w阳除了上面例子,我们还用计算机遍历模拟 了 N 二 16,N ~ 3 2,N ~ 64 等 各种 存贮例子,由于篇幅的原 因,本文仅上面举 工一 8 的例子。6 结论表 2 存贮样本 万一 5 时的状态能t 和吸引能力H N N 认尹N NS .本文提出的加权离散神经网络具有增加稳定样本的存贮 容量的性能,只要单调递增偶函数 了(X )的递增幅度 足够大且 各存贮样本之间存在一定的距离,所存贮的样本均能稳定。虽然该网络的构造 比较复杂,然而我们利用电致发光器件图可以简单地构成光电混合型的神经网络且具有结构紧凑、空间小、成本低等特点,宜适应于今后器件集成化的要求。+十W工++W一+平十0 一 40 0E一 8一 8一 8一 8一 8UnU八U11nU目.1011UCU‘UJi.nU‘111U0nU, ‘三1二nU八j.1,二11. .nUi1二1J.i‘1CU表 3 存贮样本 盯一 7 时的状态能t 和吸引能力H N N 认尹N NS 币 参 考 文 献H o P fie ld J J.N e u r a l N e tw o r k s a n d Phy s iCa l S ys t e m sw i th E m e r g e n t C o lle e t iv e C o m Pu ta t io n a l A b i lit ie s·Proc.N a tl.A c a d.Sc i.U.S.A 二 1 9 8 2 ; 79:2 5 5 4 ~2 5 5 8H o Pfie ld J J.N e u r o n s W ith Gr ad e d R e印 o n s e H a v eC o lle e t iv e C o m P一t a tio n a l P r o Pe r rie s L ik e T h o s e o f丫、v o 一 s一a te N e u r o n s.Pr oc.N a t l.A e a d.宝1.U.S A 二1 9 8 4 : 8 1 : 3 0 8 8 一 3 0 9 2H o Pfie ld J J.N e 一lr a l C o m Pu ta t io n o f Dec is io n O Pti-m iz a t io n P r o b le m s.B io l.Cy be r n二 1 9 8 5; 5 2:1 4 1 ~1 5 2L e e Y C二 D o o le n G.M a e h in e Le a r n in g t丁s in g a H ig h -e r o r d e r C o r r e . a r io n N e t 、、o r k.Ph ysie a.1 9 86:D 2 2:2 7 6 ~ 3 0 6(下 转 第 2 7 6 页 )+十W一十+E 认尸L E一 一 一 8一 一 一 8一 一 一 8一 一 一 8一 一 一 8一 一 一 8一 一 一 8‘工J,0二0 0祖月Jj祖月,11nU古.卫J.且0 0nU.11心.1八UCO,lU丹ji.旧立,直0二0l‘五‘,1j.1,九日且,1j.‘1U,表中 H N N 为 Ho p fie ld 神经网络.W N N 为加权神经网络,E 为状态能量.w 为稳定 性.L 为吸 引能力.“+”表示稳定式吸引状态. “一”表示不稳定或不吸引状态 3而对于取截值后的式 (7) 连接矩阵,则调整变 4为 T。、 ,显然连接矩 阵 Tw , 、的分布倾向存贮本 sm一 一 0 0 一 0 0,因此 必 向该存 贮样 本 sm收敛,表现 出联想记忆的功能。

具有高容量稳定存贮的加权神经网络

http://dspace.xmu.edu.cn/bitstream/handle/2288/19225/%e5%85%b7%e6%9c%89%e9%ab%98%e5%ae%b9%e9%87%8f%e7%a8%b3%e5%ae%9a%e5%ad%98%e8%b4%ae%e7%9a%84%e5%8a%a0%e6%9d%83%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c.pdf?sequence=1&isAllowed=y

具有高容量稳定存贮的加权神经网络

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository