本文通过对Ｈｏｐｆｉｅｌｄ神经网络存储相关信息的联想稳定性分析，给出了选取存储样本的优化规则，并得出Ｈｏｐｆｉｅｌｄ神经网络在优化存储规则下各存储样本均能纠一错（即最低联想）的临界存储容量约为０．５Ｎ，比随机选取存储样本的容量（约０．１４Ｎ）要强得多

刘瑞堂

吴伯僖

郑利明

郑利龙

郭东辉

陈振湘

Xiamen University Institutional Repository

第 2 0 卷 第 1 期1 9 9 7 年 1 月计 算 机 学 狠C H IN E S E J.CO M P U T E R SV o !.2 0 N o.1Ja n.1 9 9 7关联优化存储下 HOPf ic ld 网络的临界存储郭东辉 陈振湘(厦门大学物理系郑利明刘瑞堂 吴伯嘻厦门 3 6 10 0 5 )郑利龙(香港城市大学电子工程系 )摘 要 本文通过对 H oP fie ld 神经网络存储相关信息的联想稳定性分析,给出了选取存储样本的优化规则,并得出 H oP fie ld 神经网络在优化存储规则下各存储样本均能纠一错(即最低联想 )的临界存储容量约为 0.SN,比随机选取存储样本的容量 (约 。.1 4N )要强得多.关键词 神经网络,优化存储,存储容量.分类号: T P 3 9 3C R IT IC A L C A PA C IT Y O F H O PF IE L D N E U R A L N E T 、V O R K S甲V IT H O PT IM A L ST O R A G EG U O D o n g hu i CH E N Z h e n x ia n g L IU R u it a n g W U Bo x i(D 己户a rt~tof Ph夕s ic s , X ia , e , U , fver sity,X ia m e n 3 6 1 0 0 5 )C H E N G L.M.CH E N G L.L.(众户a 以 , 。t of E lectro , ic E , 9 1~ ri, g , C ity U , i脚r s ity of H训 9 K on g )A b st r a e t B a s ed o n th e a n a lys is o f a s s o eia t iv e s t a bility o fH o p fie ld n e u r a l n e tw o r k ss to r e d w ith e o r r e la t iv e p a tt e r n s, the o p t im a l r u le o f e h o o s in g s t o r e d p a t te r n s 15 p r e-s e n te d in this p a p e r fo r im p r o v in g th e a s s o e ia t iv e s t a bility a n d th e s t o r a g e e a p a e ity.B y the o p t im a l s to r a g e r u le,th e e r it ie a l s t o r a g e e a p a e ity th a t e a e h s t o r e d p a t t e r ne a n e o r r e e t o n e bit e r r o r in e v e r y bit o f th e s t o r e d p a t t e r n 15 a b o u t 0.SN,w h ie h 15m u e h be t te r tha n th e e a p a e ity a b o u t 0.14N o f s t o r in g s t o e ha s t ie p a t te r n s.K eyw o r d s N e u r a l n e tw o r k, o p t im a l s to r a g e, s t o r a g e e ap a e it y.1 己l 雀旨JL ,J二二.离散 H oP fie ld 神经网络是一个比较典型的联想记忆神经 网络模型 [lj.它是将联想记忆看本文 1 9 95一07一20 收到.本课题得到 国家 自然科学基金资助.郭东辉,获博士学位,现在英国 u lst er 大学信息学院作博士后研究工作,主要从事神经网络、计算机通信方面的研究.陈振湘,副教授,主要从事神经 网络、半导体器件的研究工作.刘瑞堂,教授,主要从事神经网络、发光材料的研究工作.吴伯落,教授,博士生导师,主要从事神经网络、半导体发光的研究工作.郑利明,副教授,获博士学位,主要从事信号处理、神经 网络的研究工作.郑利龙,助理教授,主要从事计算机通信、神经网络的研究工作.计 算 机 学 报 1 9 9 7年作为一个动态系统的动力学过程,把所要记忆存储的信息存放在系统的稳定吸引子上,只要与之相差不多的信息输入,网络通过迭代将按汉明距离 (或欧氏距离 ) 自动联想出所存储的信息.那么,H o p fi el d 网络中到底有多少系统吸引子可以用于存储记忆信息(即联想记忆的存储容量问题 )一直是人们最感兴趣 的课题之一 到 目前为止,已有不少文章用不同的方法对它进行了详细的分析 [l一 ‘〕,一般认为:对于随机 的样本,该离散神经 网络的存储容量 尸 约为 0.14 N (其中:N 为网络的神经元个数 ).但是,从 H oP fie ld 网络对样本 (或信息 )存储的算法来看,样本之间的相关性对该网络的系统吸引子分布起着重要的作用,所以,如果按适当规则选取存储样本势必将在一定程度上提高该网络的信息联想稳定性和信息存储容量.为此,本文首先通过分析不同关联分布的存储样本对 H 叩fi el d 网络联想稳定性的影响,得出该网络在最佳稳定条件下选取存储样本的关联优化规则,最后,给出 Ho p fi e ld 神经 网络在优化存储规则下各存储样本均 能纠任意一位错 (即最低联想程度 )的临界存储容量.2 存储稳定性分析目前大多数神经网络模型都可溯源于 M一P 神经元模型 [sj.设网络中有 N 个 M一P 神经元相互联结,在 网络系统的演化过程中,各神经元的状态变化是按下式规则受其它神经元状态的制约:S,(亡 + 1 ) 一 f〔习T‘,S,(, ) 一 “,〕,/ 一 1,⋯,N (1 )其中:界,是各神经元间的联结强度,砚为神经元的阑值,非线性函数 f( x) 为阶跃函数即:{ 1,x 全 0. 、 _{ 1,x 之 0J (x ) 一 武 x ) 一 (_ _ _或 J (x ) 一 sgn(x ) 一 ({U,x < U (一 1,x < U即每个神经元 只有两种活化状态,分别代表兴奋和抑制.其中:f (x) 一 武 x ) 表示该网络为单极神经元网络,f (x ) 一s g n( x) 表示该网络为双极神经元网络.对于 H o Pf iel d 神经网络模型 [lj 有:民 ~ o,且其各神经元间联结矩阵取为:T, ,一 习 (2 5 : 一 1 ) (2 5少一 l ),‘,j 一 l,⋯,N (2 )其 中:夕 任 {o,1 }N 为单极存储样本,尸 为网络中样本存储个数.因此,对于单极神经元网络的H oP fie ld 模型,式 (1) 中影响各神经元状态跳变的局域场可定义为:*!一客T‘,“,一告客T‘少〔(‘一, + “ + ·, ‘2“,一 ‘, 〕,~ l,⋯,N (3 )其中: y 一 。 ;而当 y 一 1 时,式 (3) 则为双极神经元网络模型 (即 S 〔 {一 1,1 }勺 的局域场.若要求所有的存储样本 夕均为网络的稳定点,就必须满足局域场 h、均与存储样本的各分量 夕所指的方向相同 (即当 h,之 。时,夕 一 1; 当 h、< o 时,夕 一 0),因此,任一存储样本 S’各分量的稳定系数 R 尸均需满足下式稳定存储条件:R 势 = h尸(25 尹一 1 ) ) 又,i = 1,⋯,N (4 )其中:又> 0 称为稳定常数.由式 (2 ) (3 ) 可见: R 尸与存储样本夕 的选择关系很大.因此,为了分析存储样本间的相关性对 网络存储性能的影响,首先假设该网络所存储的一组样本夕,各样本间的相关分布为 X (w,泞,q,如,即:1 期 郭东辉等:关联优化存储下 Ho p fi el d 网络的临界存储习、 尸- , N _ 。一《〔贵客(郭 w )2〕告》一丽一《穆(2sr 一 1)(2sr一 1 )》,‘一《‘责署仁责艺 (25 犷一 ‘’(25 ,’- 1 ) 一 。〕,}告》其中:二, q 分别是样本的重量 (即样本分量中“ 1 ” 的个数 ) 和样本间相关系数 (相关重叠 ) 的平均值; 泞,夸则是各 自的平均标准差.这样,式 (4) 的稳定性系数可如下表示:R :一 名(25 ::一 l) (2 5罗’一 l )] 二 l+ (25 犷,1 二, . , , 、 . , . , , 、 , _ 。 _ , 、 二 , 八 。 ,,二了 } L l 一 , , 十 火1 州卜 / , 气乙O 了 一 1 少」又乙O 犷’一 1 少乙 一 一_ 、么 占_ 。. _ 、 , _ _ , 、、1 。.一 1 ) 夕‘夕 八乙O 厂一 1从乙O 丁一 1 少 入~ 万 l欠1 一 I , 月-以 十 I 从乙O 扩一 1 少」宾戴胃‘乙 -一告客〔(‘一 ‘, (2二一 1) + (1 + 7 )〕+告息睿仁(2s :一 1 )(25 犷一 l )〕(25 少一 1 ) [ (1 一 7 ) + (1 + y )(25 了’一 1 )]1 二, . , , 、 , _ 、 , 、 , ,. , , 、 、 , ,‘; ‘ 几万 l 气1 一 I 少L乙乞‘ 一 JV 少 一卜 气1 州卜 I 少J V 」乙 一 一l,~. 、 、 , 二.~ ‘、 , ‘ , . ,, 、 尸 , ~ 、 , 、.。, , 、 二. , , , , , 、 , .八, 。 、 、 二士叫石一气厂 一 1 ) Iv Lq 十 口 气引 」戈气1 一 , ) L气乙w 一 z V 少十 口伏 ) 」 十 以 一 I八 q 十 口戈S月 J‘y= 01,,_ 、 、 , 二.~, 。 、 , 。 _ 、 , 、.八, , 、 ,w 土 二干 L厂 一 1 少又v Lq 十 口 气‘月 L气乙w 一 义v ) 十 口忧少」‘(5 )其中:上式第二项是相关干扰项,记为 八,O (匀,O (如 分别为正比于标准差 宁,杏的小量.根据式(4) 稳定性条件要求,需要:w 之 人+ }众 }.因此,希望式 (5) 中的干扰项 我越小越好,即选取存,右~ 0.N一2今储样本时应尽量满足: q ~ o,夸~ o,w这意味着:存储样本应选取等重量等汉明距离,且样本的重量 m 应为神经元数 N 的一半,样本 间的汉明距离应取极大(即 q ~ 0).按这种优化规则选取的存储样本按式 (2) 产生联结矩阵的 Ho Pf iel d 神经网络,系统的稳定性较均匀,联想性质较理想.同样,由式 (5) 可知:重量 w大的样本,稳定系数大,则该样本的吸引域大.然而,若式 (1) 的联结矩阵的对角元为界,一 。,即网络中各神经元无自反馈作用,式 (5) 的第一项则由 w 变为 w 一 1,稳定性系数有所下降.3 临界存储容量从信息论极大似然规则的识别观点来看,神经网络是否具有联想功能主要表现在它的存储样本能否按汉 明距离 (或欧 氏距离 ) 进行自动纠错或收敛与之相近的信息.因此,可以定义H o p fi el d 网络的临界存储容量为:当各存储样本仅能纠一位错时网络所存储的样本数.为了分析 H oP fie ld 神经网络在上述优化存储规则下的临界存储性质.首先根据上述优化存储规则,设 H叩fie ld 网络存储一组等重量等汉明距离的样本夕 任 {o, 1 }N,各样本的重量以及各样本之间的汉明距离分别均为w 和 dH ;且设任一样本 S, 1与另一样本 S 、,对于位置 i相同的各神经元 S, ,状态同为兴奋“ 1 ” 的神经元数记为 C, ,状态同为抑制“。” 的神经元数记为C。 ;状态不相同的为兴奋“ 1 ” 的神经元数记为 D, ,状态不相 同的为抑制“0’ 的神经元数记为 D。.(例计 算 机 学 报 1 9 9 7年如 S”’1= 1 0 1 0 1 0 1 0 1 1 1 1 0 0 0 与 S”’2= 1 10 0 1 1 0 0 1 1 1 0 0 0 1 有 Cl= 5,C。= 4,D,= 3,D。= 3 ).根据上面的假设,则可得任一个存储样本 夕 的重量 w 为:w ~ C,+ D, ,各样本之间的汉明距离 dH为: d H 一 D,+ D。.由于等重量等汉明距离的任一样本 夕‘1与另一样本夕2的神经元状态不相 同,为兴奋“ 1 ” 的神经元数 D,应等于该样本 夕’,与另一样本夕、的神经元状态不相同为抑制“ o ” 的神经元数 D。 ,即:D,~ D。 ,因此,可得:D,一 d 二 /2,C , 一 w 一 (d 对2).现设以任一存储样本兮’的任一位 (设第 k 位 ) 发生错误的信息夕犷为网络系统式 (I) 的起始输入信号 S (O ),即 由式 (2 )(3 ) 可得:* ‘一 习艺 (25 : 一 l) (2 5犷一 1 )S了’‘少= l 产二 l(6 )(25 :汀一 l )乙 (25 了:一 1 )S了, ’+ 乙 (2 5 犷一 l)艺 (2 5 犷一 l )S了砚其中: y ~ 0.而所发生的错误仅有两种情形,即:心 ~ 1 ~ 义r一 。或 S r 一 。一 穷‘~ 1.当 S’的第 k 位发生错误 义’一 1 ~ 义r一 。时,得式 (6) 的第一项为 气,一 (2 夕’一 1 ) (w 一1 ) ;若所有其它存储样本的第 ‘位为 义 一 时,式 (6 ) 的第二项为 h; 2一 艺 (2夕 一 1 )〔(C,一尸才厅哥1 ) 一 Dl〕;而若所有其它存储样本的第 ‘位为义 一 时,则第二项应变为 hiZ一 习 (2 夕 一产笋 附1 ) [ C,一 (D,一 1 )].因此,对于遍历情况,当网络存储 尸 个样本时,有下面不等式恒成立:(P 一 l )(}w 一 d、} + 1 ) 全 h; :全一 (P 一 1 )( }w 一 d二} + 1 ) (7 )所以有:(25梦一 1 )(w 一 1 ) + (P 一 1 )(lw 一 dH I+ l)全 h,之 (25 犷’一 1 )(w 一 1 ) 一 (P 一 I)(Iw 一 d二I+ l)(8 )同样,当样本 Sn’的第 k 位发生错误为 义’一 。~ S梦一 1 时,仍可推得式 (8 ) 不等式恒成立.因此,根据式 (4) 所定义的单极神经元 网络稳定性条件的要求,由式 (8) 得出:(w 一 l ) 一 (P 一 l) ( !w 一 d。」+ 1 ) 全 O一 (w 一 1 ) + (P 一 l) ( !w 一 dol + 1 ) < 0(9 )则可推得:该模型在各存储样本在任意一位发生错误时都能纠正,网络能稳定存储的样本数为:_ ,.w 一 1P < 屯 1 十 下二于一一t 厂下尸下一育}工之少一 “H !一厂 1(1 0 )如果选取 H ada m ar d 码字[6] 做为网络的存储样本夕,有 w 一 dH 一 N /2,则该网络能纠一位错的临界存储量可达到 (N / 2) 一 1 、 0.SN 个.以上结果是对于有自反馈 (即 界‘笋 0) 的互联网络得出的.而在实际的 H叩fie ld 网络中,一般认为神经元本身不对 自己产生激发 [lj,即无自反馈作用:界、一 0.对这种无 自反馈作用的单极离散 H oP fie ld 网络,在任意一位错误可自动纠正的情况下,同样可推得下式成立:。 一_ .w 一 2厂 二二 1 十 下- - - - - - 了- 下- 1~ , 几}乞习 一 “川 十 乙(1 1 )如果类似地选取 H adam ar d 码字做为该网络的存储样本 夕,则该网络保证能纠任意一位错的最大存储量为 P ~ 0.25 N;仅约为有自反馈 (即 工、笋 0) 互联网络的存储容量的一半.但仍 比极限 (N ~ co ) 下存储随机样本的最大容量 P (约 0.14 N ) 要好得多.1 期 郭东辉等:关联优化存储下 Ho p fi el d 网络的临界存储4 结果讨论为了验证上述的结果,我们分别对不等重量和不等汉明距离的存储样本的存储,以及神经元联结矩阵的对角元分别取 界,一 。和 界‘笋 。两种形式对存储等重量等汉明距离的样本用计算机进行数值实验川.实验结果表明:重量 w 大的样本其稳定收敛性较强;若选取等重量等汉明距离的样本有助于各样本存储的稳定收敛性提高;具有 自反馈 (即 界‘护 0) 的互联网络比无自反馈 (即 界、一 0) 的互联 网络的存储稳定性要高,且各存储样本可纠正任意一位错的临界存储容量也接近大于一倍.可见,我们的实验结果同理论结果是一致的.由于篇幅的原 因,上面仅对单极 网络进行详细分析.同样,对于式 (1) 中非线性函数取为f (x ) 一。g n (x ) 的双极神经元网络,可得 式 (4 ) 稳定 系数 为:R : 掣N 士 冬(尸 一 1 )N 「。 +。’ ‘” ‘ --一 ” 一/ ~’ ‘ 一 ”’ 刁 ”‘ 一 、、 一 ’‘ 产~ ,、~z J’一, -一 2 一- 一~O 烤)」2.因此,应选取等汉 明距离样本作为双极 H oP fie ld 网络 的存储样本,以增强存储样本的稳定性.当存储样本为等汉明样本时,其临界容量同样可推得为:‘勺灭粤氮弄耳厄,‘勺了驾薪而,Tt ,并 O(1 2 )T, ,= 0了||才人|!l、V尸可见:双极神经元网络的存储样本联想稳定性和临界存储容量仅与存储样本间的汉 明距离有关,而与存储样本中取“1" 与“一 1’ 的概率 (即样本的重量 w ) 无关.参 考 文 献H o p fi e ld J J.N e u ra l n e tw o r k s a n d p hy s ie al sy s t e m s w ith em e r g e n t e o lle e t ive C o m p u t a t io n a l a b ilit ie s.尸roc Na t z A c a 己Sc i , 1 98 2,7 9:2 5 5 4 一 2 5 5 8A m it D J,G u tfr e u n d H,So m po lin s ky H.S t o r in g in fin it e n u m be r o f pa t te r n s in a Sp in一G la ssm o d e l o f n e u r a l n e tw o r k s.P hys R 。 工沼忿t, 1 98 5,5 5 (1 4 ):15 3 0一 1 5 33M e E lie e e R J,P o s n e r E C,R o d em ie h E R,V e n k a t e s h 5 5.T he e a p a e ity o f th e H o p fie ld a s s o e ia tiv e m em o ry.IE E ETr a n s l月j石r 二a t二 T he o, ,, 1 9 8 7,IT一3 3 (4 ):4 6 1 一 4 8 2W e isb u e h G,r o g elm a n一Sou lie F.Sca lin g la w s fo r th e a t tr a e to r s o f H o p field n e tw o r k s.J 尸为, ‘i叮ue 及t t , 1 9 5 5, 4 6 (1 4 ):L 6 2 3 一 L 6 3 0M eC u llo e W S,Pitt s W A.A lo g ie a l e a le u lu s o f th e id e a s im m a n e n t in n e r v o u s a e t iv it y.B u ll M a t h B 泛oP h)S , 1 9 4 3, 5 :1 1 5一 1 3 3Bau e ha m p K G.A p p lie a t io n o f W a ls h a n d R e la te d Fu n e t io n.N e w Y o r k:A e a d e m ie , 1 9 7 2郭东辉.联想记忆神经网络及其应用的研究〔博士学位论文」.厦门:厦门大学,19 9 4

关联优化存储下Hopfield网络的临界存储

http://dspace.xmu.edu.cn/bitstream/handle/2288/19229/%e5%85%b3%e8%81%94%e4%bc%98%e5%8c%96%e5%ad%98%e5%82%a8%e4%b8%8bHopfield%e7%bd%91%e7%bb%9c%e7%9a%84%e4%b8%b4%e7%95%8c%e5%ad%98%e5%82%a8.pdf?sequence=1&isAllowed=y

关联优化存储下Hopfield网络的临界存储

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository