把Ｄｉｒａｃ符号表示引入四态离散复数神经网络模型中，从理论和数值模拟上初步考察了模型的稳定性，存贮容量和容错能力，四态离散复数神经网络模型可应用于四态灰度或彩色图象的识别中，该模型也可应用于具有矢量点特征的图象识别中

刘瑞堂

吴伯僖

帅建伟

陈振湘

Xiamen University Institutional Repository

第 卷第 期年 月科 技 递 雄离散复数神经网络模型’帅建伟 陈振湘 刘瑞堂 吴伯嘻厦门大学物理系,摘 要把 压。符号表示引入四态离散复数神经网络模型 中,从理论和数值模拟上初步考察 了模型的稳定性,存贮容量和容错能力 四态离散复数神经网络模型可应用于 四态灰度或彩色图象的识别中,该模型也可应用于具有矢量点特征的图象识别中关锐词 复数神经网络模型  模型 图象识别前 言自 年  提出了他的神经网络模型  后,神经网络成了一个世界性的跨学科的研究热点 由于 模型具有许多优点,如具有分布式存贮、并行处理、联想记忆、分类与误差自动校正等智能功能,从而成为当前最主要的一种人工神经网络模型,人们在此基础上进行了大量的研究工作,如模型各种性质的理论和计算机模拟研究、各种改进、各学科中的应用、光电器件的实现  等二值  !∀ 模型可应用于二值黑白图象的联想记忆识别中,文献「,〕认为 态模型有可能应用于灰度 图象的联想记忆 中 但对 由 规则连结的 态模型,具有随 。一 ’下降的低存贮容量和很小的容错能力 神经元的取值可从实数推广到复数域,取值为 士 士,其中 表示复数单位 丫二万,也即神经元具有四种存在状态,从而可建立离散复数神经网络模型  我们对该模型引进了 符号表示,从理论上证明了当神经元数 目远大于存贮样本数时,存贮样本为复动力学神经 网络的稳定吸引子,并应用信噪比理论分析 了模型的存贮容量,结果与 模型的一样,同时用计算机模拟分析 了模型在较少神经元数 目时的存贮容量和容错能力,且与  !∀ 模型进行了比较 二值 模型把一维输入空间分为正负两半映射到输出空间 态模型则把一维输入空间分为 部分,从而增加了噪声,而要正确映射到输出空间 段 中的某一区间,也造成了对噪声的敏感性增加,且 越大影响越大 而在本文提出的四态离散复数神经 网络模型中,由于把输入输出空间扩展为二维,从而避开了态模型所面临的困难,使网络对噪声的敏感性与二值  ! ∀ 模型相当,我们认为该模型可应用于四态灰度或彩色图象的识别中,本文运用该模型,进行了一些四态英文字符识别的计算机模拟,实数型神经网络能较好地应用于对由标量点所组成的图象的识别记忆中,而复数是一文稿收到日期一 一国家 自然科学基金资助项 目科 技 通 报 卷个二维矢量,所以该四态离散复数神经网络模型,也可应用于具有矢量点特征的图象,如二维运动图象或具有方向性的各种图象的识别中离散复数神经网络模型设 有 个神经元的复数神经网络,存储 个随机记忆模式 夕一 士 土,产一, 二,我们在神经网络中引入。符号表示,即基态矢 夕一 产,连接矩阵则表示为总投影算符一 】 … 一 艺 产 川从量子力学来看,若 产 为正空间的基矢,则 川 为共扼 空间的基矢,对于实数空间来讲,正空间与共扼空间是 同一个空间,但对于复空间来讲,则是两个不同的空间 这样由于引入了 符号表示,我们自然在连接矩阵算符中引入了复数 的共扼空间 当用复数阶跃算符 日表示复数阐值函数 日 时,矩阵表示的网络的动力学方程则写为算符动力学方程一 田  对于复数神经网络,态矢 产 具有实部和虚部,故其模为川 一对随机存储基矢 产,伪正交性表示为川。 尹 。因分为实部和虚部两部分,则其伪正交性的均方误差为川 产 一 川产 一 了厄天下面我们应用信噪比理论,对模型的稳定性和存贮容量进行分析复数神经网络的信噪比分析为考察网络的稳定性,不失一般性,令态矢 一’’‘一 日了’一 日 口,代入 式得川 产刀一目丫乙衅信号一噪声展开式 中右边第一项为信号项,第二项为噪声项 在信号项中,表示向基矢 迭代的可能性大小,即向 迭代的权重 在噪声项中,川 表示 向 产 产护”迭代的权重,由式 知该权重的平均值为 。,均方差为了厄而下面以基态矢 的各分量的实部为例,进行具体分析二 日 才 △且 △ 一 习 分·云 产·二· ,二三,纷。习 梦 二’ 一 严·二,·户护其中 表示取实部,取虚部 由于随机存储模式具有伪正交性,所以上式噪声项 △ 右边二 个小括号中为对具有随机分布的士 求和,这些和值大小表示了复动力学系统向 犷和 尝产护 迭代的权重 易知各权重的平均值为 。,均方差为扼万 则得 △平均值 一。,均方差,不亦瓦丽二万,故信噪比  为期 帅建伟等 离散 复数神经网络模型一 一口当 》 时信噪比远大 于,网络向具有 权重的信号 梦收敛,于是有 一日 而当输入一个与存储基矢 相差不大的图象时,上述关系仍近似成立,故经一次或数次迭代,网络自动地收敛于存储基矢 即存储样本为复动力学系统的稳定吸引子由于存贮模式的独立随机性,得噪声项 乙 具有正态分布了乏牙。一 鱼二 犷叮 ‘ 司不失一般性,令 黔一 要 二几 也为,也即要求信号项与噪声项的和不小于零,其几率为一 了 二 一 书些一 一髻〕一 了 汀 一 乙当,远大于 时,、 丫万 丽一 了刃五,这里 一,表示存贮容量的大小 所以 二伦迭代错误,为一 的几率 为一, 、 一「一, , 、 , 叨’气 一 工 一二二二一了 冗 刀 万〔一 专〕‘文献 运用信噪 比理论对  模型的存贮容量进行了分析,这里我们运 用该理论分析离散复数神经网络模型的存贮容量 由式 可得态矢 夕 中出错的总数约为 只,若假设 夕 中负分量的个数具有  分布,可得非负分量个数的几率,也即 夕 为稳定吸引子的几率为一则了而一 ,一 产若设 p~ 0.99 9999 , 一 ln 川ZN 为一很小的正数,由近似关 系 p一 ‘(对一 艺荻死刃刃 得1/a ~ Zln ZN当 N 远大于 1 时,In Z N 、In N,则有1ZlnN(12 )该结论与文献[7〕中所得的 H oP fie ld 模型的存贮容量 1/2 In N 相同.类似 Hopfi el d 网络,若不考虑神经元的自反馈,即连接矩阵的对角元 J ~ ~ o,它对动力学方 程 的 影 响 表 现 为 信 号 项 的 权 重 是 2 ( N 一 1 ),总 噪 声 平 均 值 为 O,均 方 差 为六N 一1 ) (M 一 1 ),信噪 比 s N R 一 了(N 一 1)/( M 一 1).当 N ~ co 时,信噪比与考虑反馈时的情况只相差 1/N ~ o 的量级,所以结论与上面一样.4 计算机数值模拟下面我们用计算机数值模拟说明上述离散复数神经网络模型的联想能力.计算中取对角元 J~ ~ 0.网络中设有 N 个神经元,多次随机产生 M 个存贮图象夕一 (士1士 i}万 ,把存贮图象作为科 技 通 报 11 卷l816O HOp6eld模型. 。。m p le x 模型O M 一 3衬 M = 5. M 一7l 41 20 2 0 4 0 6 0 8 0 1 0 0 0 2 0 4 0 6 0 8 0 1 0 0图 1 临界值 P ~ 50 %,N 一 1。,…,100 时的 M ~一N 存贮容量统计曲线图 2 临界值 p ~ 85 %,M 固定不变,N 一 10,20,…,10。时的 R ~ N 容错半径统计曲线.输入,计算其正确回忆率,统计出对不同的 N 其正确回忆率大于某一临界值夕的最大 M,可得临界值 夕下的 材~一N 统计曲线.本文取 夕~ 50 %,图 1 画出了当 N 一 10,…,100 时的 材~一N统计曲线,由图可得离散复数神经网络当其复神经元的个数较小时,其最大可存贮的图象数近似为一直线:即;M coaN (13)且有a、0.14 , 它与 Hopfi el d 模型的结果一样[8].图中也画出 Ho pfi el d 模型的数值模拟结果,由图知,两模型的存贮容量曲线虽具有 同样的a值,但复数模型比 H 叩fiel d 模型的存贮容量略低.对于离散复数神经网络模型,为表征输入图象 S 与存储样本 了 的差别大小,须先定义一个距离函数 D:D 一 艺 IRe(S、 一 S川 + l, m ( S‘一 S川 (14)它表示对矢量的实部和虚部的汉明距离求和.为考察离散复数神经网络容错能力,先定义容错半径 R:当系统存有 M 个图象,分别用与存贮图象相差的距离 D 为 1,2,3,…的图象,作为初态输入,记下收敛到相应存贮图象的比例,以图象收敛百分数大于某一临界值 占为标准所允许的最大 D 就是该临界值 古下的容错半径R.本文取 占一 85 %,图 2 画出了当 N 簇10 0 时,对多次随机产生 M 一 3,5,7 个存贮图象时的三条容错半径统计 R ~ N 曲线.由图可知,当 N 较小时,容错半径 R 随 M 的增大而减小.但当 N远远大于 M 时,容错半径 R 与 M 无关.可知当网络中存贮的图象数目M 远小于其最大可存期 帅建伟等:禹散复数神经网络模型 20 7贮的图象数aN 时,网络的纠错能力主要由神经元数目N 决定,而与图象数目M 关系不大.由于该模型具有四态,故可应用于四值灰度或彩色图象的识别中,我们对该复数离散神经网络模型的四值图象识别也进行了初步的计算机模拟,如对 7x 10 点阵英文字母 A 的识别:网络中存贮有三种字母 A,模拟表明,这三种不同灰度或颜色的 A 均为该网络的的稳定存贮图象.而若输入一些其汉明距离达 20 的稍有变形的字母 A,模型正确识别率约为 ”%.若输入一些其汉 明距离达 40 的稍有变形的字母 A,正确识别率为 “ %.图 3(a )为存贮字母,(b) 为具有近 15 % 噪声(即 20 bi t 误码)的字母,(。)为具有近 30 % 噪声(即 40 bi t 误码)的字母,结果表明 (b )(。)所示字母均可被正确识别,图中(一 1一l’) 设为背景色,( 一 1 + i) 表示为 1,(l 一i) 为2 , ( l 十i)为 3.QJnj,dC,dJ几n,J口八」,JljdO二JC,口八jdJ丹叮口LJ叹」,Jd,‘夕自0O勺,臼曰自山‘Q匀口‘勺,自,‘山曰,口‘Q山Q山,自‘曰目今Q‘,曰,勺O自1.1., ..二11‘, .三,,1一.卫一1.一且.二一l1111.1, ,五.111.(a),勺dgJ几J‘.1怪口,‘,曰,J内jq八勺11吸d口d丹J1.二,‘勺OJnj,‘的丹Jj.1勺J,C,曰11CJOnJ,j,dCJ111..O山,曰‘,山翻,‘山Q,」怪,白‘心O,曰自‘QQ9,‘目2 2勺‘,Q山勺‘,‘,11‘.几CJ八Jd,J11O‘.d1.1IJ1,g‘,1,自JQ目,J111,妇111., .五马J1内j, 1,UO山1,d1.二勺J,1.1( b )1,曰6‘19一,口O白,d口g自,一00,Jg11t119叼,d11.1,曰口Jg,曰1111弓.1,dJCQ乙O‘八j119曰八Jg,‘1二,曰,d1内」,自‘O曰QJg,‘曰O11110山,曰口叮‘勺1通nj11, .二j,目,J,一dQ11,曰‘,臼,tg‘,J自2 23 2 1 13 3 1 3 21 1 1 2 13 1 1 1 1 11 1 1 3 23 1 2 3 1 2l l3 l1 3 3 3(e)图 3 复数模型用于四态字符识的数值模拟实例(a )网络稳定存贮的三个字符 A .(b) 加有近 15 % 嗓声(即 20 bi t误码)的箱入字符 .(c )加有近 30 % 噪声(即 40 bit误码)的拍入字符,网络对 (b )(c)图象均能正确识别5 结 论本文把 Dira。符号表示引进了离散复数神经网络模型中,应用信噪比理论分析 了模型的稳定性和存贮容量,同时用计算机模拟分析了模型的较少神经元数 目时的存贮容量和容错能科 技 通 报 n 卷力,该模型与 H 叩fie ld 模型具有相同的存贮容量和容错能力.并运用该模型进行了四态灰度或彩色字符的识别模拟.复数在物理学中有着广泛而深刻的应用,近代物理的发展离不开复解析函数,而在近些年来兴起的分形学和混沌学中,复动力系统也倍受重视.从而我们认为,混沌现象在复数神经网络 中也存在着,而这样一种混沌复数神经网络模型对于我们更好地认识生物大脑的复杂现象可能会有所启发,所以我们认为复数在神经网络中也将扮演一个重要的角色,值得我们从理论和应用上去认真研究和探讨.参 考 文 献2345678Hopfield J J. Neuralnetworks and physiealsystem s w ith em ergenteolleetive eom putertationalabilities. Proc Na:lAead 段三U S A,1 9 8 2;7 9:2 5 54~255 8Da vi d Rumel ha r t.In t ern a rionalJoin tCo nfe r e n e e o nNe u r al Ne two rks.压atrle,W A,1 9 9 1R ie g e r H.St o ri嗯an ex tensive n um ber ofgrey一 t o n e d p a t t e r n s i n a n e u r a l n e t明rk using m uiristare neurons.J PhysA , 1 9 9 0 ; 2 3 : I J 1 2 7 3 ~ IJ1 2 7 9助lle D et al. ()ptima lstorage eapaeity for diluted m ulti一 s t a t e n e u r a l ne r w o r k s : e o n t i n u o u s a n d d i s e r e t e e o u p l i n g s.P h ysie aA.1 9 9 2;1 8 5:3 5 7 ~3 6 2Stiefv a t e rT 时 a l.A fin ite一 s 让e s ea lin g inv es tig a tio n fo r Q一 s t a t eHo p f iel d models : s t o r a g e e a p a e it y a n d ba s 玩5 o f a t-trae tio n.J P h y A.1 9 9 2 ; 25:5 9 1 9 ~ 5 9 2 9Z h o u C h an g h e,IJiul,ir e n.T he e omple xHopf iel d model.( )ptie sComn l u nie a rio n s,1 993;103:2 9~3 2Me el ie e eRJ.T he e apa e 云ty o f th e H o p fie ld a ss oc ia tiv e m emory.IE E E T ran In fo T h e o ry,1 9 8 7;I T 一33:461~ 482A ndt D J era l.Statistiealm eehanies of neural networks near saturation.A n na ls of P hys,19 8 7;1 73:30~67D is ereteComP le xNe u r al Net wo rkModelShu aiJ 1’a n w ei C h e n Z h e, : J; ‘: , , gL iuRui ta ngWuBo x iDeP a r t me n t of P li y s一e s.X 汤m e n U n iv ers ityA l一5 t r n C tA d is e r e t e e o m p le x 一n um be r n e u r aln e t wo rk rnodel w ltl、fo u r s t a r e s( 士 l士 i) 15 eo n sid ered.S ig nal一t o一n o is ethe o rya nde om pu t e r n ume rie als olu t io n s a r emade t o a n a 沙se tl、e s t a b il it y,the s t o r a ge e apa ei t ya ndthe e r r o r-t ole r a n e e e apa ei t yofthemodel.T h is4一s t a t e n e u r a ln e t wol k modele a nbe ap p l iedt o r e e o gniz e thefou r 一le v elgr ayo r e olo rPa t t e r n s.Key , o r d s: e om p le x n e u r aln e t wo rk; H o p f iel d m‘〕del pa t t e r n r e e o gni t io n

离散复数神经网络模型

http://dspace.xmu.edu.cn/bitstream/handle/2288/16456/%e7%a6%bb%e6%95%a3%e5%a4%8d%e6%95%b0%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e6%a8%a1%e5%9e%8b.pdf?sequence=1&isAllowed=y

离散复数神经网络模型

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository