本文应用信噪比理论分析了复相角神经网络模型的存储容量。分析和研究结果表明，当神经元转动态的数目很小时，模型的存储容量与Ｈｏｐｆｉｅｌｄ神经网络模型的存储容量相同；当神经元转动态的数目很大时，存储容量与神经元转动态数目的平方成反比

刘瑞堂

吴伯僖

帅建伟

郑金成

陈振湘

Xiamen University Institutional Repository

第 13 卷 第 4 期19 96 年 8 月量CH IN E S E JO U R N A L子 电 子 学O F QU A N T U M E L E CT R O N ICSV 6 1.1 3 N o.4A u g. ,199 6应用信噪比理论分析复相角神经网络的存储容量·郑金成 帅建伟 陈振湘 刘瑞堂 吴伯嘻厦门大学物理系 厦门 36 10 05摘 要本文应用信噪比理论分析了复相角神经网络模型的存储容量。分析和研究结果表明,当神经元转动态的数目很小时,棋型的存储容量与 H o p fi el d 神经网络模型的存储容量相同 , 当神经元转动态的数目很大时,存储容量与神经元转动态数目的平方成反比。关镇 词 神经网络,复相角,信噪比理论,存储容量l 前 言当前人工神经网络的研究主要围绕网络的基本特性和模型结构、网络的工程应用以及它的硬件实现等方面来进行。其中有关图像识别的神经网络模型的理论研究和工程应用研究是一个很活跃并很有意义的领域。对于多值图像识别的研究,国内外许多学者做了大量的工作 [卜5】。本文应用信噪比理论对 Q 态复相角神经网络模型 川 的存储容量进行了详细的讨论。复相角模型能够模拟生物神经网络、电子极限环振荡器的某些性质,可用来处理具有循环值域的信号,如图像中的边缘定向或光流方向,或探测器阵列所探测的波相位图;也可以应用于彩色或灰度图像的识别。从光神经网络的技术实现来看,利用光束的相角对信息进行编码,也是具有吸引力的。这是复相角神经网络在应用方面的优点。从理论方面看,复相角模型是著名的,Ho p fie ld 神经网络模型 [61 和四态复数神经网络模型 [z1 的推广.2 复相角神经网络模型No est 把平面转动引入神经网络 【1,每个神经元表示一个转动操作,令神经元为S = Q(。。 + 口) =e o s(。。 + 口)+ 谊sin (。。 + 口)三 [川.(1)其中。 = 2二/ q,q 为正整数, 。 = 0,1,⋯ q 一 1.亦即神经元的取值为 q 个平面离散转动态 Q(n a + 句,而口为最小转动角,并把神经元的状态简记为 [n]。设网络有 N 个复相角神经元 s,存储 衬 个记忆模式 少(tL = 1 , 2 ⋯ M )。其矩阵表示为 :*国家自然科学基金重点项目 (193 34 03 2 )资助课题.收稿日期: 1 9 9 ‘- 以卜 2 6修改日期: 1 9 卜1 1一1o第 4 期 郑金成等 : 应用信噪比理论分析复相角神经网络的存储容量 3 73M几 = 艺s:( s;)‘ ,(2)其中 (兮)* 表示取 即 的共扼,且有 ‘,J 二 1,2,⋯,N.则其有效局域场为 :尽 = 艺凡凡,(3)该有效局域场 从 实际上为一合成转动.可以把有效局域场转换为归一化有效局域场 :h‘ = e o s(二‘。‘+ 八) + ‘s in (二‘。‘+ 风) = 【二‘1 (4 )这里把归一化有效局域场简记为 阮1, 二‘为实数, 二‘Q‘+ 风表示合成转动角的大小。当用 。表示输出函数时,对任一输入态网络的动力学方程为 :况(乙+ 1) = O Hi = o h‘(5 )输出函数的取值规则一般设在把某一转动操作范围内的所有转动操作映射到某一神经元的转动操作上。即设第 ‘个神经元的归一化有效局域场为 h‘(t) = 卜小 则神经元输出为 :又(云+ 1 ) = 卜‘] (6 )当且仅当 一去: (n ‘一):告时,这里有n ‘一 。,1,⋯, 。一 1·其几何意义是 : 神经元把转动操作经输出函数作用后,映射到 q 个平面离散转动态的最近邻态上.3 存储容量分析.下面我们应用信噪比理论分析当神经元个数 N 较大时复相角神经网络模型的存储容量.令 s( 0) = 酬,求其有效局域场为 ,凡 = N ex p (￡0犷) + Ke x p (￡。 ),其中 N 表示 向态 夕 迭代的权重,K 为噪声项的模,平均值为 。,均方差, 二正态分布 :(7 )了N (M 一 1),具有lJ L二) = 一.及= = e x p 气一 不二万声·V 艺了叮 乙吓-(8)角度 。 在 (o,2劝 范围内均匀分布。由于该模型具有旋转对称性,不失一般性,可设 衅从 = N + K ex p (‘。 ).二 0 , 则得(9)从图形上来看,N 表示在二轴 (实轴)上的 万才矢量。K exP (如)表示长度为, ,且与二轴夹角为。 的 l才矢量。从 即是矢量 百寸 = 石才+ 万{护。要使神经元能够正确迭代,即 。从 = [0],也即是点 B 落在张角为 +二 / q 与 一对q 的扇形 c o D 之内。如图 1所示的石育矢量。。凡 = [0] 的几率(即神经元能够正确迭代的几豹 为 p 应在扇形 C o D 之内的几率:量 子 电 子 学 13 卷n 。lro, l 、 」 . 。尸, ,2_ _ _厂 = 乙 1 J Lr )u 了’十 乙 I 戈1 一 丁 己 r CC U 吕J o J r 。 万与f(7.约d,+ 2/-J 刊(1 一 生a r 。一瓷一均、刀 \1a r c L O 吕 一)八了’)u r·r(1 0)图 1 图 2其中 : 第 1项积分表示矢量 H‘落在以 A 点为圆心,以, 。为半径的圆域 (即有黑点的圆域 I) 内的儿率;第 2 项积分表示矢量 凡 落在 + 对 q 与 一叮q 的张角与以 A 点为圆心,以 、 为内半径且以 N 为外半径的圆带域相交的区域 (如图 2 所示的画有右斜线的区域 n )内的几率 ; 第 3 项积分表示矢量 凡 落在 +对 q 与 一叮q 的张角与以 A 点为圆心、以 N 为内半径且外半径为无穷大的圆带域相交的区域 (如图 2 所示的画有左斜线的阴影部分m )内的几率。上式化简为 :尹国 尹N月 _尸 = 2 / f(,)d, 一/ 三a r e e o s 里 f(,)d,J o J r o 7r 尹, C丈〕 n _ 户戊」I ‘了一。 。l 、 」 ,一 I 丫 a r c c o 吕 不下J L了’)t1 了-一 IJ N 万 z v J N(1 1)其中 : 竺于王、婴一 。 为网络的存储容量,八 八a r一警f(·)d 二7’。 · ‘ S‘n (苦, 为图 2 所示的“、圆的半径,了N (M 一 1)特别地,为噪声的均方差,f(二)为噪声的正态分布函数。当 q = 2 时,若令口= 。,则神经元的操作态为 :S = 士 1 (12 )若令动力学方程 (s) 中的两个衍射区域以 ￡轴为界,神经元迭代的区域为正负实轴,那么我们得到的神经网络模型就是双极型 H oP fie ld 神经网络模型。则可得存储容量的近似值 以s] 为 :12 In N(1 3)下面我们分析一下当表达式。q 为大于 2 的任意正整数值的情况下,复相角神经网络模型的存储容量的因为正态分布函数 f(幻 具有性质: 心f(子)d一‘;fo+一 了(子)d一 去。所以在 (1 1)式中2 fo+ O f( 的d, = 1。(l l) 式可以写为:_ 4尸 = l 一 一户以 〕 _ r 尹c幻 q1a r e e o s 里 f(二)d, + 11 粤a r ee o ,Jr o 尹 LJ 万 丁r o 户 , ‘ ,万J气7’)u 二 一厂a r c c 。 ,二 , (,)d,1.(14)了一J第 4 期 郑金成等: 应用信噪比理论分析复相角神经网络的存储容量为便于数学分析,我们采取了几个近似处理:(1) 当 二 、良大时,积分厂手a r C C 0 3知咖r 刘犷 化叮 \1a r c c o 吕一J L子 )u 了’ oT咖图 3 所示: 二者的积分曲线重合)这时儿率 p 可简化为 :尸 = 1 一 兰 1a re e o s里f(,)d,.万 J N 7’(15)从图 4 中可以看出 (15 )式的曲线与 (l 4 )式的曲线能很好的重合,即 (15 )式是 (14 )式的近似。。舰份马前一谕一喃尸碳f 塌。图 3 近似处理 (l) 的两条积分曲线“理; ! 一厂景, 2 一厂子a r。。o :器f(r)“r与a r c o o s鲁f(,)dr重合图 4 (1 4 )式与 (15 )式的曲线重合(: 。 二 1.0 )(r o = loN = 1 0 0, , 二 丫I丽石)(2) 当,从, 。变化到无穷大时, ar c os( 粤)从 。变化到 要,而且从计算机数值分析来看,了,乙(15 )式中 p 的变化主要取决于, 。和 f(叻的变化 (如图 5 所示)。当, 。取定值时,f闭 的变化比ar c os( 鲁)的变化显著,这时 , 的变化主要取决于 ‘问 的变化。而且我们可以看到,在图 5 电我有”把a r CC O s(鲁)用某些与·无关的常数来代替,所得到的儿率 尸 随着·变化的曲线与原来的曲线‘目当接近。因此我““就用一个常系数 ‘(。< ‘ < 吾)来代替,把它提至“积分号夕卜。通过计算”L数值模拟可以得至“: ‘在 。·5 到 吾之间取值 (如图5 示)。这样我‘门就可以把积分写为 :产〕〕 ~ 产白口1a re e o s(里)f(,)d, 二 且 / f(,)d, ,J r o r Jr o(16 )因此,p 可以近似为 :” 一 ‘一攀户咖叭(17 )(3) 我们应用了误差积分函数 (正态分布积分函数)的近似公式 (如图 6 所示) :产 、_ 、 」lx l,护、 ,1 /.jo了L‘ , u 芯 =j0 瘫享万“x p L一骊’a Z 侧 百V‘ 一 e x p L一丽)·(18)通过上述 3 个近似处理,我们很容易得到几率 p 的具体表达式:p = 1 _ 竺 1 一 、/ 1 一 e x p (一(19 )l月月..曰、、.产/‘一斌‘一p(尸les‘IILeslesJ2A一!一量 子 电 子 学 13 卷由正确迭代几率 尸 可得出错几率为 :2 Ap 二 丁1 一了1一(一六一苦)1·(20 )50:402汽丫⋯“‘二\, 。一 ,.。\才, 下药犷一一 0. o L ~1o 蔺百一一丁丽 180 200图 5 (15 )式与 (16 )式的曲线比较图(i), 。 = 0.0 1,当通 = 1.5 7,(1 4)式与(1 5)式的曲线重合(2), 。 = 1.0,当A = 2.4 5,(1 4)式与(1 5)式的曲线重合(3), 。 = 1 0,当A 二 1.2 3,(1 4 )式与(1 5)式的曲线相当接近(4), 。 = 5 0,当A = 0.5,(1 4)式与(1 5)式的曲线重合图 6 误差积分函数曲线与其近似公式曲线的比较曲线(1)曲线(2)(N, =for r(,)己,,‘一委沂瓦不2 V= 1 0 0, , = 了万丽)z 22『2(万 = 1 0 0, , = 丫丽面)单个神经元能够正确迭代的条件为 p 、 1,即 p 、 o。而 N 个神经元能够稳定存储图像的条件为e X p (一 N p , 一“一 ‘(这里假设神经元的错误迭代满足泊计布),设 “一hi 。,贝“, 一;,其中 c、口是常数。即 :CN/ 1.,劝 1i 一 e x P I一 言于 s l n 一 1 1、 乙住 q / J(2 1)也即:兰 1 一了CA N/ 1.2 , 、1 一 e x P I 一言 , sl n 一 I·、 ‘“ q /(22 )一21上、l/L.C一口胜一了到该q乙一,一‘.上了了‘已、得存储容量比为 :s i n血艺二—2 In2 了qN A了C( 23 )对于一定的正确率,c 为小于 1 的一个常数,因为 N 很大,A 的变化在 1 附近,对存储容量的影响很小,可以忽略。则可得存储容量的近似值为 :2 了q2 I n N (24 )讨论 : ( l) 当。= 2 时,。 望12 I n N即为 H叩fie ld 神经网络的最大存储容量的理论值 医s]。(z) 当试神经元的转动态数目) 很大时,。 、了22 q 2 In N存储容量不仅与12 In N有关,而且与 q 的平方值笙二塑~一- 一- 一丝垫些犯一丝型鲤些燮丝丝到逸塑塑些鱼巡丝鱼- - 一一一三竺成反比,即 。 值随着 q 值的增大而减小。在 Q态神经网络中,用复平面单位圆上的等距的 q 个离散点表示 q 值像点,即单位圆分成相等的 q 个角域,角域内的任意点的位置数值经输出函数作用后,收敛到该角域内的某一固定点上 (即像点)。当 q 值增大时,角域减小,即能够收敛到某一固定点的区域减小,正确迭代的几率减小,存储容量减小。作者感谢厦门大学学生科研基金会和厦门光电子公司的资助。参 考 文 献N o e s t A J.p h , 5.R e o. ,禅),198 8 , 3 8(4 ): 2 19 6Z h o u Ch a n g h e,L iu L ir e n.O p亡云e s C o饥仇毯几石ca 记云。几 s , 199 3,10 3 : 29R ie g e r H.J.p h , 5. ,(A ), 19 88,2 1 : 79 1K a n t e r I.Ph ,5.R e ”. ,帅建伟等.厦门大学学报·似),198 8,37 : 27 3919 95,34 (3 ): 3 536 H o Pfi e ld J J.P , e.万口 tlA e已 d.S e i. ,U.S.A. ,1982,7 9 : 25 547 B r u c e A D.e艺 a l.J. p h , s, ,扭),19 87,2 0 : 290 98 Me e lie e e R J.c t a l.乃 . 0.了玩和 Th eo ,,198 7,IT- 3 3(4 ): 4 6 1T he A n a lysis o f the Sto ra g e Ca Pa e ity o f the Co m Ple x Pha s o r N e u ra lN e tw o rk Usin g Sig n a l一t o一No is e T he o ry肋eD g 五n 比eD g 肋u 苗 石an wej 山eD g 肪en 石ang 肠u R uj施n g w 政B画(Dep a r tm e n t o f p hys ie s,X ia m en U n iv e rs ity xia m e n 3 6 10 0 5)Abst ra etIn th is p a p e r, u sin g th e sig n a卜to一n o is e th e o ry th e sto r a g e e a Pa e ity o f th e e o m Ple xp h a s o r n e u r a l n e tw o rk w a s a n a ly se d.T h e a n a ly sis in d ie a te s th a t th e o to r a g e e a p a e ity o fth e n e tw o rk 15 eq u a l to th a t o f th e H o Pfi e ld m o d e l if the n u m b e r o f t he sta te s o f n e u r o n s15 sm a ll: a n d t h e st o rage e a v a e ity o f th e n e tw o rk 15 in v e r s e ly Pro p o r t io n a l to th e sq u a r e o fth e n u m b e r o f th e sta te s o f n e u r o n s if th e n u m b e r o f th e sta te s o f n e u r o n s 15 la r g e.K ey w o r d s : N e u r a l n etw o rk,C o m p le x p h a s o r,Sig n a l一to一n o is e th e o ry,Sto r a g e e a Pa eity.郑金成 男,2 岁,19 95 年毕业于厦门大学物理系,获理学学士学位.现为厦门大学物理系 95 级硕士研究生。主要研究方向是神经网络、混沌、能带工程.

应用信噪比理论分析复相角神经网络的存储容量

http://dspace.xmu.edu.cn/bitstream/handle/2288/16462/%e5%ba%94%e7%94%a8%e4%bf%a1%e5%99%aa%e6%af%94%e7%90%86%e8%ae%ba%e5%88%86%e6%9e%90%e5%a4%8d%e7%9b%b8%e8%a7%92%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e7%9a%84%e5%ad%98%e5%82%a8%e5%ae%b9%e9%87%8f.pdf?sequence=1&isAllowed=y

应用信噪比理论分析复相角神经网络的存储容量

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository