我们把理论推导与数值模拟相结合，得出了一个较好的误差函数近似解析式。应用该解析式分析了Ｈｏｐｆｉｅｌｄ神经网络的绝对存贮容量，得到了一更严格的结果

帅建伟

王仁智

郑金成

陈振湘

Xiamen University Institutional Repository

第 17 卷第 4 期1 9 9 6 年 1 2 月半 导 体 光 电Se m i~ d uctor O Pt浏 ectro ni csV ol.1 7 N o.4r死c.1 9 9 6H o p fi el d 神经网络的存贮容量 ¹ º郑金成 (硕士 ) 帅建伟 王仁智 陈振湘厦门大学,厦门 36 10 05 )摘 要:我们把理论推导与数值模拟相结合,得 出了一个较好的误差函数近似解析式。应用该解析式分析 了 H oP fiel d 神经网络的 绝对存贮容量,得到 了一 更严格的结果。关键词:神经网络 存贮容量 误差函数中图法分类号: T P387S to r a g e c aPa c ity o f th e H o Pfie ld n e u r a l n e tw o r kZ H E N G Ji n e h e n g习V A N G R e n z h iS H U A I Jia n w e iC H E N Z h e n x ia n g《X ia m e n U n i v e rs i ty, X i a m e n 36 10 0 5, C H N )A b s t r a e t : Co m b in in g th eo r e t ie a l a n a lys is w i t h th e e o m p u t e r n u m e r i e a l s im u la-t io n , w e d e d u e e d a n a PPr o x im a te fo r m u la o f e rro r fu n e t io n.T he abso lu te s t o ra g e e a p a e i-t y o f t he H o p fie ld n e u ra l n e t w o r k 15 a n alyse d by m e a n s o f th is a p p ro x im a te fo rmu la a n dt he r n o re s tr i e t r e s u lts a r e o b t a in e d.K e yw o r d s : N e u r al N e tw o r k,Sto r a g e C a p a e i t y,E r ro r F u n e ti o n1 引言神经网络能够正确记忆的样本矢量数与其神经元数 目的比称为 网络的存贮容量,它是神经网络的一个重要参数。对 H叩fi el d 神经网络 [‘〕的存贮容量的研究,统计物理方 法分析 [2] 的结果约 为 0.138。研究表 明,当网络的存贮容量为 0.13 8 时,各存贮样本位于或临近于 网络的稳定平衡点上,但该存贮样本并非一定为稳定吸引子。在某些 场合,往往需要 网络对 存贮样本进行完全精确 的回忆,即要求网络 的存贮样本一定为系统的稳定吸引子,对此通常应用信噪比理论分析方法求解网络 的绝对 存贮容 量〔3 一 5 ]。在计算中常要用正态分布函数的近似解析式,而采用不同的近似解析式往往会导致存贮容量的¹ 19 96 一 04 一 22 收稿 ; 199 6 一 0 6 一 28 定稿º国家自然科学基金和福建省科学基金资助课题第 17 卷第 4 期 郑金成等: H o p fiel d 神经网络的存贮容 量 3 3 9计算结果的不 同。文献【3、4」得到离散 Ho p-fi el d 神经网络绝对存贮容量为 1/ (Zln N ),其中 N 为神经元个数。文 献【51 的结果为 1/(Z ln N 一 In ln N )。本 文进一步对正态分布函数的近似解析式进行了分析,得出了一个较好的误差函数近似解析式。应用该解析式分析了 Ho p fi el d 神经网络的存贮容量,得到了一个更严格的结果。的扇形 (O A B )时,积分上 限固定取 为r ’里r ,积分值为, 厂刁 2 rr孺。二 之 } !‘ 7t J 0 J Oe x p (一 斧)r d r d s‘1- 丁闷 1 1斗e x p ( 甘) ]当积分区域为图中 R 为半径的扇形 (时,积分上限: r ’兰R = 在; ,积分为(5 )O D E )一, 1 阿2卢· , : 2 、, ._, 升一 = 云J。J。 “x p L一 万 )r d r d 口2 误差函数的近似解析式 1r .= 丁 【l 一 e x p 气一 r一少」峙(6 )正态分布是 比较基本和 重要的概率分布。在实际 中遇到的许多随机变量都服从或近似服从正态分布。它还是许多概率分布的极限分布。正态分布函数的积分值一般通过查表可得,也可通过级数逼近进行数值求解。但在许多场合,简单的近似解析式往往有利于问题的分析求解。本章我们把理论推导与数值模拟相结合,得 出了误差函数的一个较好的近似解析式。标准正态分布函数为 B E 一叉I f,甲 气r ’ 一万瓦」一exP 、- 专 )d t乙-(一 co < r < + co ) (1 )图 l 积分式(4 )、(5 )、(6 )的几何示意图Fig.1 S ke t e h o f e q u a t io n s (4 ),(5 )a n d (6 )1 rr ,t Z、 ,I Lr ) = 下落二 1 e x P气一 万 ) d t 气乙 )丫 z 7r J 。 ‘则 中(z) 二 0.5 + I (z ),把积分式 (2) 变为二元积分式而式 (5) 中 x,y 取值范围为 O A CB 正方形,积分上 限在关系式r钱: ’镇 R。其面积值介于上述两个扇形面积之间,即 I。、i。 < I <Ima x ,故可令1 rr ,x Z、 :fr ,俨、 ,I一= 石二 1 e x PL 一 二犷少d x l e x P、一 育 )Q y‘孔J O ‘ J O ‘lr ‘I = 不丁【1 一 e x p L一‘几(r) 产2) ]‘/ 2 (7 )一六丁;丁;二p (一今挤) ‘二 ‘,即中 (r) =1.二- 十Zlr 二代二~ 1 1乙-e x p (一久(r ) r ZZ)〕‘/ 2(3 )积分区域为图 1 所示的边长为r的正方形 (O A C B ),式(3) 用平面极座标表示为(8 )其中,1簇入(r )簇 2。通过计算机数值模拟,我们求得其一级近似: 久(r )、 1.3,则标准正态分布函数的近似表达式为“ 一瑟讥’‘Q· r’e x p (一 份 )r d r d s (4 )‘中zm (r ) =1二丁 十Zlr 刁二~1 1 一 e乙-从图 1 可知,当积分区域为图中以r为半径X p (一 0.6 5 ; 2 )]‘/ 2(9 )3 4 0 半 导 体 光 电 1 9 9 6 年 1 2 月我 们把正态分布函数的不同〔3、5 ] 与本文的结果进行 比较,在文 【3] 中,。 [ 3 ] (r ) = 一e x p (一 0.5 ; 2 ) (10 )而文【5] 中则采用如下近似二 , 、,1_, 。 二 2 、中〔5〕(r ) = 1 一卞e x p (一 0·s r‘) (1 1 )三种近似解析式 (叭。 ,叭3 〕,叭5]) 的曲线与函数精确值 (中 )的 比较如图 2 所示。由图 2可知,近似式 (10 )或 (1 1) 与函数精确值的误差较大,而本文所得的解析式曲线与误差函数精确值曲线基本重合,说明 叭, .( : )的近似程度较好,是一个较好的近似表达式。从计算数值模拟可知,该解析式与精确值的相对误差最大值为 0.05 %。阵为:J,j = 习,牙男,其中 i,j 二 1、2、⋯、N。对于任一输入态,网络的动力学方程为:s‘(t+ 1 ) = 。(习Josj (t )),其中,。 为符号函数。当 N 和 M 都很大时,可应用信噪 比理论求得每个神经元能正确迭代存贮图像的几率为 [3 ]一 I f伪厂 = , 二下 l_e x p气一了 Z双 J 了 一 l/o份 )d t艺- (1 2 )由近似解析式(9 ),式(12 )则为尸 一 粤+鲁[1一 。x p (一 0.6 5 * , ) ], ‘,“ (13 )其中,入 = 万兀.。则出错的几率为一 护尸户/, 尹二二夕一尸 = 1 一 尸/, ‘/,一巾一合一合〔卜一p (一 0.6 5 * 2 ) :! / 2 (, 4 )单个神经元能够迭代的条件为 户一0,假定神经元的错误迭代满足泊 松分布 [s],则 M 个存贮图像能稳定存贮的条件为:ex p ( 一 N。)= 月~ 1,设 C = 一 ln 月,则产 一合一合:1一p (一 。·6 5 * ’)〕1‘,.怕/,I烈J.巾巾产11-Llse0. 4Z令I任, 一一 中; 」二 C / N ( 15 )其中,C,月是常数,式 ( 巧 )可简化为。.6 5 几2 一 1· (赞一等) ( 16 )三种近似解析式 (中: m , 巾 [ 3 ],巾 [5 ] )与精确值 (巾 )的曲线图比较0.6 5卜|20 2图a = In N 一 In [4 C ( l一 C / N ) ]( 1 7 )F ig.2 Co m pa r ison o f the e u rv es o f thr e e a PPro x i m a t efo rmu las ( 巾: , , 巾 [ 3 ],巾 [5 ] ) w i rh tha t o fa c c u r a t e fo rmu la ( 。 )对于一定的正确率,C 是小于 1 的常数,而且N 比较 大,C 和 4 c 2 / N Z 可以忽略,故可得存贮容量的近似值为0.6 5a 只岑3 神经网络的存贮容量!n N1.3Z ln N( 1 8 )本节我们应用近似表达式 (9 ),分析离散H叩fie ld 神经网络的〔‘〕的绝对存贮容量。对N 个神经元,存储 M 个随机记忆模式 ( S”)的双极型的 H oP fi el d 神经网络,它的连接矩该结果较文献 [ 3、5 ]的结果 [ 1 / (Z ln N ) ]偏大一些。可以看 出,不 同的正态分布函数近似解析式,导致 了存贮容量计算的结果 不同。文献【3、4] 得到离散 H叩fi el d 神经 网络存贮3 4 0 半 导 体 光 电 1 9 9 6 年 1 2 月我 们把正态分布函数的不同〔3、5 ] 与本文的结果进行 比较,在文 【3] 中,。 [ 3 ] (r ) = 一e x p (一 0.5 ; 2 ) (10 )而文【5] 中则采用如下近似二 , 、,1_, 。 二 2 、中〔5〕(r ) = 1 一卞e x p (一 0·s r‘) (1 1 )三种近似解析式 (叭。 ,叭3 〕,叭5]) 的曲线与函数精确值 (中 )的 比较如图 2 所示。由图 2可知,近似式 (10 )或 (1 1) 与函数精确值的误差较大,而本文所得的解析式曲线与误差函数精确值曲线基本重合,说明 叭, .( : )的近似程度较好,是一个较好的近似表达式。从计算数值模拟可知,该解析式与精确值的相对误差最大值为 0.05 %。阵为:J,j = 习,牙男,其中 i,j 二 1、2、⋯、N。对于任一输入态,网络的动力学方程为:s‘(t+ 1 ) = 。(习Josj (t )),其中,。 为符号函数。当 N 和 M 都很大时,可应用信噪 比理论求得每个神经元能正确迭代存贮图像的几率为 [3 ]一 I f伪厂 = , 二下 l_e x p气一了 Z双 J 了 一 l/o份 )d t艺- (1 2 )由近似解析式(9 ),式(12 )则为尸 一 粤+鲁[1一 。x p (一 0.6 5 * , ) ], ‘,“ (13 )其中,入 = 万兀.。则出错的几率为一 护尸户/, 尹二二夕一尸 = 1 一 尸/, ‘/,一巾一合一合〔卜一p (一 0.6 5 * 2 ) :! / 2 (, 4 )单个神经元能够迭代的条件为 户一0,假定神经元的错误迭代满足泊 松分布 [s],则 M 个存贮图像能稳定存贮的条件为:ex p ( 一 N。)= 月~ 1,设 C = 一 ln 月,则产 一合一合:1一p (一 。·6 5 * ’)〕1‘,.怕/,I烈J.巾巾产11-Llse0. 4Z令I任, 一一 中; 」二 C / N ( 15 )其中,C,月是常数,式 ( 巧 )可简化为。.6 5 几2 一 1· (赞一等) ( 16 )三种近似解析式 (中: m , 巾 [ 3 ],巾 [5 ] )与精确值 (巾 )的曲线图比较0.6 5卜|20 2图a = In N 一 In [4 C ( l一 C / N ) ]( 1 7 )F ig.2 Co m pa r ison o f the e u rv es o f thr e e a PPro x i m a t efo rmu las ( 巾: , , 巾 [ 3 ],巾 [5 ] ) w i rh tha t o fa c c u r a t e fo rmu la ( 。 )对于一定的正确率,C 是小于 1 的常数,而且N 比较 大,C 和 4 c 2 / N Z 可以忽略,故可得存贮容量的近似值为0.6 5a 只岑3 神经网络的存贮容量!n N1.3Z ln N( 1 8 )本节我们应用近似表达式 (9 ),分析离散H叩fie ld 神经网络的〔‘〕的绝对存贮容量。对N 个神经元,存储 M 个随机记忆模式 ( S”)的双极型的 H oP fi el d 神经网络,它的连接矩该结果较文献 [ 3、5 ]的结果 [ 1 / (Z ln N ) ]偏大一些。可以看 出,不 同的正态分布函数近似解析式,导致 了存贮容量计算的结果 不同。文献【3、4] 得到离散 H叩fi el d 神经 网络存贮

Hopfield神经网络的存贮容量

http://dspace.xmu.edu.cn/bitstream/handle/2288/16460/Hopfield%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e7%9a%84%e5%ad%98%e8%b4%ae%e5%ae%b9%e9%87%8f.pdf?sequence=1&isAllowed=y

Hopfield神经网络的存贮容量

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository