在Ｈｏｐｆｉｅｌｄ模型基础上，对具有权重连接的Ｈｏｐｆｉｅｌｄ模型引入连接权重矩阵，这样只要在Ｈｏｐｆｉｅｌｄ内容寻址记忆光电阵列前多加一个连接权重矩阵阵列，则得具有权重连接的神经网络模型的光电实现

刘瑞堂

帅建伟

陈振湘

Xiamen University Institutional Repository

第 巧 卷第 1 期19 9 5 年 3 月半 导 体 光 电S e m ie o n d u e ro r O Pt o e le e t r o n ie污V 0 1.1 6 N 0.1Ma r. 1 9 9 5权重连接神经网络的光电实现 ¹帅建伟 (博士生 ) 陈振湘 刘瑞堂(厦门大学物理系,厦门 36 10 0 5 )摘 要:在 H o p fi el d 模型墓础 上,对具有权 重连接 的 Ho p fi e ld 模型引入连接权重矩阵,这样 只要在 H o p fi e ld 内容寻址记忆光 电 阵列前多加一 个连接权 重矩阵阵歹.J,则得具有权重连接的神经网络模型的光电实现。关键词:光神经网络 H oP fie ld 模型 光计算O P to e le c t r o n ie im Ple m e n ta t i o n o f w e i g h t一 e o n n e c t io nn e u r a l n e tw o r k m o d e lSH U A I Jia n w e i CH E N Z h e n x ia n g L U R u i t a n g( D e Pt· o f Ph ys ie s , X i a m e n U n i v e r s i ty , X ia m e n 36 10 0 5 )A b s t r a e t : B a s e d o n H o Pfie ld m o d e l, a w e ig h t一e o n n e e t io n n e u r a l n e t w o r k m o d e l15 in t ro d u e e d.T h e o P to e le e t r o n i e d e m o n s t r a t io n o f th e m o d e l 15 im p le m e n t e d b ya d d in g a e o n n e e t i n g w e ig h t m a t r ix in fr o n t o f th e H o p fi e ld e o n t e n t一 a d d r e s s a blem e m o r y m a t r lx·K e y w o r d s : O p t i e a l N e u r a l N e t s, H o p fie ld M o d e l,O p t ie a l C o m p u t in g1 引言神经网络采用大量人工神经元集体协同工作的方式进行信息处理,因此这些 单元的互相连接方式,也即神经网络的拓扑结构,对它的性态功能有很大的影响。在 H o p fie ld [’〕神经网络模型 中,其 神经元间的连接是对称的,各神经元的影响作用是均一的,即每两神经元之间的连接矩阵元仅与这两个神经元中所存记忆模式的取值相关,但在生物神经网络中,神经元间的突触连接不仅具有局域性,而且神经元的某一信号通过突触连接对其它神经元的激励强度大小不一图。因此,为模拟生物神经网络系统的这一性质,人们也从模型分析、数值模拟和电学实现等方面对局域连接 的 Ho p fi e ld 模型进 行了各种性质 的研究。文「3」讨论了n维超立方连接 网络模型,认为局域连接网络的每单位连接的存贮容量值比 H叩 fie ld 神经网络模型的每 单位 连接存贮 容量大,并有效地 利用了空间; 文「4〕、「5〕讨论了随机稀弱连接网络模型 的一些性质;文「6 ]则分析了局域连接参数的变化使网络由稳态记忆区向混沌 区转变,在该混沌动力学过程 中,网络可遍 历所有的记忆态;文〔7 ]考虑了二维分布神经网络的空间距离对连接矩阵的影响。文章对各种局域连接网络模型,统一提出了连接权重的概念。由于该连接权重由网络的拓扑结构决定,而与网络 中分布式连接¹ 1 9 9 4一 0 5 一0 9 收稿; 19 9 4 一0 8 一 15 定稿第 16 卷第 1 期 帅建伟等:权重连接神经 网络 的光电实现的记忆态无关,所以独立于纯粹 由存贮记忆态所决定的 Ho p fi e ld 连接矩 阵,从而 可设计一种灵活的局域连接神经网络模型的光电实现原理图。2 权重连接神经网络模型设网络由 N 个神经元组成,每个神经元。.取值士 l,其中有 1镇 i蕊N,网络贮存 M 个记忆模式 {砂 }‘ , 其中 1蕊产蕊M,则贮存模式按下式构成连接矩阵工,一艺g‘ . , x 。: x 。犷(1 )J‘;~ A式中:函数 g,,表示神经元 i 与 j间的关联连接权重,表示 网络的几何连接特征,文中仅考虑神经元 i与 ] 间的关联连接权重具有对称性,即 g, .,一 gj, , ; A 为 自反馈连接 强度,若不考虑 自反馈连接,则 A 一。。从 自旋玻璃模型观点,工jS,表示位于 j 处的 自旋粒子 S,对 i处粒子的作用势,故 i 处 自旋粒 子的局域场h,是所有其它粒子在该处的作用势总和h,一艺丈, x 凡 (2 )阵,在该超立方点阵网络空间中定义欧几里德距离函数: ,则连接权重函数可写为g (r )一 g; ,(5 )在生物神经网络系统中,神经元连接的一个最显著的特征是其连接具有局域性,故可在n维超立方连接网络空间中假设具有圆形局域连接的权重函数g (r)一 O (r ) R )g (r )一 1 (r镇R ) (6 )当 R ~ 1 时,表示 n 维空间的最近邻连接,即每个神经元都只和n 个最近邻神经元连接。生物神经元的某一信号通过轴 突的多级分形分枝 [z,日〕,到达不同的轴突末梢,通过不同的突触连接对其它神经元产生激 励。由于不同路径的电阻不同,导致不同突触膜的电压降不同,即激励强度大小不一。因此还 可以假设神经元间相互连接权重随距离有反比关系,即令g (r)= a + b / (l+ c x r ) (7 )该函数的生物学意义为近邻有较强的连接强度,即近邻神经元的影响较大,较远 的神经元的影响较小,从而可表征不同路径电阻对同一信号的不同影响。了一 1则对任一初始态 S,动力学方程为S;(t + l )一 f [ h,(z ) 一况〕 (3 )这里 f「] 表示 阶跃函数,6,是点 i 处神经元的阑值偏置水平,S;(t )表示点 i 处的神经元在 t 时刻的状态。对于具有连接权重 函数的神经 网络 系统,同样有如下定义系统的能量函数NE一1/ 2艺 {工js, s,}(4 )若关联连接权重具有对称性,则 去,也具有对称性。根据动力学式易推导出 △E 镇O 恒成立,因此具有对称连接的神经网络系统在演变过程中,系统的能量是非增的,网络必趋于稳定的周期吸引子或稳定点吸引子。当 g (i,j)二 l 时,该 模型则为 Ho p fie ld模型。若把 N 个 神经元排列为, :维超立方点3 权重连 接神经 网络 的光 电实现上一节对具有不同权重连接的神经网络模型进行 了统一的描述,从网络的光 电混合型实现 来看,若直 接把 J, , ,转换为光元件 阵列单元 对应的透射率,则网络的并行积与和是在光元件器件中一步完成,而神经元的非线性取闭运算 由电子元件进行。若进一步分析式 (1 ),可得如下变换J; , ,一买、 (‘,, , 只 。犷‘、订一 g (*,j) x 艺。: x 。犷~ 爪 i,j) X J几 (8 )式中: J几为 Ho p fi e ld 模型的内容寻址记忆矩半 导 体 光 电 1 9 9 5 年 3 月阵。这样矩阵 J 转化为由连接权重函数唯一决定的矩 阵 G 和 Ho p fie ld 内容寻址记 l乙矩阵 JH 的同位元素的积,其中连接权重矩阵 G表示 了网络空间的几何拓扑结构 影响,H o p-fie ld 内容寻址记忆矩阵 JH 则存贮 了网络的记忆信息。由此可得知,H叩 fie ld 模型没有考虑神经网络的分布空间的几何结构,具有 权重连 接的网络模型则进一 步考虑了这 一因素,从而更接近对真实神经网络的模拟研究。式 (8 )则表明,可以把网络的几何拓扑结构和记忆贮存模式 乏衅 的作用分开考虑。从光学实现来看,积的运算可 由光连续通过两个 用透射率表示的空间光调制器来实现:只要在H oP fie ld 内容寻址记忆光 电阵列 JH前多加一个连接权重阵列 G,则得到 了具有权重连接的神经网络模型的光电神经电路。图 1 画出了该神经网络模型的光电神经电路简要原理图,图中输入图像排列成一维发光二极管(LE D )作为输入光源,通过 G 阵列单元 g,,透射调制 的光信号再通 过 H叩fie ld 内容寻址记忆 阵列单元 J几透射调 制,由光 电二极管(P D )接收,并把它转换成 电信号送给 电子元件进行 闭值处理。如果去掉 阵列 G,则 为H o p fi e ld 模型的光 电神经 电路简要原理 图。这种处理能把网络记忆存贮态和网络连接拓扑结构分开设计,从而增加 了该光 电器件的灵活性。如对文〔5〕所提 出的混沌局域连接神经网络进行器件的并行计算,模拟 该混沌联想动力学过程,只要在网络 中调节连接权重矩阵 G 的阵列单元即可。·几-L E D Ma t r ix Co n n ee tin g We ig h t Ma t r ix C o n te n t一A d d r e s s edMe m o ry Ma t rix图 1 权重连接的光电神经网络电路原理图Fig.1 D ia g r a m o f w e ig h t e d e o n n e e tin g o p tie a l n e u r a l n e tw o r k4 讨论文章对 各种局域连接网络模型,统一提出了连接权重的概念。由于该连接权重由网络 的拓扑结构决定,而与网络中分 布式连接的记忆态无关,所以独立于纯粹 由存贮记忆态所决定的 Ho p fi e ld 内容寻址记忆矩阵。这样总连接矩 阵转化为由连接权重函数唯一决定的矩 阵 G 和 Ho p fi el d 内容寻址记忆矩阵J 月的 同位 元素 的积,其 中连接 权重 矩阵 G(下转第 5 2 页)半 导 体 光 电 1 9 9 5 年 3 月阵。这样矩阵 J 转化为由连接权重函数唯一决定的矩 阵 G 和 Ho p fie ld 内容寻址记 l乙矩阵 JH 的同位元素的积,其中连接权重矩阵 G表示 了网络空间的几何拓扑结构 影响,H o p-fie ld 内容寻址记忆矩阵 JH 则存贮 了网络的记忆信息。由此可得知,H叩 fie ld 模型没有考虑神经网络的分布空间的几何结构,具有 权重连 接的网络模型则进一 步考虑了这 一因素,从而更接近对真实神经网络的模拟研究。式 (8 )则表明,可以把网络的几何拓扑结构和记忆贮存模式 乏衅 的作用分开考虑。从光学实现来看,积的运算可 由光连续通过两个 用透射率表示的空间光调制器来实现:只要在H oP fie ld 内容寻址记忆光 电阵列 JH前多加一个连接权重阵列 G,则得到 了具有权重连接的神经网络模型的光电神经电路。图 1 画出了该神经网络模型的光电神经电路简要原理图,图中输入图像排列成一维发光二极管(LE D )作为输入光源,通过 G 阵列单元 g,,透射调制 的光信号再通 过 H叩fie ld 内容寻址记忆 阵列单元 J几透射调 制,由光 电二极管(P D )接收,并把它转换成 电信号送给 电子元件进行 闭值处理。如果去掉 阵列 G,则 为H o p fi e ld 模型的光 电神经 电路简要原理 图。这种处理能把网络记忆存贮态和网络连接拓扑结构分开设计,从而增加 了该光 电器件的灵活性。如对文〔5〕所提 出的混沌局域连接神经网络进行器件的并行计算,模拟 该混沌联想动力学过程,只要在网络 中调节连接权重矩阵 G 的阵列单元即可。·几-L E D Ma t r ix Co n n ee tin g We ig h t Ma t r ix C o n te n t一A d d r e s s edMe m o ry Ma t rix图 1 权重连接的光电神经网络电路原理图Fig.1 D ia g r a m o f w e ig h t e d e o n n e e tin g o p tie a l n e u r a l n e tw o r k4 讨论文章对 各种局域连接网络模型,统一提出了连接权重的概念。由于该连接权重由网络 的拓扑结构决定,而与网络中分 布式连接的记忆态无关,所以独立于纯粹 由存贮记忆态所决定的 Ho p fi e ld 内容寻址记忆矩阵。这样总连接矩 阵转化为由连接权重函数唯一决定的矩 阵 G 和 Ho p fi el d 内容寻址记忆矩阵J 月的 同位 元素 的积,其 中连接 权重 矩阵 G(下转第 5 2 页)

权重连接神经网络的光电实现

http://dspace.xmu.edu.cn/bitstream/handle/2288/16453/%e6%9d%83%e9%87%8d%e8%bf%9e%e6%8e%a5%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e7%9a%84%e5%85%89%e7%94%b5%e5%ae%9e%e7%8e%b0.pdf?sequence=1&isAllowed=y

权重连接神经网络的光电实现

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository