本文首次把四元数（Ｈａｍｉｌｔｏｎ量）引入到神经网络中，提出了四元数１６态离散神经网络模型，应用信噪比理论和计算机模拟考察了该模型的存储稳定性和存储容量该模型的存储容量比与Ｈｏｐｆｉｅｌｄ模型相同．该四元数神经网络模型可应用于１６色的彩色图象识别中

刘瑞堂

吴伯僖

帅建伟

陈振湘

Xiamen University Institutional Repository

第 卷 第 期‘ 年 月计 算 机 学 报 ! ∀ # ∀  !四元数神经网络模型 彩色图象的识别帅建伟 陈振湘 刘瑞堂 吴伯值厦门大学物理系 厦门  摘 要 本文首次把四兀数 如 小 量 引人到神经网络中,提出了四元数 态离散神经网络模型,应用信噪比理沦和计算机模拟考察了该模型的存储稳定性和存储容量·该模型 的存储容量比与物 模塑相同 该四元数神经网络模型可应用于 色的彩色图象识别中关键词 神经网络,四元数,图象识别    介, ,灰亩 雌 匕及扣雌,抽。‘ 酬应,义自 汕州喇妙,笼如肋  ,记 ,‘呼‘ “ !∀鲜帅军‘, 一士 士 士 士 五 成 动, 目   。  城 !∀#。 司夕 讯  吧 七   记 叹  一而 悦  访 让一, ,飞拼昨 月叨 青自 年代始,神经网络成为一个世界性的跨学科的研究热点 人工神经网络由于模拟了人脑神经的基本功能和网络的基本结构特征,所以它具有了人脑所具有的分布式记本文 年 月 日收到 本文得到国家自然科学基金重点项目资助 帅建伟,博士生,主要从事神经网络、图象识别和分形发光等的研究·陈振湘,副教授,主要从事半导体器件及发光、光电混合型神经网络计算机等的研究 刘珍宜,教授,主要从事半导体器件及发光、光神经网络计算机等的研究 吴伯侣,教授,博士生导师,主要从事半导体器件、固体发光、神经网络、分形等的研究期 帅建伟等 四元数神经网络模型 彩色图象的识别忆、并行处理、联想记忆、分类与误差 自动校正等智能功能 二值 叩 模型 可应用于二值黑白图像的联想记忆识别中 但对于人 眼来说,它所大量识别的图象是彩色图象,建立自动识别彩色图象的人工神经网络模型,无论从应用还是从理论上来看,都是具有重要且广泛意义的建立多态神经网络模型,基本上有两条思路 一是直接利用 叩 模型,用多个二值神经元来表示一个多态象点〔一 ‘」 另一方案是建立多态神经网络,用一个多值神经元表示一个多态象点 等提出了离散态复相角神经网络模型阁,用复平面单位元上的离散点表示多值象点 文献 提出了 态神经网络模型,每个神经元可取 个整数值.文献「7,8] 各 自独立提出了四态复数神经网络模型.本文首次把 四元数 (Ham ilton数)[0 〕引人神经 网络中,建立了 16 态离散四元数神经网络模型,并应用信噪 比理论和计算机模拟讨论了该模型的稳定性和存储容量,该模型可应用于 16 色彩色图象识别中,本文还给出了一个简单的彩色字符识别的计算机数值模拟实例.2 四元数简介从历史发展来看,数经历了从 自然数 N、分数、整数 Z 到实数R、复数 c 的过程.从 R到 C,事实上是从实数轴扩张到复平面,也即从一元数到了有实数单位 1 和复数单位i的二元数,我们进而提出问题:是否能在更高维的点集中,引入加法和乘法,使它们成为包含 R 和 c 的数集? 可以证明,我们可以引进 2月元数[0],当。~ 0 时和 n~ 1 时我们分别得到 R 和 C ; 而当n= 2,3,4 时我们分别有四元数(Ham ilton 代数),8 元数(Cayley 代数)以及 16 元数(C lifford 代数).令 四元数系 Q (R )一 {a : a 一a + bi + cj + d k,a,b,:,d e R },其中i,j,k 表示三个虚基矢,用 自然的方式定义它的元素的加法,以及元素与实数的乘法,它的元素间的乘法规定为用分配法去展开下式:(a。 + a 1 1 + a 2 7 + a 3 k ) ( b 。+ b l i + b Z j + b3k )而其中:12~ 72= kZ= 一 1jk - 一 kJ一八lj - 一尹 ~ki - 一ik -( 1 )由上可知,四元数中三个虚基矢元间的乘法是不可交换 的,乘法的不可交换性我们在量子力学 中已很熟悉.在引人超复数数系时,R 和 C 的某些 良好性质会丧失,如四元数中虚基元间乘法的不可交换性.但事实上,放弃某些性质也不一定是坏事,如实数 R 中有大小概念,即实数是有序的,而扩张到复数 C 时,复数已不可能比较大小 了,即复数不是有序的,但具有方向性的复数在近代物理学中得到了广泛深刻的应用.在四元数中乘法是不可交换的,而这一性质正好用来描述刚体的定点转动的结合性.四元数虽不满足乘法交换律,但满足结合律:(a 月)y 一a( 尹y).容易证明 Q (R )是一个不可交换体,且 Q (R )一 {0} 是一个非 A be l乘群.可以看出,三个虚基元间的乘法规则与 Pa uli 矩阵的性质极为相似,利用 2x 2 单位矩阵 E:以及 Pau h 矩阵:计 算 机 学 报 1995 年7‘一日_ {1 0 0艺2一 } } 口二一 {、0 1}(1( 2 )一 11八目一氏(其中i表示复数单位丫厂二丁) 我们可得到 Q (R )的一个矩阵实现:1一 E : , i ~ 一心。 J - 一必,,k 一 一 必二( 3 )对任一四元数。一 。十bl + 。j + d k.定义其四元共扼。 ’ 一a 一bi 一 cj 一 d k.故 a‘一 矿十夕+ 。2十d2 ~ }。12 ,其中 lal 表示为a 的模·据此我们还能证明刚体绕方向余弦为(c osa ,cos 月,co sy ) 的轴n ,转角为 6的转动 R (n,0),可以用士Q (n,夕) = eo ss + s in夕 ( eo sa i+ eo s夕7+ eosyk ) (4 )表示,如果要计算先进行转动 R (n , ,夕,),然后进行转动 R (n: ,夕2)的联合转动,只要计算出 Q (n, ,夕l)Q (n: ,02) 并将它按式(5) 形式表示,便能得到合成转动的转轴n 和转角 庆由复数与平面上的转动的对应关系,我们可以定义复数的倒数、平方、开方等运算.类似于此,由四元数与三维刚体转动的关系,我们可以定义四元数的倒数、平方、开方等运算.如平方为 矿一 Zaa 一 }a1’,倒数为 1/a 一a ,/ } aI2 .3 四元数神经网络模型我们设四元数神经网络模型有 N 个神经元,每个神经元的状态为(士 1士i士j士 k)设存储 M 个记忆模式 夕一 {士 1士i士j士 k }N (产一 1,2, 一;. ,M),存储的样本由推广的H ebb 学习规则构成连接矩阵,即:J _ 一 艺s:(s:)·J~ 一A ( 5 )(S方)’表示取 义 的四元共扼,对角元 A 为实数.若不考虑自反馈,则令 A 一。;若考虑自反馈,可令 A 一 4 等.本文考虑 A 一。情况.则网络的四元动力学方程为S , ( , + l ) 一 日{习J.,S。(, ) } ( 6 )四元函数酬刘 的取值规则如下:当x 的实部以及某一虚部不小于 。时,口{对 的对应部分取为正单位元,当x 的实部以及某一虚部小于 o 时,口{x} 的对应部分取为负单位元,如:日{ 2 一 5 1 + 72 + 3 k } = 1 一 i + j + k日{ 一 2 一 5i 十 7j } 一 一 1 一 i + j 十 k 一下面我们来证明当存储 M 个随机样本,且 M < 之歹可,存储样本为该四元数神经网络的稳定吸引子,即:兮~ 口{J了}.设任一模式 S 一a + ib + jc + kd,其中a ,b, ‘ ,d 一 士 1.我们可以把四元数连接矩阵和迭代动力学方程分别展开为实部和各虚部部分.当输人图象为某一存储样本 夕一 {嵘 +lb 认+ jc 篇+ kd 从}万一 , ,即 S (O )一夕 时,各实虚部的动力学迭代方程为:期 帅建伟等:四兀数神经网络模型:彩色图象的识别琉,一 日生魂(;\’ 一 1 )a 众+ 凸。}气,一 日万4 (N 一 1 )b几+ 我}‘添, 一 日 { 4 (N 一 1) c粼+ 今}d军 一 日{ 4( N 一 1 )d 盆+ 公。}戊 一 艺〔嵘乙恤扭二十 树粼 + “ + 武武+ b条艺(b:“二一 a:b二+ c:d 二一 d :c二)十 嵘乙(c :‘ 一a加二+ d , : 一 父武)+ d 集艺(心试 一u润:+ 掀《 一 ‘拭)我 一 习〔欠乙(公民 + ‘《 + 心武 +a扭 ,( 7 )其中(8)笋 , 月护 阴+‘: 艺(‘抽二一 b加; 一 d :‘ 十 a:武+ d条艺+ 嵘乙(d牛b共一 b井d 二一 a 厂c蕊+ c井a共)(a言b二一 b盒a二一 c厂d 二+ d言c二)虚部 j 和 k 的方程 今,八 与虚部 i的类似,由虚部 b, ‘ ,d 轮换可得.这里实际求得的是信号一噪声展开式,( 7) 式中右边第一项为信号项,第二项为噪声项.因随机存储模式具有伪正交性,所以(8) 式噪声项 戊,八 右边小括中为对具有随机分布的士 1 求和,而这些和值大小表示了该四元动力学系统向嵘,鱿, ‘盆,嵘(产并,) 迭代的可能性大小,即向《,鱿,嵘,嵘(产护,) 迭代的权重.易知该权重的平均值为 o,均方差为丫4(N 一 l),则 得 浅,八 的 平 均 值 为 o,均 方 差 为 丫16(N 一 l) (M 一 1),即4丫又天二1万又两二丽,对虚部 j,k 同样存在以上关系,由此可得该模型的信噪比 sN R 为:SN R = 丫(N 一 1) / (材一 z) ( 9 )当 N > > M 时,信噪比 SN R 远大于 1,所以网络向具有 4( N 一 1) 权重的 嵘,民,嵘,嵘 收敛,于是有 夕一酬JS’}.而当输入一个与存储样本 夕 相差不大的图象时,上述关系仍近似成立,故经一次或数次迭代,网络自动地收敛于存储样本 了.即存储样本为该四元动力学系统的稳定吸引子.该模型的信噪比等于 H op fie ld 模型的信噪比.而信噪比的大小决定了网络的存储容量,所以该模型的存储容量与 H op fie kl 模型相当.下面我们应用信噪比理论求该模型的存储容量比a一M /N.由于存储模式的独立随机性,得噪声项 △ 具有正态分布:f (二) 一专exp:-习 乙兀口业二2竺1ZJ‘ “( 1 0 )不失一般性,令嵘一 1.要 a军也为 1,也即信号项与噪声项的和不小于零,其几率为:{一f(二 ) d 二 一书}-J一2八V艺盯J 一 S N K己x ex p仁一 今]乙计 算 机 学 报 1995 年当 N,M 远大于 1 时,s N R 、 习/两丽 一夕万压,所以 嵘 迭代错误,使 嵘‘- 一 1 的几率 尸为:p (。) 一 1 一{一_f (二 ) d 二1 「因一 一万二二 1 a xV Z汀J训色~ex p〔一 粉〕‘( 1 1 )由式(9) 可得酬 中出错 的总数约为 4N X 尸,若假设 酬 中负分量的个数具有 Poisso n分布,可得非负分量个数的几率,也即 了 为稳定吸引子的几率为:尸 = e x P {一 4N P (a ) } (12 )则:们丙 = 尸一 ‘( 一 In产/ 4 N ) ( 1 3 )若设 p 为很接 近于 l 的常数,则一 In p /4 N 为一很小的正数,由近似关系 尸一 ‘(x) ~丫 2 In (1/x )得:l/a ~ 2 In 4N当 N 远大于 1 时,In4 N 、In N,则有a ~12 In4N12 hi N(14)该结论与文献[10,llj 中所得的 H op fie ld 模型的存储容量比 1/2 In N 相同.下面我们用计算机数值模拟说明上述离散四元数神经网络模型的联想能力.网络中设有 N 个神经元,多次随机产生 M 个存储图象一夕,把存储图象作为输人,统计出对不同的 N 其正确回忆率大于某一临界值夕时的最大 M,可得该临界值月下的M 一 N 统计曲线.图 1,2 画出了当 N 一 10,…,20 且取 月一 50,90 % 时的 M 一N 统计曲线,由图可得该离散四元数神经网络当其神经元的个数较小时,其最大可存储的图象数近似为一直线,且与 H 叩fie ld 模型的存储容量曲线平行,即具有同样的存储容量 比值.且由图中可知,四元数模型 比 H 叩fie ld 模型的存储容量略低.50 100 150 20050 100 .150 200人产图 1 网络中设有 刀 个神经元,存储图象的正确回忆率大于 50 % 时的最大M 随 N的统计曲线N图 2 网络中设有 N 个神经元,M 个存储图象,存储图象的正确回忆率大于 90 % 时的最大M 随 N 的统计曲线期 帅建伟等:四元数神经网络模型:彩色图象的识别4 彩色图象的识别在彩色显示屏中,所用的色彩混合方式为色彩光线的相加混色法,如红光加绿光得黄光.考虑到四元数具有三个虚部,很 自然地我们可以把它和彩色显示屏上的三基色:红,兰,绿 对应起来,而其实数部分可表示色饱和度的两个级别.由于该四元数离散神经网络模型有 16 个分量,则它可以存储由这三色复合成的 16 种色彩.由三色构成 16 种色彩来近似表示一幅彩色图象,这在计算机的 EG A /V G A 等 16 色图形显示卡中已得到 了大量的应用.这样对于三基色:红,兰,绿 可建立下面的对应表 1.可以看出,该 16 色神经网络编码与二进制的计算机 16 色编码存在着一一对应关系.表 l 由三基色红兰绿构成 16 色0 (一 1一 i一z一 k ) 黑 8 ( L l 一 :一厂k) 深 灰l (一 l 一 i一少+ k ) 兰 9 (+ 卜一 , 一z +k) 淡 兰2 (一 l 一 i+ j 一 k) 绿 1自 曰;一 : 一厂k) 谈绿3 〔一 1一 ;+ J 十 k) 青 }’( 1 1一 , 今触 淡青4 (一 1 + , 一J 一 k ) 红 12 (+ 1 一‘一 厂一k) 淡红5 (一 l + i一少+ k ) 紫 13 (+ 1 十,一 7 十 k ) 淡洋红6 (一 l + i+ z 一 k ) 24 ( + 1 4一i 十少一 k ) 黄7 (一 1 + ;二 j丰 k) 淡 戈 1 5 ( + 1 十,十少+ k) 白对于该四元数离散神经网络模型的 16 色彩色图象识别我们也进行了初步的计算机模拟应用,如对图 3 所示的 7x 10 点阵字母 A 的识别:网络中存储有五种不同颜色(青 3,紫 5,深灰 8,淡洋红 13,黄 14) 的字母 A,模拟表明,这五种不同颜色的A (图 3) 均为该网络的稳定存储图象.当输人一些稍有变形的字母 A,包括色彩改变或出现多余色彩斑点等,该模型均能正确只别.如若输入一些其汉明距离达 30 ( 即噪声约 10 % ) 的稍有变形的字母 A,该模型正确识别率约为 92 %.若输人一些其汉明距离达 50 (即噪声约 18 % )的稍有变形的字母 A,正确识别率为 58 %.图 4 为一些约具有 10 % 噪声的变色字符,该网络都能正确识别.5 讨 论本文 言次是出了四元数离散神经网络模型,并从理论或数值模拟上初步考察了该模型的有秘忘足性和存储容量能力.当网络存储 M 个随机样本,且样本数远小于神经元数时 吉 1者样本为该四元数神经网络的稳定吸引子.该模型与 H oP fie ld 模型具有同样 的存储谷量比值,但比 H 叩fie ld 模型的存储容量略低.我们认为该四元数神经网络模型,可应用于 16 色彩色图象的识别中.其 16 色的神经网络编码方式与二进制的计算机 16 色编码方式存在着一 一对应关系.计 算 机 学 报 1995 年神经网络模型从数的推广上,由实数L〔,复数[v,8二到 四元数 (Ham ilton 量).四 元数(H am ilt on 量 )离散神经网络模型能识别 2‘一 16 种色彩,自然我们可进一步推广建立 8元数以及 16 元数神经网络模型,对 8 元数神经网络模型 , 习则可识别 28一25 6 种色彩.由复数与平面的转动对应关系,Noeat 建立了复相角神经网络模型〔5〕;同理,由四元数与刚体三维转动的对应关系,我们也可建立四元数三维相角神经网络模型,该部分内容我们将另文讨论.6场6肠26匕P a t . r刀 1 P .肠臼m Z.‘毛叹幼6扮盆U6s幼6巧‘5751i二劝勺山只8105565‘协劝,65‘功幼63‘s7a场sa3l场5715‘a35珍5-喂目舀.J的丹内4咭弓3场155,3毛s3s3lUTo P.忱. m lTO P. 幼. 厄 2肠吐砂5吞65民里016.6民自比吞6压B66ED.J肠5叹0.,65吐口O‘月口.J3n比曲」月J品的.舀3d的J品口」几J肠恤甘njl口.甘月J3.砚舀J恤U丹」.口.J月内3动J8协‘幼1356幼‘U妞班s幼劝56协Us4幼-‘口幼理劝‘6U56劝始s13六廿臼旧 4.5145。s功妞珍51P at . 厄 386曰:l0。二1理,‘叨LJ,80甘8曰n八56585四To 禅伪皿” 3 T 。 神廿口. ‘协135幼U协幼U协协场劝玲协劝协幼班侣协幼U妈心哆目SR口一日8口甘no盛SR只皿口-口R吕几.U曰8R8日一几已八60曰月斑乃SQ81’l14UH1’4l理巧理l’3214场i哈1214珍1’32114巧理l’场肠U141’场,H414l’“l1114l’1“P at 即 , 6H14 托 14l4 l414 1‘ 14TO脚眺. 力 51414’14UU14Hl’“图 37 丫 10 点阵的彩色字母 A.网络中存储有五种不同颜色字母 A:青3,紫5,深灰8,淡洋红 13,黄 14图 4随机产生的五个具有约 10 % 噪声的彩色字母 A,网络能正确识别(各数字代表的颜色见表l)参 考 文 献HopfieldJJ.Neuralnetworksandphysiealsystemswithemergenteollec tiveeomputation al abilities.In:Proc NatlA-ead 反1 U S A , 1 9 8 2 , 7 9 : 2 5 5 4 一 2 5 5 8.T a k eta W,G oc 心tnanJ W.N e ural n e tw ork s fo r eo m p uta tio n: n u m ber rep re se n ta tio n s an d p rog ram m in g e om p lex ity·A P P I 口P t,1 9 8 6,2 5 ( 1 7 ),3 0 3 3 一 30 4 6.Z h an g W,Lt oh K,Ta ni daJ,Lehl okaY.Ho p f ield m 团elw ith m ultistate neurons and its optoe lectronie im plem enta-tion.A P PI O Pt,3 0 ( 2 ),1 9 5 一 2 00.Y u F T S,Ua n g C M,Y in5.Gr ay一le v el d i scr e t e a ssocia tiv ememo r y.A P PI O Pt,1 9 9 3,3 2 ( 8 ):1 3 2 2 一 1 3 2 9·J .esJ公1 11勺‘J乙尸lL广LesJ期 帅建伟等:四元数神经网络模型:形色图象的识别 379[5〕 N oe st A J.肠serete一s t a t e p haso: n e u r aln e t w o r ks.尸人〕、 尺。 A,1 9 5 5,3 5 (选):2 19 6一2 1 9 9.〔6〕 R ie罗r H.Storing an extensive n urn be r ofg rey一 t o n ed pa t t e r n s :n a n e u r aln e two rku s t n g multis t a t e n e u r o n s.J p h笋A , 1 9 9 0 , 2 3 ( 2 3 ) , L 1 2 7 3 一 L 12 7 9.〔7] Z ho u C H , L i u L R.T he 。om p le xHo p field m edel.0 召 C , 二.19 9 3,1 0 3 ( I,2 ):2 9 一 3 2.〔8〕 ShuaiJ W,C he nZ X,L iuR T,WuB X.T he s t o r a g e C o 稗e:ty of the 。 o m p le x n e u r a l ne t w o r k.In :Procedin g S o fIn t e r n a tio n alCOnfe r e n e e o nE le e t r o nie s a nd Info rma tio nT ec hn ol吃y,1 9 9 4,Bei j in g,C h in a ,4 6 3 一 46 6.[9〕 Co ndon E U , t 以.H a n d b沉〕k o f P h ysies.Ne w Yo rk (See o nd E d it io n ):MeGr aw一H i l l,1 9 6 7,1:2 2.[1 0 〕 Bruee A D , G a r d n e : E J,wal la e eDJ.Dyn am ie s a nds t a t , s t i e a 一m eeh a n ies o f th e H o p fie ld m 记el.J 尸h ys 八,1 9 8 7,2 0 ( 1 0 ):2 9 0 9 一 2 93 4.[ 11习 Meeliec e R J,Po s n e :E C,Rodem ieh E R,ve nka tes h 5 5.T h。 c a pa eity o ftheHOp f ielda ssoc:a t ive memo ry.I E E ET ranl,fo Th eor少 , 1 9 8 7,I T一3 3 ( 4 ):4 6 1 一 4 8 2.〔12」 帅建伟,陈振湘,刘瑞堂.吴伯嘻.八元数神经网络模型:25 6 色图象的识别.光学学报,1 9 95,1 5 ( 3).

四元数神经网络模型：彩色图象的识别

http://dspace.xmu.edu.cn/bitstream/handle/2288/16455/%e5%9b%9b%e5%85%83%e6%95%b0%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e6%a8%a1%e5%9e%8b%ef%bc%9a%e5%bd%a9%e8%89%b2%e5%9b%be%e8%b1%a1%e7%9a%84%e8%af%86%e5%88%ab.pdf?sequence=1&isAllowed=y

四元数神经网络模型：彩色图象的识别

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository