本文提出了一种采用bP神经网络方法来对无限制手写体数字进行识别的方案。通过图像预处理和数字特征提取,基于神经网络的判别方法,并结合使用MATlAb工具箱中提供的人工神经网络函数设计了一种手写数字识别的新方法。实验表明,该方法可以获得较好的识别率

刘东泽

蔡建立

Xiamen University Institutional Repository

福 建 电 脑2009 年第 11 期基于神经网络的手写数字识别刘东泽， 蔡建立（ 厦门大学信息科学与技术学院 福建 厦门 361005 ）【摘 要】： 本文提出了一种采用 BP 神经网络方法来对无限制手写体数字进行识别的方案。 通过图像预处理和数字特征提取，基于神经网络的判别方法，并结合使用 Matlab 工具箱中提供的人工神经网络函数设计了一种手写数字识别的新方法。 实验表明，该方法可以获得较好的识别率。【关键词】： BP 神经网络；图像预处理；特征提取1.引言手写数字识别(Handwritten Numeral Recognition，简称 HNR)是"光学字符识别技术"(Opticale haraeter Recognition,简称 OCR)的一个分支，它研究的对象是：如何利用电子计算机自动辨认人手写的阿拉伯数字。在整个 OCR 领域中， 最为困难的就是脱机手写字符的识别。 到目前为止，尽管人们在脱机手写英文、汉字识别的研究中已取得很多可喜成就，但距实用还有一定距离。 而在手写数字识别这个方向上，经过多年研究，研究工作者已经开始把它向各种实际应用推广， 为手写数据的高速自动输入提供了一种解决方案。基于人工神经网络的数字识别技术目的就是力图通过对人脑功能和结构的模拟来实现字符的高效识别。 在数字识别系统中，人工神经网络主要充当分类器的功能。 网络的输入是字符的特征向量，输出是字符的分类结果，即识别结果。 由于识别策略的不同和对问题理解水平的限制， 输入的特征向量所包含的信息常常是冗余的，甚至是矛盾的。 经过反复学习，神经网络可以智能地将特征向量优化，去除冗余、矛盾的信息，强化类间的差异。 其次，由于神经网络采用分布式的网络结构，本身具备可以并行的条件，可以加快大规模问题的求解速度。2.BP 神经网络2.1 BP 神经网络拓扑结构图图 2.1 BP 神经网络拓扑结构图2.2 BP 算法基本思想 ：逐一地根据样本集中的样本(Xk,Yk)计算出实际输出Ok和误差测度E1，对权值W(1)，W(2)，…，W(k)各 做 一 次 调 整，重 复 这 个 循环，直到∑Ep<ε。用输出层的误差调整输出层权矩阵， 并用此误差估计输出层的直接前导层的误差， 再用输出层前导层误差估计更前一层的误差。 如此获得所有其它各层的误差估计，并用这些估计实现对权矩阵的修改。 形成将输出端表现出的误差沿着与输入信号相反的方向逐级向输入端传递的过程。其实现方式如下：1 for k=1 to L do1.1 初始化W(k)；2 初始化精度控制参数ε；3 E=ε+1;4 while E>ε do4.1 E=0;4.2 对所有的i，j，k：△W(k)ij=0；4.3 对S中的每一个样本（Xp,Yp）：4.3.1 计算出Xp对应的实际输出Op；4.3.2 计算出Ep；4.3.3 E=E+Ep；4.3.4 对所有i，j根据相应式子计算△p W(L)ij；4.3.5 对所有i，j：△w (L)ij=△W(L)ij+△p W(L)ij；4.3.6 k=L-1；4.3.7 while k≠0 do4.3.7.1 对所有i,j根据相应式子计算△p W(k)ij；4.3.7.2 对所有i,j：△W(k)ij=△w (k)ij+△p W(k)ij；4.3.7.3 k=k-14.4 对所有i，j，k：wW(k)ij= W(k)ij+ ?W(k)ij;4.5 E=E/2.03.手写数字识别系统通常，数字识别系统过程主要由学习、识别两个阶段构成。如图3.1所示图 3.1 数字识别系统处理过程3.1 学习阶段主要是通过对训练集数字字符的研究， 确定每一数字字符类别的标准样本建立样本库，以便在识别阶段使用。3.2 识别阶段在识别阶段中， 将待识别数字字符经过扫描仪等输入设备送入主机;然后进行预处理，预处理后再按某种特征提取方法取出数字字符的特征;最后，将待识别数字字符的特征与学习阶段中所确定的标准样本的特征进行比较判决， 得出识别结果并把结果以某种方式输出。 也就是说识别阶段，主要经过输入、预处理、特征提取、分类、输出五个步骤实现4.手写数字识别系统处理方法在系统处理过程当中我们不难看出， 学习和识别阶段都包括了预处理和特征提取两个步骤：4.1 预处理由于输入设备及纸张原因会造成输入字体的畸变， 产生污点、非白、断笔、交联、噪声等干扰。 所以，在识别之前要对数字字符进行预处理，以去除噪声，压缩冗余信息。 由于一般都是在预处理后的图像上提取特征，因此如果这个步骤结果不理想，往往83福 建 电 脑 2009 年第 11 期（下转第 93 页）会给后面的特征提取阶段带来无法纠正的错误。 所以预处理的优劣直接关系到识别结果的正确与否，关系到识别算法的性能。预处理必须在手写数字识别应用系统设计时一高度重视。 预处理主要包括二值化、平滑、归一化、细化等过程。4.2 图像二值化二值化就是把数字字符图像的灰度数字信号处理成只有0和1两级灰度的图像。4.3 字符平滑处理数字字符图像经过平滑处理，能去掉孤立噪声、干扰，平滑笔划边沿中值滤波法。所谓中值滤波，就是对二值图像上的一点(i，j)，按照公式计算(i，j)及其8邻域的代数和F(i，j)。 那么像素点(i，j)的值f(i，j)由公式决定。4.4归一化由于采集的手写数字图像大小不一， 为了有效的提取图像特征，减少这种大小不一带来的影响，因此根据识别的需要把图像归一化。 图像归一化一般采用外框归一化或重心归一化两方法处理。由于手写数字字符图像点阵大小不一，为了抽取特征，必须对该字符点阵进行归一化，本系统采用了外框归一化处理，使其归一化为16x24大小的点阵，即字符宽16像素，高24像素。 对于数字"1"需要进行特别处理。5.基于BP神经网络的数字识别系统图5.1 基于BP神经网络的手写数字识别系统由于系统采用了多分类器， 那么最后的识别结果的确定将依赖于系统集成方法。由于在前面描述的BP改进算法中，我们对其权值进行了调整。 故本系统在BP神经网络中，采用BP改进算法 的 权 值 作 为 权 值 集 成 多 分 类 器 方 法 来 设 计 手 写 数 字 识 别 系统，其整个识别系统的如上图所示。在本系统中，设计了两个单一分类识别器，分别通过特征提取1模块提取某一样本的一个原始特征向量用来作为分类其1的向量输入，通过特征提取2模块提取某一样本的一个宏观特征向量和微观特征向量用来作为分类其2的向量输入，为了解决样本单一特征向量的输入分类识别问题， 同时为了提高样本的识别率， 本系统提出了基于BP神经网络与多分类识别器以权值集成方法进行结合的方法， 将两个提取单一特征向量的分类识别器在BP网络中进行集成，从而形成了一个基于BP网络的手写数字识别系统。5.1 两个单一分类器设计5.1.1 识别器一设计原始特征向量提取： 把归一化的点阵划分成16*16的网格，统计每个网格里的黑点数， 当点数小于总点数的50%时为0，大于50%时为1， 这里共256个特征值。 输出向量为10， 根据公式N+K%姨 +α (其中N为特征值向量维数，K为输出向量维数， 为随机数)得出隐含层个数为20.5.1.2 识别器二设计宏观特征向量提取：（1） 粗网格特征提取： 把归一化的点阵划分成4*4 的粗网格，统计每个网格里的黑点数，当点数小于总点数的25% 时为0，大于25%小于75%为1，大于75%为2。 这里共16个特征值。（2）七段框架投影值：七段框架投影形状类似于LED七段显示器的形状，投影方法为将任意点向最近的框边投影。 最后统计每个框边的投影点数，这样就形成了7个数，分别计算这7个数与字符总点数之比，然后归一化。 归一化的策略如下：如果该比值小于0.08，则记为0；大于0.08同时小于0.15，则记为1；若大于0.15则记为2。 这里共7个特征值。（3）宽高比：字符的高度个宽度之间的比值，这里有1个特征值微观特征向量提取：（1）网孔数特征：统计字符中的闭合孔洞数，如"0"、"6"、"9"的孔洞数为1，"8"的孔洞数为2。 这里为1个特征值。 另外孔洞所在位置为1个特征值，记孔洞在上部为1，中部为2，下部为3，上下皆有为4。 共计特征值为2个。（2）线特征。分别统计水平、垂直，左下45度、右下45度4个方向的投影， 当水平和垂直存在连续的宽度为归一化后点阵宽或者高1/16且点数大于总宽的80%时为1，否则为0；当左下45度和右下45度存在连续的宽度为归一化后点阵宽或者高1/16且点数大于总宽度的90%时为1，否则为0。 这里共4个特征值。（3）凹特征。字符的凹特征是指字符边缘相邻两最外点距所夹最内点水平或垂直方向的距离向中心凹进去的程度。 当凹深度大于给定的阈值时视为1，否则为0。 分别计算左上、左下、右上、右下方向的凹特征，共计4个特征值。（4）凸特征。 字符的凸特征是指在上、下、左、右4个方向，从字符边缘曲线检测存在2点之间曲线向外凸的程度。 当凸深度大于给定的阈值时视为1，否则为0。 分别计算上、下、左、右4个方向的凸特征，共计4个特征值。（5）穿线数特征。分别统计垂直中线，水平上中线，水平下中线的穿线数，把过线数作为特征值。 这里共3个特征值。所以识别器二输入向量为维数为：16+7+1+2+4+4+3=37；输出向量维数为：10；隐含层个数为：105.2 集成分类器设计如果识别置信度高的识别向量的对应分量在集成时其权重能够较大的话， 那么它在最终的集成结果向量中就能保持这种优势。 这里，我们把权值定义为BP改进算法中的冲量系数β：其中β取输出向量1，2组成的向量组的最大特征值λmax 2%姨 /2。在本系统中， 采用权值方法集成的识别结果可以简要的表示为：其中yii为第i个分类器输出向量的第j个分量。6.实验结果仿真实验：选用BP神经 网 络 的 权 值 集 成 多 分 类 器 识 别 系 统 后 的 测 试结果。 两个识别器的输入层、 隐层和输出层的节点个数分别为256，20，10； 37，12，10学习参数设置如下：学习率：0.01训练结束条件： 训练结束条件为网络的平方和误差E≤0.002。W O W? ? ? ?? ? ? ?84福 建 电 脑2009 年第 11 期（上接第 84 页）!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!BP网络训练演化图见图6.1所示，数字统计结果见表6.1图6.1 BP分类器训练演化图表6.1 手写数字识别结果统计表7. 结论为了提高手写体数字的识别率和可靠性，本文将改进的BP神经网络引入模式识别之中， 提出一种基于BP神经网络的权值集成多分类器识别系统。 与单一的识别器相比，实验数据表明本文设计的数字识别系统具有较高的准确率和识别率，而其有96.2%的识别率与其他的识别器相比，本文设计的手写数字识别系统各项性能指标有明显的提高， 这显示了该识别系统具有较高的识别率和实用性。 随着图像技术的不断发展，越来越多的工具算法都将应用到手写数字识别当中， 并且识别率和准确率都将得到大幅度的提高参考文献：1.唐轶峻，申小阳，朱雯兰，等。 基于BP神经网络的数显仪表数字数字识别系统.[J].电测与仪表。 2005.092.郑南宁，王龙，胡超等。BP神经网络的改进及其用于手写数字识别的研究。 西安交通大学学报，1992，2:11一123.高隽。 人工神经网络原理及仿真实例。 北京-机械工业出版社，2007，35-484.胡小锋，赵辉。 Visual C++/MATLAB图像处理与 识 别 实 用 案 例 精 选[M]。 人民邮电出版社，20045.Zhou J，Qing G，Adam Krzyzak．Recognition of handwritten numerals byquantum neural network with fuzzy features [J]．International Journal onDocument Analysis and Recognition,1999,2(1)：30－36%4.2 太阳能电池输出特性测试电路太阳能电池输出特性的测试电路如图 4 所示。 若选择 T=25℃ ，S =1000W/m2，Isc =2.6104A，Im =2.2793A，Voc =22.232V，Vm=17.616V，此时的 输 出 特 性 如 图 5 所 示，图 中 的 I1*V2 就 是输出的瞬时功率。图 4 太阳能电池输出特性测试电路图 5 太阳能电池仿真结果将该 Psim 仿 真 结 果 与 Matlab 仿 真 模 型 (公 式 (1)~(11))的 结果进行比较如图 6 所示，可见该 Psim 模型与 Matlab 结果基本一致，采用该模型可以模拟太阳能电池的特性。图 6 Psim 模型与 Matlab 仿真结果5.结论为了满足工程上电路仿真的需要，本文基于 Psim 建立了一种太阳能电池的仿真模型，通过仿真可见，该模型可以完成太阳能电池的特性仿真。参考文献：1.Rauschenbach H S. Solar cell array design handbook [M] .Litton Educa-tional Publishing Inc ,USA ,1980.2.赵福鑫,魏彦章,太阳电池及其应用[M].北京:国防工业出版社,1985.3.苏建徽.硅太阳电池工程用数学模型[J].太阳能学报,2001(22):409-412.4.赵福鑫, 魏彦章.太阳电池及其应用[M].北京:国防工业出版社,1985.93

基于神经网络的手写数字识别

http://dspace.xmu.edu.cn/bitstream/handle/2288/122468/%e5%9f%ba%e4%ba%8e%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e7%9a%84%e6%89%8b%e5%86%99%e6%95%b0%e5%ad%97%e8%af%86%e5%88%ab.pdf?sequence=1&isAllowed=y

基于神经网络的手写数字识别

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository