手眼协调属于感觉运动的协调,是人认知能力的基础。这篇论文的目标是要模仿人类婴儿的发育过程来建立一个机器人系统,可以接近或者抓取物体。该文旨在应用发展模型中的“增量过程“,通过使用双神经网络在3d实验环境下来完成机器人抓取系统。这个机器人系统在全约束条件下开始发展,随着每个约束条件的成熟从而驱动双神经网络的训练,当所有的约束条件都释放,机器人系统就可以获得抓取能力。Reaching ability is a kind of human sensory motor coordination and is the foundation of human cognitive abilities.The objec.tive of this work is to imitate the developmental progress of human infant to create a robotic system which can reach or capture objects.The work proposes to employ a developmental model"incremental process"to implement such a robotic reaching system by using a dou.ble neural network system within 3D experimental environment.The robotic system starts to develop under fully constrained conditions,and the training of the double neural network is driven by each constraint has been saturated,when the all contained conditions have been overcome,the robotic system is able to own reaching ability.In addition,this paper delicately describes and discuss the experimental results

晁飞

胡琳

Xiamen University Institutional Repository

Computer Knowledge and Technology电脑知识与技术人工智能及识别技术本栏目责任编辑：唐一东第8卷第12期 (2012年4月)基于双神经网络结构的发展型机器人3D抓取胡琳 1，晁飞 2（1.厦门大学 智能科学与技术系，福建 厦门 361005；2.福建省仿脑智能系统重点实验室（厦门大学），福建 厦门 361005）摘要：手眼协调属于感觉运动的协调，是人认知能力的基础。这篇论文的目标是要模仿人类婴儿的发育过程来建立一个机器人系统，可以接近或者抓取物体。该文旨在应用发展模型中的“增量过程”，通过使用双神经网络在3D实验环境下来完成机器人抓取系统。这个机器人系统在全约束条件下开始发展，随着每个约束条件的成熟从而驱动双神经网络的训练，当所有的约束条件都释放，机器人系统就可以获得抓取能力。关键词: 手眼协调; 发展型机器人; 发育约束; 神经网络; 发展模型中图分类号：TP393 文献标识码：A 文章编号：1009-3044(2012)12-2859-04Developmental Robotic 3D Reaching Based on Double-Network ArchitectureHU Lin1，CHAO Fei2(1.Cognitive Science Department, Xiamen University, Xiamen 361005,China;2.Fujian Key Laboratory of the Brain-like Intelligent System(Xiamen University), Xiamen 361005 ,China)Abstract: Reaching ability is a kind of human sensory motor coordination and is the foundation of human cognitive abilities. The objec⁃tive of this work is to imitate the developmental progress of human infant to create a robotic system which can reach or capture objects.The work proposes to employ a developmental model“incremental process”to implement such a robotic reaching system by using a dou⁃ble neural network system within 3D experimental environment. The robotic system starts to develop under fully constrained conditions,and the training of the double neural network is driven by each constraint has been saturated, when the all contained conditions have beenovercome, the robotic system is able to own reaching ability. In addition, this paper delicately describes and discuss the experimental results.Key words: hand-eye coordination; developmental robot; developmental constraints; neural network; developmental model机器人手眼协调是智能机器人的重要技能之一，也是自主机器人系统研究领域的重要组成部分和研究课题。机器人手眼协调已经有了广泛的应用，如车辆制造业，空间探索，食物包装等[1]。机器人手眼协调是从机器人视觉感知器到机器人动作执行器的一个映射。大多数传统的机器人手眼协调系统是由工程师进行标定的。但遗憾的是，这种方法有一个重要的限制，就是当系统有一个小的改变时这个系统必须重新标定[12]。为了克服这个问题，提出了无标定的手眼协调。这种类型的机器人系统具有从训练数据中学习控制参数的能力；这样工程师的工作量就减少了，但是，机器人仅只能在很小一部分任务集上的训练，还不能学习那些可以应用到大量任务的通用策略上[2]。因此，该文介绍了智能机器人的一个研究领域——具有自主能力的“发展型机器人”。发展型机器人与传统机器人的不同之处表现在：发展型机器人不但可以完成预定的任务，还可以在新环境中自我感知未知环境，从而有预知有目的地进行某项活动。发展型机器人手眼协调是一个非常有趣的研究热点，近几年也提出了很多机器人手眼协调模型。但是，这些研究在不同因素上有一些限制：大多数的机器人手眼协调系统仅使用一个摄像机作为机器人视觉系统，在简单的二维环境下进行研究，这大大简化了系统的学习复杂性，如[8][9][10][11]；有些训练阶段没有模仿人类婴儿抓取物体的发育过程。该文的方法旨在扩展前面的这些工作，从人类婴儿发育的启发中来实现一个发展型机器人学习系统，采用双摄像头的视觉系统与一个机械手臂共同实现在3D环境下的抓取功能，其中着重强调发育约束是机器人从接近目标物体到抓取物体的一个关键驱动因素。这将在很大程度上拓展在机器人手眼协调上的研究，并将填补发展型机器人和发育心理学上的空白。1 相关研究工作为了建立发展模型，很有必要理解人类婴儿的发育过程，并且在此过程中提取出重要的发育特征。通过模仿这些特征，建立一个计算学习系统来支持机器人学习抓取能力。人类发育过程中有各种各样的约束。感觉、行为和感知上的各种约束大大减小了输入信息和可能采取的行为的复杂性。在某项任务中当获得了一个高层次的能力时，一个新层次或者更高层次的任务和难度将随着新约束的出现而暴露出来[3][4]。因此，后面的几个小节将分别介绍基于婴儿发育的发展模型和发育约束。1.1婴儿抓取动作的发育特征婴儿抓取动作的发育过程展示了一个从粗糙的接近动作渐变到精细动作的过程。刚出生时，人类婴儿能进行视觉导向抓取，收稿日期：2012-02-23作者简介：胡琳（1986-），女，四川人，厦门大学信息科学与技术学院硕士研究生，主要研究方向为发展型机器人；晁飞（1981-），男，福建人，厦门大学信息科学与技术学院助理教授，主要研究方向发展型机器人和人工神经网络。E-mail: eduf@cccc.net.cnhttp://www.dnzs.net.cnTel:+86-551-5690963 5690964ISSN 1009-3044Computer Knowledge and Technology 电脑知识与技术Vol.8, No.12, April 2012.2859Computer Knowledge and Technology电脑知识与技术本栏目责任编辑：唐一东人工智能及识别技术第8卷第12期 (2012年4月)可以将手移动到视觉目标的方向。这个“抓取前”（Pre-reaching）动作并不能成功的接触到目标物体，婴儿更多的是在目标物体出现的一侧做出抓取动作。大约一周岁时，婴儿掌握了独立活动手指的能力，在目标物体接触的过程中对手部的调整使得对手部的观察变得很重要。因此，建立的机器人学习系统可以遵循下面的模式：抓取的动作可以包括抓取前动作和矫正动作两部分。从神经处理模块的方面来解释人类婴儿抓取动作所产生的原因，人类婴儿的抓取动作是大脑皮层（Cerebral Cortex），基底神经节(Basal Ganglia)和小脑(Cerebellum)并行作用和控制的结果[5]。大概在15周的样子，基底神经节-大脑皮层的循环（Loop）会选择一个粗糙的动作，这个动作在执行过程中可能需要矫正。在成年人阶段，这些动作将会通过小脑的循环来改善。而小孩则由于小脑的发育不健全而限制这些动作的精准化。对于某些动作，随着不断的重复，基底神经节通过强化学习在选择采取哪一个动作上将会变得更加的优化。随着时间的推移，出生后的一年中，小脑的网络将变得更加成熟，大脑皮层的循环将逐渐接近指令上越来越有影响，而这些指令以前是由基地神经节发出的[7]。通过回顾人类婴儿抓取发育过程的文献，受此启发而设计了用两个神经网络模拟学习婴儿抓取的经验来建立学习系统。这个双神经系统的设计将很好的反映婴儿抓取过程的两个发育阶段。同时也注意到发育过程暗含着两个发育顺序：从运动模式上讲，首先是婴儿采取粗糙的抓取动作，然后发育到正确的动作。在大脑方面，先是基底神经节-大脑皮层的发育，再是小脑的发育。此外还需要建立一个发育过程来指导实验。这些内容在下一个小节中将进行讨论。1.2发育和发育约束发育心理学证实，释放发育过程中的约束条件可以让婴儿从一种技能学习到新的技能，甚至更复杂的能力。这是因为每一个发育过程都为下一个过程出现设立一个边界条件，如果所必需的能力缺失了，那么新的特殊的能力就不会呈现出来[6]。因此，特殊的约束条件在发育的过程中起着闸的作用。第一眼看起来不完整的感觉和运动系统的不成熟是有一定优势的，因为这有效的减轻了“信息过载”的问题，这些过载的信息很可能让婴儿不堪重负。在新生儿的发育过程中可以看到很多感觉和运动约束的例子；例如，婴儿有着非常有限的视觉系统，管状视力（Hainline，1998）。尽管视野受限制，但是一开始的视觉约束会将婴儿的视力集中到一定的范围内，而这个范围恰好是母亲出现几率最大的范围。当婴儿获得母亲检测的能力以后，管状视力这个限制约束就被释放，注意力就会转移到其他一些视觉刺激上去。因此，该文中的学习算法将提出两个限制条件来推动整个机器人学习系统的发展。2 实验系统的设计该实验旨在通过手臂的任意运动使得机械手臂学习准确抓取目标物体的能力。这一部分将介绍了训练机器人学习系统的双神经网络结构学习算法和机器人系统的硬件配置。2.1硬件环境如图1，给出了实验的机器人系统：实验使用AS-6 DOF铝合金机械臂，共有6个自由度，手臂安装在一个工作区。锁住手爪部位的两个自由度和手臂上一个自由度，用剩下的3个自由度来完成抓取动作，3个自由度的标注如图2 所示。图1 工作区图2 系统图2860Computer Knowledge and Technology电脑知识与技术人工智能及识别技术本栏目责任编辑：唐一东第8卷第12期 (2012年4月)机器手臂的每一个旋转关节都有一个舵机驱动器和一个可以感知舵机内部参数的编码器，便于提取传感器的数据。这3个舵机的内部参数值用θ1，θ2，θ3表示。两个摄像机用来作为机器学习系统的视觉系统，因为在3D抓取运动中一个摄像机不能给出足够的图像信息。一个摄像机固定在手臂附近的一个支架上（如图1 摄像机1）；另一个摄像机安装在高处，俯视整个工作区间（如图1 摄像机 2）。2.2学习算法2.2.1双神经网络结构受人类婴儿抓取发育过程的启发设计了两个神经网络，第一个神经网络N1可以进行大幅度的手臂移动，将手臂尽可能的靠近目标物体，来模拟在基底神经节——大脑皮层循环控制下的抓取动作。第二个神经网络N2控制运动幅度较小的手臂移动，来模拟由小脑循环控制的抓取动作，可以进行动作或者手部位置的调整改善，完成准确的抓取动作。这两个网络不是单纯的并行或者串行使用。设定一个距离阈值δ，通过计算摄像机拍摄到的图像中目标位置和手部位置的之间的差异距离d，如果d大于等于δ，N1 被激活，否则，选择N2。由于输入输出数据的不同，神经网络N1和N2的结构是不一样的。此外，在神经网络训练阶段，在机器视觉中不会设定目标物体出现，机器系统只能检测手部的位置，而在实施抓取阶段，将会有目标物体出现。因此这个双神经网络包含两个阶段：训练阶段和抓取阶段。图3 训练阶段流程图 图4 抓取阶段流程图训练阶段：手臂自发的移动，也就是手臂任意的移动。在每一次移动前，两个摄像机都会获取手指的位置，x1，y1是摄像机1中手指的位置，x2，y2是摄像机 2中手指的位置；同时，通过伺服电机控制器来获取所使用的舵机的每个关节内部参数值（θ1，θ2，θ3）。在每次移动后，用x1’，y1’，x2’，y2’和θ1’，θ2’，θ3’来表示新获取的值。同时计算前后两次移动之间的差异距离d，用以来判断选择第一个神经网络N1，还是第二个神经网络N2。此处差异距离d对于神经网络N1和N2计算方法各不相同。对于神经网络N1，由于其控制大范围手臂移动，所以在预处理时，先将图像模糊，然后获取前后两次差异距离d来选择训练数据。d大于等于距离阈值δ，将作为有效数据用来训练网络。否则，弃之。神经网络的输入输出数据都是绝对位置。对于神经网络N2，其控制小范围的调整动作，在进行神经网络N2的训练的时候，图像不需要处理。前后两次的差异距离d是两者的欧式距离。d小于等于距离阈值δ，将作为有效数据用来训练神经网络。否则，弃之。其输入输出数据，是一个相对值。输入数据为 x1，y1，x2，y2 与 x1’，y1’，x2’，y2’之间相减的差值距离。输出数据是Δθ1-3作为舵机内部参数的调整值。Δθ1-3是前后两次移动所产生的内部参数变化，即是θ1-3和θ’1-3之间的差值。距离阈值δ是用来决定训练使用哪一个神经网络。机器学习系统中将采用BP算法来训练N1，N2。其流程图如图3所示。抓取阶段：机械手臂在这一阶段已经具有抓取能力。目标物体放置在手臂可工作范围内，视觉系统可以感知目标物体在两个摄像机所拍摄图像中的位置分别是 xo1，yo1，xo2，yo2，同样的，可感知手指位置 xa1，ya1，xa2，ya2。此时，按照训练阶段所示计算出差异距离d，d成为目标物体和手指之间的差异距离。如果d大于等于距离阈值δ，由神经网络N1输出绝对参数θ1-3；否则，将目标位置和手指2861Computer Knowledge and Technology电脑知识与技术本栏目责任编辑：唐一东人工智能及识别技术第8卷第12期 (2012年4月)之间的位置相对间距Δxo-a1，Δyo-a1，Δxo-a2，Δyo-a2输入神经网络N2，输出需调整的微小舵机值Δθ1-3到个舵机，整个过程如图4所示。2.2.2发展学习算法正如前面提到，将用两个发育约束参数来推动整个系统的成熟。两个约束参数的改变过程如图5所示：视觉分辨率渐渐的变得清晰，手臂的移动幅度逐渐的变小。因此，在训练阶段的起初，将拍摄的图像模糊。手臂只能做大幅度的任意的运动。此时筛选出适合的数据用来训练神经网络N1，直到系统稳定。修改这两个约束参数，图像变得清晰，手臂可以做一些相对较小范围的移动。这样N2就可以获得被训练的机会。当两个网络充分训练后，此时整个系统变得成熟稳定。图5 约束参数的变化趋势2.2.3 图像预处理及模糊化正如前面所说，需要有一个图像由模糊到清晰的变化过程。在预处理的过程中，先将图像二值化。由于视觉模糊且无法感知细微动作，只能进行大范围的手臂移动，于是模糊化时将图像划分为10×10像素的小格子，将（PosX/10,PosY/10）的上限值作为这个小格子的坐标值。因为如果手臂移动幅度过小，则可能会被划分在同一个小格子中，导致此次手臂移动不能被感知。只有较大幅度的手臂移动才能导致所出现的小格子发生变化。借此来模拟婴儿初期的视觉模糊效果，小范围移动不能被感知。3 讨论与总结学习系统已经建立，但是，实验部分还在进行。根据学习系统，实验过程设计如下：用两种特殊的颜色来标记机械手臂的手部和目标物体。首先，工作区间没有目标物体放置，学习系统只能任意移动手臂，根据两个约束参数的改变，机械手臂起初没有小幅度的移动，但是实验最终可以完成微小的动作。在实验起初，更多的是训练N1，N2很少被训练，在实验的中间阶段，N1仍然会被训练到，但是N1的权重不会有很大的改变；同时N2开始频繁的训练其权重。所有的情况都是由两个约束参数的修改引起的。因此，整个机器人系统的发育过程是由约束参数驱动的。该文从心理学和脑科学受到启发，设计出有效的学习算法。实验系统在学习过程中是逐渐增加和积累的过程。此外，同一种方法产生了行为的两个不同阶段；这说明了一个阶段的能力会促使更高阶段的能力出现。这篇论文对以后机器人系统发展趋势也有一定的贡献。在未来的研究工作中，将提出使用构建型神经网络来取代当前采用的BP神经网络，来完成前面提到的双神经网络所做的工作。当然也会尝试用两个自由摄像机来取代这个系统中使用的两个固定的摄像机，这样可以避免静止固定的摄像机具有拍摄死角的缺陷。参考文献:[1] C. Connolly,“Artificial intelligence and robotic hand-eye coordination,”Industrial Robot: An International Journal, vol. 35, no. 6, p. 496,503 2008.[2] L. A. Meeden and D. S. Blank,“Introduction to developmental robotics,”Connection Science, vol. 18, no. 2, pp. 93-96, 2006.[3] J. Bruner, Acts of Meaning. Harvard University Press, Cambridge, MA, 1990.[4] J. Rutkowska,“Scaling up sensorimotor systems: Constraints from human infancy.”Adaptive Behavior, vol. 2, pp. 349-373, 1994.[5] J. C. Houk, Action selection and refinement in subcortical loops through basal ganglia and cerebellum. Cambridge University Press (inpress), 2011, ch. 10.[6] M. Lungarella, G. Metta, R. Pfeifer, and G. Sandini,“Developmental robotics: a survey,”Connection Science, vol. 15, no. 4, pp. 151-190,2003.[7] N. E. Berthier,“The syntax of human infant reaching,”in Unifying Themes in Complex Systems Volume VIII: Proceedings of the EighthInternational Conference on Complex Systems, H. Sayama, A. A. Minai, D. Braha, and Y. Bar-Yam, Eds. NECSI Knowledge Press, 2011,pp. 1477-1487.[8] G. Metta, G. Sandini, and J. Konczak,“A developmental approach to visually-guided reaching in artificial systems,”Neural Networks,vol. 12, no. 10, pp. 1413-1427, 1999.[9] Q. Meng and M. H. Lee,“Automated cross-modal mapping in robotic eye/hand systems using plastic radial basis function networks,”Con⁃nection Science, vol. 19, no. 1, pp. 25-52, 2007.[10] F. Chao and M. H. Lee,“An autonomous developmental learning approach for robotic eye-hand coordination,”in Proceeding of Artifi⁃cial Intelligence and Applications - 2009, Innsbruck, Austria, 2009.[11] M. Huelse, S. McBride, J. Law, and M. Lee,“Integration of active vision and reaching from a developmental robotics perspective,”IEEETransactions on Autonomous and Mental Development, vol. 2, no. 4,pp. 355-367, 2010.[12] 苏剑波. 机器人无标定手眼协调 [M].北京:电子工业出版社, 2010:2-6 .2862

Developmental Robotic 3D Reaching Based on Double-Network Architecture

http://dspace.xmu.edu.cn/bitstream/handle/2288/122904/%e5%9f%ba%e4%ba%8e%e5%8f%8c%e7%a5%9e%e7%bb%8f%e7%bd%91%e7%bb%9c%e7%bb%93%e6%9e%84%e7%9a%84%e5%8f%91%e5%b1%95%e5%9e%8b%e6%9c%ba%e5%99%a8%e4%ba%ba3D%e6%8a%93%e5%8f%96.pdf?sequence=1&isAllowed=y

Developmental Robotic 3D Reaching Based on Double-Network Architecture

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository