建立视觉定位系统,用于工业机器人对工件的精确定位,从而引导机器人完成精确的装配动作。介绍了此装配机器人的系统结构并着重分析了视觉定位系统,推导了摄像机参数标定算法公式,并用MATlAb标定工具箱求解,重点分析推导了工件圆心的定位算法。在有无视觉定位系统的两种情况下,对工件同一装配位的到位情况做重复性试验。实际应用证明工业机器人与视觉定位系统相互协作的模式是可行和稳定的,能满足工业现场对装配精度的要求

吕智

黄文明

Xiamen University Institutional Repository

第2期装配机器人视觉定位系统的研究黄文明 吕 智（厦门大学机电工程系，福建 厦门 361005）摘 要：建立视觉定位系统，用于工业机器人对工件的精确定位，从而引导机器人完成精确的装配动作。介绍了此装配机器人的系统结构并着重分析了视觉定位系统，推导了摄像机参数标定算法公式，并用Matlab标定工具箱求解，重点分析推导了工件圆心的定位算法。在有无视觉定位系统的两种情况下，对工件同一装配位的到位情况做重复性试验。实际应用证明工业机器人与视觉定位系统相互协作的模式是可行和稳定的，能满足工业现场对装配精度的要求。关键词：视觉定位系统；工具坐标系；工业机器人；标定；装配中图分类号：TP242.6+1 文献标识码：A 文章编号：1672-4801（2015）02-019-05随着工业自动化的发展，视觉定位与工业机器人相结合的模式得到了广泛应用[1，2]。采用视觉定位技术准确识别目标物体的关键位置，从而引导机器人完成特定装配任务，降低了对夹具定位精度的要求，缩短了定位时间，提高了机器人的装配精度与效率。本研究基于视觉定位系统设计了装配机器人，实现了工件的精确定位与装配，并通过实验验证了引入视觉定位系统的机器人的装配精度与稳定性，在料盘对装配件的定位精度较低的情况下，能够实现高精度的装配。1 机器人装配系统设计目前，很多工厂的装配任务仍然采用手工来完成，效率低且装配精度不足。本研究采用视觉定位系统对工件进行圆心的捕捉，并依据圆心坐标数据控制机器人完成精确装配。装配机器人主要包括SCARA工业机器人、机器人控制器、视觉系统、工控机、同轴照明光源、镜头、工业相机、I/O接口、电气系统等。装配机器人的主控部分为机器人控制器，通过程序的编写来控制整个系统的运行，包括控制机械手的运动、信号输入与输出、视觉系统的调用、数据的内部运算等。显示器上显示程序的工作状态、运行信息和故障信息，对整台设备进行实时监视，控制系统结构如图1所示。2 视觉定位系统视觉定位系统主要用于对机器人所吸取的工Epson -0++.L/& 8F>35A5 0AKeyence??351J55图1 控制系统结构框图件进行准确定位，通过CCD工业相机获取目标物体图像再由视觉系统软件进行内部处理，拟合出图像的轮廓并计算关键位置信息，视觉系统将工件在视觉坐标系下的坐标信息传输给工控机，工控机进行内部计算，将此坐标信息转化为工件在机器人坐标系下的坐标数据，并将计算出的机器人坐标系下的坐标数据传输给机器人控制器，控制机器人完成精确装配。图2所示为装配机器人的视觉定位系统工作流程图。2.1 摄像机参数的标定摄像机标定是视觉系统的关键步骤，标定的过程就是确定摄像机内部参数、摄像机相对于世界坐标的方位。摄像机标定有很多方法，例如：直接线性法（DLT）、基于径向排列约束的 Tsai 法和两步摄像机标定法等[3-5]。本文采用的标定方法是介于传统标定方法和自标定方法之间的张正友标定法[6]。假定模板平面在世界坐标系Z=0的平面作者简介：黄文明（1989－），男，硕士研究生，研究方向：机器人研究与结构设计仿真。吕 智（1988－），男，硕士研究生，研究方向：结构优化。机电技术 192015年4月机电技术5&&''B5A189??E8&&''A1>G89??E88A10G[\>G>G图2 视觉系统工作流程图上，模板上点在世界坐标系下记为 M =[X,Y,0]T ，对应齐次坐标为 M͂ =[X,Y,0,1]T ，其投影到图像平面上记为 m =[u,v]T ，对应齐次坐标为 m͂ =[u,v,1]T ，则对应关系为：sm͂ =K3 × 3[r1 r2 r3 t]M͂ （1）将齐次坐标代入式子（1）得：séëêêùûúúuv1 =K3 × 3[ ]r1 r2 r3 téëêêêêùûúúúúXY01=K3 × 3[ ]r1 r2 t éëêêùûúúXY1 （2）式中，K3 × 3 为摄像机的内部参数矩阵，[ ]r1 r2 t和 t 分别是摄像机坐标系相对于世界坐标系的3 × 3 旋转矩阵和 3 × 1 平移向量，令 sm͂ =H3 × 3M͂ ，则：[ ]h1 h 2 h3 =λK3 × 3[ ]r1 r2 t （3）由式（3）可得：r1 = 1λK3 × 3-1h1 ，r2 = 1λK3 × 3-1h2 ，t =λK3 × 3-1h3（4）因为 [ ]r1 r2 r3 为旋转矩阵，根据旋转矩阵的性质，即 r1T r2 = 0 和  rq =  r2 ，因此可以获得摄像机内部参数矩阵的约束条件为：h1T K3 × 3-T K3 × 3-1h2 = 0，h1T K3 × 3-T K3 × 3-1h1 = h2T K3 × 3-T K3 × 3-1h2 （5）由于摄像机有 5 个未知参数，当摄取图像的数目大于等于 3时，便可线性唯一求解 K3 × 3 。利用Matlab算法库中的相机标定工具箱对摄像机参数进行标定[7]，使用棋盘格为标定模板，需从不同角度拍摄3幅以上图像。如图3所示，选取9种不同位置的目标图像集，并获得模板的角点信息，然后根据世界坐标系下的标定板与采集到图像之间对应关系计算出摄像机内参数和外参数。如图 4所示为标定模板的角点检测效果图。图3 9种不同位置的目标图像集图4 标定角点检测效果图2.2 工具坐标自动计算（工件定位）工具坐标自动计算的目的是求得工件圆心与机器人第 4 关节（J4 轴）圆心的标准偏移量，机器人 J4 轴与吸头连接成一体为转动关节，可在（-180°，+180°）范围内旋转。如图5所示，即计算在Ot0Xt0Yt0坐标系旋转角度 θ 的情况下，工件圆心在坐标系Ot0Xt0Yt0下的坐标 Δx 、Δy 。图 5所示机器人坐标模型包括固定不变的基坐标系OXY；以J4轴圆心为原点的工具坐标系Ot0Xt0Yt0（默认的机器人坐标系），坐标系Ot0Xt0’Yt0’为J4轴的初始位置（U = 0），与基坐标系OXY平行；以工件圆心Ot1为原点的工具坐标系Ot1Xt1Yt1（自定义）。已知直角坐标系中的某点坐标，那么该点在另一直角坐标系中的坐标可通过如下矩阵变换求得[8]：ABT = éëêùûúABRApBO0 1 ，Ap = ABT Bp （6）式中，ABR 表示旋转变换，ApBO 表示平移变换，在平面坐标系中的二维坐标角度 θ 可以看成是绕Z20第2期轴旋转的角度，且令Z轴坐标为 0，则平移齐次变换与旋转齐次变换依次为：Trans(a,b,0)=éëêêêêùûúúúú1 0 0 a0 1 0 b0 0 1 00 0 0 1，Rot(Z,θ) =éëêêêêùûúúúúcos θ -sin θ 0 0sin θ cos θ 0 00 0 1 00 0 0 1所以：ABT = Trans(a,b,0)Rot(Z,θ)=éëêêêêùûúúúú1 0 0 a0 1 0 b0 0 1 00 0 0 1éëêêêêùûúúúúcos θ -sin θ 0 0sin θ cos θ 0 00 0 1 00 0 0 1=éëêêêêùûúúúúcos θ -sin θ 0 asin θ cos θ 0 b0 0 1 00 0 0 1（8）机器人吸头吸取工件后，工件圆心Ot1与 J4轴圆心Ot0的相对位置是固定不变的。假定图5所示为 机 械 手 的 拍 照 位 姿 ，此 时 J4 轴 的 旋 转 角 度U = θ ，即坐标系Ot0Xt0Yt0由初始位置Ot0Xt0’Yt0’’绕Z轴旋转了角度 θ ，求工件圆心在Ot0Xt0Yt0坐标系下的坐标，由于此算法只涉及到二维坐标的旋转变换，对应矩阵算法如下：ABT =Rot(Z,θ) =éëêêêêùûúúúúcos θ -sin θ 0 0sin θ cos θ 0 00 0 1 00 0 0 1（9）éëêêêêùûúúúúxt0'yt0'01= ABTéëêêêêùûúúúúxt0yt001（10）由式（9）、（10）可得：éëêêêêùûúúúúxt0yt001= ABT-1éëêêêêùûúúúúxt0'yt0'01=éëêêêêùûúúúúcos θ -sin θ 0 0sin θ cos θ 0 00 0 1 00 0 0 1-1éëêêêêùûúúúúxt0'yt0'00（11）简化得：éëêùûúxt0yt0= éëùûcos θ sin θ-sin θ cos θéëêùûúxt0'yt0' （12）已知 J4 轴圆心在基坐标系 OXY 下的坐标为（X1,Y1），工件圆心在基坐标系下的坐标通过上一步 摄 像 机 标 定 得 出 的 算 法 获 得 ，令 坐 标 为（X2,Y2），则两圆心在基坐标系OXY下的偏差为：xt0' =X2 -X1 ，yt0' = Y2 - Y1 （13）将算得的 xt0' 、yt0' 代入式（12），可得标准偏移量 Δx 、Δy ：éëêùûúΔxΔy = éëêùûúxt0yt0= éëùûcos θ sin θsin θ -cos θ éëêùûúX2 -X1Y2 - Y1 （14）依据算出的标准偏移量 Δx 、Δy ，机器人可建立 图 5 所 示 以 工 件 圆 心 为 原 点 的 工 具 坐 标 系Ot1Xt1Yt1，并设定此坐标系为参考坐标系，从而完成工件的精确对中装配。图5 机器人坐标模型3 实验为验证视觉定位对机器人装配精度的影响，针对设备加入视觉定位与未加入视觉定位的两种情况下，对工件的到位情况做 30次重复性实验。装配情景如图 6所示，固定相机对工件进行视觉定位，移动相机检测装配位工件的到位情况。实测目标物体所在装配位置的图像坐标数据如表1、表2所示（表格数值单位均为像素数pixel，且1pix⁃el=0.0104 mm）。图6 机器人装配实验均值计算公式：x̄ = 130∑i = 130 xi ，工件坐标值均值如表3所示。标准偏差计算公式：σ = 129∑i = 130 ( )xi - x̄ 2 ，工件坐标值的标准偏差如表4所示。实验结果分析：1）从表 1 和表 2 的对比可以明显看出，未加入视觉定位时，测量值数据分散倾向明显，定位精度较差；加入视觉定位后，测量值基本是在 1个像素点的范围内波动，定位精度（7）黄文明 等：装配机器人视觉定位系统的研究 212015年4月机电技术表3 坐标值均值 pixel未加入视觉定位x̄ ȳ779.615 560.738加入视觉定位x̄ ȳ774.528 557.984表4 坐标值标准偏差未加入视觉定位σx σy3.67904pixel 4.3162pixel0.03826mm 0.04489mm加入视觉定位σx σy0.1940pixel 0.1645pixel0.00202mm 0.00171mm高。2）从表 4中可以看出：在未加入视觉定位系统的情况下，由于放置工件的料盘对工件的定位精度较低，导致装配数据精度较差，只能够达到0.045 mm的精度，无法满足一些高精度装配的要求；引入视觉定位系统后，机器人装配精度提高到0.002 mm。通过重复性试验验证视觉定位系统具有很高的定位精度且定位稳定可靠。4 结论本文针对装配机器人的视觉定位系统进行研究，并获得了一定参考价值的研究成果：1）采用单目视觉系统进行视觉定位，通过标定处理获得摄像机相对机器人基坐标系的方位，并且经过工具坐标自动计算获得目标物关键位置点相对机器人的标准偏移量，为指导机器人完成精密装配动作提供重要的理论依据。2）搭建了系统的硬件平台，实现了视觉定位系统与工业机器人的协同工作，且引入视觉定位系统后，可将机器人装配精度由0.045 mm提高到0.002 mm，满足了工业上对精密装配精度的要求；3）在实际生产装配过程中，通过引入视觉定位系统，降低了夹具与料盘对工件定位精度的要求，尤其是涉及到一些对表面质量有要求的工件，更好地保证了产品的质量以及装配的效率；本研究提出了一种采用视觉定位的方法来解决机器人执行任务过程中对目标物的精确定位问题，有效地提高了定位精度与效率，且视觉定位具有非接触性、实时性等优点，是机器人研究领域的重要内容，具有一定的参考价值与应用前景。No.12345678910X Y773.017 556.303781.680 564.797776.126 564.215777.727 566.875781.378 557.518784.131 559.810777.481 562.295778.652 563.708774.805 555.456786.523 566.570No.11121314151617181920X Y779.644 564.785781.648 561.167775.365 564.057773.395 562.421783.426 558.353782.228 557.566779.228 555.578778.351 561.771786.700 552.717781.808 553.090No.21222324252627282930X Y776.673 563.116783.026 568.003779.650 562.865776.377 565.433780.650 564.705779.674 560.521786.148 557.030778.201 554.192778.649 556.582776.041 560.575表1 坐标值实测数据（未加入视觉定位） pixel表2 坐标值实测数据（加入视觉定位） pixelNo.12345678910X Y774.483 558.245774.456 557.872774.504 558.163774.688 558.056774.505 558.029774.537 558.248774.756 558.017774.521 558.081774.508 558.072774.527 557.789No.11121314151617181920X Y774.756 557.782775.298 557.457774.396 557.998774.386 558.167774.660 557.780774.341 558.047774.409 557.857774.559 558.034774.430 557.943774.384 558.149No.21222324252627282930X Y774.231 557.865774.573 557.886774.536 558.042774.513 557.852774.494 557.987774.614 558.035774.702 557.907774.384 558.149774.269 557.922774.432 558.082（下转第27页）22第2期参考文献：[1] 马如奇，郝双晖，郑伟峰，等.基于ADAMS和MATLAB的机械臂联合仿真研究[J].机械设计与制造，2010，4（4）:93-95.[2] 应再恩，平雪良，陈鲁刚.基于ADAMS和MATLAB的双回路PID控制倒立摆联合仿真[J].机械传动，2012，36（8）：64-67.[3] John J C .Introduction to Robotics Mechanics And Control [M].China Machine press.2006.[4] 宋宇，陈无畏，陈黎卿.基于ADAMS与MATLAB的车辆稳定性控制联合仿真研究[J].机械工程学报，2011，47（16）:87-92[5] 黎育红，聂凌霄. 基于ADAMS虚拟样机的多体系统动力学仿真[J].武汉大学学报（工学版），2010，43（6）:758-761.[6] 陈峰华.ADAMS 2012虚拟样机技术从入门到提高[M].北京：清华大学出版社，2013.[7] 曹春芳，孔庆忠.基于ADAMS的五自由度机器人运动学仿真[J].机器人技术，2007，34（12）：71-73.参考文献：[1] 张建中，何永义，李军.机器人装配视觉定位应用研究[J].机电工程，2011，28（8）：934-937.[2] 李金义，杨成，王京，等.基于视觉定位的机器人搬运系统[J].制造业自动化，2011，33（4）：40-42.[3] 解则晓，辛少辉，李绪勇，等.基于单目视的机器人标定方法[J].机械工程学报，2011，47（5）：35-39.[4] 赵高长，武风波，周彬，等.基于DLT模型的摄像机标定简化方法[J].应用光学，2009，30（4）：585-589.[5] 朱振友，徐爱杰，林涛，等.机器人视觉的“手-眼”关系快速标定算法[J].光学技术，2004，30（2）：150-152.[6] Zhang Z Y.Flexible camera by viewing a plane from unknown orientations[C].In: Proceedings of the International Conferenceon Computer Vision（ICCV’99），1999：666-673.[7] 张曦，黄亮，徐洋，等.基于MATLAB中cali-bration toolbox的相机标定应用研究[J].微型机与应用，2011，30（14）：31-33.[8] 王爱东，乔兰柱.关于工业机器人运动学中建立坐标转换矩阵的讨论[J].河北工业科技2002，19（4）：16-18.（上接第22页）􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉􀤉胡蕴博：基于ADAMS和MATLAB的机器人联合运动仿真 27

装配机器人视觉定位系统的研究

http://dspace.xmu.edu.cn/bitstream/handle/2288/105983/%e8%a3%85%e9%85%8d%e6%9c%ba%e5%99%a8%e4%ba%ba%e8%a7%86%e8%a7%89%e5%ae%9a%e4%bd%8d%e7%b3%bb%e7%bb%9f%e7%9a%84%e7%a0%94%e7%a9%b6.pdf?sequence=1&isAllowed=y

装配机器人视觉定位系统的研究

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository