在基于视觉的微装配中,要提高精度则需要减小视场,然而小视场所包含的装配对象少,不能实现连续、快速的定位,因此很难同时保证快速和高精度。利用双视觉,提出一种全局扫描和局部装配的控制方法,也就是在大视场中获取批量装配对象坐标及关系,然后在小视场中进行单个对象的局部装配。该方法的批量对象扫描提高了装配速度,局部装配保证了装配精度

雷李辉

Xiamen University Institutional Repository

第 1期                        雷李辉：一种基于视觉的全局扫描与局部装配的控制方法 7                  作者简介：雷李辉(1986-)，男，硕士研究生，主要研究方向：机器视觉、微操作与微装配。 一种基于视觉的全局扫描与局部装配的控制方法 雷李辉 (厦门大学机电系，福建 厦门 361005) 摘  要：在基于视觉的微装配中，要提高精度则需要减小视场，然而小视场所包含的装配对象少，不能实现连续、快速的定位，因此很难同时保证快速和高精度。利用双视觉，提出一种全局扫描和局部装配的控制方法，也就是在大视场中获取批量装配对象坐标及关系，然后在小视场中进行单个对象的局部装配。该方法的批量对象扫描提高了装配速度，局部装配保证了装配精度。 关键词：双视觉；微装配；全局扫描；局部装配  中图分类号：TP391.4   文献标识码：A   文章编号：1672－4801(2011)01－007－03 产品的不断微型化已经成为了市场的一种必然趋势，这使得微装配技术在微产品制造中的作用越来越大。据资料显示，微装配产品平均年增长率达到了 20%，2001年市场份额达到了 300亿美元，2005年达到了 670亿美元[1]。然而，传统的装配技术难以满足微装配产品快速增长的需要。由于显微镜的视场大小与装配精度及批量装配速度间存在矛盾，使得传统的装配很难同时保证装配精度和速度。 文献[2]中提出了一种基于双视觉的控制方法，即采用不同的放大倍数进行控制的方法，但这种方法只适用于有限的装配任务。文献[3]提出利用图像拼接技术将两个处于不同焦平面的对象所形成的图像拼接成一个聚焦图像，但这种方法不能同时检测多个对象，缺乏实时性。文献[4]提出了一种基于显微镜放大倍数转换控制的方法，但此种方法对显微镜的要求较高，且当运动速度太快时不能捕获对象。 本文采用双视觉控制的方法，使微对象在视觉空间 1 中以低放大倍数(大视场)扫描，通过图像识别技术，获取批量对象的全局信息，记录装配对象间的位置关系，以进行连续装配，提高装配速度；然后进入视觉空间 2，以高放大倍数(小视场)显示单个装配对象，经过图像处理，进行精确调整，提高装配的速度。当然，在全局扫描与局部装配前需要对两个视觉系统进行标定，本文采用文献[6]中提出的方法进行标定。 1  双视觉系统标定 在机器视觉中存在视觉空间和图像空间的转换关系问题，即系统标定。系统标定要解决两个问题：一是将图像像素距离转化为移动平台的物理距离；二是解决由于空间坐标系与图像坐标系不平行使得移动产生偏移。 如图 1所示，{ 1C }和{ 2C }为双视觉空间坐标系，{T }为世界空间坐标系。例如，空间中一点沿着 X 轴从 A移动到 B，移动的轨迹在图像空间{ 1C }中为 1 1A B ，在图像空间{ 2C }中为 2 2A B 。由于世界坐标系的坐标轴与图像坐标系的坐标轴不平行，使得 AB在图像空间中的轨迹不平行于 X轴，存在一定的偏差。此外，世界空间坐标系的单位为 µm，而图像空间坐标系的单位为像素，因此需要通过标定找出它们间的对应关系。按照文献[6]中所述的方法，走三个点，求出映射矩阵。本文研究同一平面上的对象装配，因此忽略深度信息，即只进行二维标定。因此，只要走两个点便可以求出映射矩阵。选择图像空间 1 的左上角坐标作为图像空间坐标系 1的原点 1O ，选择图像空间 1 原点在世界空间中所对应的点作为世界坐标系的原点O，选择图像空间 2的左上角作为图像空间 2的原 2O 。对于视觉系统 1，两次走点后在世界空间中的坐标分别为（ 1x , 2x ）、( 3x , 4x )，在图像空间中的坐标分别为（ 1u , 2u ）、（ 3u , 4u ），则：   (1) 式中, 1R 为视觉空间 1到世界空间的映射矩阵，X 由图像空间中两点坐标组成的 2×2矩阵，U 为世界空间中两点坐标组成的 2×2矩阵。接着，继续将点移动到视觉系统 2中，仍然以 O点为世界机电技术                                     2011年 2月  8 空间坐标系原点，在图像空间 2 中走两点，同样求得 2R 。因此，              (2) R为图像空间 1到图像空间 2的映射矩阵。  图 1  双视觉系统标定  图 2  扫描策略流程图 2  全局扫描与局部装配  采用全局扫描获取批量对象间的位置关系，以便进行批量装配，提高装配速度；采用局部装配，放大单个对象的特征信息，提高装配精度。如图 3所示，平台由 X 向导轨、Y向导轨和扫描平台组成。Y向导轨安装于 X 向导轨上，扫描平台安装于Y向导轨上，批量微对象安装于扫描平台上。 2.1 全局扫描  扫描平台输送批量对象以一定的速度在视觉系统 1中扫描，视觉系统 1以低放大倍数同时获取批量对象。视觉系统 1 获得实时图像，传给计算机并进行实时处理，识别对象，并将对象中心作为特征点记录下来。扫描完成之后，将对象间的位置关系以像素为单位记录在虚拟环境中。如图 3所示，图中W 、H 分别表示视觉系统所获取图像的宽和高，规定图像空间的左上角为坐标原点， X 轴向右为正，Y轴向下为正。在视觉空间1中识别对象 1，并将它记录在虚拟环境中。虚拟环境是指一个自定义的窗口，图中 w、 h分别为虚拟环境的宽和高，虚拟环境要能容纳所有连续扫描的对象，具体可根据连续扫描对象的多少来设定，且其坐标系的方向与图像窗口同。这样，在视觉空间 1 中依次识别对象，并将每个对象记录在虚拟环境中。 2.2 扫描策略  如图 4所示。首先，对象 1和 3进入视觉空间 1，经过图像识别找到对象，并将其中心以一定的关系记录虚拟环境(以左上角为坐标原点 o )中，图中以圆圈代表已经找到的对象。已知对象1 和 3 的中心点坐标，利用映射矩阵求得空间坐标，根据扫描速度计算到下一帧图像时扫描平台前进的距离。再利用映射矩阵 1R 将下一帧图像对应的对象 1和 3在空间中的坐标转化为图像坐标。同时，新建一幅大小与原图像相同、背景为白色的图像，在新建图像中在对象 1和 3的位置制作掩模，掩模为黑色，能覆盖住整个对象。使当前帧图像与掩模图像进行与运算，这样下一帧图像中对象 1和对象 3被覆盖。这样做的目的是为了提高识别效果。然后，继续向右扫描，当对象 2和 4 出现在图像空间时，图像处理模块识别对象并记录在虚拟环境中，接着以同样的方法制作掩模，将对象 2和 4覆盖住，便于下一对象的识别。依次连续扫描，已识别的对象被掩模覆盖，直到扫描完成。将所有对象记录在虚拟环境中，虚拟环境记录了对象间的位置关系以及相对图像原点的坐标。扫描策略流程图如图 2所示。 2.3 局部装配  扫描完成之后，进入视觉系统 2，视觉系统 2以高放大倍数显示单个对象，进行局部装配。以对象 1为例，对象 1在视觉空间 1中的坐标被记录在虚拟环境中。步骤为： (1) 假定对象 1 在视觉空间 1 中的坐标为( ),1 1X Y ,将其转换到视觉空间 2中，坐标为:                      (3) (2) 再利用 2R 将（ 1U , 1V ）转化为空间坐标，得： Y 下一帧图像 找到对象 N 与运算 记录与制作掩模 图像处理 第 1期                        雷李辉：一种基于视觉的全局扫描与局部装配的控制方法 9                       (4) (3) 控制 X / Y 向平台移动到坐标 ( )1 1ˆ ˆx y，处，使对象 1进入图像空间 2。 (4) 在图像空间 2中识别对象 1的有用信息，利用映射矩阵 R2转换为空间坐标，再通过 X / Y向平台调整位置。最后，通过机械手完成对象 1的装配任务。  根据虚拟环境中所记录的各个对象间的位置关系，仍然利用 2R 转化为世界空间距离，驱动平台使下一个对象进入图像空间 2。重复步骤(4)。  图 3  全局扫描与局部装配  图 4  扫描策略 3  系统硬件和软件 如图 5所示。系统硬件由视觉 1、视觉 2、X 向平台，Y 向平台、扫描平台、机械手、光源、控制计算机、连接导线和微对象组成。视觉系统与控制计算机相连接，以获取实时图像；X / Y向平台及扫描平台均与计算机相连接，以根据图像处理结果控制平台运动，调整位置。批量微对象安装于扫描平台上。在视觉系统 1中完成扫描之后，进入视觉系统 2，在视觉系统2中找到装配对象的精确位置，控制机械手进行装配任务。  图 5  系统硬件  系统的软件部分由 Visual C++ 6.0编写，并结合 OpenCV视觉库进行图像处理。包括图像获取、系统标定、视频处理和图像识别等技术。 4  总结 本文提出了一种基于视觉的全局扫描与局部装配的控制方法。利用低放大数倍的视觉系统进行全局扫描，实现批量对象的连续装配。再利用另外一个高放大数倍的视觉系统显示单个对象，经过图像识别找到精确的装配位置，进行局部装配。该方法能够解决视场大小与装配精度和速度的矛盾，既能实现连续装配以提高速度，又能保证装配的精度。 参考文献： [1] Tai-Ran Hsu. “Micro Assembly-A technology on the frontier of new industrial automation,” A keynote speech delivered at the 8th International Conference on Automation Technology, Taichung, Taiwan, pp.1-16. 2005. [2] S. J. Ralis, B. Vikaramadiya, and B. J. Nelson, “Micropositioning of a weakly calibrated microassembly system using coarse-to-fine visual servoing strategies,” IEEE Trans. Electron. Packag.Manufact., vol. 23,no. 2, pp. 123–131, Apr. 2000. [3] S. Fatikow, J. Seyfried, St. Fahlbusch, A. Buerkle, and F. Schmoeckel,“A flexible microrobot-based microassembly station,” J. Intel. Robot.Syst., vol. 27, pp. 135–169, Jan. 2000 [4] X. Tao, H. S. Cho, and Y. J. Cho, “Visually guidedmicroassembly withactive zooming,” J. Robot. Mech., vol. 18, no. 6, pp. 787–794, Dec.2000. [5] Xiaodong Tao, Farrokh Janabi-Sharifi, “An Active Zooming Strategy for Variable Field of View and Depth of Field in Vision-Based Microassembly,” IEEE TRANSACTIONS ON AUTOMATION SCIENCE AND ENGINEERING, VOL. 6, NO. 3,pp.504-512, July 2009. [6] 席文明.一种自动化显微操作装置[P].中国专利：101598850A，2009-12-19. [7] 陈胜勇，刘盛.基于 OpenCV的机器视觉技术实现[M].北京：科学出版社，2008：204-224. [8] 于仕琪, 刘瑞祯. 学习 OpenCV:中文版[M]. 北京:清华大学出版社,2009：128-162. 

一种基于视觉的全局扫描与局部装配的控制方法

http://dspace.xmu.edu.cn/bitstream/handle/2288/105449/%e4%b8%80%e7%a7%8d%e5%9f%ba%e4%ba%8e%e8%a7%86%e8%a7%89%e7%9a%84%e5%85%a8%e5%b1%80%e6%89%ab%e6%8f%8f%e4%b8%8e%e5%b1%80%e9%83%a8%e8%a3%85%e9%85%8d%e7%9a%84%e6%8e%a7%e5%88%b6%e6%96%b9%e6%b3%95.pdf?sequence=1&isAllowed=y

一种基于视觉的全局扫描与局部装配的控制方法

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository