将主动轮廓线模型用于海面运动船只的跟踪,提出了一种自动选择主动轮廓线初始控制点的方法,增强了主动轮廓线模型的实用性,并将基于主动轮廓线模型的跟踪方法用于多个海面运动目标的跟踪。实验结果表明,提出的初始主动轮廓线自动选取方法可以准确地选择目标的轮廓线的特征点;基于主动轮廓线模型的跟踪方法可以比较准确地跟踪运动船只的主要轮廓特征。This paper proposes a method based on active contour model to track the moving object on the sea surface,and a method for selecting the initial control points of the active contour automatically.And it uses the tracking method to track multi-ships moving on the sea surface.Experimental results show that the tracking method based on active contour model can track the ships’ contour effectively,and the method for selecting the initial points is excellent.国家创新研究群体基金资助项目(60024301);; 国家自然科学基金资助项目(60175008

刘明业

张明杰

李翠华

Xiamen University Institutional Repository

 —34—                                                        基于主动轮廓线模型的海面运动目标跟踪 张明杰 1，李翠华 2，刘明业 1 (1. 北京理工大学信息科学技术学院，北京 100081；2. 厦门大学计算机与信息工程学院，厦门 361005) 摘 要：将主动轮廓线模型用于海面运动船只的跟踪，提出了一种自动选择主动轮廓线初始控制点的方法，增强了主动轮廓线模型的实用性，并将基于主动轮廓线模型的跟踪方法用于多个海面运动目标的跟踪。实验结果表明，提出的初始主动轮廓线自动选取方法可以准确地选择目标的轮廓线的特征点；基于主动轮廓线模型的跟踪方法可以比较准确地跟踪运动船只的主要轮廓特征。 关键词：主动轮廓线模型；蛇模型；运动目标跟踪；贪心算法；能量函数 Ships Tracking Based on Active Contour Model ZHANG Mingjie1, LI Cuihua2, LIU Mingye1 (1. School of Information Science & Technology, Beijing Institute of Technology, Beijing 100081;  2. School of Computer & Information Engineering, Xiamen University, Xiamen 361005) 【Abstract】This paper proposes a method based on active contour model to track the moving object on the sea surface, and a method for selectingthe initial control points of the active contour automatically. And it uses the tracking method to track multi-ships moving on the sea surface.Experimental results show that the tracking method based on active contour model can track the ships’ contour effectively, and the method forselecting the initial points is excellent.   【Key words】Active contour model; Snake model; Moving object tracking; Greedy algorithm; Energy function  计  算  机  工  程Computer Engineering第 32 卷  第 6 期 Vol.32    № 6 2006 年 3 月March 2006·博士论文· 文章编号：1000—3428(2006)06—0034—03 文献标识码：A   中图分类号：TP391.41常用的运动目标跟踪方法大致可以分为两类：(1)基于运动目标所在区域的特征的跟踪方法，如文献[1]利用目标所在区域的彩色柱状图作为目标的特征进行跟踪；(2)基于目标轮廓特征的跟踪方法，如文献[2]使用目标的边缘作为特征进行跟踪，文献[3]基于目标的运动和轮廓信息对目标进行跟踪。基于主动轮廓线模型的跟踪的方法属于第(2)类，即它是基于目标轮廓特征的跟踪方法。 主动轮廓线模型又称为蛇模型，由 Kass 等人于 1987 年首次提出[4]。之后，许多研究者对该模型进行了改进，并将其应用于计算机视觉研究的许多领域中[5,8]，如静态图像的边缘检测、图像分割以及图像序列中运动目标的跟踪等[6,7]。但主动轮廓线的初始位置大都是由人工手工选取的，这样使得主动轮廓线模型在运动目标跟踪中的应用受到很大的限制。 目前我们研究的是固定海域内基于视频图像序列的运动目标的跟踪技术，基于视频图像的海面运动目标跟踪需要综合考虑海浪波动、海面反光等因素的影响。本文将主动轮廓线模型与目标的运动信息相结合进行海面运动目标的跟踪，提出了一种基于目标二值图像的初始轮廓线自动选取方法，增强了主动轮廓线模型在运动目标跟踪中的可用性。实验结果证明了这些方法的有效性。 1 主动轮廓线模型 主动轮廓线模型又称为蛇模型，于 1987 年由 Kass 等人提出。主动轮廓线模型是一条可变形的闭合连续曲线及其能量函数的总称。曲线的形状和位置由内部力和外部力控制。内部力使得曲线的形状趋于光滑，外部力引导主动轮廓线向图像的特征移动。 假设使用 ( ) ( ) ( )( ),v s x s y s= 作为主动轮廓线的参数描述（其中 [ ]0,1s∈ ），则该曲线的总能量可以表示为 ( )( )( )( ) ( )( ) ( )( )1*010       =  snake snakeint image conE E v s dsE v s E v s E v s ds=⎡ ⎤+ +⎣ ⎦∫∫     (1) 式(1)中第 1 项 intE 表示主动轮廓线的内部能量，是由于轮廓线被拉伸或弯曲而产生的能量，由轮廓曲线对参数 s 的一阶和二阶导数的组合构成： ( )( ) ( ) ( )2 22intdv d vE v s s sds dsα β= +              (2) 其中，一阶项在轮廓线存在缺口时有较大的值，二阶项在轮廓线的曲率变化较快时有较大的值。 ( )sα 和 ( )sβ 指定主动轮廓线的弹性强度和弯曲强度。α 的值对应于主动轮廓线的连续性， ( ) 0sα = 表示轮廓线在点 ( ) ( )( ),x s y s 处不连续； β 的值对应于主动轮廓线的曲率的连续性， ( ) 0sβ = 表示轮廓线上点 ( ) ( )( ),x s y s 是个角点。 式(1)中第 2 项 imageE 表示主动轮廓线外部的图像能量，由图像的直线能量、边缘能量和界限能量的线性组合构成： image line line edge edge term termE w E w E w E= + +        (3) 式 (3)中的各种能量都可以由灰度图像 ( ),f x y 计算得出， , ,lin e edge termw w w 表示各种能量的加权系数， lineE 是图像的直线能量，等于图像的灰度值，即 ( ),lin eE f x y= ；edgeE 表示图像的边缘能量，由图像中像素点的梯度幅值的平基金项目：国家创新研究群体基金资助项目(60024301)；国家自然科学基金资助项目(60175008) 作者简介：张明杰(1977—)，男，博士生，研究方向：视频信息处理，计算机视觉；李翠华、刘明业，教授、博导 收稿日期：2005-03-01    E-mail：zhangmingjie@yeah.net  —35—方定义，即 ( ) 2 ,edg eE g ra d f x y= − ； termE 表示用高斯函数平滑过的图像中各级轮廓线的曲率能量。可以通过调整各种图像能量的加权系数 , ,line edge termw w w 来控制主动轮廓线的行为。 式(1)中第 3 项 conE 表示外部约束产生的能量，这些外部约束由人工指定或由其它的高层机制确定，这些外部约束可以控制主动轮廓线接近或远离图像的某些显著特征。 求式(1)中能量函数极小值，可以使得主动轮廓线向图像的显著特征移动。计算主动轮廓线最小能量的方法有 3 种：(1)Kass 等人的使用的变分法[4]，这些方法要求外力可微，这就使得算法的应用受到了很大的限制；(2)Amini 等人提出的动态规划法[9]，这种算法放宽了对外力可微的限制，但是计算量大；(3)Williams 等人提出的贪心算法[10]，这种算法极大地缩短了计算能量函数极小值所需的时间。 在实际应用中，使用离散点的序列来表示主动轮廓线。假设 1 2, , , np p pL 是一条主动轮廓线的离散表示，即用图像平面上的一个点列来表示主动轮廓线。则该主动轮廓线的总能量为 ( )( ) ( ) ( )*11         =nsnake iinin t i image i con iiE E pE p E p E p===⎡ ⎤+ +⎣ ⎦∑∑     (4) 在我们的海面运动目标跟踪实验中，主动轮廓线的内部能量函数是  ( ) ( ) ( )int i cont i curv iE p E p E p= +                  (5) 其中 contE 和 curvE 表示主动轮廓线的连续能量和曲率能量。 连续能量 contE 的定义如下： ( ) 1cont i i iE p d p p −= − −                        (6) d 是所有点对之间距离 1i ip p −− 的平均值，即 1 011 ,   ( )ni i nid p p p pn −== − =∑  改变轮廓线上所有点 1 2, , , np p pL 的位置使 contE 最小，就是使得这些轮廓点趋于等间隔排列。曲率能量定义为 ( ) 21 12curv i i i iE p p p p− += − +                       (7) 主动轮廓线的形状越平滑，它的曲率能量就越小。   式(4)中的图像能量 imageE 定义为 ( ) ( )( )image i iE p grad I p= −                     (8) 其中 I 表示灰度图像，即使用灰度图像在点 ip 的负梯度幅值作为图像能量。 在我们的实验中，没有对主动轮廓线模型增加外部约束，即 ( ) 0con iE p = 。 综合式(6)～式(8)，主动轮廓线上每个点 ip 的总能量是  ( ) ( ) ( ) ( )i i cont i i curv i i img iE p E p E p E pα β γ= + +           (9) 其中， , ,α β γ 是各种能量的加权值。α 对应于轮廓线的连续性，较大的α 值使得轮廓线上各点趋于等间距分布；β 对应于轮廓线的角点；较大的 γ 值使得主动轮廓线对图像能量更加敏感。 我们使用 Williams 等人提出的贪心算法计算式(4)的极小值，该算法首先需要指定各个点的能量的加权系数（系数的选择在第 2 部分给出），其算法步骤大致如下： (1)使用式(9)计算主动轮廓线上每个点 ip 的邻域中各个点的能量 E。在计算 E 之前，每个能量项 , ,cont curv imgE E E 必须使用公式 ( ) ( )min max minnormalizedE E= − −  进行归一化，其中 max 和 min 是所查找的邻域中的最大和最小能量的值。 (2)选择具有最小能量的点； (3)将 ip 移动到这个点； (4)重复以上步骤直到算法收敛。 算法收敛是指迭代算法满足下列条件之一： (1)达到最大迭代次数； (2)在最后一次迭代中移动的主动轮廓点的数目，小于某个给定的值。 2 海面运动目标的跟踪 我们使用的海面运动目标跟踪方法大致可以分为 4 个步骤：(1)通过运动目标检测得到运动船只的二值图像模板；(2)获取运动目标的运动信息，即运动模型的参数；(3)根据得到的运动船只的二值图像模板选择初始的主动轮廓线；(4)对目标进行跟踪。这 4 步中，前面的 3 步都是为第 4 步的跟踪作准备。 2.1 目标模板检测 我们研究的是摄像机静止情况下的运动目标跟踪技术，所以使用背景消去法进行海面运动目标的检测。首先使用若干帧没有运动目标的图像对各个像素点建立混合高斯背景模型[11] ，然后使用建立的背景模型进行运动目标的检测。检测的公式如下： ( ) ( ) ( ) ( )1   ,   30  ,    , , ,, i iif Ielsex y x y x yB x y μ σ⎧ − >⎪= ⎨⎪⎩            (10) 其中 ( ),I x y 表示像素点 ( ),x y 的灰度值， 1, ,i M= L （ M 表示为像素点 ( ),x y 建立背景模型的高斯函数的个数）， ( ),B x y表示运动模板的像素点，值为 0 表示该点是背景点，值为 1表示该点是运动目标上的点。 2.2 目标运动信息的获取 根据检测到的运动目标在图像中的位置，将运动目标的状态分为 3 种：(1)目标正在进入监控区；(2)目标完全处于监控区中；(3)目标正在离开监控区。 运动目标跟踪技术适用于第(2)种状态，即当目标完全位于监控区中时，进行目标的跟踪。由于海面运动目标在监控区中大都是匀速直线运动，因此使用检测到的目标在进入监控区的若干帧中的位移量来对目标的运动速度作出估计： i i LS SvL−−=                                  (11) 其中 iS 和 i LS − 表示目标在第 i帧和第 ( )i L− 中的位置， L 表示相差的帧数。 2.3 初始轮廓线的自动选取 我们基于检测到的目标的二值图像，提出了一种初始轮廓线的自动选取算法，算法的具体步骤如下： (1)由检测到的目标的二值图像 B ，得到目标的轮廓线，并将轮廓线上的点以 Freeman 链码的形式存储到 { }| 1, ,iP p i m= = L 中； (2)计算目标轮廓线上各个点的斜率，计算公式如下： ( )( )3 / 22 2' '' '' '' 'ix y x yK px y⋅ − ⋅=+                        (12) 其中 ( ) ( ) ( )1 1' i i ix p x p x p+ −= −  ( ) ( ) ( )1 1' i i iy p y p y p+ −= −  ( ) ( ) ( ) ( )1 1'' 2i i i ix p x p x p x p− += − +  ( ) ( ) ( ) ( )1 1'' 2i i i iy p y p y p y p− += − +   —36—(3)删除点数组 P 中曲率为 0 的点，得到目标的初始主动轮廓线{ }0 | 1, ,init iC p i n= = L ； (4)找到初始主动轮廓线上的显著角点，判断点 ip 是否是角点的方法是，计算线段 1i ip p−uuuuuur与 1i ip p +uuuuuur的夹角 θ ，若 3 / 4θ π< ，则认为 ip 是角点； (5)确定主动轮廓线上所有点的 能量的加权系数 , ,α β γ 。取0.4α = ， 2.0γ = ，对于 β 的选择，分两种情况：若 ip 是角点，则 ( ) 0ipβ = ；若 ip 不是角点，则 ( ) 1ipβ = 。 使用上述算法，可以由运动目标的二值图像自动选择主动轮廓线模型的初始点。 2.4 运动目标的跟踪方法 得到了运动目标的初始主动轮廓线和运动速度的估计之后，就可以进行运动目标的跟踪，具体的在每一帧图像 I 中跟踪运动目标的算法如下： (1)对第 I 帧图像进行高斯平滑去噪，以去除噪声的影响； (2) 根 据 计 算 得 到 的 目 标 的 速 度 信 息 v 和 主 动 轮 廓 线 在 第( )1I − 帧中的位置，估计主动轮廓线在第 I 帧图像中的位置，得到初始的估计轮廓线 1I Iin i t in i tC C v−= + ； (3)使用第 1 节介绍的贪心算法使得主动轮廓线的能量最小，得到主动轮廓线的真实位置，从而得到运动目标的真实位置，计算目标的瞬时速度 'v ，并修改目标的运动参数 ( )1 'v v vω ω= − +                                 (13) 其中，ω 是大于 0 小于 1 的常数。 (4)重复步骤(1)～(3)，直到处理结束。 3 实验结果 实验数据是使用 SONY 公司制造的数码摄像机在厦门港拍摄的视频片断，视频流中每帧图像大小为 320×240。 在实验中，贪心算法中轮廓线上点的邻域的大小选为 3×3，每个控制点的各种能量的加权值按 2.3 节中步骤(5)所述方法确定，算法最大迭代次数为 100，迭代中移动的最少点数设为 3。图 1 是对海面单个运动目标进行跟踪的实验结果，图中的船只在监控区中从右向左运动。     初始轮廓线(757 帧)    787 帧         805 帧         820 帧 图 1 单个运动船只的跟踪 蓝色加号表示使用主动轮廓线自动选取方法选择的显著角点，这些点的曲率能量参数 β 的值为 0，绿色加号表示其余的非显著角点，这些点的曲率能量参数 β 的值为 1，红色线段是主动轮廓线上相邻点之间的连线。由图 1 所示的实验结果可以看出，基于主动轮廓线模型的运动目标跟踪方法在背景比较复杂的情况下也可以准确地跟踪运动目标的主要轮廓特征。图 2 为同时对在海面上两个运动船只的跟踪结果，被选定进行跟踪的两个运动目标在监控区中从右向左运动。    初始轮廓线(503 帧)    512 帧         527 帧          556 帧 图 2 多个运动船只的跟踪 各种标记的含义与图 1 中标记的含义相同。从此图可以看出，运动目标跟踪算法可以同时对多个海面运动目标进行准确的跟踪。 由以上实验结果可以看出，我们所提出的主动轮廓线自动选取方法可以较好地找到运动目标的角点，所提出的基于主动轮廓线模型的运动目标跟踪算法可以比较准确地跟踪海面上运动船只的主要轮廓特征。 4 结论 本文将主动轮廓线模型用于海面运动目标的跟踪，针对大多数文献中初始主动轮廓线都是由手工选取的不足之处，提出了一种基于运动目标二值图像的初始主动轮廓线自动选取方法；在自动选取主动轮廓线后，使用估计的目标运动信息和基于贪心算法的能量极小化方法进行运动目标的跟踪。 实验结果表明，自动轮廓线选择方法可比较准确地获得运动目标的特征轮廓线；基于主动轮廓线模型的运动目标跟踪方法可以比较准确地对海面上的多个运动目标进行跟踪。  参考文献 1 Nummiaro K, Meier E K, Gool L V. Object Tracking with an Adaptive Color-based Particle Filter[C]. Symposium for Pattern Recognition of the DAGM, Zürich, 2002: 353-360. 2 Huttenlocker D P, Noh J J, Rucklidge W J. Tracking Non-rigid Objects in Complex Scenes[C]. The 4th International Conference on Computer Vision, Berlin, Germany, 1993-05: 93-101. 3 Isard M, Blake A. Contour Tracking by Stochastic Propagation of Conditional Density[C]. European Conference on Computer Vision, Cambridge, UK, 1996: 343-356. 4 Kass M, Witkin A, Terzopoulos D. Snakes: Active Contour Models[C]. Proceedings of the 1ST International Conference on Computer Vision, London, 1987: 259-268. 5 李培华, 张田文. 主动轮廓线模型（蛇模型）综述[J]. 软件学报, 2000, 11 (6): 751-757. 6 Gastaud M, Barlaud M, Aubert G. Tracking Video Objects Using Active Contours[C]. IEEE Proceedings of the Workshop on Motion and Video Computing, 2002: 90-95. 7 Leymarie F, Levine M D. Tracking Deformable Objects in the Plane Using an Active Contour Model[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993, 15 (6): 617-634. 8 Menet S, Saint-Marc P, Medioni G. Active Contour Models: Overview, Implementation and Applications[C]. IEEE International Conference on Systems, Man and Cybernetics, Los Angeles, 1990: 194-199. 9 Amini A A, Tehran S, Weymouth T E. Using Dynamic Programming for Minimizing the Energy of Active Contours in the Presence of Hard Constrains[C]. The 2nd International Conference of Computer Vision, Tampa, Florida, 1988: 95-99. 10 Williams D J, Shah M. A Fast Algorithm for Active Contours and Curvature Estimation[J]. CVGIP: Image Understanding, 1992, 55(1): 14-26. 11 Stauffer C, Grimson W E L. Adaptive Background Mixture Models for Real-time Tracking[C]. IEEE Conference on Computer Vision and Pattern Recognition, Ft. Collins, CO, 1999: 246-252. 

Ships Tracking Based on Active Contour Model

http://dspace.xmu.edu.cn/bitstream/handle/2288/156499/%e5%9f%ba%e4%ba%8e%e4%b8%bb%e5%8a%a8%e8%bd%ae%e5%bb%93%e7%ba%bf%e6%a8%a1%e5%9e%8b%e7%9a%84%e6%b5%b7%e9%9d%a2%e8%bf%90%e5%8a%a8%e7%9b%ae%e6%a0%87%e8%b7%9f%e8%b8%aa.pdf?sequence=1&isAllowed=y

Ships Tracking Based on Active Contour Model

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository