提出了一种从复杂场景图像中提取建筑目标的算法.首先采用对手惩罚竞争学习方法改进基于图论超像素算法的分割粒度,得到分割效果较好的图像块;然后选择基于空间包络模式的支持向量机对图像块进行分类,区分出图像中的建筑图像块与非建筑图像块;最后通过建筑目标的结构特征验证图像中的候选建筑,提取出图像中建筑目标.在标准图像库进行的实验表明:本算法提取建筑目标的能力优于同类算法,并且满足一般应用的实时性要求

李渊

李玲玲

李翠华

金泰松

Xiamen University Institutional Repository

第38卷 第8期2010年 8月华 中 科 技 大 学 学 报 (自然科学版)J. Huazhong Univ. of Sci. & Tech. ( Nat ur al Science Edition)Vol. 38 No. 8Aug. 2010收稿日期: 2009-12-25.作者简介: 李玲玲( 1973- ) , 女, 副教授, E-mail: liling ling0371@163. com.基金项目: 国家自然科学基金资助项目 ( 60975011) ; 教育部新世纪优秀人才支持计划资助项目 ( 2009) ; 航空科学基金光电控制技术重点实验室资助项目 ( 20095155008) ;河南省科技厅基础与前沿技术研究计划资助项目 ( 092300410043) ;河南省高等学校青年骨干教师资助计划项目.自然图像中建筑目标提取算法李玲玲1金泰松2a李翠华2a李 渊2b( 1 郑州航空工业管理学院 计算机科学与应用系, 河南 郑州 450015; 2 厦门大学a 信息科学与技术学院, b 建筑与土木工程学院, 福建厦门 361005)摘要: 提出了一种从复杂场景图像中提取建筑目标的算法.首先采用对手惩罚竞争学习方法改进基于图论超像素算法的分割粒度,得到分割效果较好的图像块; 然后选择基于空间包络模式的支持向量机对图像块进行分类,区分出图像中的建筑图像块与非建筑图像块;最后通过建筑目标的结构特征验证图像中的候选建筑,提取出图像中建筑目标.在标准图像库进行的实验表明:本算法提取建筑目标的能力优于同类算法, 并且满足一般应用的实时性要求.关 键 词: 图像分析; 目标识别; 特征提取; 建筑; 直线; 自然图像中图分类号: T P391. 4 文献标志码: A 文章编号: 1671-4512( 2010) 08-0038-04An approach to extracting building objects in natural imagesL i L ingl ing1J in T aisong2aL i Cuihua2aL i Yuan2 b( 1 Depar tment o f Computer Science and Application, Zheng zhou Institute of Aeronautical IndustryManagement, Zheng zhou 450015, China; 2 a School o f Informat ion Science and T echnolog y, b Schoolof A rchit ecture and Civil Eng ineering , Xiamen Univ ersity , Xiamen 361005, China)Abstract: A new approach to ex t ract building objects w as propo sed. F ir st ly, r iv al penalized compet-it ive learning( RPCL) alg orithm w as used to improve segmentat ion gr anular ity of super-pix el alg orithmbased on g raph theo ry; Secondly, the spatial envelope w as used to classify the image patches usingsupport vector machine ( SVM ) classifier, and dist inguish building and non-building categ ory in theimage; F inally , building hypothesis in the image w as verif ied based on st ructure of the building cate-gory . T he exper iments show on standard dataset that the proposed algor ithm outperforms o ther sim-ilar algor ithms on building ex tr act ion, and also meet the r ea-l time r equirements in general applicat ion.Key words: image analysis; tar get recognit ion; feature ex t ract ion; building s; st raight line; naturalimage建筑目标检测识别技术在智能驾驶、室外智能移动机器人等领域有着广泛应用前景.研究人员在建筑目标的检测与识别方面做了大量的工作,他们主要处理的是航拍图像或者卫星图像,针对地面拍摄图像进行的研究工作极少. 文献[ 1]提出了一种从地面拍摄图像提取建筑目标的方法,该方法需要事先存储待检测建筑目标的模板, 并且只能识别出与模板相似的建筑目标. 与之不同的是,本文提出的方法不需要建立目标模板,并且能够提取复杂场景自然图像中的建筑目标.1 算法的主要流程本算法主要流程包括基于超像素的场景分割、基于空间包络模式的建筑目标分类和通过建筑目标的结构特征对候选目标进行验证等模块.本算法首先采用超像素方法对原始图像进行分割,得到分割效果较好的图像块;然后通过支持向量机分类器区分出不同图像块中的建筑类与非建筑类;最后根据人造建筑目标在图像中具有许多平行直线结构的特点验证分类器的分类结果, 提取出图像中的建筑区域.2 城市场景图像的粗分割超像素技术是由 Felzenszw alb 等 [ 2] 提出的一种新的分割技术, 其中超像素是一系列反映图像颜色、纹理、材质特征的小的、接近独立的区域.整个分割聚类过程如图 1所示.对一幅给定的原图像(图 1( a) ) , 通过文献[ 2]中方法将其分割为由超像素块区域组成的图 1( b) ,图中不同超像素块使用不同颜色进行标示. 由图 1( b)可知,不同场景的超像素块颜色是不同的, 然而建筑目标有几种颜色进行标示, 出现了目标的过分割.为了获得更好的分割效果, 需要对超像素块进行聚类,从而克服过分割的缺点.现有聚类方法很多, RCPL 算法是其中一种, M a等人证明了该算法的收敛性[ 3] .这表明基于 RPCL 算法的超像素聚类方法在理论上是可行的, 因此本文采用RPCL 算法对图像中的超像素块进行聚类. 通过该算法进行聚类的结果如图 1( c)所示, 分别使用箭头、圆圈表示不同的场景块.可以看出RPCL算图 1 对给定图像粗分割的过程法大体上将天空、地面以及建筑分割开来了.3 城市场景中的建筑目标的提取3. 1 选取区分建筑类与建筑类场景的模式为了对获得的图像区域赋予进一步的语义,区分出图像中的不同场景类, 从而将建筑区域块从图像中分割出来, 需要使用分类器对场景块进行分类.文献[ 4]等已经证明了场景分类的初始依据只与全局特征有关, 而与场景所包含的目标无关,并且说明了基于全局属性的 5维向量(导航性、开放性、粗糙性、延伸性和崎岖性)组成的空间包络向量,可以对自然场景做一个粗分类.因此本文在文献[ 4]的基础上采用基于全局属性的空间包络模式区分建筑场景类和其他场景类.通过对建筑场景图像库进行实验后发现: 建筑大多位于自然场景或者城市场景中; 并且相比其他场景图像, 建筑图像中有大量的竖直线, 本文定义该属性为垂直性 ( verticality ) . 针对这一特点,本文将垂直性与文献[ 4]中的自然性 ( N atu-r alness)、粗糙性( Roughness)组成区分建筑类与非建筑类场景的向量, 每个属性作为向量分量用来表示训练分类器的模式.空间包络模式中的自然性、粗糙性的获取采用文献[ 4]中的方法,并在该方法的基础上通过文献[ 5]中的方法提取图像中的竖直线获取图像区域的竖直性,将三种全局属性组成空间包络向量.3. 2 使用支持向量机进行建筑目标的提取使用加州理工学院视觉组提供的 Caltech-house图像库[ 6] 进行实验, 该图像库提供了建筑图像集和背景图像, 为建筑类目标构建一个不同角度、有代表性的图像训练集,并通过背景图像构建背景图像训练集. 每张图像可认为是一个图像块,其大小为 128 128或 256 256像素.建立图像库的方法可参考文献[ 7] .在分类过程中,输入图像获取空间包络模式的参数向量值,然后依据该参数向量值归属于建筑类特征还是背景类特征,将区域块映射为图像中的建筑图像块或者非建筑图像块.对基于 RBF 核函数、多项式核函数、线性核函数和 Sigmoid核函数 4种核函数的支持向量机进行实验后发现基于多项式核函数的支持向量机分类器具有较高的分类识别率, 说明多项式核函数更适合在复杂场景中的建筑类的识别,而其他核函数的识别结果不太理想, 所以本文采用基于多项式核函数作为支持向量机的核函数,其惩罚因子等于 1.39第 8 期 李玲玲等: 自然图像中建筑目标提取算法4 建筑候选目标验证由于分类器本身缺陷、训练集的不完备性,以及图像噪声、遮挡等因素的影响,导致分类器有时不能准确识别出建筑图像或者将其他场景错误地识别为建筑类图像, 因此需要验证分类器的分类结果以排除图像中的虚假目标, 准确识别出图像中的建筑目标.建筑目标作为一种人造目标, 含有很多直线结构,并且很多直线具有平行关系,建筑目标的这个特点可以作为识别的依据.验证阶段采用文献[ 8]中的直线提取算法获取建筑候选区域的直线特征集. 首先统计直线集中直线像素占整个区域像素的比例, 显然该比例越大,候选目标是建筑目标的可能性越高;然后统计直线特征集中具有平行关系直线对的数目, 显然该数目越多, 候选目标是建筑目标的可能性越高.因此本文评判建筑候选目标可能性的评判准则是p = 1( ni / N i ) + 2( li / L i ) , (1)式中: li , L i 分别是第 i 个候选区域中直线像素个数、像素总数, l i / L i 表示具有平行关系直线占整个区域直线总数的比例,它的取值作为评判分数的另一个评判分量; ni 和N i 是分别是第 i 个候选区域中平行直线的个数和直线总数, n i / N i 表示直线像素占整个区域像素的比例, 它的取值作为评判分数的评判分量; 1 和 2 是权值, 1 和 2 对2个评判分量进行加权, 表示 2 个评判分量的权重.通过实验发现 1 和 2 以及 p 的取值对最终识别结果有很大影响, 经过反复试验, 本文选取1 = 100和 2= 5以及 p 的评判阈值等于 0. 8.对输入图像中给定的一个候选目标区域, 计算候选目标区域的评判分数. 当计算获得的评判分数大于评判阈值, 判定该候选目标区域是建筑目标,否则判定该候选目标是非建筑目标.5 实验结果与分析采用标准图像集 加州理工学院视觉组提供的 caltech-house图像库[ 6 ]进行实验. 为了测试本算法的性能, 还对相关算法进行了对比实验.当前常见建筑提取算法通常是基于直线的提取算法,它们主要利用建筑目标在图像中具有平行结构的特点进行提取, 并且多数基于航拍图像.文献[ 9]首先根据局部颜色直方图得到自然图像中的候选目标, 然后再精匹配,从而获取图像中的建筑目标.文献[ 10]提出了一种根据统计语法提取自然图像中建筑目标的方法. 本文提出的算法采用了机器学习方法,通过训练分类器提取图像中的建筑目标, 并利用建筑目标的结构特征进行验证.将实验结果与文献[ 9]和[ 10]中的性能评价曲线进行了比较.图 2是建筑提取算法的识别性能曲线图.从图 2 看出: 与文献[ 9]和[ 10]相比,本算法具有更好的性能.实验中还发现对于建筑目标处于复杂场景并且目标形状不是很规则的图像,本文提出的算法进行目标提取能力优于其他 2种方法.虽然本文中的算法在主频 1 GHz, 内存 512Mbyte的机器上提取与训练每幅图像平均需要 2s,但是待整个训练过程完毕后, 本文提出的算法处理 1幅测试图像平均需要 0. 4 s,满足一般应用的实时性要求.实验证明了该方法提取建筑目标的性能超出了当前基于直线特征的建筑目标检测方法.图 2 建筑提取算法的识别性能曲线图1 本算法; 2 文献[ 10] ; 3 文献[ 9]感谢吴骢在超像素模式技术提取, 以及施华、李胜睿在空间包络模式生成方面所做的实验工作,一并致谢!参 考 文 献[ 1] Bohm J, Haala N , Kapusy P . Automat ed appear-ance-based building detection in t errestr ial images[ J] . Int ernational A rchiv es on Phot og rammetry andRemo te Sensing, 2002, 34( 5) : 491-495.[ 2] Felzenszw alb P, Huttenlo cher D. Efficient g raph-based image segment ation [ J] . I nternat ional Journalo f Computer Vision, 2004, 59( 2) : 167-181.[ 3] Ma J W, Wang T J. A cost- function approach to r ivalpenalized competitive learning [ J] . IEEE T ransac-tions on Systems Man and Cybernetics, 2006,36( 4) : 722-737.[ 4] G reene M R , O liva A. Recognition of natural scenes40 华 中 科 技 大 学 学 报(自然科学版) 第 38 卷fr om global pr operties: seeing- the- forst wit hout re-presenting the tr ees [ J ] . Cognitive Psysholog y,2009, 58( 2) : 137-179.[ 5] 叶聪颖. 建筑目标识别中检测与分割技术的研究[ D] . 厦门大学图书馆, 2005.[ 6] Computational V ision G roup at Caltech. PasadenaH ouses 2000 [ EB/ OL ] . [ 2009-05-10 ] . htt p:w ww . v ision. ca ltech. edu/ htm-l files/ archiv e. html.[ 7] Lepet it V , Fua P. Keypo int r ecognition using ran-domized trees [ J ] . IEEE Transactions on Pat ternAnaly sis and Machine Intellig ence, 2006, 28 ( 9 ) :1 465-1 479.[ 8] 潘大夫, 汪 渤. 基于边缘方向的直线提取算法[ J] .北京理工大学学报, 2008, 28( 6) : 513-517.[ 9] Zhang W, K seck a J. Localizat ion based on buildingr ecognition[ C] Pr oceeding s of IEEE Computer So-ciety Conference on Computer V ision and Pat ternRecognition. [ s. n. ] , 2005: 21-28.[ 10] Han F, Zhu S C. Bottom-up/ top-dow n image par-sing with attr ibut e g raph g rammar [ J] . IEEE Trans-actions on Pattern Analysis and Machine Intell-ig ence, 2009, 31( 1) : 59-73.复杂曲面数字化制造理论与方法研讨会在我校召开7月 5~ 6日, 复杂曲面数字化设计-加工-测量一体化理论与几何方法研讨会 在我校国际学术交流中心召开.本次研讨会由我校与国家自然科学基金委联合主办、我校机械学院与数字制造装备与技术国家重点实验室共同承办,来自加拿大、香港特别行政区、国家自然科学基金委、国内各高校的专家和学者以及2010年机器人、机械设计和机械制造中的微分几何方法国际研修班 学员、机械学院相关专业的师生代表近 200人参加了会议.开幕式由数字制造装备与技术国家重点实验室主任丁汉教授主持,大会主席、中国科学院院士熊有伦教授致开幕词. 副校长邵新宇、机械学院党总支书记周莉萍分别代表学校、机械学院致词.研讨会上, CAD/ CAM 领域国际著名专家、加拿大工程院院士顾佩华教授,智能控制和智能国际知名专家、IEEE Fellow、香港城市大学冯刚教授, 机器人和自动化国际知名专家、IEEE Fellow、香港科技大学李泽湘教授等13位专家学者围绕 复杂曲面数字化设计-加工-测量-体化 、高速铣削过程动态分析与精度预测 、机器人、机械设计和制造中的几何方法 、多轴数控加工及其刀具轨迹优化 、微分代数方程的几何积分方法 等专题作了大会报告.与这次研讨会相衔接的还有李泽湘教授和来自德国布伦瑞克工业大学数学系计算数学研究所的Harald Low e教授开设的 2010年机器人、机械设计和机械制造中的微分几何方法国际研修班 .41第 8 期 李玲玲等: 自然图像中建筑目标提取算法

自然图像中建筑目标提取算法

http://dspace.xmu.edu.cn/bitstream/handle/2288/17820/%e8%87%aa%e7%84%b6%e5%9b%be%e5%83%8f%e4%b8%ad%e5%bb%ba%e7%ad%91%e7%9b%ae%e6%a0%87%e6%8f%90%e5%8f%96%e7%ae%97%e6%b3%95.pdf?sequence=1&isAllowed=y

自然图像中建筑目标提取算法

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository