本文主要进行人脸检测与跟踪技术的研究和应用。首先，对利用统计方法进行人脸分类器的训练和使用技术进行了研究，并构建了人脸检测系统。其次，在人脸跟踪方面本文主要根据人脸肤色特征，采用非参数迭代技术进行跟踪，并面向实际监控项目的应用要求设计完成了人脸检测与跟踪系统。本文概述了人脸检测与跟踪的研究与发展现状，对目前主要的几种人脸检测与跟踪方法作了详细论述；对基于扩展的类Haar特征利用AdaBoost训练人脸分类器的方法进行了深入研究和应用；用Hue信息建立人脸色彩直方图，利用CamShift算法对人脸进行跟踪。本文的主要研究工作和创新点包括如下几个方面：1、对在类Haar特征进行扩展的基础上利用Ad...This thesis presents a method for building a face detecting and tracking system. We carry up a deep research into the training and applying of face classifiers based on the statistical method，which is widely used in face detecting field. In the meantime we build a face tracking system using the CamShift algorithm based on the hue information of skin color，which is a robust nonparametric technique ...学位：工学硕士院系专业：计算机与信息工程学院计算机科学系_计算机应用技术学号：20032802

吴健新

Xiamen University Institutional Repository

学校编码：10384                            分类号      密级       学号：200328021                                    UDC          厦  门  大  学 硕  士  学  位  论  文 智能监控系统中的人脸检测与跟踪研究 Face Detecting and Tracking on Intelligent Surveillance System 吴 健 新 指 导 教 师 ： 李翠华 教授 专 业 名 称 ： 计算机应用技术 论文提交日期 ： 2006 年 5 月  日 论文答辩日期 ： 2006 年 5 月 29 日 学位授予日期 ： 2006 年 月  日  答辩委员会主席： 刘明业 教授   评    阅    人： 刘明业 教授   李名世 副教授   2006 年 5 月厦门大学博硕士论文摘要库厦门大学博硕士论文摘要库  厦门大学学位论文原创性声明   兹呈交的学位论文，是本人在导师指导下独立完成的研究成果。本人在论文写作中参考的其他个人或集体的研究成果，均在文中以明确方式标明。本人依法享有和承担由此论文产生的权利和责任。                         声明人（签名）： 年    月    日  厦门大学博硕士论文摘要库厦门大学博硕士论文摘要库  厦门大学学位论文著作权使用声明   本人完全了解厦门大学有关保留、使用学位论文的规定。厦门大学有权保留并向国家主管部门或其指定机构送交论文的纸质版和电子版，有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅，有权将学位论文的内容编入有关数据库进行检索，有权将学位论文的标题和摘要汇编出版。保密的学位论文在解密后适用本规定。 本学位论文属于   1、保密（  ），在   年解密后适用本授权书。   2、不保密（  ） （请在以上相应括号内打“√”）   作者签名：      日期：  年 月 日 导师签名：      日期：  年 月 日  厦门大学博硕士论文摘要库厦门大学博硕士论文摘要库  摘 要 本文主要进行人脸检测与跟踪技术的研究和应用。首先，对利用统计方法进行人脸分类器的训练和使用技术进行了研究，并构建了人脸检测系统。其次，在人脸跟踪方面本文主要根据人脸肤色特征，采用非参数迭代技术进行跟踪，并面向实际监控项目的应用要求设计完成了人脸检测与跟踪系统。 本文概述了人脸检测与跟踪的研究与发展现状，对目前主要的几种人脸检测与跟踪方法作了详细论述；对基于扩展的类Haar特征利用AdaBoost训练人脸分类器的方法进行了深入研究和应用；用Hue信息建立人脸色彩直方图，利用CamShift算法对人脸进行跟踪。本文的主要研究工作和创新点包括如下几个方面： 1、对在类Haar特征进行扩展的基础上利用AdaBoost训练用于正面人脸和侧面人脸检测的人脸分类器的方法进行了深入研究，构建出人脸检测模块，在同时使用两个分类器对输入图像进行人脸检测后，合并重复区域，给出人脸位置。侧面人脸分类器的加入使得系统能够处理旋转角度较大的人脸情况，大大提高了系统的检测能力。 2、对CamShift方法进行了深入研究并把它应用于人脸跟踪系统中。在检测出人脸后，利用Hue信息对人脸区域建立色彩直方图，对后续帧利用该信息采用CamShift对人脸区域进行跟踪，有效地解决了人脸在平面内旋转和遮挡严重时检测手段失效的情况。CamShift 也可以进行多个人脸的跟踪，只要它们不要交叉的太严重。 3、建立了一个面向实际应用的人脸检测与跟踪系统，在检测到人脸后系统自动转入跟踪阶段，并且根据跟踪信息系统自动调整云台的方位和镜头的参数使得采集的图像效果达到 佳。在检测和跟踪过程中系统能够达到15帧/S准实时的处理速度。系统预留接口可添加短信报警模块以及网络传输模块进行功能扩展。 4、利用人脸跟踪技术对智能游戏人机接口作了初步尝试，开发出一个利用人脸来控制俄罗斯方块游戏的演示系统。  关键词：人脸检测；人脸跟踪；视频监控。厦门大学博硕士论文摘要库厦门大学博硕士论文摘要库  Abstract This thesis presents a method for building a face detecting and tracking system. We carry up a deep research into the training and applying of face classifiers based on the statistical method，which is widely used in face detecting field. In the meantime we build a face tracking system using the CamShift algorithm based on the hue information of skin color，which is a robust nonparametric technique for climbing density gradients to find the mode(peak) of probability distributions. The face detecting and tracking system we design is qualified for real video surveillance project. This thesis begins with an instruction to the development of face detecting and tracking technology and follows a general description of several primary methods for face detecting and tracking. Then we carry up a deep research into the face classifiers using Adaboost based on extended Haar-like features; build the face color histogram by hue information, and track the face by CamShift algorithm. The main research innovations and contributions are summarized as follows: 1、We carry up a deep research into training face classifiers for frontal faces and profile faces detection using the AdaBoost based on the extended Haar-like features. And we use two classifiers simultaneously for face detecting. The profile faces classifier can efficiently detect faces with larger lateral rotation，which compensates the shortcoming of the frontal face classifier. The combination of frontal and profile face classifiers helps improve the detection result a lot，and makes the system more robust. 2、We explore the CamShift algorithm and put it into the face tracking system. We build the hue histogram on the detected face region and then 厦门大学博硕士论文摘要库  track the face region using the CamShift algorithm in the following frames，which solves the face rotation and occlusion problems well. And the CamShift algorithm can be applied to track multiple faces simultaneously in case that they don’t occlude too much. 3、We build a face detecting and tracking system，that can be put into real surveillance project. The system tracks the detected faces and adjusts the PTU and lens automatically according to the feedback information of the tracking. So the face tracked can be maintained in the center of the tracking window. The system’s processing rate of face detecting and tracking is around 15 frames/second. The system supports the extension of SMS module and network transmission module. 4、What’s more, we have carried a preliminary project on using the face tracking technology in the intelligent computer game. We have developed a simple demo that presents how to control game by face moving.  Keywords: face detecting； face tracking； video surveillance. 厦门大学博硕士论文摘要库  目 录 第一章 引言............................................ 1 1.1 课题背景和意义 ........................................... 1 1.2 人脸检测与跟踪的发展现状 ................................. 2 1.3 研究内容及技术难点 ....................................... 3 1.4 论文结构安排 ............................................. 4 第二章 绪论............................................ 5 2.1 人脸检测技术的研究 ....................................... 5 2.1.1 基于特征的方法（Feature-based method）............... 5 2.1.2 模版匹配方法（Template matching method）............. 8 2.1.3 基于表象的方法（Appearance-based method）........... 11 2.2 人脸跟踪技术的研究 ...................................... 16 2.2.1 运动目标跟踪........................................ 17 2.2.2 人脸跟踪............................................ 19 2.3 小结 .................................................... 21 第三章 基于类 Haar 特征的 AdaBoost 人脸检测 ............. 23 3.1 类 Haar 特征 ............................................. 23 3.1.1 类 Haar 特征讨论..................................... 23 3.1.2 积分图.............................................. 27 3.2 分类器的构造和级联 ...................................... 30 3.2.1 弱分类器............................................ 30 3.2.2 强分类器............................................ 31 3.2.3 级联分类器.......................................... 31 3.3 用 AdaBoost 方法构建分类器 ............................... 32 3.4 小结 .................................................... 34 第四章 基于 CamShift 的人脸跟踪 ........................ 35 4.1 颜色概率分布图（Color Probability Distributions） ....... 35 4.2 均值位移算法 （Mean Shift） ............................. 37 厦门大学博硕士论文摘要库  4.3 连续自适应的均值位移算法（CamShift） .................... 39 4.4 CamShift 算法的特点...................................... 42 4.5 小结 .................................................... 44 第五章 人脸检测与跟踪系统的设计与实现 ................. 45 5.1 系统组成与连接 .......................................... 45 5.1.1 系统硬件连接........................................ 45 5.1.2 解码器的控制........................................ 46 5.2 系统流程 ................................................ 48 5.2.1 系统整体流程........................................ 48 5.2.2 人脸检测流程........................................ 49 5.2.3 人脸跟踪流程........................................ 51 5.3 运行结果 ................................................ 53 5.3.1 人脸检测的运行结果.................................. 53 5.3.2 人脸跟踪的运行结果.................................. 55 5.4 小结 .................................................... 58 第六章 总结与展望..................................... 61 6.1 主要工作总结 ............................................ 61 6.2 将来工作的展望 .......................................... 62 参考文献.............................................. 63 研究生期间发表论文及参与项目 .......................... 69 致谢.................................................. 71               厦门大学博硕士论文摘要库  Table of Contents Chapter 1: Introduction ................................ 1 1.1 Background and Signification ............................. 1 1.2 Status of Face detection and Tracking .................... 2 1.3 Research Points and difficulty ........................... 3 1.4 Arrangement of Thesis .................................... 4 Chapter 2: Introduction to Face Detection and Tracking . 5 2.1 Research on Face Detection ............................... 5 2.1.1 Feature-based method................................. 5 2.1.2 Template matching method............................. 8 2.1.3 Appearance-based method............................. 11 2.2 Reaserch on Face Tracking ............................... 16 2.2.1 Moving Objects Tacking.............................. 17 2.2.2 Face Tracking....................................... 19 2.3 Brief Summary ........................................... 21 Chapter 3: Face Detection by AdaBoost Based on Haar-Like Feature ............................................... 23 3.1 Haar-Like Feature ....................................... 23 3.1.1 Introduction to Haar-Like Feature................... 23 3.1.2 Integral Image...................................... 27 3.2 Construction of Classifier and Cascade Structure ........ 30 3.2.1 Weak Classifier..................................... 30 3.2.2 Strong Classifier................................... 31 3.2.3 Cascade Classifier.................................. 31 3.3 Construction of Classifier Using AdaBoost Method ........ 32 3.4 Brief Summary ........................................... 34 Chapter 4: Face Tracking Based on CamShift ............ 35 4.1 Color Probability Distributions ......................... 35 厦门大学博硕士论文摘要库  4.2 Mean Shift .............................................. 37 4.3 Continously Adaptive Mean Shift Algorithm（CamShift） ... 39 4.4 The Character of CamShift ............................... 42 4.5 Brief Summary ........................................... 44 Chapter 5: The Face Detection and Tracking System ..... 45 5.1 The Hardware Architecture ............................... 45 5.1.1 The Link of the Hardware ........................... 45 5.1.2 The PTU and Lens Controll........................... 46 5.2 The Software Architecture ............................... 48 5.2.1 Flow of The System.................................. 48 5.2.2 Flow of Face Detection Module....................... 49 5.2.3 Flow of Face Tracking Module........................ 51 5.3 Experiments Result ...................................... 53 5.3.1 Experiments Result of Face Detection Module......... 53 5.3.2 Experiments Result of Face Tracking Module.......... 55 5.4 Brief Summary ........................................... 58 Chapter 6: Conclusions and Prospections ............... 61 6.1 Conclusions of the Thesis ............................... 61 6.2 Prospections of the Future Work ......................... 62 References ............................................ 63 Publications and Works ................................ 69 Acknowledgement ....................................... 71   厦门大学博硕士论文摘要库第一章 引言 1 第一章 引言 监控系统使用的日益广泛对智能化提出了越来越多的要求，人脸检测和跟踪技术的发展已使得监控系统智能化的程度不断得到提高。人脸检测和跟踪技术是计算机视觉和模式识别领域一个经典的问题，经过几十年的研究发展，研究者们已提出许多方法和经验。但是，由于人脸特有的模式和特点，人脸检测和跟踪在实际应用中仍然面临许多问题。本章主要对人脸检测和跟踪的背景、意义、研究重点以及全文的章节安排作概要介绍。 1.1 课题背景和意义 随着我国经济的发展以及人民生活水平的提高，视频监控系统的需求越来越大。数字视频监控系统不仅符合信息产业未来发展的趋势，而且蕴藏着巨大的商机和经济效益，成为目前信息产业中颇受关注的数字化产品。近年来，视频监控在军事、经济等方面得到了广泛的应用，如小区安全监控、旅游景点人流量统计、银行系统中的ATM监控等。但是现在大部分视频监控系统的实际监控工作还是由人工完成，在很多情况下，视频数据只是作为“事后证据”，这使得视频监控系统丧失了其应有的主动性和实时性的优势，并且消耗较多的人力和精力。另外，为预防和阻止犯罪，对无人值守的自动视频监控系统的需求量日益上升，这类系统的主要目标是减少对繁琐人工的依赖，自动完成对复杂环境中出现的人进行实时观测并对他的行为进行分析与描述。 计算机视觉和模式识别技术的不断进步促进了视频监控系统向智能化方向发展。智能视频监控系统的核心就是利用计算机视觉技术从视频图像中检测、跟踪、识别人脸并对其行为进行理解与描述，其中包含两个重要的环节就是人脸检测（Face Detection）和人脸跟踪（Face Tracking）。人脸是人类 重要的生物特征之一，包含许多有用的信息，如身份、表情等，利用人脸检测技术在视频中检测到人脸后可以对其进行跟踪、识别等后续操作，并可以主动发出警告信号告知值班人员。人脸是一类具有相当复杂的细节变化的自然结构目标，人脸器官的形状、尺寸、纹理、表情等变化复杂，难以用统一的模式加以描述，且人脸检测厦门大学博硕士论文摘要库智能监控系统中的人脸检测与跟踪研究 2 的实际应用环境也十分复杂，不同的成像条件、不确定的饰物及复杂的背景等均向人脸检测算法提出了苛刻的要求。同时，序列图像中动态场景运动的快速分割、人脸的非刚性运动、人脸自遮挡和目标之间互遮挡的处理等也为人脸的跟踪带来了一定的挑战。人脸的检测与跟踪技术要涉及到模式识别、图像处理、计算机视觉、人工智能等学科知识。因此，如果能够找到上述问题的解决方法，成功构造出实时高效的人脸检测与跟踪系统，将为解决其它类似的复杂模式的检测与跟踪提供重要的启示。 1.2 人脸检测与跟踪的发展现状 人脸检测问题 初来源于人脸识别（Face Recognition）。人脸识别的研究可以追溯到上个世纪六、七十年代，经过几十年的曲折发展已日趋成熟[1、2]。人脸检测是自动人脸识别系统中的一个关键环节，但是早期的人脸识别研究主要针对具有较强约束条件的人脸图象（如无背景的图象），往往假设人脸位置已知或很容易获得，因此人脸检测问题并未受到重视。但是近几年来，随着社会的进步和科学的发展，视频监控、远程视频会议、智能人机接口等应用对人脸检测和跟踪技术提出了进一步要求，使得人脸检测和跟踪开始作为一个独立的课题发展，学者们才把注意力转向人脸检测与跟踪领域。目前人脸检测与跟踪的应用背景已经远远超出了人脸识别系统的范畴。人脸检测与跟踪已成为计算机视觉及相关领域中的关键技术，在基于内容的检索、数字视频处理、智能人机接口、视觉监测等方面有着重要的应用价值。由于人脸的检测与跟踪在高级人机交互、安全监控、视频会议、医疗诊断及基于内容的图像存储与检索等方面具有广泛的应用前景和潜在的经济价值，从而激发了广大科技工作者及相关商家的浓厚兴趣，国内外已经开展了大量相关项目的研究。例如，国外比较著名的有MIT、CMU等；国内有清华大学、中科院计算所和自动化所、北京工业大学等单位人员从事人脸检测跟踪相关的研究。而且MPEG7标准组织已经建立了人脸识别的草案小组，人脸检测算法也是一项征集的内容。随着人脸检测与跟踪研究的深入，国际上发表的论文数量也大幅度增加，当前，国际上一些权威期刊和重要的学术会议如IJCV ( International Journal of Computer Vision )、CVIU(Computer Vision and Image Understanding )、PAMI(IEEE Trans. on Pattern Analysis and Machine 厦门大学博硕士论文摘要库Degree papers are in the “Xiamen University Electronic Theses and Dissertations Database”. Fulltexts are available in the following ways: 1. If your library is a CALIS member libraries, please log on http://etd.calis.edu.cn/ and submitrequests online, or consult the interlibrary loan department in your library. 2. For users of non-CALIS member libraries, please mail to etd@xmu.edu.cn for delivery details.厦门大学博硕士论文摘要库

Face Detecting and Tracking on Intelligent Surveillance System

http://dspace.xmu.edu.cn/bitstream/handle/2288/51959/%e6%99%ba%e8%83%bd%e7%9b%91%e6%8e%a7%e7%b3%bb%e7%bb%9f%e4%b8%ad%e7%9a%84%e4%ba%ba%e8%84%b8%e6%a3%80%e6%b5%8b%e4%b8%8e%e8%b7%9f%e8%b8%aa%e7%a0%94%e7%a9%b6.pdf?sequence=1&isAllowed=y

Face Detecting and Tracking on Intelligent Surveillance System

Abstract

Similar works

Full text

Available Versions

Xiamen University Institutional Repository