計畫編號：NSC93-2213-E032-010研究期間：200408~200507研究經費：502,000[[abstract]]人體追蹤系統已被廣泛研究與應用，如大樓安全監控系統，利用人體自動監控 系統，可有效管制人員進出。人體追蹤系統亦能有效的應用在動作分析理解(Motion understanding)上，利用追蹤系統，我們可以有效偵測出人體之角度與位置，進而分 析此動作或是判斷此動作的內涵；人體追蹤系統亦能應用在輔具上，利用影像的追 蹤，提醒盲生即將遇到之空間阻礙。 然而在人體追蹤系統的研究中，常會因為陰影的產生，造成人體追蹤系統的失 敗。或是因為人體與背景的顏色相似，導致追蹤失敗。在本計劃中，我們計劃提出 一套特徵抽取技術，可以有效的抵抗光線的改變，並能成功的分辨出與背景顏色相 近的物體。在我們提出的架構中，我們結合小波理論，去除雜訊，並提出陰影去除 技術，能有效的分辨陰影與追蹤物體，有效去除陰影，增強追蹤系統的強健度。並 利用色彩變化量作為追蹤之特徵參數，用以有效的減少光線因素對追蹤系統的影 響。並引用卡曼濾波器與區塊預測法，預測目標物下一個移動位置。如此，即使人 體的移動速度與方向改變(如蹲下、爬行)，皆可以偵測出此人體，並進行有效的追 蹤。[[sponsorship]]行政院國家科學委員

謝景棠

計畫編號：NSC93-2213-E032-010研究期間：200408~200507研究經費：502,000人體追蹤系統已被廣泛研究與應用，如大樓安全監控系統，利用人體自動監控 系統，可有效管制人員進出。人體追蹤系統亦能有效的應用在動作分析理解(Motion understanding)上，利用追蹤系統，我們可以有效偵測出人體之角度與位置，進而分 析此動作或是判斷此動作的內涵；人體追蹤系統亦能應用在輔具上，利用影像的追 蹤，提醒盲生即將遇到之空間阻礙。 然而在人體追蹤系統的研究中，常會因為陰影的產生，造成人體追蹤系統的失 敗。或是因為人體與背景的顏色相似，導致追蹤失敗。在本計劃中，我們計劃提出 一套特徵抽取技術，可以有效的抵抗光線的改變，並能成功的分辨出與背景顏色相 近的物體。在我們提出的架構中，我們結合小波理論，去除雜訊，並提出陰影去除 技術，能有效的分辨陰影與追蹤物體，有效去除陰影，增強追蹤系統的強健度。並 利用色彩變化量作為追蹤之特徵參數，用以有效的減少光線因素對追蹤系統的影 響。並引用卡曼濾波器與區塊預測法，預測目標物下一個移動位置。如此，即使人 體的移動速度與方向改變(如蹲下、爬行)，皆可以偵測出此人體，並進行有效的追 蹤。行政院國家科學委員

Tamkang University Institutional Repository

????????????????  ????   ??????????????????????????  ?????????? ?????NSC93-2213-E-032-010- ?????93?08?01??94?07?31? ???????????????     ?????????  ??????????     ????????? ?????????????????????? ?????????????     ? ? ? ? 94?9?5? 行政院國家科學委員會專題研究計畫成果報告 公開環境下，具有陰影去除技術之強健性即時人體追蹤系統    Preparation of NSC Project Reports 計畫編號：NSC 92－2213－E－032－018               執行期限：92 年 08 月 01 日至 93 年 07 月 31 日 主持人：謝景棠   淡江大學電機工程學系 計畫參與人員：吳業寬   淡江大學電機工程學系  一、中文摘要      本系統主要在研究一套強健性之人體追蹤系統。有別於傳統的追蹤系統，我們引用卡曼濾波器作為追蹤系統之預測器，並提出有效的追蹤特徵，無論是在快速移動，雙人交錯或是戶外複雜背景環境下，皆可以有效且成功的追蹤人體。同時我們提出了陰影去除技術，與光線雜訊去除技術，如此，無論是光線的明暗或是陰影，不會影響追蹤系統的準確性與穩定性。我們亦加入小波轉換，利用多層解析的特性，利用低頻部份低雜訊與人體物體擷取流程，並套用高頻細微紋理的特性於特徵追蹤中。經由實驗結果可知，利用我們的追蹤系統，廣泛的運用於公開環境中，皆可以得到極佳的穩定性與準確度。  關鍵詞：人體追蹤、陰影去除、小波轉換，卡曼濾波器  Abstract  The illumination variation and cast shadow cause serious problems while detecting and tracking people due to misclassification of these points as foregrounds. We propose a robust framework for detecting people by eliminating the lighting effects and shadow hierarchically. The DWT and human visual system are adopted to classify the object and the light effect noise such as shadow and spotlight. A multi-resolution framework for tracking people is presented using wavelet transform and kalman filter in unconstrained environments. The kalman filter is adopted to be the estimator in this system. The tracking system is efficient and effective framework by combining the corrections between color and position information as the recognition technique of the feature tracking. Experiments show that the system we proposed achieves optimal performance based on the complicated backgrounds.  1 Keywords: People tracking, Shadow removal, Wavelet transform, Kalman filter  二、緣由與目的  人體追蹤在近幾年被廣泛研究與應用，如大樓安全監控系統，利用人體自動監控系統，可有效管制人員進出，在一連串全球性恐怖事件陰影下，人體追蹤辨識系統己被廣泛應用與討論。人體追蹤系統亦能有效的應用在動作分析理解(Motion understanding)上，利用追蹤系統，。人體移動的位置與速度具有多變性且沒有任何相關性，且人體轉換方向是快速突然，預備動作並不明顯；而一般物體追蹤，例如車輛追蹤，必是以同一方向，以等加速度緩升，一般物體移動方向不會有急遽方向轉換，方向轉換前必有很多的預備動作。基於以上的理由，我們認為若以傳統連續影像相減的差值作為影像追蹤的標準，並不能順利偵測到移動快速或是移動方向大幅改變之目標物，且同時周圍環境的改變(例如光線的改變，樹葉的飄落…等)，亦會造成目標物的追蹤失敗。 人體陰影是影響追蹤系統準確度的最大因素之一。人體在戶外環境或是在光源不均勻的室內環境，會產生陰影。在追蹤系統中，陰影常會被誤認為人體而進行追蹤。所以，陰影去除技術在追蹤系統中，顯得格外的重要。有效陰影去除技術，不但要能有效的抽取陰影部分，並要能明顯的分辨出陰影與黑衫、頭髮等黑色物體之區別。 本系統中，採用卡曼濾波器與區塊預測搜尋法，有效的追蹤不規則移動之行人。並採用大小變異數作為追蹤之特徵，能克服追蹤系統過程中，光線的改變，並能有效的運用在穿著各種款式，各種顏色紋理衣服之人體追蹤。為了增加系統的強健度，我們提出了光線雜訊及陰影去除技術，能提升追蹤的品質及準確度。圖一、二分別是追蹤系統與光線雜訊去除技術之流程圖。       inputBackGroundNew FrameObjectDetectionFeatureextractionKalmanFilterFeatureLabeling IDWTOutputMotion  CompensationDWTDWT 圖(一)  追蹤系統流程圖   DWTBackground Frame DWT3*3 Sub_block3*3  Sub_block > JND ? ShadowRemovalI=0, Low_frequency, Y    I=1, High_frequency, I, QI=1 ?I=1Y YNNTracking StartI=0 Foreground Frame 圖(二)  光線雜訊去除技術流程圖 三、結果與討論   2(一) 陰影與光線雜訊去除技術模擬結果            圖三為光線雜訊去除模擬結果，圖三(a) 為測試原圖，圖三(b) 為受光害影響之影像，例如：光線的改變、聚光燈的照射等。圖三(c)為經過光線雜訊去除技術之後，可以有效的去除光害影像，增加追蹤與辨識的強健度。                         圖四(a)-(f)為陰影去除模結果，圖四(a)(c)(e)為監視模擬影像，圖四(a)，監視影像中有ㄧ物件進入，經陰影去除技術可成功的判斷其為陰影並去除，如圖四(b)所示。圖四(c) 為一模擬影像，陰影伴隨著人體進入監視畫面中，此人體本身因光線照測角度的影響，會產生自身陰影(人體因光線不足，產生狀似陰影之黑塊)。追蹤進行時，陰影去除技術可以有效的偵測去除陰影，但可以有效的分辨出較暗之人體，避免將其去除，如圖四(d)所示。圖四(e)為模擬影像，追蹤人體穿著黑色上衣，陰影去除技術可以有效的分辨其與陰影之差別，並成功的框出人體。  (二) 追蹤系統模擬結果      傳統追蹤方法多利用方向與速度預測法，加以預測且追蹤目標的移動位置與方向。然而這樣的追蹤方法若遇到瞬間的方向改變或位置改變，易造成追蹤誤差與失敗。在我們提出的系統中，我們使用卡曼濾波器做為預測，卡曼濾波器可以隨時調整其追蹤的方向，且不受到搜尋範圍之限制。在特徵補償時，引用鑽石搜尋法做為補償搜尋器，更可以有效且迅速的追蹤目標。      (a)                (b)    (c)               (d)       圖(三)  光線雜訊去除模擬結果圖     (a)             (b)            (c) 圖(五)  行徑方向改變模擬結果圖    圖五為追蹤模擬結果圖。圖中之方框代表追蹤到之特徵點。圖中之追蹤目標由監視螢幕之右方進入，於畫面中間遭障礙物阻擋，並改變行徑方向。由圖五結果可知，經由我們所提出之追蹤系統可以成功且有效的追蹤目標，                                          (a)                (b)    (a)               (b)    (c)               (d)   (c)                (d)   圖(六)  人體快速移動之模擬結果圖 (e)                (f)   圖(四)  陰影去除技術模擬結果圖  (a)               (b)   (c)                (d)   圖(七)  人體高度改變之模擬結果圖  (a)               (b)    (c)               (d)   圖(八)  背景複雜反光之追蹤模擬結果圖  3圖六為人體快速移動之模擬結果，在模擬資料中，人體由左方跑步進入，速度快且身影逐漸變小。經由實驗結果可知，我們可以偵測且追蹤快速移動之人體。圖七為人體高度改變之追蹤模擬結果，在模擬資料中，人體由瞬間蹲下，且已爬行姿勢移動位置。經由實驗結果可知，我們可以偵測且追蹤高度改變之人體。   圖八為背景複雜反光之追蹤模擬結果，由圖六可知，背景中，樹葉的飄動會影響追蹤的準確度，而汽車擋風玻璃的反光，會導致大特徵點的追蹤錯誤，但小特徵點仍可以成功的追蹤人體移動軌跡。   圖八是模擬路人形跡詭異，企圖偷竊車內物品。使用本系統可以成功的追蹤人體的位置與移動軌跡，我們亦可以將其發展成監視防盜系統，當人體停留在某ㄧ固定位置過久，系統可以發出警報，驅離可疑的人物。                                                  (c)               (d)     圖(十一)  不具有陰影去除技術之      圖九為一具有障礙物阻擋之追蹤系統模擬結果圖。在模擬資料中，遠距離之追蹤目標，受到近距離之障礙物阻擋。在系統中，我們有加入避免障礙物阻擋之演算法。在有限區域中，找不到與參考值接近之特徵點時，系統會固定此特徵點，並擴大搜尋範圍，搜尋最接近點。     圖十為追蹤系統具有陰影去除技術之模擬結果圖。在圖十中，陰影伴隨著人體先進監視畫面中，實驗結果可以發現，系統可以有效的分辨出陰影，而不會追蹤，直到人體進入後，才開始進行追蹤。而圖十一則是追蹤系統不使用陰影去除技術，則系統會將陰影誤認為追蹤目標而進行追蹤。  四、計劃成果自評  本文所提出之計劃研究成果，已達成預期之目標，提出了一個新的人體追蹤系統架構。將人類視覺系統與 JND 值結合在適應性系統中，提出了一個適應性的光線陰影與光線雜訊去除技術，已發表於國際研討會中。並引用了卡曼濾波器架構，利用小波轉換，以及我們提出之追蹤特徵，可以維持追蹤系統的正確性與準確性，本計劃除了已在國際研討會發表，並將本計劃之研究結果投稿至國際期刊IEICE。  (a)               (b)    (c)               (d)    圖(九)  障礙物阻擋之模擬結果圖  五、參考文獻   (e)               (f)    (a)               (b)   [1]. Wachter, S.; Nagel, H.-H., Tracking of persons in monocular image sequence,”Proc. IEEE on Nonrigid and Articulated Motion Workshop. pp. 2 – 9, 1997. [2]. Tesei, A.; Foresti, G.L.; Regazzoni, C.S., “ Human body modelling for people localization and tracking from real image sequences, ”  Proc. Int. Conf. on Image Processing and its Applications. pp. 806 – 809, 1995.  (c)               (d)   [3]. Ude, A.; Riley, M., “ Prediction of body configurations and appearance for model-based estimation of articulated human motions,＂ Proc. IEEE on SMC Vol.2, pp. 687 – 691, 1999. 圖(十)  具有陰影去除技術之     追蹤模擬結果圖 [4]. Yamane, T.; Shirai, Y.; Miura, J., “Person tracking by integrating optical flow and uniform brightness regions,” Robotics and Automation. Proc. IEEE Int. Conf. on Vol.4, pp. 3267 – 3272, 1998. [5]. Okada, R.; Shirai, Y.; Miura, J., “Tracking a person with 3-D motion by integrating optical     追蹤模擬結果圖  (a)               (b)    4flow and depth,”  Proc. IEEE Int. Conf. on Automatic Face and Gesture Recognition, pp. 336 – 341, 2000. [6]. Segen, J., “A camera-based system for tracking people in real time,” Proc. Int. Conf. on Pattern Recognition, Vol.3, pp. 63 – 67, 1996. [7]. Rossi, M.; Bozzoli, A., “Tracking and counting moving people, ”  Image Processing, Proceedings. ICIP-94, IEEE Int. Conf. Vol.3, pp. 212 - 216 , 1994. [8]. Dobie, M.R.; Lewis, P.H., “Object tracking in multimedia systems, ” Int. Conf. on Image Processing and its Applications, pp. 41 – 44, 1992. [9]. Kompatsiaris, I.; Mantzaras, G.; Strintzis, M.G., “Spatiotemporal segmentation and tracking of objects in color image sequences,” Circuits and Systems. Proceedings. ISCAS 2000 Geneva. The 2000 IEEE International Symposium on Vol.5, pp. 29 – 32, 2000. [10].  Heisele, B.; Kressel, U.; Ritter, W., “Tracking Non-Rigid, Moving Objects Based on Color Cluster Flow,” Computer Vision and Pattern Recognition. Proceedings. IEEE Computer Society Conf., pp. 257 – 260, 1997. [11]. Heisele, B.; Ritter, W., “Obstacle detection based on color blob flow,”Intelligent Vehicles '95 Symposium, pp. 282 – 286, 1995. [12]. Shan Zhu; Kai-Kuang Ma “A new diamond search algorithm for fast block-matching motion estimation,” Image Processing, IEEE Trans. on Vol.9 Issue: 2, Feb. pp. 287 –290, 2000. [13].Reoxiang Li; Bing Zeng; Liou, M.L., “A new three-step search algorithm for block motion estimation,”Circuits and Systems for Video Technology, IEEE Trans. on Vol.4 4, Aug., pp. 438 – 442, 1994. [14].Jianhua Lu; Liou, M.L., “ A simple and efficient search algorithm for block-matching motion estimation,” Circuits and Systems for Video Technology, IEEE Trans. on Vol.7 2, April , pp. 429 – 433, 1997. [15].McKenna, S.J.; Jabri, S.; Duric, Z.; Wechsler, H.; “Tracking interacting people,” Automatic Face and Gesture Recognition, Proc. IEEE Int. Conf. pp. 348 –353, 2000. [16].Wu Yi-Ming; Ye Xiu-Qing; Gu Wei-Kang; “A shadow handler in traffic monitoring system,” Proc. IEEE Int. Conf. on Vehicular Technology. pp. 303 –307, 2002. [17].Sonoda, Y.; Ogata, T.; ”Separation of moving objects and their shadows, and application to tracking of loci in the monitoring images,” Proc. Int. Conf. on Signal Processing pp. 1261 –1264 , 1998. [18].Kuo, C.M.; Hsieh, C.H.; Lin, H.C.; Lu, P.C., “ Motion estimation algorithm with kalman filter,”  Electronics Letters Vol. 30 15, pp. 1204 – 1206, 1994. [19].T. Zhao; Nevatia R.; Fengjun L, “Segmentation and tracking of multiple humans in complex situations,” Proc. IEEE Int. Conf. on Computer Vision and Pattern Recognition, pp. 194-201, 2001. [20].Chang C-J; Hu W-F; Hsieh J-W, “Shadow elimination for effective moving object detection with Gaussian models,” Proc. Int. Conf. on Pattern Recognition, pp.540 –543, 2002. [21].Wenmiao Lu; Yap-Peng Tan; “ A color histogram based people tracking system,” Proc. IEEE Int. Conf. on Circuits and Systems, pp. 137 -140, 2001.   

Robust, Real Time People Tracking with Shadow Removal in Open Environment

http://tkuir.lib.tku.edu.tw:8080/dspace/bitstream/987654321/7576/2/932213E032010.pdf

[[alternative]]Robust, Real Time People Tracking with Shadow Removal in Open Environment

Abstract

Similar works

Full text

Available Versions

Tamkang University Institutional Repository