This PhD thesis develops and implements a robust multisensor human detection system based on fusing the information provided after segmenting infrared and color videos

Serrano-Cuerda, Juan

ELCVIA Electronic Letters on Computer Vision and Image Analysis

Advisors: Antonio Fernandez-Caballero and María T. Lopez. Date and location of PhD thesis defense: 16 December 2013, Universidad de Castilla-La ManchaThis PhD thesis develops and implements a robust multisensor human detection system based on fusing the information provided after segmenting infrared and color videos

Diposit Digital de Documents de la UAB

Electronic Letters on Computer Vision and Image Analysis 13(2):17-18, 2014Robust human detection through fusion of color and infraredvideoJuan Serrano-CuerdaInstituto de Investigacio´n en Informa´tica de Albacete, 02071 - Albacete, SpainAdvisors: Antonio Ferna´ndez-Caballero and Marı´a T. Lo´pezDate and location of PhD thesis defense: 16 December 2013, University of Castilla-La ManchaReceived 30th Jan 2014; accepted 25th May 20141 AbstractNowadays, robust human detection is still a key challenge in the field of Computer Vision. Many peopledetection systems are based on the use of color cameras. Yet, these cameras have problems when the scene ispoorly illuminated or when there are sudden lighting changes. This is why, the use of thermal-infrared camerasseems to be an interesting alternative. Indeed, these cameras show a good performance in cold environments.But they offer many troubles in warm scenarios. Under these adverse conditions, human temperature is similarto the thermal readings of the remaining scene elements. This fact makes it hard to distinguish humans fromthe environment. This PhD thesis develops and implements a robust multisensor [1] human detection systembased on fusing the information provided after segmenting infrared [2] and color videos. The final system hasbeen developed based on the INT3-Horus framework [3] recently created in our n&aIS research team [4].The framework starts with an acquisition level which grabs frames from both cameras and synchronizestheir output. The features of the captured images are used to assign a confidence degree to each spectrum. Theconfidence degree is the core element for the purpose of information fusion between infrared and visible spectra.The mean illumination value of a color image is the base for establishing confidence in the color spectrum. Onthe other hand, the mean illumination and the standard deviation of the image provide the necessary informationabout its contrast in the infrared spectrum. Now, the actual confidence is updated in each couple of acquiredframes. So, if the scene changes its temperature, illumination, and so on, the fusion algorithm will adapt itselfto the new conditions. A scheme of how the confidence levels are assigned is shown in Figure 1.The next level is segmentation of infrared and visible videos [5, 6]. A series of different human detectionalgorithms have been implemented at this level, both for infrared and visible (color) spectra. The differentalgorithms are compared among each other with the objective of choosing the most suitable on for humandetection at each spectrum for a given scenario and condition. The results of the selected color and infraredalgorithm are then used at fusion level. Fusion is based on a rule-based system which uses the confidence degreeassigned to each spectrum. The location of the humans detected by each segmentation approach is also used.In accordance with the rules, the decision taken can be (1) to add humans to the final result, (2) to better adjustthe dimensions and the amount of detected humans by analyzing the results gotten by the other spectrum, or (3)to ignore the current detection if the confidence degree assigned to the spectrum is not above a certain value.Correspondence to: <Antonio.Fdez@uclm.es>Recommended for acceptance by <Alicia Forne´s and Volkmar Frinken>ELCVIA ISSN:1577-5097Published by Computer Vision Center / Universitat Auto`noma de Barcelona, Barcelona, Spain18 J. Serrano-Cuerda et al. / Electronic Letters on Computer Vision and Image Analysis 13(2):17-18, 2014Figure 1: Confidence levels for color and infrared video fusionFinally, a tracking level decides if the humans previously detected remain in the scene, although they have notbeen detected in the current frame.An outdoor environment was chosen for evaluation of the system. Twelve different sequences were recordedunder diverse atmospherical and illumination conditions. The sequences offer a varying complexity where adifferent number of humans are present in diverse situations. These situations are that simple as a single humanwalking on the scene, and that complex as multiple people walking together. The tests show a significantimprovement between the results achieved by human detection algorithms focused on a single spectrum andthose offered after information fusion. This improvement does not only occur in adverse conditions for eachspectrum, but also in situations where both spectra collaborate through reinforcing their results. It is confirmedthat the developed system shows an increased performance in terms of precision and F-score.AcknowledgmentsThis work was partially supported by Spanish Ministerio de Economı´a y Competitividad / FEDER underTIN2010-20845-C03-01 grant.References[1] J.M. Gascuen˜a, J.C. Castillo, E. Navarro, A. Ferna´ndez-Caballero, ”Engineering the development of sys-tems for multisensory monitoring and activity interpretation”, International Journal of Systems Science45(4):728-740, 2014.[2] A. Ferna´ndez-Caballero, M.T. Lo´pez, J. Serrano-Cuerda, ”Thermal-infrared pedestrian ROI extractionthrough thermal and motion information fusion”, Sensors 14(4):6666-6676, 2014.[3] A. Ferna´ndez-Caballero, J.C. Castillo, M.T. Lo´pez, J. Serrano-Cuerda, M.V. Sokolova, ”INT3-Horusframework for multispectrum activity interpretation in intelligent environments”, Expert Systems with Ap-plications 40(17):6715-6727, 2013.[4] natural & artificial Interaction Systems, http://www.i3a.uclm.es/louise/nais/index EN.htm, 2014.[5] A. Ferna´ndez-Caballero, M.V. Sokolova, J. Serrano-Cuerda, ”Lateral inhibition in accumulative computa-tion and fuzzy sets for human fall pattern recognition in colour and infrared imagery”, The Scientific WorldJournal article ID 935026, 2013.[6] A. Ferna´ndez-Caballero, J.C. Castillo, J. Serrano-Cuerda, S. Maldonado-Basco´n, ”Real-time human seg-mentation in infrared videos”, Expert Systems with Applications 38(3):2577-2584, 2011.

Robust human detection through fusion of color and infrared video

Revistes Catalanes amb Accés Obert

Electronic Letters on Computer Vision and Image Analysis 13(2):17-18, 2014
Robust human detection through fusion of color and infrared
video
Juan Serrano-Cuerda
Instituto de Investigacio´n en Informa´tica de Albacete, 02071 - Albacete, Spain
Advisors: Antonio Ferna´ndez-Caballero and Marı´a T. Lo´pez
Date and location of PhD thesis defense: 16 December 2013, University of Castilla-La Mancha
Received 30th Jan 2014; accepted 25th May 2014
1 Abstract
Nowadays, robust human detection is still a key challenge in the field of Computer Vision. Many people
detection systems are based on the use of color cameras. Yet, these cameras have problems when the scene is
poorly illuminated or when there are sudden lighting changes. This is why, the use of thermal-infrared cameras
seems to be an interesting alternative. Indeed, these cameras show a good performance in cold environments.
But they offer many troubles in warm scenarios. Under these adverse conditions, human temperature is similar
to the thermal readings of the remaining scene elements. This fact makes it hard to distinguish humans from
the environment. This PhD thesis develops and implements a robust multisensor [1] human detection system
based on fusing the information provided after segmenting infrared [2] and color videos. The final system has
been developed based on the INT3-Horus framework [3] recently created in our n&aIS research team [4].
The framework starts with an acquisition level which grabs frames from both cameras and synchronizes
their output. The features of the captured images are used to assign a confidence degree to each spectrum. The
confidence degree is the core element for the purpose of information fusion between infrared and visible spectra.
The mean illumination value of a color image is the base for establishing confidence in the color spectrum. On
the other hand, the mean illumination and the standard deviation of the image provide the necessary information
about its contrast in the infrared spectrum. Now, the actual confidence is updated in each couple of acquired
frames. So, if the scene changes its temperature, illumination, and so on, the fusion algorithm will adapt itself
to the new conditions. A scheme of how the confidence levels are assigned is shown in Figure 1.
The next level is segmentation of infrared and visible videos [5, 6]. A series of different human detection
algorithms have been implemented at this level, both for infrared and visible (color) spectra. The different
algorithms are compared among each other with the objective of choosing the most suitable on for human
detection at each spectrum for a given scenario and condition. The results of the selected color and infrared
algorithm are then used at fusion level. Fusion is based on a rule-based system which uses the confidence degree
assigned to each spectrum. The location of the humans detected by each segmentation approach is also used.
In accordance with the rules, the decision taken can be (1) to add humans to the final result, (2) to better adjust
the dimensions and the amount of detected humans by analyzing the results gotten by the other spectrum, or (3)
to ignore the current detection if the confidence degree assigned to the spectrum is not above a certain value.
Correspondence to: <Antonio.Fdez@uclm.es>
Recommended for acceptance by <Alicia Forne´s and Volkmar Frinken>
ELCVIA ISSN:1577-5097
Published by Computer Vision Center / Universitat Auto`noma de Barcelona, Barcelona, Spain
18 J. Serrano-Cuerda et al. / Electronic Letters on Computer Vision and Image Analysis 13(2):17-18, 2014
Figure 1: Confidence levels for color and infrared video fusion
Finally, a tracking level decides if the humans previously detected remain in the scene, although they have not
been detected in the current frame.
An outdoor environment was chosen for evaluation of the system. Twelve different sequences were recorded
under diverse atmospherical and illumination conditions. The sequences offer a varying complexity where a
different number of humans are present in diverse situations. These situations are that simple as a single human
walking on the scene, and that complex as multiple people walking together. The tests show a significant
improvement between the results achieved by human detection algorithms focused on a single spectrum and
those offered after information fusion. This improvement does not only occur in adverse conditions for each
spectrum, but also in situations where both spectra collaborate through reinforcing their results. It is confirmed
that the developed system shows an increased performance in terms of precision and F-score.
Acknowledgments
This work was partially supported by Spanish Ministerio de Economı´a y Competitividad / FEDER under
TIN2010-20845-C03-01 grant.
References
[1] J.M. Gascuen˜a, J.C. Castillo, E. Navarro, A. Ferna´ndez-Caballero, ”Engineering the development of sys-
tems for multisensory monitoring and activity interpretation”, International Journal of Systems Science
45(4):728-740, 2014.
[2] A. Ferna´ndez-Caballero, M.T. Lo´pez, J. Serrano-Cuerda, ”Thermal-infrared pedestrian ROI extraction
through thermal and motion information fusion”, Sensors 14(4):6666-6676, 2014.
[3] A. Ferna´ndez-Caballero, J.C. Castillo, M.T. Lo´pez, J. Serrano-Cuerda, M.V. Sokolova, ”INT3-Horus
framework for multispectrum activity interpretation in intelligent environments”, Expert Systems with Ap-
plications 40(17):6715-6727, 2013.
[4] natural & artificial Interaction Systems, http://www.i3a.uclm.es/louise/nais/index EN.htm, 2014.
[5] A. Ferna´ndez-Caballero, M.V. Sokolova, J. Serrano-Cuerda, ”Lateral inhibition in accumulative computa-
tion and fuzzy sets for human fall pattern recognition in colour and infrared imagery”, The Scientific World
Journal article ID 935026, 2013.
[6] A. Ferna´ndez-Caballero, J.C. Castillo, J. Serrano-Cuerda, S. Maldonado-Basco´n, ”Real-time human seg-
mentation in infrared videos”, Expert Systems with Applications 38(3):2577-2584, 2011.


Hoy en día los sistemas de detección de humanos constituyen un desafío en boga dentro del campo de la visión artificial. Muchos de estos sistemas se encuentran basados en el uso de cámaras en color, aunque pueden presentar problemas ante condiciones adversas de iluminación, ya sea debidas a la oscuridad o a cambios súbitos de luz.  Una alternativa interesante la constituye el uso de cámaras térmico-infrarrojas, las cuales funcionan bien en entornos fríos, pero son problemáticas en ambientes cálidos, ya que la temperatura de los humanos es la misma que la del resto de elementos presentes en la escena y es difícil distinguir a los primeros del resto del entorno.
Esta tesis persigue el diseño e implementación de un sistema robusto de detección de personas basado en la fusión de la información proporcionada por la segmentación de humanos en los espectros infrarrojo y color. El sistema se ha elaborado a partir de la arquitectura  INT3-Horus, diseñada e implementada en colaboración con otros miembros y doctorandos del grupo de investigación n&aIS.
Contenido de la investigación
En primer lugar, se ha realizado una aproximación inicial a la segmentación, incidiendo especialmente en la detección de humanos en color y en infrarrojo con el fin de tener una perspectiva general de como llevan a cabo este proceso los diversos autores que podemos encontrar en la literatura.  Se ha llegado a la conclusión de que resulta especialmente interesante utilizar las características térmicas de los humanos en el espectro infrarrojo, mientras que en el espectro visible se ha observado que existen pocos algoritmos que utilicen la información proporcionada por el color a la hora de caracterizar a los diversos humanos.
Análogamente, se ha llevado a cabo un proceso similar con la fusión de imágenes, núcleo principal de la presente tesis. Tras caracterizar este proceso y plasmar su utilidad, se han explicado las fases necesarias para llevarlo a cabo, realizándose una clasificación de los diversos algoritmos estudiados en base a su aproximación a estas fases. Finalmente, se ha llevado a cabo un resumen final de los diversos métodos estudiados,  obteniéndose como principal conclusión que la fusión a nivel de regiones es especialmente interesante, ya que proporciona mayor independencia de las características de las diversas cámaras y presenta mayor invariabilidad frente a problemas puntuales de ruido.
Finalmente, se ha realizado un estudio de las diversas técnicas de seguimiento que se pueden encontrar en la literatura incidiéndose nuevamente de forma especial en el seguimiento de humanos. Nuevamente se ha concluido este estudio con una clasificación de los algoritmos estudiados, obteniéndose como conclusión que los métodos basados en características pueden ser especialmente apropiados para los objetivos de la tesis al no requerir entrenamiento previo, lo que les proporciona mayor versatilidad.
El sistema desarrollado parte de un nivel inicial de adquisición que se encarga de capturar las imágenes de ambas cámaras y sincronizarlas. Además, las características de las imágenes capturadas sirven para asignar un nivel de confianza a cada espectro. Este nivel de confianza es decisivo a la hora de realizar la fusión entre ambos espectros. El siguiente nivel lo constituye la segmentación de los vídeos infrarrojo y visible. En esta etapa se han implementado una serie de algoritmos de detección de humanos, tanto en el espectro infrarrojo como en el visible, usando en este último la información del color, con el fin de poder comparar sus resultados en distintas situaciones. Los diversos algoritmos son comparados entre sí con el fin de elegir únicamente una técnica de detección de humanos en cada espectro. Los resultados de estos algoritmos son los que se tienen en cuenta en el nivel de fusión.
El nivel de fusión se encarga de analizar los resultados obtenidos en las detecciones de humanos en cada espectro. La fusión se basa en un sistema de reglas que utiliza la confianza asignada a cada espectro. También se tiene en cuenta la localización de los humanos detectados por cada algoritmo de segmentación. La decisión tomada a partir de estas reglas puede ser (1) incorporar el humano al resultado final, (2) ajustar mejor las dimensiones y el número de personas detectadas a partir del análisis de los resultados del otro espectro, o (3) ignorar la detección actual por no tener asignada un nivel de confianza suficiente el espectro analizado. Los humanos incorporados al resultado final del sistema por estas reglas son comparados con los humanos detectados anteriormente en la escena. Para ello se utiliza un algoritmo de identificación que establece correspondencias entre los humanos actuales y aquellos detectados en la escena en la iteración anterior. Finalmente, un algoritmo de seguimiento decide si todavía permanecen en la escena aquellos humanos que se encontraban anteriormente en el escenario y no han sido localizados en el fotograma actual.
Con el fin de evaluar el sistema, se ha escogido un entorno de exteriores, en el cual se han grabado una serie de secuencias en diversas condiciones atmosféricas y de iluminación. Además, las secuencias presentan una complejidad variable, donde pueden aparecer distintas cantidades de humanos en diferentes situaciones, desde las más simples, como un humano caminando sólo, a las más complejas, como personas caminando en grupo. 
Conclusiones
Las pruebas realizadas demuestran una mejora significativa entre los resultados alcanzados por los algoritmos de detección en cada espectro en solitario y aquellos logrados gracias a la fusión. Esta mejora no se da únicamente en situaciones adversas para uno de los dos espectros, sino en aquéllas en las que los dos espectros colaboran reforzando mutuamente sus resultados. Con ello, se confirma que el sistema presenta un funcionamiento estable independientemente de las condiciones en que se encuentre el entorno monitorizado en cada momento.
Bibliografía
Antonio Fernández-Caballero, José Carlos Castillo, Juan Serrano-Cuerda y Saturnino Maldonado-Bascón (2011). Real-time human segmentation in infrared videos. Expert Systems with Applications 38 (3), pp. 2577-2584. Elsevier Science. ISSN 0957-4174.
Juan Serrano-Cuerda, José Carlos Castillo, Marina V. Sokolova y Antonio Fernández-Caballero (2013). Efficient people counting from indoor overhead video camera. Advances in Intelligent and Soft Computing 221, pp. 129-137. Springer-Verlag.
Juan Serrano-Cuerda, Marina V. Sokolova, Antonio Fernández-Caballero, María T. López y José Carlos Castillo (2013). Fusion of overhead and lateral view video for enhanced people counting. 5th International Work-Conference on the Interplay between Natural and Artificial Computation, IWINAC 2013. Lecture Notes in Computer Science. Springer-Verlag. ISSN 0302-9743

Robust human detection through fusion of color and infrared video

Abstract

Similar works

Full text

Available Versions

Diposit Digital de Documents de la UAB

Revistes Catalanes amb Accés Obert

Universidad de Castilla-La Mancha: Repositorio Universitario Institucional de Recursos Abiertos (RUIdeRA)