Los accidentes de tránsito debido a errores humanos son muy habituales a pesar de los avances en seguridad que presentan los vehículos modernos. En este trabajo se presenta el diseño e implementación de un sistema que evalúa las distracciones de los conductores, a través del procesamiento de video obtenido con un dispositivo móvil. El sistema permite evaluar cuando los conductores no prestan la debida atención, que incluye situaciones donde no miran al frente o los parpadeos son excesivos y pueden evidenciar somnoliencia. Adicionalmente, se diseño y registró una base de datos de videos que permite la evaluación de la conducción en diferentes escenarios.Sociedad Argentina de Informática e Investigación Operativ

Albornoz, Enrique

Farré, Gonzalo

Martínez, César E.

Spanish

SEDICI - Repositorio de la UNLP

Desarrollo de un sistema de deteccio´n de
pe´rdidas de atencio´n en la conduccio´n
basado en visio´n computacional
Gonza´lo Farre´, Ce´sar Mart´ınez y Enrique M. Albornoz∗
1Instituto de investigacio´n en Sen˜ales, Sistemas e Inteligencia Computacional,
sınc(i), FICH-UNL/CONICET, Argentina.
∗emalbornoz@sinc.unl.edu.ar
Resumen Los accidentes de tra´nsito debido a errores humanos son muy
habituales a pesar de los avances en seguridad que presentan los veh´ıculos
modernos. En este trabajo se presenta el disen˜o e implementacio´n de
un sistema que evalu´a las distracciones de los conductores, a trave´s del
procesamiento de video obtenido con un dispositivo mo´vil. El sistema
permite evaluar cuando los condutores no prestan la debida atencio´n,
que incluye situaciones donde no miran al frente o los parpadeos son
excesivos y pueden evidenciar somnoliencia. Adicionalmente, se disen˜o
y registro´ una base de datos de videos que permite la evaluacio´n de la
conduccio´n en diferentes escenarios.
1. Introduccio´n
En las u´ltimas de´cadas, los avances de la tecnolog´ıa se han visto plasmados
en la produccio´n automotriz y los veh´ıculos se vuelven cada d´ıa ma´s sustentables
e “inteligentes”. La pro´xima generacio´n de veh´ıculos tendra´n en conjunto: ECU,
CPU, GPU, ca´maras de alta definicio´n, sensores, pasarelas y dispositivos de
almacenamiento, todo conectado a trave´s de redes de alta velocidad. De esta
forma, con base en lo percibido se podra´n formular sistemas informa´ticos que
tomen decisio´nes de forma auto´noma.
Entre los avances destacados se pueden citar automo´viles ele´ctricos con pane-
les solares que ayudan a cargar sus bater´ıas1; monitores del comportamiento de
conduccio´n y la deteccio´n de choques para aplicaciones telema´ticas, de gestio´n de
flotas y seguros2; advertencia de cambio de carril, asistencia de mantenimiento
de carril o asistencia de centrado de carril; deteccio´n de puntos ciegos; control de
crucero adaptativo (inteligente); seguridad de la ciudad, deteccio´n de peatones,
advertencia de colisio´n frontal, frenado automa´tico a baja velocidad3.
1 https://sonomotors.com/en/sion/
2 https://www.businessmotoring.co.uk/bosch-plug-in-telemetry-device-for-
fleet-management-just-uses-lighter-socket/
3 https://www.extremetech.com/extreme/282494-extremetechs-best-cars-and-
car-tech-for-2019
SAIV, Simposio Argentino de Imágenes y Visión
48JAIIO - SAIV - ISSN: 2683-8990 - Página 35
En este contexto, la responsabilidad de los accidentes esta´ cada vez ma´s
influenciada por errores humanos. Entre las principales causas de accidentes esta´
la pe´rdida de atencio´n al conducir y a la sen˜alizacio´n, y que puede ser provocada
por mu´ltiples motivos como ser distracciones por la utilizacio´n del celular4 o
del sistema de audio del veh´ıculo, somnolencia, bu´squeda de objetos, entre otros
[2]. Segu´n el u´ltimo Informe sobre la situacio´n mundial de la seguridad vial,
publicado en 2015 por la Organizacio´n Mundial de la Salud 5:
Cada an˜o mueren cerca de 1,3 millones de personas en las carreteras
del mundo entero, y entre 20 y 50 millones padecen traumatismos no
mortales. Los accidentes de tra´nsito son una de las principales causas
de muerte en todos los grupos etarios, y la primera entre personas de
entre 15 y 29 an˜os.
Lamentablemente, Argentina tiene uno de los ı´ndices ma´s altos de mortalidad
producida por accidentes de tra´nsito: 22 personas mueren por d´ıa, casi 8.000
muertos por an˜o, y ma´s de 120.000 heridos por an˜o, sumado a las pe´rdidas
materiales. En comparaciones con pa´ıses desarrollados, se ve que Argentina no
ha disminuido el nu´mero de accidentes totales en los u´ltimos 30 an˜os [7]
En la literatura pueden encontrarse diversas aproximaciones a la tarea, la
mayor´ıa de las cuales utiliza fusio´n de informacio´n mono o multimodal. En [8]
se propone un sistema de evaluacio´n de la atencio´n del conductor utilizando
dispositivos con ca´maras duales. La fusio´n de informacio´n visual de la cara de
la persona con la sen˜al de presio´n arterial se presenta en [9]. En [4] se combinan
datos tomados de sensores del automo´vil y diferentes medidas sobre el conductor
como punto de mirada, direccio´n de la cabeza, frecuencia de parpadeo, etc.,
buscando la combinacio´n ma´s efectiva de caracter´ısticas para la clasificacio´n
fatigado/no-fatigado. Finalmente, para una revisio´n reciente del estado del arte,
se refiere al lector a [10].
El objetivo de este trabajo es desarrollar un sistema basado en visio´n compu-
tacional para deteccio´n de pe´rdida de atencio´n en la conduccio´n, mediante la
evaluacio´n de la dina´mica temporal de la mirada del conductor en una u´nica
ca´mara. A continuacio´n se presentan los materiales utilizados y desarrollo de la
base de datos, junto a las definiciones principales del sistema y su implementa-
cio´n. En la seccio´n 3 se presentan los resultados y discusiones realizadas sobre
el comportamiento del sistema. Finalmente se presentan las conclusiones y los
trabajos futuros.
2. Herramientas y desarrollo del sistema
El recurso ma´s fundamental para la evaluacio´n de los desarrollos es la base
de datos de videos en situaciones habituales de conduccio´n. Luego de una ex-
ploracio´n exhaustiva, se comprobo´ que los Corpus disponibles no satisfac´ıan las
4 http://www.luchemos.org.ar/es/investigaciones/el-telefono-celular-un-
peligro-en-las-manos-de-conductores-y-peatones
5 https://www.who.int/features/factfiles/roadsafety/es/
SAIV, Simposio Argentino de Imágenes y Visión
48JAIIO - SAIV - ISSN: 2683-8990 - Página 36
Tabla 1. Distribucio´n de videos del Corpus.
Distracciones Leves Moderadas Peligrosas
12 PM hombre(24)/mujer(21) hombre(24)/mujer(21) hombre(24)/mujer(21)
5 PM hombre(20)/mujer(30) hombre(20)/mujer(25) hombre(19)/mujer(21)
9 PM hombre(18)/mujer(21) hombre(18)/mujer(21) hombre(18)/mujer(21)
necesidades planteadas como requerimientos y por lo tanto se decidio´ generar un
Corpus propio, cuyas definiciones se basaron en el ana´lisis de videos disponibles
pu´blicamente6.
2.1. Corpus de videos
Luego de varias pruebas, donde se considero´ desde no molestar al conductor
hasta la mejor posicio´n para la utilizacio´n de deteccio´n de caracter´ısticas del
rostro, el protocolo definido para el relevamiento de videos contempla:
utilizar siempre la misma ca´mara (Celular Motorola Moto G4 Plus),
ubicar la ca´mara siempre en la misma posicio´n, logrando una vista de frente
del sujeto,
utilizar el formato MP4 con resolucio´n 1920× 1080 px y 28 FPS,
realizar sesiones de 1 minuto (aprox.)
simular una accio´n de conduccio´n habitual,
simular 3 distracciones por video, una cada 15[s] (indicada por un tutor),
utilizar diferentes individuos, en particular fueron: 4 masculinos y 3 femeni-
nos, edades entre 18 y 30 an˜os, estaturas entre 1,70[m] y 1,90[m],
ubicar al conductor en la forma esta´ndar, es decir, sin situaciones con asientos
reclinados o similares,
relevar los videos a las 12 PM, a las 5 PM y a las 9 PM,
definir ad-hoc 3 tipos de distracciones:
• Leves: pe´rdida de atencio´n de 1 a 3 segundos,
• Moderadas: pe´rdida de atencio´n de 3 a 5 segundos,
• Peligrosas: pe´rdida de atencio´n mayor a 5 segundos,
Finalmente, se generaron 18 videos (2.25 GB) con la distribucio´n de la Tabla 1,
algunos frames pueden verse en la figura 1. Cada uno tiene asociado un archivo
de texto con la meta-data asociada: conductor, distracciones, etc.
2.2. Sistema
El sistema esta´ compuesto por una serie de mo´dulo y pueden verse en la figura
2. El primer paso consiste en determinar si la escena es nocturna y si lo es, se
6 http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc11-drivface-
dataset/,
https://www.kaggle.com/c/state-farm-distracted-driver-detection/data,
http://www.robesafe.com/personal/jnuevo/Datasets.html
SAIV, Simposio Argentino de Imágenes y Visión
48JAIIO - SAIV - ISSN: 2683-8990 - Página 37
Figura 1. Ejemplos de frames extra´ıdos del corpus generado.
Figura 2. Esquema general del sistema.
aplica una correccio´n gamma [3]. La evaluacio´n se realiza sobre el histograma
RGB de una ROI de la imagen que no contiene al conductor. Para la etapa
de deteccio´n de rostro se exploraron dos alternativas, una basada en LBP (del
ingle´s, Local Binary Pattern) [1] y la otra en clasificadores en cascada basados en
caracter´ısticas de Haar [11]. Luego de evaluar el comportamiento sobre nuestro
Corpus, se decidio´ utilizar Haar en su implementacio´n de OpenCV [5] ya que
se comporto´ de forma ma´s estable. Sobre el rostro detectado, se obtienen 68
puntos caracter´ısticos (landmarks) utilizando la librer´ıa Dlib [6]. Utilizando 14
de estos puntos, se hace un mapeo 2D −→ 3D, para poder evaluar la orientacio´n
del rostro7. Finalmente, es posible obtener los 3 ejes sobre el rostro que indican la
orientacio´n de la cabeza (ver figura 3). En la etapa de deteccio´n de distracciones,
se evalu´an los a´ngulos computados y se comparan con umbrales emp´ıricos. Es
importante destacar que las distracciones se evalu´an sobre un buffer de resultados
que permite evitar errores de ca´lculo instanta´neo.
Adicionalmente a las distracciones se definio´ un “´ındice de somnolencia”,
basado en la cantidad de frames que los ojos permanecen cerrados por minuto.
Para e´sto, se utilizo´ una relacio´n de aspecto de los ojos basada en los descriptores
de Dlib. Este ı´ndice tambie´n tiene umbrales emp´ıricos que determinan si es un
evento peligroso o no.
Una vez detectado alguno/s de los eventos mencionados, el sistema genera
alarmas que alertan la situacio´n. Finalmente, se genera un informe con el ana´lisis
del video.
7 http://acodigo.blogspot.com/2017/11/estimar-postura-3d.html
SAIV, Simposio Argentino de Imágenes y Visión
48JAIIO - SAIV - ISSN: 2683-8990 - Página 38
Figura 3. Estimacio´n de postura 3D.
Se realizaron pruebas sobre todos los videos del corpus, y los resultados son
muy alentadores. La combinacio´n de la informacio´n basada en la orientacio´n de
la cabeza en conjunto con el “´ındice de somnolencia” permite una muy acertada
evaluacio´n de la situacio´n. Para poder ver el comportamiento del sistema, se
generaron videos que muestran el funcionamiento del sistema8.
3. Conclusiones y trabajos futuros
En este trabajo se ha presentado el disen˜o y desarrollo del prototipo inicial de
un sistema que permite evaluar las pe´rdidas de atencio´n de los conductores, ya
sea porque quitan la vista del camino o porque presentan signos de somnoliencia.
Adicionalmente, se desarrollo´ una base de datos de videos de conductores de
ambos sexos y en distintas condiciones de iluminacio´n natural (a lo largo del
d´ıa) El sistema funciona de manera offline, los videos son capturados por el
dispositivo mo´vil y su procesamiento se realiza en una PC donde se obtienen los
resultados temporales y el informe de las alarmas generadas por el sistema.
La informacio´n recolectada y los informes generados junto a los videos per-
mitieron corroborar el buen funcionamiento del sistema, dando lugar a la confi-
guracio´n de distintos tipos de distraccio´n.
Como trabajo futuro se planifica integrar el sistema en una aplicacio´n An-
droid donde se procese el video en tiempo real y se desplieguen las alarmas
gra´ficas y sonoras en el dispositivo mo´vil o en el sistema multimedia del veh´ıcu-
lo mediante bluetooth. Alternativamente, se preve´ el desarrollo de un sistema
integral de hardware y software que funcione en una mini-PC (como ser una
8 https://drive.google.com/drive/folders/105Wt_bxBa6YhwFp8DDlYUNZCd6vklD1R
SAIV, Simposio Argentino de Imágenes y Visión
48JAIIO - SAIV - ISSN: 2683-8990 - Página 39
Raspberry Pi) y permita la instalacio´n de una ca´mara dedicada que se integre
al ambiente del veh´ıculo.
Agradecimientos
Los autores quieren agradecer el apoyo de la Universidad Nacional del Litoral
(con CAID-PJ-500 20150100055LI), ANPCyT (con PICT 2015-0977 y PICT
2016-0651) y CONICET.
Referencias
1. Chang-Yeon, J.: Face detection using lbp features. Final Project Report 77 (2008)
2. Direccio´n General de Tra´fico, Ministerio del Interior: Distracciones al volante,
http://publicacionesoficiales.boe.es, Madrid, Espan˜a.
3. Gonzalez, R., Woods, R.: Digital image processing: Pearson prentice hall. Upper
Saddle River, NJ 1 (2008)
4. Henni, K., Mezghani, N., Gouin-Vallerand, C., Ruer, P., Ouakrim, Y., Vallie`res, E´.:
Feature selection for driving fatigue characterization and detection using visual-and
signal-based sensors. In: Applied Informatics. vol. 5, p. 7. Springer (2018)
5. Kaehler, A., Bradski, G.: Learning OpenCV 3: computer vision in C++ with the
OpenCV library. O’Reilly Media, Inc. (2016)
6. King, D.E.: Dlib-ml: A machine learning toolkit. Journal of Machine Learning
Research 10(Jul), 1755–1758 (2009)
7. Luchemos por la Vida: Asociacio´n civil - organizacio´n no gubernamental, http:
//www.luchemos.org.ar/
8. Mihai, D., Dumitru, A., Postelnicu, C., Mogan, G.: Video-based evaluation of dri-
ver’s visual attention using smartphones. In: 2015 6th International Conference on
Information, Intelligence, Systems and Applications (IISA). pp. 1–5 (July 2015)
9. Sayeed, A., Sadi, S.A.: Driver drowsiness detection using face monitoring and pres-
sure measurement. Research & Reviews: A Journal of Embedded System & Appli-
cations 5(3), 12–18 (2018)
10. Ullah, M.R., Aslam, M., Ullah, M.I., Maria, M.E.A.: Driver’s drowsiness detec-
tion through computer vision: A review. In: Mexican International Conference on
Artificial Intelligence. pp. 272–281. Springer (2017)
11. Viola, P., Jones, M.J.: Robust real-time face detection. International journal of
computer vision 57(2), 137–154 (2004)
SAIV, Simposio Argentino de Imágenes y Visión
48JAIIO - SAIV - ISSN: 2683-8990 - Página 40


Desarrollo de un sistema de detección de pérdidas de atención en la conducción basado en visión computacional

Servicio de Difusión de la Creación Intelectual

Desarrollo de un sistema de deteccio´n depe´rdidas de atencio´n en la conduccio´nbasado en visio´n computacionalGonza´lo Farre´, Ce´sar Mart´ınez y Enrique M. Albornoz∗1Instituto de investigacio´n en Sen˜ales, Sistemas e Inteligencia Computacional,sınc(i), FICH-UNL/CONICET, Argentina.∗emalbornoz@sinc.unl.edu.arResumen Los accidentes de tra´nsito debido a errores humanos son muyhabituales a pesar de los avances en seguridad que presentan los veh´ıculosmodernos. En este trabajo se presenta el disen˜o e implementacio´n deun sistema que evalu´a las distracciones de los conductores, a trave´s delprocesamiento de video obtenido con un dispositivo mo´vil. El sistemapermite evaluar cuando los condutores no prestan la debida atencio´n,que incluye situaciones donde no miran al frente o los parpadeos sonexcesivos y pueden evidenciar somnoliencia. Adicionalmente, se disen˜oy registro´ una base de datos de videos que permite la evaluacio´n de laconduccio´n en diferentes escenarios.1. Introduccio´nEn las u´ltimas de´cadas, los avances de la tecnolog´ıa se han visto plasmadosen la produccio´n automotriz y los veh´ıculos se vuelven cada d´ıa ma´s sustentablese “inteligentes”. La pro´xima generacio´n de veh´ıculos tendra´n en conjunto: ECU,CPU, GPU, ca´maras de alta definicio´n, sensores, pasarelas y dispositivos dealmacenamiento, todo conectado a trave´s de redes de alta velocidad. De estaforma, con base en lo percibido se podra´n formular sistemas informa´ticos quetomen decisio´nes de forma auto´noma.Entre los avances destacados se pueden citar automo´viles ele´ctricos con pane-les solares que ayudan a cargar sus bater´ıas1; monitores del comportamiento deconduccio´n y la deteccio´n de choques para aplicaciones telema´ticas, de gestio´n deflotas y seguros2; advertencia de cambio de carril, asistencia de mantenimientode carril o asistencia de centrado de carril; deteccio´n de puntos ciegos; control decrucero adaptativo (inteligente); seguridad de la ciudad, deteccio´n de peatones,advertencia de colisio´n frontal, frenado automa´tico a baja velocidad3.1 https://sonomotors.com/en/sion/2 https://www.businessmotoring.co.uk/bosch-plug-in-telemetry-device-for-fleet-management-just-uses-lighter-socket/3 https://www.extremetech.com/extreme/282494-extremetechs-best-cars-and-car-tech-for-2019SAIV, Simposio Argentino de Imágenes y Visión48JAIIO - SAIV - ISSN: 2683-8990 - Página 35En este contexto, la responsabilidad de los accidentes esta´ cada vez ma´sinfluenciada por errores humanos. Entre las principales causas de accidentes esta´la pe´rdida de atencio´n al conducir y a la sen˜alizacio´n, y que puede ser provocadapor mu´ltiples motivos como ser distracciones por la utilizacio´n del celular4 odel sistema de audio del veh´ıculo, somnolencia, bu´squeda de objetos, entre otros[2]. Segu´n el u´ltimo Informe sobre la situacio´n mundial de la seguridad vial,publicado en 2015 por la Organizacio´n Mundial de la Salud 5:Cada an˜o mueren cerca de 1,3 millones de personas en las carreterasdel mundo entero, y entre 20 y 50 millones padecen traumatismos nomortales. Los accidentes de tra´nsito son una de las principales causasde muerte en todos los grupos etarios, y la primera entre personas deentre 15 y 29 an˜os.Lamentablemente, Argentina tiene uno de los ı´ndices ma´s altos de mortalidadproducida por accidentes de tra´nsito: 22 personas mueren por d´ıa, casi 8.000muertos por an˜o, y ma´s de 120.000 heridos por an˜o, sumado a las pe´rdidasmateriales. En comparaciones con pa´ıses desarrollados, se ve que Argentina noha disminuido el nu´mero de accidentes totales en los u´ltimos 30 an˜os [7]En la literatura pueden encontrarse diversas aproximaciones a la tarea, lamayor´ıa de las cuales utiliza fusio´n de informacio´n mono o multimodal. En [8]se propone un sistema de evaluacio´n de la atencio´n del conductor utilizandodispositivos con ca´maras duales. La fusio´n de informacio´n visual de la cara dela persona con la sen˜al de presio´n arterial se presenta en [9]. En [4] se combinandatos tomados de sensores del automo´vil y diferentes medidas sobre el conductorcomo punto de mirada, direccio´n de la cabeza, frecuencia de parpadeo, etc.,buscando la combinacio´n ma´s efectiva de caracter´ısticas para la clasificacio´nfatigado/no-fatigado. Finalmente, para una revisio´n reciente del estado del arte,se refiere al lector a [10].El objetivo de este trabajo es desarrollar un sistema basado en visio´n compu-tacional para deteccio´n de pe´rdida de atencio´n en la conduccio´n, mediante laevaluacio´n de la dina´mica temporal de la mirada del conductor en una u´nicaca´mara. A continuacio´n se presentan los materiales utilizados y desarrollo de labase de datos, junto a las definiciones principales del sistema y su implementa-cio´n. En la seccio´n 3 se presentan los resultados y discusiones realizadas sobreel comportamiento del sistema. Finalmente se presentan las conclusiones y lostrabajos futuros.2. Herramientas y desarrollo del sistemaEl recurso ma´s fundamental para la evaluacio´n de los desarrollos es la basede datos de videos en situaciones habituales de conduccio´n. Luego de una ex-ploracio´n exhaustiva, se comprobo´ que los Corpus disponibles no satisfac´ıan las4 http://www.luchemos.org.ar/es/investigaciones/el-telefono-celular-un-peligro-en-las-manos-de-conductores-y-peatones5 https://www.who.int/features/factfiles/roadsafety/es/SAIV, Simposio Argentino de Imágenes y Visión48JAIIO - SAIV - ISSN: 2683-8990 - Página 36Tabla 1. Distribucio´n de videos del Corpus.Distracciones Leves Moderadas Peligrosas12 PM hombre(24)/mujer(21) hombre(24)/mujer(21) hombre(24)/mujer(21)5 PM hombre(20)/mujer(30) hombre(20)/mujer(25) hombre(19)/mujer(21)9 PM hombre(18)/mujer(21) hombre(18)/mujer(21) hombre(18)/mujer(21)necesidades planteadas como requerimientos y por lo tanto se decidio´ generar unCorpus propio, cuyas definiciones se basaron en el ana´lisis de videos disponiblespu´blicamente6.2.1. Corpus de videosLuego de varias pruebas, donde se considero´ desde no molestar al conductorhasta la mejor posicio´n para la utilizacio´n de deteccio´n de caracter´ısticas delrostro, el protocolo definido para el relevamiento de videos contempla:utilizar siempre la misma ca´mara (Celular Motorola Moto G4 Plus),ubicar la ca´mara siempre en la misma posicio´n, logrando una vista de frentedel sujeto,utilizar el formato MP4 con resolucio´n 1920× 1080 px y 28 FPS,realizar sesiones de 1 minuto (aprox.)simular una accio´n de conduccio´n habitual,simular 3 distracciones por video, una cada 15[s] (indicada por un tutor),utilizar diferentes individuos, en particular fueron: 4 masculinos y 3 femeni-nos, edades entre 18 y 30 an˜os, estaturas entre 1,70[m] y 1,90[m],ubicar al conductor en la forma esta´ndar, es decir, sin situaciones con asientosreclinados o similares,relevar los videos a las 12 PM, a las 5 PM y a las 9 PM,definir ad-hoc 3 tipos de distracciones:• Leves: pe´rdida de atencio´n de 1 a 3 segundos,• Moderadas: pe´rdida de atencio´n de 3 a 5 segundos,• Peligrosas: pe´rdida de atencio´n mayor a 5 segundos,Finalmente, se generaron 18 videos (2.25 GB) con la distribucio´n de la Tabla 1,algunos frames pueden verse en la figura 1. Cada uno tiene asociado un archivode texto con la meta-data asociada: conductor, distracciones, etc.2.2. SistemaEl sistema esta´ compuesto por una serie de mo´dulo y pueden verse en la figura2. El primer paso consiste en determinar si la escena es nocturna y si lo es, se6 http://adas.cvc.uab.es/elektra/enigma-portfolio/cvc11-drivface-dataset/,https://www.kaggle.com/c/state-farm-distracted-driver-detection/data,http://www.robesafe.com/personal/jnuevo/Datasets.htmlSAIV, Simposio Argentino de Imágenes y Visión48JAIIO - SAIV - ISSN: 2683-8990 - Página 37Figura 1. Ejemplos de frames extra´ıdos del corpus generado.Figura 2. Esquema general del sistema.aplica una correccio´n gamma [3]. La evaluacio´n se realiza sobre el histogramaRGB de una ROI de la imagen que no contiene al conductor. Para la etapade deteccio´n de rostro se exploraron dos alternativas, una basada en LBP (delingle´s, Local Binary Pattern) [1] y la otra en clasificadores en cascada basados encaracter´ısticas de Haar [11]. Luego de evaluar el comportamiento sobre nuestroCorpus, se decidio´ utilizar Haar en su implementacio´n de OpenCV [5] ya quese comporto´ de forma ma´s estable. Sobre el rostro detectado, se obtienen 68puntos caracter´ısticos (landmarks) utilizando la librer´ıa Dlib [6]. Utilizando 14de estos puntos, se hace un mapeo 2D −→ 3D, para poder evaluar la orientacio´ndel rostro7. Finalmente, es posible obtener los 3 ejes sobre el rostro que indican laorientacio´n de la cabeza (ver figura 3). En la etapa de deteccio´n de distracciones,se evalu´an los a´ngulos computados y se comparan con umbrales emp´ıricos. Esimportante destacar que las distracciones se evalu´an sobre un buffer de resultadosque permite evitar errores de ca´lculo instanta´neo.Adicionalmente a las distracciones se definio´ un “´ındice de somnolencia”,basado en la cantidad de frames que los ojos permanecen cerrados por minuto.Para e´sto, se utilizo´ una relacio´n de aspecto de los ojos basada en los descriptoresde Dlib. Este ı´ndice tambie´n tiene umbrales emp´ıricos que determinan si es unevento peligroso o no.Una vez detectado alguno/s de los eventos mencionados, el sistema generaalarmas que alertan la situacio´n. Finalmente, se genera un informe con el ana´lisisdel video.7 http://acodigo.blogspot.com/2017/11/estimar-postura-3d.htmlSAIV, Simposio Argentino de Imágenes y Visión48JAIIO - SAIV - ISSN: 2683-8990 - Página 38Figura 3. Estimacio´n de postura 3D.Se realizaron pruebas sobre todos los videos del corpus, y los resultados sonmuy alentadores. La combinacio´n de la informacio´n basada en la orientacio´n dela cabeza en conjunto con el “´ındice de somnolencia” permite una muy acertadaevaluacio´n de la situacio´n. Para poder ver el comportamiento del sistema, segeneraron videos que muestran el funcionamiento del sistema8.3. Conclusiones y trabajos futurosEn este trabajo se ha presentado el disen˜o y desarrollo del prototipo inicial deun sistema que permite evaluar las pe´rdidas de atencio´n de los conductores, yasea porque quitan la vista del camino o porque presentan signos de somnoliencia.Adicionalmente, se desarrollo´ una base de datos de videos de conductores deambos sexos y en distintas condiciones de iluminacio´n natural (a lo largo deld´ıa) El sistema funciona de manera offline, los videos son capturados por eldispositivo mo´vil y su procesamiento se realiza en una PC donde se obtienen losresultados temporales y el informe de las alarmas generadas por el sistema.La informacio´n recolectada y los informes generados junto a los videos per-mitieron corroborar el buen funcionamiento del sistema, dando lugar a la confi-guracio´n de distintos tipos de distraccio´n.Como trabajo futuro se planifica integrar el sistema en una aplicacio´n An-droid donde se procese el video en tiempo real y se desplieguen las alarmasgra´ficas y sonoras en el dispositivo mo´vil o en el sistema multimedia del veh´ıcu-lo mediante bluetooth. Alternativamente, se preve´ el desarrollo de un sistemaintegral de hardware y software que funcione en una mini-PC (como ser una8 https://drive.google.com/drive/folders/105Wt_bxBa6YhwFp8DDlYUNZCd6vklD1RSAIV, Simposio Argentino de Imágenes y Visión48JAIIO - SAIV - ISSN: 2683-8990 - Página 39Raspberry Pi) y permita la instalacio´n de una ca´mara dedicada que se integreal ambiente del veh´ıculo.AgradecimientosLos autores quieren agradecer el apoyo de la Universidad Nacional del Litoral(con CAID-PJ-500 20150100055LI), ANPCyT (con PICT 2015-0977 y PICT2016-0651) y CONICET.Referencias1. Chang-Yeon, J.: Face detection using lbp features. Final Project Report 77 (2008)2. Direccio´n General de Tra´fico, Ministerio del Interior: Distracciones al volante,http://publicacionesoficiales.boe.es, Madrid, Espan˜a.3. Gonzalez, R., Woods, R.: Digital image processing: Pearson prentice hall. UpperSaddle River, NJ 1 (2008)4. Henni, K., Mezghani, N., Gouin-Vallerand, C., Ruer, P., Ouakrim, Y., Vallie`res, E´.:Feature selection for driving fatigue characterization and detection using visual-andsignal-based sensors. In: Applied Informatics. vol. 5, p. 7. Springer (2018)5. Kaehler, A., Bradski, G.: Learning OpenCV 3: computer vision in C++ with theOpenCV library. O’Reilly Media, Inc. (2016)6. King, D.E.: Dlib-ml: A machine learning toolkit. Journal of Machine LearningResearch 10(Jul), 1755–1758 (2009)7. Luchemos por la Vida: Asociacio´n civil - organizacio´n no gubernamental, http://www.luchemos.org.ar/8. Mihai, D., Dumitru, A., Postelnicu, C., Mogan, G.: Video-based evaluation of dri-ver’s visual attention using smartphones. In: 2015 6th International Conference onInformation, Intelligence, Systems and Applications (IISA). pp. 1–5 (July 2015)9. Sayeed, A., Sadi, S.A.: Driver drowsiness detection using face monitoring and pres-sure measurement. Research & Reviews: A Journal of Embedded System & Appli-cations 5(3), 12–18 (2018)10. Ullah, M.R., Aslam, M., Ullah, M.I., Maria, M.E.A.: Driver’s drowsiness detec-tion through computer vision: A review. In: Mexican International Conference onArtificial Intelligence. pp. 272–281. Springer (2017)11. Viola, P., Jones, M.J.: Robust real-time face detection. International journal ofcomputer vision 57(2), 137–154 (2004)SAIV, Simposio Argentino de Imágenes y Visión48JAIIO - SAIV - ISSN: 2683-8990 - Página 40

http://sedici.unlp.edu.ar/bitstream/handle/10915/89183/Documento_completo.pdf?sequence=1

Desarrollo de un sistema de detección de pérdidas de atención en la conducción basado en visión computacional

Abstract

Similar works

Full text

Available Versions

SEDICI - Repositorio de la UNLP

Servicio de Difusión de la Creación Intelectual