El objetivo del Reconocimiento de Acciones (Action Recognition) es el análisis e interpretación automatizados de eventos particulares en secuencias de video. Esta área está siendo ámpliamente investigada en diferentes dominios tales como videos de seguridad, interacción humano-computadora, monitoreo de pacientes y recuperación de video, entre otros, dadas las importantes aplicaciones que pueden desarrollarse, y la proliferación de cámaras y videos de seguridad y monitoreo en la actualidad.
El objetivo de este proyecto es la identificación automática de acciones en secuencia de videos, utilizando Conditional Random Fields (CRFs). Como caso de estudio se utilizan videos de partidos de tenis para la identificación de golpes. Se abordan tres desafíos, el tracking, la representación del movimiento del jugador y el reconocimiento de acciones.Eje: Computación Gráfica, Imágenes y VisualizaciónRed de Universidades con Carreras en Informática (RedUNCI

Delrieux, Claudio

Maguitman, Ana Gabriela

Manera, José F.

Vainstein, Jonathan

SEDICI - Repositorio de la UNLP

Reconocimiento de Acciones en Videos de
Tenis usando Flujo O´ptico y CRF
Jose´ Francisco Manera†‡, Jonathan Vainstein†‡, Claudio Delrieux†, y Ana Maguitman‡
josemanera@gmail.com, jjvainstein@gmail.com, cad@uns.edu.ar, agm@cs.uns.edu.ar
† Laboratorio de Ciencias de las Ima´genes (IIIE - CONICET)
Departamento de Ingenier´ıa Ele´ctrica y de Computadoras (DIEC)
‡ Grupo de Investigacio´n en Administracio´n de Conocimiento y Recuperacio´n de Informacio´n - LIDIA
Departamento de Ciencias e Ingenier´ıa de la Computacio´n (DCIC)
Universidad Nacional del Sur (UNS)
Av. Alem 1253, (B8000CBP), Bah´ıa Blanca, Argentina
Tel: (0291) 459-5135 / Fax: (0291) 459-5136
Resumen
El objetivo del Reconocimiento de Acciones (Ac-
tion Recognition) es el ana´lisis e interpretacio´n au-
tomatizados de eventos particulares en secuencias
de video. Esta a´rea esta´ siendo ampliamente inves-
tigada en diferentes dominios tales como videos de
seguridad, interaccio´n humano-computadora, mo-
nitoreo de pacientes y recuperacio´n de video, entre
otros, dadas las importantes aplicaciones que pue-
den desarrollarse, y la proliferacio´n de ca´maras y
videos de seguridad y monitoreo en la actualidad.
El objetivo de este proyecto es la identificacio´n au-
toma´tica de acciones en secuencia de videos, utili-
zando Conditional Random Fields (CRFs). Como
caso de estudio se utilizan videos de partidos de
tenis para la identificacio´n de golpes. Se abordan
tres desaf´ıos, el tracking, la representacio´n del mo-
vimiento del jugador y el reconocimiento de accio-
nes.
Palabras clave: Reconocimiento de Accio-
nes, Tracking, Conditional Random Fields,
Flujo O´ptico
1. Contexto
El presente proyecto se da en el marco de la co-
laboracio´n conjunta desarrollada por el Laborato-
rio de Ciencias de las Ima´genes (IIIE-CONICET
http://www.imaglabs.org) y el Grupo de Investiga-
cio´n en Administracio´n de Conocimiento y Recu-
peracio´n de Informacio´n (http://ir.cs.uns.edu.ar),
pertenecientes a la Universidad Nacional del Sur.
Esta l´ınea de investigacio´n se lleva a cabo dentro
del a´mbito del LCI, y esta´ asociada a los siguientes
proyectos de investigacio´n:
Procesamiento inteligente de ima´genes. PGI
24/K047 (SECyT-UNS). Director: Claudio
Delrieux.
PICT Start-Up 2442/2010 (ANPCyT). Direc-
tor Claudio Delriuex.
Soporte inteligente para el acceso a informa-
cio´n Contextualizada en entornos centraliza-
dos y distribuidos. PIP: 11220090100863 (CO-
NICET). Director: Ana G. Maguitman.
2. Introduccio´n
En los u´ltimos an˜os se ha producido un gran cre-
cimiento en la disponibilidad de informacio´n multi-
media, lo que ha motivado en gran medida el desa-
rrollo del reconocimiento de acciones en video den-
tro del a´rea de visio´n por computadora. En funcio´n
del gran volumen de informacio´n se hace necesario
desarrollar sistemas automa´ticos o semi-automa´ti-
cos que permitan el etiquetado de acciones en video
____________________________________
                                        PAGINA - 249 -
con diferentes aplicaciones, como por ejemplo la de-
teccio´n de acciones sospechosas en ca´maras de vi-
gilancia [17], deteccio´n de incidentes de tra´nsito [9]
y bu´squeda de acciones en videos deportivos [21].
Este trabajo aborda la tema´tica del ana´lisis de
secuencias de video de partidos de tenis. Este ti-
po de ana´lisis ha sido ya estudiado por diversos
autores. En [11] se desarrolla un sistema de ano-
tacio´n automa´tico de acciones en partidos de tenis
basado en transiciones de siluetas. En [5] se utili-
za un descriptor de movimiento basado en el flujo
o´ptico espacio-temporal junto con un clasificador
de vecino ma´s cercano para llevar a cabo la cate-
gorizacio´n de acciones. En [20] se utiliza el flujo
o´ptico como descriptor de los movimientos de los
jugadores y emplea Support Vector Machines para
entrenar al clasificador en donde la informacio´n del
flujo o´ptico es utilizada como dato de entrada del
mismo.
Los CRFs son un modelo probabil´ıstico discrimi-
nativo para el etiquetado de secuencias. Este mo-
delo condiciona las probabilidades a la secuencia
de observaciones, lo cual evita computar las pro-
babildiades para cada posible observacio´n de la se-
cuencia. En lugar de depender de las probabilidades
conjuntas P (X,Y ), los CRFs espec´ıfican la proba-
bilidad de secuencias de etiquetas posibles dada la
observacio´n P (Y |X). Un modelo gra´fico t´ıpico de
CRF es ilustrado en la Fig. 1, donde X e Y refie-
ren a las observaciones y las secuencias de etiquetas
respectivamente.
Figura 1 Modelo gra´fico de un CRF. Los nodos rotulados con X
corresponden a observaciones y los rotulados con Y a etiquetas.
Los CRFs han sido aplicados a una variedad de
dominios, tales como procesamiento de lenguaje na-
tural [15, 16, 10, 4], bioinforma´tica [14, 18] y vi-
sio´n por computadora. En esta u´ltima a´rea algunos
autores han utilizado CRFs para el etiquetado de
ima´genes [7] y para el reconocimiento de objetos.
En [13] se utilizan CRFs para determinar partes
caracter´ısticas de un objeto. En particular, para el
caso de reconocimientos de acciones en secuencias
de video hay diversos trabajos sobre deteccio´n de
acciones en video deportivos [8, 20].
El objetivo de este trabajo consiste en disen˜ar e
implementar un sistema de identificacio´n de accio-
nes, que utilice procesamiento de video y recono-
cimiento basado en CRF. Como caso de entrena-
miento, se propone entrenar al sistema para clasifi-
car clips de videos de tenis, segu´n el tipo de golpe
llevado a cabo en en cada video.
3. L´ıneas de investigacio´n y
desarrollo
La l´ınea de investigacio´n se centra en el disen˜o e
implementacio´n de un sistema de reconocimiento de
acciones en videos de tenis, ma´s concretamente se
avanzara´ en el estudio de te´cnicas de procesamiento
de video y de CRFs con el objetivo de desarrollar
y mejorar nuevas te´cnicas en ambas a´reas. Existen
varios desafios a ser aboradados en el desarrollo de
esta l´ınea de investigacio´n: tracking, extraccio´n de
features, clasificacio´n y reconocimiento de patrones.
Se han abordado dos desaf´ıos complementarios:
la representacio´n del movimiento del jugador y el
reconocimiento de acciones. Para el primero se pro-
pone la utilizacio´n del flujo o´ptico [6] para modelar
los patrones de movimiento del jugador en el cam-
po de juego. Para el reconocimiento de acciones se
propone el uso de CRFs utilizando la informacio´n
obtenida a partir del flujo o´ptico de los sucesivos
frames como atributos de entrada del clasificador.
4. Propuesta y Metodolog´ıa
Como en todo proceso de clasificacio´n supervisa-
da, se pueden describir claramente dos grandes eta-
pas. La primera consiste en la construccio´n de un
modelo de clasificacio´n a partir del entrenamiento
realizado con un conjunto de muestras clasificadas
de forma supervisada, y una segunda etapa en la
cual se lleva a cabo la clasificacio´n de una nueva
instancia, empleando para ello el modelo previa-
mente obtenido.
4.1. Entrenamiento
La fase de entrenamiento se compone de un pipe-
line cuyas etapas son: tracking, extraccio´n de featu-
res y construccio´n del clasificador. Los videos utili-
____________________________________
                                        PAGINA - 250 -
zados como entrada para esta etapa corresponden
a capturas de video de dominio pu´blico realizadas
con una ca´mara oblicua. Estos videos fueron pre-
viamente clasificados en forma supervisada en dos
clases: drives de derecha y drives de izquierda. Para
esta etapa se utiliza la biblioteca OpenCV.
La primera etapa tiene como objetivo llevar a
cabo el tracking del jugador que se encuentra de
espaldas a la ca´mara, selecciona´ndolo de manera
supervisada en el frame 0 del video. A partir de
la seleccio´n de esta regio´n de intere´s se genera un
modelo del jugador que se compone de dos histo-
gramas. El primero consiste de los valores de lu-
minancia correspondientes a los pixeles de la ropa
del jugador. Este histograma se calcula a partir de
la imagen obtenida al aplicar una ma´scara que eli-
mina los pixels que no corresponden a la ropa del
jugador. El segundo histograma se obtiene a partir
de la imagen que resulta de aplicarle una ma´scara
que elimina los pixels que no corresponden a la piel
del jugador. Para este histograma se utiliza el canal
Hue del espacio croma´tico HSV [19]. En el frame 1
se toma la misma posicio´n de la regio´n de intere´s
correspondiente al frame 0, y para cada uno de los
histogramas antes descriptos se aplica el siguiente
algoritmo [1]:
1. Para cada pixel de la imagen se toma su valor
y se busca el recipiente (bin) correspondiente
en el histograma.
2. Se toma el valor asociado al bin seleccionado.
3. Se almacena el valor del bin en una nueva ima-
gen.
Los valores almacenados en cada imagen de sali-
da representan la probabilidad de que un pixel en la
imagen de entrada pertenezca a la zona de intere´s
representada por el histograma usado (en este caso
piel y color de la ropa respectivamente).
Luego se suman las ima´genes obtenidas y su
resultado -junto a la regio´n de intere´s del frame
anterior- son utilizadas como entradas para el al-
goritmo de Meanshift [3]. Como resultado de dicho
algoritmo se obtiene una nueva regio´n de intere´s
que corresponde a la posicio´n del jugador en el fra-
me actual. Este proceso se repite para todos los
frames del video.
Luego, para describir de manera robusta y discri-
minativa cada una de las clases de golpes se utiliza
el flujo o´ptico (Fig. 2a), el cual es calculado utilizan-
do el algoritmo Gunnar Farneba¨ck [6]. La matriz de
desplazamientos obtenida se divide en cuatro regio-
nes (Fig. 2b) para luego generar una etiqueta para
cada parte que representa la variacio´n del flujo o´pti-
co en cada regio´n (Fig. 2c). Este u´ltimo paso tiene
como objetivo discretizar los datos del flujo o´ptico a
fin de flexibilizar la coincidencia de atributos en las
etapas de construccio´n y validacio´n del clasificador.
Figura 2 Flujo O´ptico
(a) (b) (c)
Finalmente, para llevar a cabo la construccio´n
del clasificador que nos permita realizar la tarea de
reconocer los dos tipos de golpes propuestos en este
trabajo se utiliza Conditional Random Fields. Es-
te clasificador es entrenado utilizando el conjunto
de entrenamiento obtenido en los pasos anteriores.
Para las etapas de entrenamiento y clasificacio´n se
utiliza la herramienta CRFSuite [12]. La entrada a
dicha herramienta esta´ compuesta por un archivo
de texto plano, en el cual cada clip de video usado
para la etapa de entrenamiento es representado por
tantas l´ıneas como frames tenga el mismo. A su vez,
cada l´ınea esta´ compuesta por 5 columnas. La pri-
mera corresponde a la etiqueta del frame (es decir,
a que´ tipo de golpe corresponde e frame), y las res-
tantes 4 columnas corresponden a la representacio´n
del flujo o´ptico dado en este trabajo.
4.2. Clasificacio´n y Validacio´n
Esta etapa consiste en la clasificacio´n de un vi-
deo de entrada en una de las clases definidas en el
proceso de entrenamiento. El video de entrada es
procesado empleando el tracking y la extraccio´n de
features desarrollados anteriormente. Estos carac-
ter´ısticos son formateados de forma adecuada para
ser utilizados como entrada al clasificador, resul-
tando como salida la clase a la cual pertenece el
video de entrada.
____________________________________
                                        PAGINA - 251 -
Para determinar la efectividad de los me´todos
propuestos se utilizan las medidas de precisio´n, re-
call y F1 [2].
5. Resultados y Objetivos
5.1. Resultados Preliminares
Se llevo´ a cabo una primera prueba que consis-
tio´ en entrenar un clasificador utilizando un con-
junto de 20 clips de video (10 clips representando
drives de izquierda, y 10 clips de drives de dere-
cha). Luego se valido´ dicho clasificador utilizando
22 clips de video (11 clips de cada tipo de golpe).
La matriz de confusio´n se encuentra en la Tabla
1. A partir de los datos de la matriz de confusio´n
se pueden inferir los valores de precisio´n: 86.36 %,
recall: 85.57 % y F1: 85.3 %.
Clase predicha
DI DD
C
la
se
re
a
l
D
I
0.73 0.27
D
D 0 1
Tabla 1: Matriz de confusio´n. DI: Drive izquierda. DD: Drive
derecha.
5.2. Trabajo Futuro
Como trabajo futuro se espera avanzar y mejo-
rar en los siguientes aspectos: tracking, extraccio´n
de features para el modelado de las acciones, re-
presentacio´n de los datos de entrada para CRFs,
implementacio´n propia de CRFs y reconocer una
mayor cantidad de golpes.
6. Formacio´n de Recursos Hu-
manos
El equipo de trabajo de esta l´ınea de investi-
gacio´n se encuentra integrado por dos becarios de
posgrado que cuentan con una beca interna del Co-
nicet, y los respectivos directores. Por otra parte
se cuenta con la colaboracio´n de otros becarios de
posgrado del LCI y una vinculacio´n con un grupo
de trabajo sobre miner´ıa de datos compuesto por
doctorandos e investigadores formados.
Como parte de las actividades asociadas al pro-
yecto se realizan cursos de grado y postgrado en
Procesamiento de Ima´genes, Miner´ıa de Datos y
Aprendizaje Supervisado.
Referencias
[1] Opencv: Backprojection.
[2] Presicio´n, recall y f1, 2013 (accessed March 9,
2013).
[3] Dorin Comaniciu, Visvanathan Ramesh, and Peter
Meer. Kernel-based object tracking. IEEE Trans.
Pattern Anal. Mach. Intell., 25(5):564–575, may
2003.
[4] Aron Culotta, Ron Bekkerman, and Andrew Mc-
callum. Extracting social networks and contact
information from email and the web. In In Procee-
dings of CEAS-1, 2004.
[5] Alexei A. Efros, Alexander C. Berg, Greg Mori,
and Jitendra Malik. Recognizing action at a dis-
tance. In Proceedings of the Ninth IEEE Interna-
tional Conference on Computer Vision - Volume 2,
ICCV0´3, pages 726–, Washington, DC, USA, 2003.
IEEE Computer Society.
[6] Gunnar Farneba¨ck. Two-frame motion estima-
tion based on polynomial expansion. In Josef Bi-
gun and Tomas Gustavsson, editors, Image Analy-
sis, volume 2749 of Lecture Notes in Computer
Science, pages 363–370. Springer Berlin Heidel-
berg, 2003.
[7] Xuming He, Richard S. Zemel, and Miguel A´.
Carreira-Perpin˜a´n. Multiscale conditional random
fields for image labeling. In Proceedings of the
2004 IEEE computer society conference on Com-
puter vision and pattern recognition, CVPR’04, pa-
ges 695–703, Washington, DC, USA, 2004. IEEE
Computer Society.
[8] Nisha Jain, Santanu Chaudhury, Sumantra Dutta
Roy, Prasenjit Mukherjee, Krishanu Seal, and Ku-
mar Talluri. A novel learning-based framework for
detecting interesting events in soccer videos. In
Proceedings of the 2008 Sixth Indian Conference
on Computer Vision, Graphics & Image Proces-
sing, ICVGIP0´8, pages 119–125, Washington, DC,
USA, 2008. IEEE Computer Society.
[9] Shunsuke Kamijo, Yasuyuki Matsushita, Katsushi
Ikeuchi, and Masao Sakauchi. Incident detection at
intersections utilizing hidden markov model, 1999.
____________________________________
                                        PAGINA - 252 -
[10] Andrew McCallum. Efficiently inducing features
of conditional random fields. In Proceedings of the
Nineteenth Conference Annual Conference on Un-
certainty in Artificial Intelligence (UAI-03), pages
403–410, San Francisco, CA, 2003. Morgan Kauf-
mann.
[11] Hisashi Miyamori and Shu-ichi Iisaku. Video an-
notation for content-based retrieval using human
behavior analysis and domain knowledge. In Pro-
ceedings of the Fourth IEEE International Confe-
rence on Automatic Face and Gesture Recognition
2000, FG0´0, pages 320–, Washington, DC, USA,
2000. IEEE Computer Society.
[12] Naoaki Okazaki. Crfsuite: a fast implementation
of conditional random fields (crfs), 2007.
[13] Ariadna Quattoni, Michael Collins, and Trevor
Darrell. Conditional random fields for object re-
cognition. In In NIPS, pages 1097–1104. MIT
Press, 2004.
[14] Kengo Sato and Yasubumi Sakakibara. Rna secon-
dary structural alignment with conditional random
fields. In ECCB/JBI, page 242, 2005.
[15] Fei Sha and Fernando Pereira. Shallow parsing
with conditional random fields. In Proceedings
of the 2003 Conference of the North American
Chapter of the Association for Computational Lin-
guistics on Human Language Technology - Volume
1, NAACL ’03, pages 134–141, Stroudsburg, PA,
USA, 2003. Association for Computational Lin-
guistics.
[16] Charles Sutton, Andrew McCallum, and Khasha-
yar Rohanimanesh. Dynamic conditional random
fields: Factorized probabilistic models for labeling
and segmenting sequence data. Journal of Machi-
ne Learning Research, 8:693–723, March 2007.
[17] M. Takahashi, M. Naemura, M. Fujii, and S. Satoh.
Human action recognition in crowded surveillan-
ce video sequences by using features taken from
key-point trajectories. In Computer Vision and
Pattern Recognition Workshops (CVPRW), 2011
IEEE Computer Society Conference on, pages 9–
16, June.
[18] Peter Weigele Yan Liu, Jaime Carbonell and Va-
nathi Gopalakr-ishnan. Protein fold recognition
using segmentation conditionalrandom elds (scrfs).
Journal of Computational Biology, 13 (2) 394-406,
2006.
[19] Benjamin D. Zarit, Boaz J. Super, and Francis
K. H. Quek. Comparison of five color models
in skin pixel classification. In In ICCV 99 Int l
Workshop on, pages 58–63, 1999.
[20] Guangyu Zhu, Changsheng Xu, Wen Gao, and
Qingming Huang. Action recognition in broadcast
tennis video using optical flow and support vec-
tor machine. In Proceedings of the 2006 interna-
tional conference on Computer Vision in Human-
Computer Interaction, ECCV0´6, pages 89–98, Ber-
lin, Heidelberg, 2006. Springer-Verlag.
[21] Guangyu Zhu, Changsheng Xu, and Qingming
Huang. Player action recognition in broadcast ten-
nis video with applications to semantic analysis of
sports game. In in Proc. ACM Multimedia, 2006,
pages 431–440, 2006.
____________________________________
                                        PAGINA - 253 -


Spanish

Reconocimiento de Acciones en videos de tenis usando Flujo Optico y CRF

El Servicio de Difusión de la Creación Intelectual

Servicio de Difusión de la Creación Intelectual

Reconocimiento de Acciones en Videos deTenis usando Flujo O´ptico y CRFJose´ Francisco Manera†‡, Jonathan Vainstein†‡, Claudio Delrieux†, y Ana Maguitman‡josemanera@gmail.com, jjvainstein@gmail.com, cad@uns.edu.ar, agm@cs.uns.edu.ar† Laboratorio de Ciencias de las Ima´genes (IIIE - CONICET)Departamento de Ingenier´ıa Ele´ctrica y de Computadoras (DIEC)‡ Grupo de Investigacio´n en Administracio´n de Conocimiento y Recuperacio´n de Informacio´n - LIDIADepartamento de Ciencias e Ingenier´ıa de la Computacio´n (DCIC)Universidad Nacional del Sur (UNS)Av. Alem 1253, (B8000CBP), Bah´ıa Blanca, ArgentinaTel: (0291) 459-5135 / Fax: (0291) 459-5136ResumenEl objetivo del Reconocimiento de Acciones (Ac-tion Recognition) es el ana´lisis e interpretacio´n au-tomatizados de eventos particulares en secuenciasde video. Esta a´rea esta´ siendo ampliamente inves-tigada en diferentes dominios tales como videos deseguridad, interaccio´n humano-computadora, mo-nitoreo de pacientes y recuperacio´n de video, entreotros, dadas las importantes aplicaciones que pue-den desarrollarse, y la proliferacio´n de ca´maras yvideos de seguridad y monitoreo en la actualidad.El objetivo de este proyecto es la identificacio´n au-toma´tica de acciones en secuencia de videos, utili-zando Conditional Random Fields (CRFs). Comocaso de estudio se utilizan videos de partidos detenis para la identificacio´n de golpes. Se abordantres desaf´ıos, el tracking, la representacio´n del mo-vimiento del jugador y el reconocimiento de accio-nes.Palabras clave: Reconocimiento de Accio-nes, Tracking, Conditional Random Fields,Flujo O´ptico1. ContextoEl presente proyecto se da en el marco de la co-laboracio´n conjunta desarrollada por el Laborato-rio de Ciencias de las Ima´genes (IIIE-CONICEThttp://www.imaglabs.org) y el Grupo de Investiga-cio´n en Administracio´n de Conocimiento y Recu-peracio´n de Informacio´n (http://ir.cs.uns.edu.ar),pertenecientes a la Universidad Nacional del Sur.Esta l´ınea de investigacio´n se lleva a cabo dentrodel a´mbito del LCI, y esta´ asociada a los siguientesproyectos de investigacio´n:Procesamiento inteligente de ima´genes. PGI24/K047 (SECyT-UNS). Director: ClaudioDelrieux.PICT Start-Up 2442/2010 (ANPCyT). Direc-tor Claudio Delriuex.Soporte inteligente para el acceso a informa-cio´n Contextualizada en entornos centraliza-dos y distribuidos. PIP: 11220090100863 (CO-NICET). Director: Ana G. Maguitman.2. Introduccio´nEn los u´ltimos an˜os se ha producido un gran cre-cimiento en la disponibilidad de informacio´n multi-media, lo que ha motivado en gran medida el desa-rrollo del reconocimiento de acciones en video den-tro del a´rea de visio´n por computadora. En funcio´ndel gran volumen de informacio´n se hace necesariodesarrollar sistemas automa´ticos o semi-automa´ti-cos que permitan el etiquetado de acciones en video____________________________________                                        PAGINA - 249 -con diferentes aplicaciones, como por ejemplo la de-teccio´n de acciones sospechosas en ca´maras de vi-gilancia [17], deteccio´n de incidentes de tra´nsito [9]y bu´squeda de acciones en videos deportivos [21].Este trabajo aborda la tema´tica del ana´lisis desecuencias de video de partidos de tenis. Este ti-po de ana´lisis ha sido ya estudiado por diversosautores. En [11] se desarrolla un sistema de ano-tacio´n automa´tico de acciones en partidos de tenisbasado en transiciones de siluetas. En [5] se utili-za un descriptor de movimiento basado en el flujoo´ptico espacio-temporal junto con un clasificadorde vecino ma´s cercano para llevar a cabo la cate-gorizacio´n de acciones. En [20] se utiliza el flujoo´ptico como descriptor de los movimientos de losjugadores y emplea Support Vector Machines paraentrenar al clasificador en donde la informacio´n delflujo o´ptico es utilizada como dato de entrada delmismo.Los CRFs son un modelo probabil´ıstico discrimi-nativo para el etiquetado de secuencias. Este mo-delo condiciona las probabilidades a la secuenciade observaciones, lo cual evita computar las pro-babildiades para cada posible observacio´n de la se-cuencia. En lugar de depender de las probabilidadesconjuntas P (X,Y ), los CRFs espec´ıfican la proba-bilidad de secuencias de etiquetas posibles dada laobservacio´n P (Y |X). Un modelo gra´fico t´ıpico deCRF es ilustrado en la Fig. 1, donde X e Y refie-ren a las observaciones y las secuencias de etiquetasrespectivamente.Figura 1 Modelo gra´fico de un CRF. Los nodos rotulados con Xcorresponden a observaciones y los rotulados con Y a etiquetas.Los CRFs han sido aplicados a una variedad dedominios, tales como procesamiento de lenguaje na-tural [15, 16, 10, 4], bioinforma´tica [14, 18] y vi-sio´n por computadora. En esta u´ltima a´rea algunosautores han utilizado CRFs para el etiquetado deima´genes [7] y para el reconocimiento de objetos.En [13] se utilizan CRFs para determinar partescaracter´ısticas de un objeto. En particular, para elcaso de reconocimientos de acciones en secuenciasde video hay diversos trabajos sobre deteccio´n deacciones en video deportivos [8, 20].El objetivo de este trabajo consiste en disen˜ar eimplementar un sistema de identificacio´n de accio-nes, que utilice procesamiento de video y recono-cimiento basado en CRF. Como caso de entrena-miento, se propone entrenar al sistema para clasifi-car clips de videos de tenis, segu´n el tipo de golpellevado a cabo en en cada video.3. L´ıneas de investigacio´n ydesarrolloLa l´ınea de investigacio´n se centra en el disen˜o eimplementacio´n de un sistema de reconocimiento deacciones en videos de tenis, ma´s concretamente seavanzara´ en el estudio de te´cnicas de procesamientode video y de CRFs con el objetivo de desarrollary mejorar nuevas te´cnicas en ambas a´reas. Existenvarios desafios a ser aboradados en el desarrollo deesta l´ınea de investigacio´n: tracking, extraccio´n defeatures, clasificacio´n y reconocimiento de patrones.Se han abordado dos desaf´ıos complementarios:la representacio´n del movimiento del jugador y elreconocimiento de acciones. Para el primero se pro-pone la utilizacio´n del flujo o´ptico [6] para modelarlos patrones de movimiento del jugador en el cam-po de juego. Para el reconocimiento de acciones sepropone el uso de CRFs utilizando la informacio´nobtenida a partir del flujo o´ptico de los sucesivosframes como atributos de entrada del clasificador.4. Propuesta y Metodolog´ıaComo en todo proceso de clasificacio´n supervisa-da, se pueden describir claramente dos grandes eta-pas. La primera consiste en la construccio´n de unmodelo de clasificacio´n a partir del entrenamientorealizado con un conjunto de muestras clasificadasde forma supervisada, y una segunda etapa en lacual se lleva a cabo la clasificacio´n de una nuevainstancia, empleando para ello el modelo previa-mente obtenido.4.1. EntrenamientoLa fase de entrenamiento se compone de un pipe-line cuyas etapas son: tracking, extraccio´n de featu-res y construccio´n del clasificador. Los videos utili-____________________________________                                        PAGINA - 250 -zados como entrada para esta etapa correspondena capturas de video de dominio pu´blico realizadascon una ca´mara oblicua. Estos videos fueron pre-viamente clasificados en forma supervisada en dosclases: drives de derecha y drives de izquierda. Paraesta etapa se utiliza la biblioteca OpenCV.La primera etapa tiene como objetivo llevar acabo el tracking del jugador que se encuentra deespaldas a la ca´mara, selecciona´ndolo de manerasupervisada en el frame 0 del video. A partir dela seleccio´n de esta regio´n de intere´s se genera unmodelo del jugador que se compone de dos histo-gramas. El primero consiste de los valores de lu-minancia correspondientes a los pixeles de la ropadel jugador. Este histograma se calcula a partir dela imagen obtenida al aplicar una ma´scara que eli-mina los pixels que no corresponden a la ropa deljugador. El segundo histograma se obtiene a partirde la imagen que resulta de aplicarle una ma´scaraque elimina los pixels que no corresponden a la pieldel jugador. Para este histograma se utiliza el canalHue del espacio croma´tico HSV [19]. En el frame 1se toma la misma posicio´n de la regio´n de intere´scorrespondiente al frame 0, y para cada uno de loshistogramas antes descriptos se aplica el siguientealgoritmo [1]:1. Para cada pixel de la imagen se toma su valory se busca el recipiente (bin) correspondienteen el histograma.2. Se toma el valor asociado al bin seleccionado.3. Se almacena el valor del bin en una nueva ima-gen.Los valores almacenados en cada imagen de sali-da representan la probabilidad de que un pixel en laimagen de entrada pertenezca a la zona de intere´srepresentada por el histograma usado (en este casopiel y color de la ropa respectivamente).Luego se suman las ima´genes obtenidas y suresultado -junto a la regio´n de intere´s del frameanterior- son utilizadas como entradas para el al-goritmo de Meanshift [3]. Como resultado de dichoalgoritmo se obtiene una nueva regio´n de intere´sque corresponde a la posicio´n del jugador en el fra-me actual. Este proceso se repite para todos losframes del video.Luego, para describir de manera robusta y discri-minativa cada una de las clases de golpes se utilizael flujo o´ptico (Fig. 2a), el cual es calculado utilizan-do el algoritmo Gunnar Farneba¨ck [6]. La matriz dedesplazamientos obtenida se divide en cuatro regio-nes (Fig. 2b) para luego generar una etiqueta paracada parte que representa la variacio´n del flujo o´pti-co en cada regio´n (Fig. 2c). Este u´ltimo paso tienecomo objetivo discretizar los datos del flujo o´ptico afin de flexibilizar la coincidencia de atributos en lasetapas de construccio´n y validacio´n del clasificador.Figura 2 Flujo O´ptico(a) (b) (c)Finalmente, para llevar a cabo la construccio´ndel clasificador que nos permita realizar la tarea dereconocer los dos tipos de golpes propuestos en estetrabajo se utiliza Conditional Random Fields. Es-te clasificador es entrenado utilizando el conjuntode entrenamiento obtenido en los pasos anteriores.Para las etapas de entrenamiento y clasificacio´n seutiliza la herramienta CRFSuite [12]. La entrada adicha herramienta esta´ compuesta por un archivode texto plano, en el cual cada clip de video usadopara la etapa de entrenamiento es representado portantas l´ıneas como frames tenga el mismo. A su vez,cada l´ınea esta´ compuesta por 5 columnas. La pri-mera corresponde a la etiqueta del frame (es decir,a que´ tipo de golpe corresponde e frame), y las res-tantes 4 columnas corresponden a la representacio´ndel flujo o´ptico dado en este trabajo.4.2. Clasificacio´n y Validacio´nEsta etapa consiste en la clasificacio´n de un vi-deo de entrada en una de las clases definidas en elproceso de entrenamiento. El video de entrada esprocesado empleando el tracking y la extraccio´n defeatures desarrollados anteriormente. Estos carac-ter´ısticos son formateados de forma adecuada paraser utilizados como entrada al clasificador, resul-tando como salida la clase a la cual pertenece elvideo de entrada.____________________________________                                        PAGINA - 251 -Para determinar la efectividad de los me´todospropuestos se utilizan las medidas de precisio´n, re-call y F1 [2].5. Resultados y Objetivos5.1. Resultados PreliminaresSe llevo´ a cabo una primera prueba que consis-tio´ en entrenar un clasificador utilizando un con-junto de 20 clips de video (10 clips representandodrives de izquierda, y 10 clips de drives de dere-cha). Luego se valido´ dicho clasificador utilizando22 clips de video (11 clips de cada tipo de golpe).La matriz de confusio´n se encuentra en la Tabla1. A partir de los datos de la matriz de confusio´nse pueden inferir los valores de precisio´n: 86.36 %,recall: 85.57 % y F1: 85.3 %.Clase predichaDI DDClaserealDI0.73 0.27DD 0 1Tabla 1: Matriz de confusio´n. DI: Drive izquierda. DD: Drivederecha.5.2. Trabajo FuturoComo trabajo futuro se espera avanzar y mejo-rar en los siguientes aspectos: tracking, extraccio´nde features para el modelado de las acciones, re-presentacio´n de los datos de entrada para CRFs,implementacio´n propia de CRFs y reconocer unamayor cantidad de golpes.6. Formacio´n de Recursos Hu-manosEl equipo de trabajo de esta l´ınea de investi-gacio´n se encuentra integrado por dos becarios deposgrado que cuentan con una beca interna del Co-nicet, y los respectivos directores. Por otra partese cuenta con la colaboracio´n de otros becarios deposgrado del LCI y una vinculacio´n con un grupode trabajo sobre miner´ıa de datos compuesto pordoctorandos e investigadores formados.Como parte de las actividades asociadas al pro-yecto se realizan cursos de grado y postgrado enProcesamiento de Ima´genes, Miner´ıa de Datos yAprendizaje Supervisado.Referencias[1] Opencv: Backprojection.[2] Presicio´n, recall y f1, 2013 (accessed March 9,2013).[3] Dorin Comaniciu, Visvanathan Ramesh, and PeterMeer. Kernel-based object tracking. IEEE Trans.Pattern Anal. Mach. Intell., 25(5):564–575, may2003.[4] Aron Culotta, Ron Bekkerman, and Andrew Mc-callum. Extracting social networks and contactinformation from email and the web. In In Procee-dings of CEAS-1, 2004.[5] Alexei A. Efros, Alexander C. Berg, Greg Mori,and Jitendra Malik. Recognizing action at a dis-tance. In Proceedings of the Ninth IEEE Interna-tional Conference on Computer Vision - Volume 2,ICCV0´3, pages 726–, Washington, DC, USA, 2003.IEEE Computer Society.[6] Gunnar Farneba¨ck. Two-frame motion estima-tion based on polynomial expansion. In Josef Bi-gun and Tomas Gustavsson, editors, Image Analy-sis, volume 2749 of Lecture Notes in ComputerScience, pages 363–370. Springer Berlin Heidel-berg, 2003.[7] Xuming He, Richard S. Zemel, and Miguel A´.Carreira-Perpin˜a´n. Multiscale conditional randomfields for image labeling. In Proceedings of the2004 IEEE computer society conference on Com-puter vision and pattern recognition, CVPR’04, pa-ges 695–703, Washington, DC, USA, 2004. IEEEComputer Society.[8] Nisha Jain, Santanu Chaudhury, Sumantra DuttaRoy, Prasenjit Mukherjee, Krishanu Seal, and Ku-mar Talluri. A novel learning-based framework fordetecting interesting events in soccer videos. InProceedings of the 2008 Sixth Indian Conferenceon Computer Vision, Graphics & Image Proces-sing, ICVGIP0´8, pages 119–125, Washington, DC,USA, 2008. IEEE Computer Society.[9] Shunsuke Kamijo, Yasuyuki Matsushita, KatsushiIkeuchi, and Masao Sakauchi. Incident detection atintersections utilizing hidden markov model, 1999.____________________________________                                        PAGINA - 252 -[10] Andrew McCallum. Efficiently inducing featuresof conditional random fields. In Proceedings of theNineteenth Conference Annual Conference on Un-certainty in Artificial Intelligence (UAI-03), pages403–410, San Francisco, CA, 2003. Morgan Kauf-mann.[11] Hisashi Miyamori and Shu-ichi Iisaku. Video an-notation for content-based retrieval using humanbehavior analysis and domain knowledge. In Pro-ceedings of the Fourth IEEE International Confe-rence on Automatic Face and Gesture Recognition2000, FG0´0, pages 320–, Washington, DC, USA,2000. IEEE Computer Society.[12] Naoaki Okazaki. Crfsuite: a fast implementationof conditional random fields (crfs), 2007.[13] Ariadna Quattoni, Michael Collins, and TrevorDarrell. Conditional random fields for object re-cognition. In In NIPS, pages 1097–1104. MITPress, 2004.[14] Kengo Sato and Yasubumi Sakakibara. Rna secon-dary structural alignment with conditional randomfields. In ECCB/JBI, page 242, 2005.[15] Fei Sha and Fernando Pereira. Shallow parsingwith conditional random fields. In Proceedingsof the 2003 Conference of the North AmericanChapter of the Association for Computational Lin-guistics on Human Language Technology - Volume1, NAACL ’03, pages 134–141, Stroudsburg, PA,USA, 2003. Association for Computational Lin-guistics.[16] Charles Sutton, Andrew McCallum, and Khasha-yar Rohanimanesh. Dynamic conditional randomfields: Factorized probabilistic models for labelingand segmenting sequence data. Journal of Machi-ne Learning Research, 8:693–723, March 2007.[17] M. Takahashi, M. Naemura, M. Fujii, and S. Satoh.Human action recognition in crowded surveillan-ce video sequences by using features taken fromkey-point trajectories. In Computer Vision andPattern Recognition Workshops (CVPRW), 2011IEEE Computer Society Conference on, pages 9–16, June.[18] Peter Weigele Yan Liu, Jaime Carbonell and Va-nathi Gopalakr-ishnan. Protein fold recognitionusing segmentation conditionalrandom elds (scrfs).Journal of Computational Biology, 13 (2) 394-406,2006.[19] Benjamin D. Zarit, Boaz J. Super, and FrancisK. H. Quek. Comparison of five color modelsin skin pixel classification. In In ICCV 99 Int lWorkshop on, pages 58–63, 1999.[20] Guangyu Zhu, Changsheng Xu, Wen Gao, andQingming Huang. Action recognition in broadcasttennis video using optical flow and support vec-tor machine. In Proceedings of the 2006 interna-tional conference on Computer Vision in Human-Computer Interaction, ECCV0´6, pages 89–98, Ber-lin, Heidelberg, 2006. Springer-Verlag.[21] Guangyu Zhu, Changsheng Xu, and QingmingHuang. Player action recognition in broadcast ten-nis video with applications to semantic analysis ofsports game. In in Proc. ACM Multimedia, 2006,pages 431–440, 2006.____________________________________                                        PAGINA - 253 -

http://sedici.unlp.edu.ar/bitstream/handle/10915/27141/Documento_completo.pdf?sequence=1

Reconocimiento de Acciones en videos de tenis usando Flujo Optico y CRF

Abstract

Similar works

Full text

Available Versions

SEDICI - Repositorio de la UNLP

El Servicio de Difusión de la Creación Intelectual

Servicio de Difusión de la Creación Intelectual