En este trabajo se propone el uso de descriptores locales codificados con el método de Vectores de Fisher para resolver el problema de clasificación de hojas de plantas usando imágenes. Se demuestra que con este enfoque se obtienen resultados de estado del arte en conjuntos de datos públicos, sin la necesidad de recurrir a la creación de nuevos descriptores visuales específicos para el problema, ni la necesidad de realizar ningún preprocesamiento de las imágenes a analizar.Sociedad Argentina de Informática e Investigación Operativa (SADIO

Pucheta, Julián Antonio

Redolfi, Javier A.

Sánchez, Jorge Adrián

SEDICI - Repositorio de la UNLP

ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
Identificación de hojas de plantas usando 
Vectores de Fisher
Javier A. Redolfi1,2,3, Jorge A. Sánchez2,3 y Julián A. Pucheta2
1 Centro de Investigación en Informática para la Ingeniería, Universidad Tecnológica 
Nacional, Facultad Regional Cárdoba, Maestro López S/N, Cárdoba, Argentina,
2 Universidad Nacional de Cordoba, Haya de la Torre S/N, Cordoba, Argentina,
3 CONICET, Haya de la Torre S/N, Cárdoba, Argentina 
jr e d o lfi@ frc .u tn .e d u .a r
Resumen En este trabajo se propone el uso de descriptores locales co­
dificados con el metodo de Vectores de Fisher para resolver el problema 
de clasificacion de hojas de plantas usando imágenes. Se demuestra que 
con este enfoque se obtienen resultados de estado del arte en conjuntos 
de datos puáblicos, sin la necesidad de recurrir a la creaciáon de nuevos des­
criptores visuales especáficos para el problema, ni la necesidad de realizar 
ningun preprocesamiento de las imagenes a analizar.
Keywords: identificacion de plantas, vectores de Fisher, clasificacion 
de imagenes, agricultura de precision
1. Introducción
El problema de clasificación de especies de plantas es un tema al cual se le 
está prestando una creciente atención en los últimos años [2,8,10,12,17]. Algunas 
de las razones son la gran cantidad de especies en peligro de extincián y las altas 
tasas de deforestacion debida al corrimiento de la frontera agropecuaria y a una 
mala planificacion urbana. Las plantas tiene un rol crucial para la vida en la tierra 
y su descuido trae aparejados problemas irreversibles para la sociedad, como son 
el calentamiento global, la perdida de la biodiversidad y el daño ambiental [2,18].
Tambien en el ambito academico, el problema presenta un desafío muy in­
teresante por su dificultad, incluso para personas entrenadas resulta muy difícil 
la identificaciáon de especies de plantas. Esto se puede explicar por la gran canti­
dad de especies de plantas, contabilizadas aproximadamente en 200000, tambiáen 
por la gran variabilidad dentro de una misma clase y las similitudes entre distin­
tas clases. Esto uáltimo cataloga al problema como uno de clasificaciáon de grano 
fino [17].
Ademas de la importancia que tiene la identificacián de plantas para el cuida­
do del medio, tambiáen puede ser uátil en aplicaciones de agricultura de precisiáon, 
como puede ser la deteccion de malezas para la pulverizacion selectiva [5].
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 80
ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
2. Trabajos Relacionados
En la literatura se han propuesto una gran cantidad de algoritmos de pre­
procesamiento, extracción de descriptores visuales y clasificación de estos des­
criptores, específicos para la identificación de especies de plantas.
En algunos de los trabajos los autores se concentran en la definición de nue­
vos descriptores visuales ótiles para la descripcion de hojas, en este sentido uno 
de los primeros trabajos es el de Wu et. al. [19], en el cual se calculan descripto­
res geometricos y morfologicos basicos, los cuales son clasificados usando redes 
neuronales probabilísticas (PNN). Este algoritmo es semiautomatico porque pa­
ra el cóalculo de uno de los descriptores propuestos un usuario debe marcar los 
dos puntos terminales de la nervadura principal de la hoja. Siguiendo con esta 
modalidad, en [9] al igual que en el trabajo anterior se usa como clasificador 
una PNN, pero se propone el uso de momentos de color, descriptores de forma, 
de nervaduras y de textura para mejorar la precisión. Los autores de [13] defi­
nen otro tipo de descriptores basados en el contorno de la hoja, en el espectro 
del mismo, en su forma y geometría. Para clasificar usan un metodo basado en 
los rangos de valores de cada descriptor. Los autores concluyen que el sistema 
propuesto no puede ser usado en imóagenes con fondos complejos, esto se debe 
a que antes del cóalculo de los descriptores se debe computar el contorno de la 
hoja, lo cual es difícil cuando en la imagen hay mós de una hoja. En [10] los au­
tores proponen el uso de descriptores geomóetricas y momentos invariantes, pero 
ademóas definen dos nuevos descriptores que miden cuan rugoso es el contorno 
de la hoja. Estos nuevos descriptores como los anteriores dependen fuertemente 
de un correcto preprocesamiento de las imóagenes, el cual debe remover el ruido 
y extraer el contorno. Tambien deben usar un algoritmo para remover el tallo. 
Los descriptores resultantes son clasificados usando discriminantes lineales. Otro 
de los trabajos [18], propone la combinacion de descriptores de forma basados 
en el contorno y definen un nuevo descriptor de textura basado en el modelo 
de interseccion cortical que trata de imitar la respuesta de la corteza visual. 
Su extraccióon tambióen requiere un preprocesamiento de la imagen que incluye 
segmentacióon, suavizado y realce de contraste y textura. Para la clasificacióon 
utilizan Maquinas de Soporte Vectorial (SVM). Los autores de [8], proponen el 
uso de descriptores generados desde la matriz de co-ocurrencia de niveles de gri­
ses (GLCM), el concepto de lagunaridad para modelar textura y descriptores de 
Shen para modelar la forma. Estos descriptores son clasificados con un esquema 
bayesiano.
En otra clase de trabajos los autores se concentran en proponer nuevos meto- 
dos de clasificación, por ejemplo en [17] se plantea el problema como uno de recu- 
peracióon de imóagenes. El algoritmo es semi-automaótico porque retorna las clases 
móas problables ordenadas en forma descendente y el usuario debe desambiguar 
cual es la clase verdadera, ademóas para el cóalculo de los descriptores un usuario 
debe elegir la base y el apice de la hoja. El esquema de recuperacion contiene dos 
etapas, la primera es un óarbol de buósqueda y la segunda un discriminante lineal. 
En el trabajo de Hsiao et. al. [6], se propone un nuevo esquema de clasificacion 
basado en bolsa de palabras (BoW) y codificacion rala. Como descriptores vi­
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 81
ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
suales usan SIFT calculado en forma densa. Una de las ventajas de este trabajo 
es que no necesita la extracción del contorno para una correcta extracción de 
los descriptores. En [12] los autores proponen un nuevo metodo de identificacion 
de plantas basado en descriptores de kernel (KDES). Este metodo se basa en 
el clasico esquema de bolsa de palabras visuales aplicado sobre descriptores de 
kernel. Para clasificar usan SVM en un esquema de uno contra todos (OvA).
3. Método Propuesto
Como se puede ver en la literatura analizada anteriormente, en la mayoría de 
los trabajos se propone el uso de nuevos descriptores diseñados específicamente 
para clasificar hojas ( [19], [9], [13], [10], [18]) y en otros se diseñan nuevos 
algoritmos para clasificar estos descriptores ( [13], [17], [6]).
En este trabajo sostenemos que para resolver el problema de clasificacion de 
imagenes de hojas, no es necesario el diseño de nuevos descriptores específicos ni 
de nuevos esquemas de clasificacion, sino que es suficiente el uso de esquemas ya 
probados en clasificacion de imágenes en general y de grano fino en particular.
El esquema elegido es similar al que se describe en [16], el cual presenta varias 
ventajas con respecto a los trabajos analizados, por ejemplo no necesita el uso 
de preprocesamiento de las imágenes para una correcta extraccion del contorno 
de la hoja, necesario para la extraccián de descritores geometricos y de forma; 
al usar descriptores locales calculados en forma densa, no es necesario que las 
imagenes sean de una hoja con un fondo fácilmente distinguible, lo que hace que 
pueda ser usado en clasificacion de imagenes naturales.
El sistema contiene cuatro etapas, la primera es la extraccion de descriptores 
visuales de forma densa en la imagen, luego estos descriptores son reducidos en 
dimensionalidad usando Analisis de Componentes Principales (PCA) [1], estos 
nuevos descriptores son codificadas usando el metodo conocido como vectores de 
Fisher (FV) y por ultimo estos vectores son clasificados usando SVM [3]. En la 
figura 1 se puede ver un diagrama completo y a continuacián se explican cada 
una de las partes.
Figura 1. Diagrama en bloques del sistema propuesto.
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 82
ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
3.1. Descriptores
Los descriptores son extraídos en forma densa, sobre una grilla regular con 
el mismo paso en ambas direcciones como se puede ver en la figura 2. Ademas 
estos se calculan sobre la imagen original y en 4 escalas de la misma, con un 
escalado de ^ , esto se puede ver en la figura 3, en donde la escala 0 representa 
la imagen original. El descriptor utilizado es SIFT [14].
Figura 2. Grilla densa para el cálculo 
de descriptores.
Figura 3. Escalas de la imagen sobre 
la cual se calculan las grillas densas de 
descriptores.
3.2. Análisis de Componentes Principales
Para reducir la complejidad del problema se aplica la tecnica de PCA. El 
principio de PCA es transformar un conjunto de observaciones posiblemente 
correlacionadas en un conjunto de variables no correlacionadas las cuales son 
conocidas como componentes principales. Normalmente el número de compo­
nentes principales es menor que el numero de variables originales, lo cual nos 
permite reducir la dimensionalidad de los descriptores y como consecuencia la 
del problema.
3.3. Vectores de Fisher
La representaciún usando vectores de Fisher [16] es actualmente una de las 
mas robustas en clasificación de imagenes [11] y en clasificación de grano fino [4]. 
Para calcular esta representaciúon, los descriptores son modelados como muestras 
sampleadas de una mezcla de distribuciones Gaussianas (GMM) [1]. Luego una 
imagen es codificada como un vector gradiente que caracteriza la distribucioún de 
las muestras con respecto a los parúmetros del modelo probabilístico.
Supongamos una imagen I , en la que extraemos descriptores en forma densa,
I  =  { x i , ..., x„}
en donde x¿ G reprensenta a los descriptores calculados en la imagen I  
despues de haber sido reducidos a D dimensiones con PCA.
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 83
ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
Definamos a 0  =  jp k, S k,n k : k =  1 , . . . ,K } como los parámetros de una 
distribución mezcla de K  Gaussianas definida como:
en donde p k, S k y nk representan al vector de medias, la matriz de covarianza 
y el coeficiente de mezcla de la Gaussiana k. Ademas supongamos que la matriz 
de covarianza es diagonal.
Sean los gradientes con respecto a la media (pk) y a la covarianza (S k), 
evaluados en el descriptor i y en la dimensión j ,  respectivamente:
en donde qik esta definido como:
y ajk es la componente (j, j ) de la matriz de covarianza de la gaussiana k. 
El FV de la imagen I  es la concatenación de los gradientes y vk para cada
una de las K  componentes:
Usando descriptores robustos como SIFT, la codificacion con FV permite 
obtener resultados estado del arte en problemas de clasificacioón y reconocimiento.
Como no es el objetivo de este trabajo una derivacion completa de la codifi- 
cacion con FV, para una mejor y mas detallada derivacion de la misma ver [16].
3.4. Clasificadores
Para la clasificacion de los FV se utilizaron Móquinas de Soporte Vectorial 
(SVM) con kernel lineal, debido a que es la eleccion normal para este tipo de 
problemas. El uso de kernels de tipo no lineal resulta problematico por la gran 
dimensionalidad de los FV. Como el problema a resolver es uno del tipo mul- 
ticlase, se entreno un SVM para cada clase con un esquema del tipo OvA y el 
score para cada imagen se obtuvo con una funcion del tipo argmax.
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 84
ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
4. Experimentos
Para demostrar la viabilidad del esquema propuesto se realizaron experimen­
tos en diferentes datasets comunmente usados para la evaluación de sistemas de 
clasificación de imagenes de hojas. La ventaja de usar datasets públicos es que 
nos permite comparar de una forma rápida y facil nuestros resultados con los de 
los otros algoritmos.
4.1. Datasets
El primero de los datasets usados es el presentado en [19], mas conocido 
como Flavia, el cual consiste en 1907 imógenes de hojas de 32 arboles distintos, 
con un mínimo de 50 muestras por clase y un maximo de 72. El procedimiento 
normal de evaluaciúon es dejar 10 muestras de cada clase para test y entrenar 
sobre las restantes. Como la eleccion de las muestras para test no esta definida, 
en los experimentos sobre Flavia se decidio mostrar los resultados de 10 corridas 
con conjuntos de entrenamiento y test generados en forma aleatoria, siempre 
respetando que el tamaño del conjunto de test sea de 10 muestras.
El otro dataset usado es conocido como Foliage [7], el cual contiene 120 
muestras para cada una de 60 especies diferentes de órboles. El procedimiento 
recomendado para la evaluacioún es tomar 100 muestras para entrenamiento y 20 
para test por cada clase. En este dataset solo se realiza una corrida porque los 
conjuntos ya esrán definidos en el mismo dataset.
4.2. Configuración Experimental
Como ya se dijo, como descriptor local se uso SIFT calculado sobre una 
grilla regular con un paso en ambas direcciones de 6 pixels y en 5 escalas de 
la imagen original. Para la reducción de la escala se utilizó un factor de ^ . 
Estos descriptores tienen una dimensionalidad de 128, la cual fue reducida a 64 
dimensiones usando PCA. Sobre estos descriptores se ajusto una GMM de 64 
componentes, que luego fue usada para calcular los FV. Por último se entreno 
un SVM en una configuracion OvA.
5. Resultados
En la segunda columna del cuadro 1, se muestra la precision (ecuacion 1) del 
metodo propuesto, identificado como FV, sobre el dataset Flavia y los resultados 
de los distintos metodos analizados. La precision estó calculada como el promedio 
de 10 corridas.
En la última columna del cuadro 1 se compara la precisión del método pro­
puesto con la del metodo presentado en [8], sobre el dataset Foliage. La precisión
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 85
(1)
ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
Cuadro 1. Comparación de distintos algoritmos de clasificación en los datasets Flavia 
y Foliage.
sigue siendo muy buena sobre este dataset, aunque el mismo contiene casi el do­
ble de clases que el anterior.
Como se puede ver en el cuadro de comparación (1), usando FV se obtienen 
resultados que son estado el arte en los 2 datasets analizados, superando la 
precisióon de los móetodos propuestos en la literatura actual.
6. Conclusiones
El objetivo principal de este trabajo era mostrar que con un metodo clasico 
de clasificación de imagenes y con descriptores robustos ya probados en diferen­
tes problemas de clasificación y reconocimiento se pueden obtener resultados que 
son estado del arte en el problema de clasificacion de especies de hojas. Como 
se puede ver en la seccion 5, con la codificacion usando vectores de Fisher, se 
obtienen resultados de estado del arte en 2 datasets. Ademas con este metodo no 
se necesita realizar preprocesamiento de los datos ni un algoritmo de segmenta- 
cion o extraccion de contorno, aumentando la robustez del mismo. Este óltima 
característica permite que el sistema sea usado en imagenes naturales con ruido 
de fondo.
7. Trabajo a Futuro
A futuro se planea evaluar dos modificaciones al esquema actual. La primera 
es utilizar el sistema en imóagenes con fondo natural en el cual haya mucho 
ruido de fondo, oclusiones y desorden, para poder corroborar la capacidad de 
generalizacióon del sistema. La segunda es calcular FV sobre los descriptores 
visuales que se obtienen como salida de una red neuronal convolucional (CNN) 
como se plantea en [15], en donde se demuestra que este tipo de descriptor es 
muy poderoso para diversos problemas relacionados a visioón por computadora.
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 86
ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.
Referencias
1. Bishop, C.M.: Pattern recognition and machine learning. springer (2006)
2. Chaki, J., Parekh, R., Bhattacharya, S.: Plant leaf recognition using texture and 
shape features with neural classifiers. Pattern Recognition Letters 58, 61-68 (2015)
3. Fan, R.E., Chang, K.W., Hsieh, C.J., Wang, X.R., Lin, C.J.: Liblinear: A library for 
large linear classification. The Journal of Machine Learning Research 9, 1871-1874 
(2008)
4. Gosselin, P.H., Murray, N., Jegou, H., Perronnin, F.: Revisiting the fisher vector 
for fine-grained classification. Pattern Recognition Letters 49, 92-98 (2014)
5. Hong, S., Minzan, L., Qin, Z.: Detection system of smart sprayers: Status, challen- 
ges, and perspectives. International Journal of Agricultural and Biological Engi- 
neering 5(3), 10-23 (2012)
6. Hsiao, J.K., Kang, L.W., Chang, C.L., Lin, C.Y.: Comparative study of leaf image 
recognition with a novel learning-based approach. In: Science and Information 
Conference (SAI), 2014. pp. 389-393. IEEE (2014)
7. Kadir, A., Nugroho, L., Susanto, A., Santosa, P.: Neural network application on 
foliage plant identification. International Journal of Computer Applications 29(9), 
15-22 (2011)
8. Kadir, A.: A model of plant identification system using glcm, lacunarity and shen 
features. arXiv preprint arXiv:1410.0969 (2014)
9. Kadir, A., Nugroho, L.E., Susanto, A., Santosa, P.I.: Leaf classification using shape, 
color, and texture features. arXiv preprint arXiv:1401.4447 (2013)
10. Kalyoncu, C., Toygar, O.: Geometric leaf classification. Computer Vision and Ima­
ge Understanding (2014)
11. Ken Chatfield, Victor Lempitsky, A.V., Zisserman, A.: The devil is in the details: 
an evaluation of recent feature encoding methods. In: Proc. BMVC. pp. 76.1-76.12 
(2011), http://dx.doi.org/10.5244/C.25.76
12. Le, T.L., Tran, D.T., Pham, N.H.: Kernel descriptor based plant leaf identification. 
In: Image Processing Theory, Tools and Applications (IPTA), 2014 4th Internatio­
nal Conference on. pp. 1-5. IEEE (2014)
13. Lee, K.B., Hong, K.S.: An implementation of leaf recognition system using leaf vein 
and shape. International Journal of Bio-Science and Bio-Technology 5(2), 57-66 
(2013)
14. Lowe, D.G.: Distinctive image features from scale-invariant keypoints. Internatio­
nal journal of computer vision 60(2), 91-110 (2004)
15. Razavian, A.S., Azizpour, H., Sullivan, J., Carlsson, S.: CNN features off-the-shelf: 
an astounding baseline for recognition. CoRR (2014)
16. Sanchez, J., Perronnin, F., Mensink, T., Verbeek, J.J.: Image classification with 
the fisher vector: Theory and practice. International Journal of Computer Vision 
105(3), 222-245 (2013)
17. Sfar, A.R., Boujemaa, N., Geman, D.: Confidence sets for fine-grained categoriza- 
tion and plant species identification. International Journal of Computer Vision pp. 
1-21 (2014)
18. Wang, Z., Sun, X., Ma, Y., Zhang, H., Ma, Y., Xie, W., Zhang, Y.: Plant recog­
nition based on intersecting cortical model. In: Neural Networks (IJCNN), 2014 
International Joint Conference on. pp. 975-980. IEEE (2014)
19. Wu, S.G., Bao, F.S., Xu, E.Y., Wang, Y .X., Chang, Y.F., Xiang, Q.L.: A leaf re- 
cognition algorithm for plant classification using probabilistic neural network. In: 
Signal Processing and Information Technology, 2007 IEEE International Sympo- 
sium on. pp. 11-16. IEEE (2007)
44 JAIIO - ASAI 2015 - ISSN: 2451-7585 87


Spanish

Identificación de hojas de plantas usando Vectores de Fisher

Servicio de Difusión de la Creación Intelectual

ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.Identificación de hojas de plantas usando Vectores de FisherJavier A. Redolfi1,2,3, Jorge A. Sánchez2,3 y Julián A. Pucheta21 Centro de Investigación en Informática para la Ingeniería, Universidad Tecnológica Nacional, Facultad Regional Cárdoba, Maestro López S/N, Cárdoba, Argentina,2 Universidad Nacional de Cordoba, Haya de la Torre S/N, Cordoba, Argentina,3 CONICET, Haya de la Torre S/N, Cárdoba, Argentina jr e d o lfi@ frc .u tn .e d u .a rResumen En este trabajo se propone el uso de descriptores locales co­dificados con el metodo de Vectores de Fisher para resolver el problema de clasificacion de hojas de plantas usando imágenes. Se demuestra que con este enfoque se obtienen resultados de estado del arte en conjuntos de datos puáblicos, sin la necesidad de recurrir a la creaciáon de nuevos des­criptores visuales especáficos para el problema, ni la necesidad de realizar ningun preprocesamiento de las imagenes a analizar.Keywords: identificacion de plantas, vectores de Fisher, clasificacion de imagenes, agricultura de precision1. IntroducciónEl problema de clasificación de especies de plantas es un tema al cual se le está prestando una creciente atención en los últimos años [2,8,10,12,17]. Algunas de las razones son la gran cantidad de especies en peligro de extincián y las altas tasas de deforestacion debida al corrimiento de la frontera agropecuaria y a una mala planificacion urbana. Las plantas tiene un rol crucial para la vida en la tierra y su descuido trae aparejados problemas irreversibles para la sociedad, como son el calentamiento global, la perdida de la biodiversidad y el daño ambiental [2,18].Tambien en el ambito academico, el problema presenta un desafío muy in­teresante por su dificultad, incluso para personas entrenadas resulta muy difícil la identificaciáon de especies de plantas. Esto se puede explicar por la gran canti­dad de especies de plantas, contabilizadas aproximadamente en 200000, tambiáen por la gran variabilidad dentro de una misma clase y las similitudes entre distin­tas clases. Esto uáltimo cataloga al problema como uno de clasificaciáon de grano fino [17].Ademas de la importancia que tiene la identificacián de plantas para el cuida­do del medio, tambiáen puede ser uátil en aplicaciones de agricultura de precisiáon, como puede ser la deteccion de malezas para la pulverizacion selectiva [5].44 JAIIO - ASAI 2015 - ISSN: 2451-7585 80ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.2. Trabajos RelacionadosEn la literatura se han propuesto una gran cantidad de algoritmos de pre­procesamiento, extracción de descriptores visuales y clasificación de estos des­criptores, específicos para la identificación de especies de plantas.En algunos de los trabajos los autores se concentran en la definición de nue­vos descriptores visuales ótiles para la descripcion de hojas, en este sentido uno de los primeros trabajos es el de Wu et. al. [19], en el cual se calculan descripto­res geometricos y morfologicos basicos, los cuales son clasificados usando redes neuronales probabilísticas (PNN). Este algoritmo es semiautomatico porque pa­ra el cóalculo de uno de los descriptores propuestos un usuario debe marcar los dos puntos terminales de la nervadura principal de la hoja. Siguiendo con esta modalidad, en [9] al igual que en el trabajo anterior se usa como clasificador una PNN, pero se propone el uso de momentos de color, descriptores de forma, de nervaduras y de textura para mejorar la precisión. Los autores de [13] defi­nen otro tipo de descriptores basados en el contorno de la hoja, en el espectro del mismo, en su forma y geometría. Para clasificar usan un metodo basado en los rangos de valores de cada descriptor. Los autores concluyen que el sistema propuesto no puede ser usado en imóagenes con fondos complejos, esto se debe a que antes del cóalculo de los descriptores se debe computar el contorno de la hoja, lo cual es difícil cuando en la imagen hay mós de una hoja. En [10] los au­tores proponen el uso de descriptores geomóetricas y momentos invariantes, pero ademóas definen dos nuevos descriptores que miden cuan rugoso es el contorno de la hoja. Estos nuevos descriptores como los anteriores dependen fuertemente de un correcto preprocesamiento de las imóagenes, el cual debe remover el ruido y extraer el contorno. Tambien deben usar un algoritmo para remover el tallo. Los descriptores resultantes son clasificados usando discriminantes lineales. Otro de los trabajos [18], propone la combinacion de descriptores de forma basados en el contorno y definen un nuevo descriptor de textura basado en el modelo de interseccion cortical que trata de imitar la respuesta de la corteza visual. Su extraccióon tambióen requiere un preprocesamiento de la imagen que incluye segmentacióon, suavizado y realce de contraste y textura. Para la clasificacióon utilizan Maquinas de Soporte Vectorial (SVM). Los autores de [8], proponen el uso de descriptores generados desde la matriz de co-ocurrencia de niveles de gri­ses (GLCM), el concepto de lagunaridad para modelar textura y descriptores de Shen para modelar la forma. Estos descriptores son clasificados con un esquema bayesiano.En otra clase de trabajos los autores se concentran en proponer nuevos meto- dos de clasificación, por ejemplo en [17] se plantea el problema como uno de recu- peracióon de imóagenes. El algoritmo es semi-automaótico porque retorna las clases móas problables ordenadas en forma descendente y el usuario debe desambiguar cual es la clase verdadera, ademóas para el cóalculo de los descriptores un usuario debe elegir la base y el apice de la hoja. El esquema de recuperacion contiene dos etapas, la primera es un óarbol de buósqueda y la segunda un discriminante lineal. En el trabajo de Hsiao et. al. [6], se propone un nuevo esquema de clasificacion basado en bolsa de palabras (BoW) y codificacion rala. Como descriptores vi­44 JAIIO - ASAI 2015 - ISSN: 2451-7585 81ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.suales usan SIFT calculado en forma densa. Una de las ventajas de este trabajo es que no necesita la extracción del contorno para una correcta extracción de los descriptores. En [12] los autores proponen un nuevo metodo de identificacion de plantas basado en descriptores de kernel (KDES). Este metodo se basa en el clasico esquema de bolsa de palabras visuales aplicado sobre descriptores de kernel. Para clasificar usan SVM en un esquema de uno contra todos (OvA).3. Método PropuestoComo se puede ver en la literatura analizada anteriormente, en la mayoría de los trabajos se propone el uso de nuevos descriptores diseñados específicamente para clasificar hojas ( [19], [9], [13], [10], [18]) y en otros se diseñan nuevos algoritmos para clasificar estos descriptores ( [13], [17], [6]).En este trabajo sostenemos que para resolver el problema de clasificacion de imagenes de hojas, no es necesario el diseño de nuevos descriptores específicos ni de nuevos esquemas de clasificacion, sino que es suficiente el uso de esquemas ya probados en clasificacion de imágenes en general y de grano fino en particular.El esquema elegido es similar al que se describe en [16], el cual presenta varias ventajas con respecto a los trabajos analizados, por ejemplo no necesita el uso de preprocesamiento de las imágenes para una correcta extraccion del contorno de la hoja, necesario para la extraccián de descritores geometricos y de forma; al usar descriptores locales calculados en forma densa, no es necesario que las imagenes sean de una hoja con un fondo fácilmente distinguible, lo que hace que pueda ser usado en clasificacion de imagenes naturales.El sistema contiene cuatro etapas, la primera es la extraccion de descriptores visuales de forma densa en la imagen, luego estos descriptores son reducidos en dimensionalidad usando Analisis de Componentes Principales (PCA) [1], estos nuevos descriptores son codificadas usando el metodo conocido como vectores de Fisher (FV) y por ultimo estos vectores son clasificados usando SVM [3]. En la figura 1 se puede ver un diagrama completo y a continuacián se explican cada una de las partes.Figura 1. Diagrama en bloques del sistema propuesto.44 JAIIO - ASAI 2015 - ISSN: 2451-7585 82ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.3.1. DescriptoresLos descriptores son extraídos en forma densa, sobre una grilla regular con el mismo paso en ambas direcciones como se puede ver en la figura 2. Ademas estos se calculan sobre la imagen original y en 4 escalas de la misma, con un escalado de ^ , esto se puede ver en la figura 3, en donde la escala 0 representa la imagen original. El descriptor utilizado es SIFT [14].Figura 2. Grilla densa para el cálculo de descriptores.Figura 3. Escalas de la imagen sobre la cual se calculan las grillas densas de descriptores.3.2. Análisis de Componentes PrincipalesPara reducir la complejidad del problema se aplica la tecnica de PCA. El principio de PCA es transformar un conjunto de observaciones posiblemente correlacionadas en un conjunto de variables no correlacionadas las cuales son conocidas como componentes principales. Normalmente el número de compo­nentes principales es menor que el numero de variables originales, lo cual nos permite reducir la dimensionalidad de los descriptores y como consecuencia la del problema.3.3. Vectores de FisherLa representaciún usando vectores de Fisher [16] es actualmente una de las mas robustas en clasificación de imagenes [11] y en clasificación de grano fino [4]. Para calcular esta representaciúon, los descriptores son modelados como muestras sampleadas de una mezcla de distribuciones Gaussianas (GMM) [1]. Luego una imagen es codificada como un vector gradiente que caracteriza la distribucioún de las muestras con respecto a los parúmetros del modelo probabilístico.Supongamos una imagen I , en la que extraemos descriptores en forma densa,I  =  { x i , ..., x„}en donde x¿ G reprensenta a los descriptores calculados en la imagen I  despues de haber sido reducidos a D dimensiones con PCA.44 JAIIO - ASAI 2015 - ISSN: 2451-7585 83ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.Definamos a 0  =  jp k, S k,n k : k =  1 , . . . ,K } como los parámetros de una distribución mezcla de K  Gaussianas definida como:en donde p k, S k y nk representan al vector de medias, la matriz de covarianza y el coeficiente de mezcla de la Gaussiana k. Ademas supongamos que la matriz de covarianza es diagonal.Sean los gradientes con respecto a la media (pk) y a la covarianza (S k), evaluados en el descriptor i y en la dimensión j ,  respectivamente:en donde qik esta definido como:y ajk es la componente (j, j ) de la matriz de covarianza de la gaussiana k. El FV de la imagen I  es la concatenación de los gradientes y vk para cadauna de las K  componentes:Usando descriptores robustos como SIFT, la codificacion con FV permite obtener resultados estado del arte en problemas de clasificacioón y reconocimiento.Como no es el objetivo de este trabajo una derivacion completa de la codifi- cacion con FV, para una mejor y mas detallada derivacion de la misma ver [16].3.4. ClasificadoresPara la clasificacion de los FV se utilizaron Móquinas de Soporte Vectorial (SVM) con kernel lineal, debido a que es la eleccion normal para este tipo de problemas. El uso de kernels de tipo no lineal resulta problematico por la gran dimensionalidad de los FV. Como el problema a resolver es uno del tipo mul- ticlase, se entreno un SVM para cada clase con un esquema del tipo OvA y el score para cada imagen se obtuvo con una funcion del tipo argmax.44 JAIIO - ASAI 2015 - ISSN: 2451-7585 84ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.4. ExperimentosPara demostrar la viabilidad del esquema propuesto se realizaron experimen­tos en diferentes datasets comunmente usados para la evaluación de sistemas de clasificación de imagenes de hojas. La ventaja de usar datasets públicos es que nos permite comparar de una forma rápida y facil nuestros resultados con los de los otros algoritmos.4.1. DatasetsEl primero de los datasets usados es el presentado en [19], mas conocido como Flavia, el cual consiste en 1907 imógenes de hojas de 32 arboles distintos, con un mínimo de 50 muestras por clase y un maximo de 72. El procedimiento normal de evaluaciúon es dejar 10 muestras de cada clase para test y entrenar sobre las restantes. Como la eleccion de las muestras para test no esta definida, en los experimentos sobre Flavia se decidio mostrar los resultados de 10 corridas con conjuntos de entrenamiento y test generados en forma aleatoria, siempre respetando que el tamaño del conjunto de test sea de 10 muestras.El otro dataset usado es conocido como Foliage [7], el cual contiene 120 muestras para cada una de 60 especies diferentes de órboles. El procedimiento recomendado para la evaluacioún es tomar 100 muestras para entrenamiento y 20 para test por cada clase. En este dataset solo se realiza una corrida porque los conjuntos ya esrán definidos en el mismo dataset.4.2. Configuración ExperimentalComo ya se dijo, como descriptor local se uso SIFT calculado sobre una grilla regular con un paso en ambas direcciones de 6 pixels y en 5 escalas de la imagen original. Para la reducción de la escala se utilizó un factor de ^ . Estos descriptores tienen una dimensionalidad de 128, la cual fue reducida a 64 dimensiones usando PCA. Sobre estos descriptores se ajusto una GMM de 64 componentes, que luego fue usada para calcular los FV. Por último se entreno un SVM en una configuracion OvA.5. ResultadosEn la segunda columna del cuadro 1, se muestra la precision (ecuacion 1) del metodo propuesto, identificado como FV, sobre el dataset Flavia y los resultados de los distintos metodos analizados. La precision estó calculada como el promedio de 10 corridas.En la última columna del cuadro 1 se compara la precisión del método pro­puesto con la del metodo presentado en [8], sobre el dataset Foliage. La precisión44 JAIIO - ASAI 2015 - ISSN: 2451-7585 85(1)ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.Cuadro 1. Comparación de distintos algoritmos de clasificación en los datasets Flavia y Foliage.sigue siendo muy buena sobre este dataset, aunque el mismo contiene casi el do­ble de clases que el anterior.Como se puede ver en el cuadro de comparación (1), usando FV se obtienen resultados que son estado el arte en los 2 datasets analizados, superando la precisióon de los móetodos propuestos en la literatura actual.6. ConclusionesEl objetivo principal de este trabajo era mostrar que con un metodo clasico de clasificación de imagenes y con descriptores robustos ya probados en diferen­tes problemas de clasificación y reconocimiento se pueden obtener resultados que son estado del arte en el problema de clasificacion de especies de hojas. Como se puede ver en la seccion 5, con la codificacion usando vectores de Fisher, se obtienen resultados de estado del arte en 2 datasets. Ademas con este metodo no se necesita realizar preprocesamiento de los datos ni un algoritmo de segmenta- cion o extraccion de contorno, aumentando la robustez del mismo. Este óltima característica permite que el sistema sea usado en imagenes naturales con ruido de fondo.7. Trabajo a FuturoA futuro se planea evaluar dos modificaciones al esquema actual. La primera es utilizar el sistema en imóagenes con fondo natural en el cual haya mucho ruido de fondo, oclusiones y desorden, para poder corroborar la capacidad de generalizacióon del sistema. La segunda es calcular FV sobre los descriptores visuales que se obtienen como salida de una red neuronal convolucional (CNN) como se plantea en [15], en donde se demuestra que este tipo de descriptor es muy poderoso para diversos problemas relacionados a visioón por computadora.44 JAIIO - ASAI 2015 - ISSN: 2451-7585 86ASAI 2015, 16° Simposio Argentino de Inteligencia Artificial.Referencias1. Bishop, C.M.: Pattern recognition and machine learning. springer (2006)2. Chaki, J., Parekh, R., Bhattacharya, S.: Plant leaf recognition using texture and shape features with neural classifiers. Pattern Recognition Letters 58, 61-68 (2015)3. Fan, R.E., Chang, K.W., Hsieh, C.J., Wang, X.R., Lin, C.J.: Liblinear: A library for large linear classification. The Journal of Machine Learning Research 9, 1871-1874 (2008)4. Gosselin, P.H., Murray, N., Jegou, H., Perronnin, F.: Revisiting the fisher vector for fine-grained classification. Pattern Recognition Letters 49, 92-98 (2014)5. Hong, S., Minzan, L., Qin, Z.: Detection system of smart sprayers: Status, challen- ges, and perspectives. International Journal of Agricultural and Biological Engi- neering 5(3), 10-23 (2012)6. Hsiao, J.K., Kang, L.W., Chang, C.L., Lin, C.Y.: Comparative study of leaf image recognition with a novel learning-based approach. In: Science and Information Conference (SAI), 2014. pp. 389-393. IEEE (2014)7. Kadir, A., Nugroho, L., Susanto, A., Santosa, P.: Neural network application on foliage plant identification. International Journal of Computer Applications 29(9), 15-22 (2011)8. Kadir, A.: A model of plant identification system using glcm, lacunarity and shen features. arXiv preprint arXiv:1410.0969 (2014)9. Kadir, A., Nugroho, L.E., Susanto, A., Santosa, P.I.: Leaf classification using shape, color, and texture features. arXiv preprint arXiv:1401.4447 (2013)10. Kalyoncu, C., Toygar, O.: Geometric leaf classification. Computer Vision and Ima­ge Understanding (2014)11. Ken Chatfield, Victor Lempitsky, A.V., Zisserman, A.: The devil is in the details: an evaluation of recent feature encoding methods. In: Proc. BMVC. pp. 76.1-76.12 (2011), http://dx.doi.org/10.5244/C.25.7612. Le, T.L., Tran, D.T., Pham, N.H.: Kernel descriptor based plant leaf identification. In: Image Processing Theory, Tools and Applications (IPTA), 2014 4th Internatio­nal Conference on. pp. 1-5. IEEE (2014)13. Lee, K.B., Hong, K.S.: An implementation of leaf recognition system using leaf vein and shape. International Journal of Bio-Science and Bio-Technology 5(2), 57-66 (2013)14. Lowe, D.G.: Distinctive image features from scale-invariant keypoints. Internatio­nal journal of computer vision 60(2), 91-110 (2004)15. Razavian, A.S., Azizpour, H., Sullivan, J., Carlsson, S.: CNN features off-the-shelf: an astounding baseline for recognition. CoRR (2014)16. Sanchez, J., Perronnin, F., Mensink, T., Verbeek, J.J.: Image classification with the fisher vector: Theory and practice. International Journal of Computer Vision 105(3), 222-245 (2013)17. Sfar, A.R., Boujemaa, N., Geman, D.: Confidence sets for fine-grained categoriza- tion and plant species identification. International Journal of Computer Vision pp. 1-21 (2014)18. Wang, Z., Sun, X., Ma, Y., Zhang, H., Ma, Y., Xie, W., Zhang, Y.: Plant recog­nition based on intersecting cortical model. In: Neural Networks (IJCNN), 2014 International Joint Conference on. pp. 975-980. IEEE (2014)19. Wu, S.G., Bao, F.S., Xu, E.Y., Wang, Y .X., Chang, Y.F., Xiang, Q.L.: A leaf re- cognition algorithm for plant classification using probabilistic neural network. In: Signal Processing and Information Technology, 2007 IEEE International Sympo- sium on. pp. 11-16. IEEE (2007)44 JAIIO - ASAI 2015 - ISSN: 2451-7585 87

El Servicio de Difusión de la Creación Intelectual

http://sedici.unlp.edu.ar/bitstream/handle/10915/52088/Documento_completo.pdf?sequence=1

Identificación de hojas de plantas usando Vectores de Fisher

Abstract

Similar works

Full text

Available Versions

SEDICI - Repositorio de la UNLP

Servicio de Difusión de la Creación Intelectual

El Servicio de Difusión de la Creación Intelectual