Segmentación multi-modal de imágenes RGB-D a partir de mapas de apariencia y de profundidad geométrica

Classical image segmentation algorithms exploit the detection of similarities and discontinuities of different visual cues to define and differentiate multiple regions of interest in images. However, due to the high variability and uncertainty of image data, producing accurate results is difficult. In other words, segmentation based just on color is often insufficient for a large percentage of real-life scenes. This work presents a novel multi-modal segmentation strategy that integrates depth and appearance cues from RGB-D images by building a hierarchical region-based representation, i.e., a multi-modal segmentation tree (MM-tree). For this purpose, RGB-D image pairs are represented in a complementary fashion by different segmentation maps. Based on color images, a color segmentation tree (C-tree) is created to obtain segmented and over-segmented maps. From depth images, two independent segmentation maps are derived by computing planar and 3D edge primitives. Then, an iterative region merging process can be used to locally group the previously obtained maps into the MM-tree. Finally, the top emerging MM-tree level coherently integrates the available information from depth and appearance maps. The experiments were conducted using the NYU-Depth V2 RGB-D dataset, which demonstrated the competitive results of our strategy compared to state-of-the-art segmentation methods. Specifically, using test images, our method reached average scores of 0.56 in Segmentation Covering and 2.13 in Variation of Information.Los algoritmos clásicos de segmentación de imágenes explotan la detección de similitudes y discontinuidades en diferentes señales visuales, para definir regiones de interés en imágenes. Sin embargo, debido a la alta variabilidad e incertidumbre en los datos de imagen, se dificulta generar resultados acertados. En otras palabras, la segmentación basada solo en color a menudo no es suficiente para un gran porcentaje de escenas reales. Este trabajo presenta una nueva estrategia de segmentación multi-modal que integra señales de profundidad y apariencia desde imágenes RGB-D, por medio de una representación jerárquica basada en regiones, es decir, un árbol de segmentación multi-modal (MM-tree). Para ello, la imagen RGB-D es descrita de manera complementaria por diferentes mapas de segmentación. A partir de la imagen de color, se implementa un árbol de segmentación de color (C-tree) para obtener mapas de segmentación y sobre-segmentación. Desde de la imagen de profundidad, se derivan dos mapas de segmentación independientes, los cuales se basan en el cálculo de primitivas de planos y de bordes 3D. Seguidamente, un proceso de fusión jerárquico de regiones permite agrupar de manera local los mapas obtenidos anteriormente en el MM-tree. Por último, el nivel superior emergente del MM-tree integra coherentemente la información disponible en los mapas de profundidad y apariencia. Los experimentos se realizaron con el conjunto de imágenes RGB-D del NYU-Depth V2, evidenciando resultados competitivos, con respecto a los métodos de segmentación del estado del arte. Específicamente, en las imágenes de prueba, se obtuvieron puntajes promedio de 0.56 en la medida de Segmentation Covering y 2.13 en Variation of Information

Aplicación móvil para el seguimiento del crecimiento y cuidado nutricional del bebé en hogares colombianos

Introducción: El predominio y asequibilidad actual de los teléfonos móviles inteligentes han permitido una amplia difusión de variedad de aplicaciones a nivel mundial para el monitoreo del crecimiento y del estado nutricional de los lactantes. No obstante, la mayoría de estos recursos no son lo suficientemente completos para proveer una interfaz amigable de seguimiento del crecimiento, combinada con una adecuada educación parental en materia de nutrición y alimentación complementaria. Objetivos: Este trabajo pretende presentar el desarrollo y evaluación de la aplicación propuesta “Baby Home”, con el fin de estudiar su potencial como herramienta digital de apoyo a padres y cuidadores en el cuidado nutricional de sus niños desde el hogar. Materiales y métodos: Baby Home integra una interfaz de seguimiento interactivo del crecimiento del bebé con una serie de contenidos educativos alimentarios, posibilitando al usuario consultar las prácticas recomendadas según el estado nutricional estimado de su bebé. Un conjunto de 7 jueces expertos fue reunido para evaluar la validez de estos contenidos consignados en la aplicación. Posteriormente, se llevó a cabo un estudio de prueba piloto con 8 madres participantes las cuales aportaron en las fortalezas y debilidades de las funcionalidades propuestas. Resultados: La aplicación desarrollada muestra una aprobación positiva por los especialistas consultados y una aceptación satisfactoria entre las madres participantes gracias a su diseño amigable y funcionalidades de fácil uso. Los recursos visuales implementados prueban ser adecuados para la apropiación de los contenidos alimentarios y el empoderamiento del usuario en torno a los cuidados nutricionales que requieren sus niños. Conclusiones: Baby Home se ubica como un soporte práctico y accesible para el cuidado nutricional del lactante, otorgando seguridad y confianza al usuario en la alimentación de su niño y disponiendo la posibilidad de detectar oportunamente problemas de crecimiento.Introducción: El predominio y asequibilidad actual de los teléfonos móviles inteligentes han permitido una amplia difusión de variedad de aplicaciones a nivel mundial para el monitoreo del crecimiento y del estado nutricional de los lactantes. No obstante, la mayoría de estos recursos no son lo suficientemente completos para proveer una interfaz amigable de seguimiento del crecimiento, combinada con una adecuada educación parental en materia de nutrición y alimentación complementaria. Objetivos: Este trabajo pretende presentar el desarrollo y evaluación de la aplicación propuesta “Baby Home”, con el fin de estudiar su potencial como herramienta digital de apoyo a padres y cuidadores en el cuidado nutricional de sus niños desde el hogar. Materiales y métodos: Baby Home integra una interfaz de seguimiento interactivo del crecimiento del bebé con una serie de contenidos educativos alimentarios, posibilitando al usuario consultar las prácticas recomendadas según el estado nutricional estimado de su bebé. Un conjunto de 7 jueces expertos fue reunido para evaluar la validez de estos contenidos consignados en la aplicación. Posteriormente, se llevó a cabo un estudio de prueba piloto con 8 madres participantes las cuales aportaron en las fortalezas y debilidades de las funcionalidades propuestas. Resultados: La aplicación desarrollada muestra una aprobación positiva por los especialistas consultados y una aceptación satisfactoria entre las madres participantes gracias a su diseño amigable y funcionalidades de fácil uso. Los recursos visuales implementados prueban ser adecuados para la apropiación de los contenidos alimentarios y el empoderamiento del usuario en torno a los cuidados nutricionales que requieren sus niños. Conclusiones: Baby Home se ubica como un soporte práctico y accesible para el cuidado nutricional del lactante, otorgando seguridad y confianza al usuario en la alimentación de su niño y disponiendo la posibilidad de detectar oportunamente problemas de crecIntroduction: The current prevalence and affordability of smartphones have enabled a broad diffusion of a variety of mobile applications worldwide for monitoring infant’s growth and nutritional status. However, most of these resources are not comprehensive enough to provide a user-friendly interface for growth tracking combined with proper parental education on nutrition and complementary feeding. Objectives: This work aims to present the development and evaluation of the proposed application "Baby Home", in order to study its potential as a digital tool for supporting parents and caregivers in the nutritional care of their children from home. Materials and Methods: Baby Home integrates an interactive baby growth monitoring interface with a collection of educational content on infant feeding, allowing the user to check the recommended practices based on the estimated nutritional status of their baby. A panel of 7 expert judges was assembled to evaluate the validity of these contents included in the application. Subsequently, a pilot test study was carried out with 8 participating mothers who contributed to the strengths and weaknesses of the proposed functionalities. Results: The developed application shows a positive approval by the consulted specialists and a satisfactory acceptance within the participating mothers thanks to its friendly design and easy-to-use functionalities. The implemented visual resources prove to be suited for the user’s appropriation of feeding contents and their empowerment regarding the nutritional care required by their children. Conclusions: Baby Home is positioned as a practical and accessible support for the nutritional care of infants, providing safeness and confidence to the user in their child's feeding and the possibility of timely detection of growth problems

Segmentación multi-modal de imágenes RGB-D a partir de mapas de apariencia y de profundidad geométrica

Classical image segmentation algorithms exploit the detection of similarities and discontinuities of different visual cues to define and differentiate multiple regions of interest in images. However, due to the high variability and uncertainty of image data, producing accurate results is difficult. In other words, segmentation based just on color is often insufficient for a large percentage of real-life scenes. This work presents a novel multi-modal segmentation strategy that integrates depth and appearance cues from RGB-D images by building a hierarchical region-based representation, i.e., a multi-modal segmentation tree (MM-tree). For this purpose, RGB-D image pairs are represented in a complementary fashion by different segmentation maps. Based on color images, a color segmentation tree (C-tree) is created to obtain segmented and over-segmented maps. From depth images, two independent segmentation maps are derived by computing planar and 3D edge primitives. Then, an iterative region merging process can be used to locally group the previously obtained maps into the MM-tree. Finally, the top emerging MM-tree level coherently integrates the available information from depth and appearance maps. The experiments were conducted using the NYU-Depth V2 RGB-D dataset, which demonstrated the competitive results of our strategy compared to state-of-the-art segmentation methods. Specifically, using test images, our method reached average scores of 0.56 in Segmentation Covering and 2.13 in Variation of Information.Los algoritmos clásicos de segmentación de imágenes explotan la detección de similitudes y discontinuidades en diferentes señales visuales, para definir regiones de interés en imágenes. Sin embargo, debido a la alta variabilidad e incertidumbre en los datos de imagen, se dificulta generar resultados acertados. En otras palabras, la segmentación basada solo en color a menudo no es suficiente para un gran porcentaje de escenas reales. Este trabajo presenta una nueva estrategia de segmentación multi-modal que integra señales de profundidad y apariencia desde imágenes RGB-D, por medio de una representación jerárquica basada en regiones, es decir, un árbol de segmentación multi-modal (MM-tree). Para ello, la imagen RGB-D es descrita de manera complementaria por diferentes mapas de segmentación. A partir de la imagen de color, se implementa un árbol de segmentación de color (C-tree) para obtener mapas de segmentación y sobre-segmentación. Desde de la imagen de profundidad, se derivan dos mapas de segmentación independientes, los cuales se basan en el cálculo de primitivas de planos y de bordes 3D. Seguidamente, un proceso de fusión jerárquico de regiones permite agrupar de manera local los mapas obtenidos anteriormente en el MM-tree. Por último, el nivel superior emergente del MM-tree integra coherentemente la información disponible en los mapas de profundidad y apariencia. Los experimentos se realizaron con el conjunto de imágenes RGB-D del NYU-Depth V2, evidenciando resultados competitivos, con respecto a los métodos de segmentación del estado del arte. Específicamente, en las imágenes de prueba, se obtuvieron puntajes promedio de 0.56 en la medida de Segmentation Covering y 2.13 en Variation of Information