Diseño de un sistema de reconocimiento de gestos de la mano basado en visión artificial para estudiantes escolares con discapacidad auditiva en Lima Metropolitana

El propósito principal del siguiente trabajo es el diseñar un sistema de reconocimiento de gestos del mano para estudiantes escolares con discapacidad auditiva en Lima Metropolitana, con la finalidad de utilizarse como una herramienta de comunicación y mejorar así los procesos de aprendizaje del alumno. Para ello, el trabajo se fundamenta en el conocimiento del lenguaje de señas peruano, así también es necesario los conceptos de cámaras de profundidad de campo, procesamiento de imágenes, redes neuronales, deep learning, lenguaje Python y comunicación inalámbrica. El desarrollo de la propuesta está dividida en 4 bloques: adquisición, procesamiento, visualización y supervisión; primeramente se capturará las imágenes continuas mediante una cámara RGB-D, éstas son ingresadas al microcomputador Raspberry pi donde se implementarán los algoritmos de detección de la mano, segmentación espacio-temporal, extracción de características 3D y clasificación, además contendrá también la base de datos generada por el entrenamiento y aprendizaje de una máquina de vectores de soporte, a partir de ello, el usuario visualizará en una pantalla LCD el texto asociado al gesto ejecutado, finalmente como bloque de supervisión se utilizará una laptop enlazada inalámbricamente con la raspberry que contendrá una interfaz de control y monitoreo remoto del sistema. Como resultados se espera: la adquisición de imágenes RGB e imágenes de profundidad, el procesamiento y clasificación de características espacio-temporales, así como la traducción continua en texto de los gestos capturados. En conclusión, el diseño de éste sistema embebido portátil permitirá reconocer gestos de la mano y convertirlas a texto de manera constante y autónoma.Trabajo de investigaciónCampus Lima Centr

La investigación universitaria sobre educación : dilemas y prácticas

Se presentan los resultados de investigaciones realizadas en un contexto institucional: la Facultad de Educación Elemental y Especial (FEEYE), de la Universidad Nacional de Cuyo durante el bienio 2011-2013 y son resultado de los proyectos subsidiados por la Secretaría de Ciencia, Técnica y Posgrado de la misma Universidad a partir del programa de incentivo a docentes investigadores o subsidiados por la unidad académica

Auditoría de usabilidad y accesibilidad de aplicaciones web

Las principales aportaciones de este Trabajo Fin de Grado son dos: un nuevo referente para auditar de forma exclusiva la usabilidad y la accesibilidad de aplicaciones web y un nuevo proceso de auditoria que hará uso de dicho referente. Actualmente, existen referentes formales para auditar la accesibilidad web, pero no para la usabilidad. Luego los medios para llevar a cabo este tipo de auditoria no resultan del todo suficientes. Por ello, el objetivo de este Trabajo Fin de Grado es proporcionar recursos para evaluar ambos aspectos de forma conjunta basándose en estándares ya existentes los cuales han sido enriquecidos en contenido y forma. En primer lugar en este documento se proporciona una breve introducción para poner al lector en situación, explicando los antecedentes que giran en torno al tema a tratar y la situación actual. Además, permitirá entender el valor de la investigación realizada y cuyos resultados se recogen en este Trabajo de Fin de Grado. A continuación se ofrece un nuevo referente de auditoria, el cual recoge un conjunto de requisitos para evaluar las características de usabilidad y accesibilidad de una aplicación web. Para ello se han analizado otros referentes y, como ya se ha indicado, se han completado con otros definidos por los autores de este documento. Seguidamente, se explica en detalle un nuevo proceso de auditoria basado en uno ya existente, pero cuyas fases y actividades han sido actualizadas y adaptadas para auditar de forma específica la usabilidad y accesibilidad de una aplicación web. Como ejemplo de aplicación del referente y proceso de auditoría definidos por los autores, se incluye una serie de casos prácticos en los que se ha verificado el cumplimiento de cada uno de los requisitos redactados en el nuevo referente. De este modo, se ha evaluado el grado de cumplimiento del referente de una aplicación web. Finalmente, el documento recoge las principales conclusiones y aportaciones de este Trabajo Fin de Grado, así como las líneas abiertas de mejora que pueden ser tratadas en futuras investigaciones

Implementación de un algoritmo para la clasificación automática de lenguaje de señas colombiano en video usando aprendizaje profundo

Trabajo de investigación tecnológicaSe realizó un experimento de un método sustentado en aprendizaje profundo en el cual implementó distintos algoritmos computacionales para la identificación de cinco palabras del lenguaje de señas colombiano emuladas en videos de manera automática, con el fin de proponer un punto de partida para la disminución de la brecha de comunicación existente entre las personas con discapacidad auditiva y la sociedad colombiana.RESUMEN INTRODUCCIÓN 1. GENERALIDADES 2. MARCO DE REFERENCIA 3. METODOLOGÍA 4. DISEÑO METODOLÓGICO 5. RESULTADOS 6. DISCUSIÓN DE RESULTADOS 7. CONCLUSIONES 8. RECOMENDACIONES 9. Bibliografía 10. ANEXOSPregradoIngeniero de Sistema

Reconocimiento de gestos dinámicos de brazos en tiempo real para la implementación de un traductor de lengua de señas mediante cámaras de profundidad

Según la World Federation of the Deaf, existen aproximadamente 70 millones de personas a nivel mundial con deficiencias auditivas, de ellas un 80% no tiene acceso a la educación y sólo 1 a 2% cuenta con formación en Lengua de Señas como medio de comunicación. Sin embargo, enfrentan obstáculos para su desarrollo en la sociedad, por lo cual se han establecido normativas a nivel mundial, pero en la práctica no son acatadas por las entidades a pesar de su obligatoriedad. Una solución propuesta por el gobierno nacional es ofrecer servicios de intérpretes como mediadores y facilitadores, sin embargo, para el año 2013 sólo habían sido capaces de atender a no más del 10% de solicitantes, considerando además que el servicio cuenta con un horario restringido y un trámite lento. Frente a ello, allanar obstáculos de comunicación mediante un software traductor sería un gran aporte social, supliendo en cierta medida el rol de los intérpretes y abriendo puertas a quienes deseen superarse. Un tipo de planteamiento con notable actividad en los últimos años es el reconocimiento de gestos mediante software basándose principalmente en la obtención y procesamiento de datos a partir de imágenes de cámaras RGB y el empleo de métodos probabilísticos (Principalmente HMM y Redes Neuronales), generando altos costos computacionales y requiriendo mayor tiempo de desarrollo a cambio de una tasa de reconocimiento aceptable. Como consecuencia, esta tesis propone el empleo de data 3D a partir de una cámara de profundidad, empleando DTW como método clasificador para el reconocimiento de gestos. El presente proyecto ha logrado un porcentaje de reconocimiento del 98.18%

Detección y clasificación de objetos aplicado a un área de investigación: reconocimiento de la lengua de señas mexicana

El presente trabajo de maestría se enfoca en el estudio y análisis de la Lengua de Señas Mexicana (LSM), un lenguaje esencial para la comunidad sorda en México, que posee su propia sintaxis, gramática y léxico. La LSM se compone de una variedad de signos, cada uno con su propia lingüística y expresiones propias, lo que la convierte en una herramienta fundamental para que las personas sordas en México puedan expresar sus pensamientos y emociones, así como satisfacer sus necesidades comunicativas y cognitivas al interactuar con su entorno. En la actualidad, se han desarrollado diversas propuestas y tecnologías con el propósito de facilitar la comunicación y comprensión de la LSM. Estas propuestas abarcan desde sistemas invasivos que se colocan en las manos y utilizan sensores de diversa índole, hasta sistemas menos invasivos que, mediante sensores externos, son capaces de captar el movimiento de las manos y las expresiones faciales de los usuarios. A pesar de los avances en la tecnología y la investigación en este campo, es importante destacar que muchas investigaciones previas sobre el reconocimiento de la LSM han enfrentado desafíos en la implementación de señas debido a la complejidad de abordar todas las señas de cada región del país. En muchos casos, las investigaciones se han centrado en señas específicas, dividiéndolas en categorías estáticas y dinámicas, lo que ha limitado su aplicabilidad. El objetivo principal de este proyecto de maestría es diseñar, implementar y verificar un modelo de redes neuronales que se base en modelos ya existentes, y que se enfoque en las señas estáticas de la Lengua de Señas Mexicana. Este enfoque permitirá el desarrollo de un sistema que pueda identificar y reconocer correctamente cada señal estática de la LSM, proporcionando información detallada sobre su significado y la forma adecuada de interpretarla. Este proyecto contribuirá de manera significativa a mejorar la accesibilidad y la comunicación de las personas sordas en México, facilitando la comprensión y el uso de la LSM en diversos contextos.ITESO, A. C

FPGA-based translation system from colombian sign language to text

This paper presents the development of a system aimed to facilitate the communication and interaction of people with severe hearing impairment with other people. The system employs artificial vision techniques to the recognition of static signs of Colombian Sign Language (LSC). The system has four stages: Image capture, preprocessing, feature extraction and recognition. The image is captured by a digital camera TRDB-D5M for Altera’s DE1 and DE2 development boards. In the preprocessing stage, the sign is extracted from the background of the image using the thresholding segmentation method; then, the segmented image is filtered using a morphological operation to remove the noise. The feature extraction stage is based on the creation of two vectors to characterize the shape of the hand used to make the sign. The recognition stage is made up a multilayer perceptron neural network (MLP), which functions as a classifier. The system was implemented in the Altera’s Cyclone II FPGA EP2C70F896C6 device and does not require the use of gloves or visual markers for its proper operation. The results show that the system is able to recognize all the 23 signs of the LSC with a recognition rate of 98.15 %

Las redes neuronales convolucionales en el uso del lenguaje de señas en la gestión académica de los estudiantes para SENATI

El Objetivo de la investigación busca Determinar la influencia de las redes neuronales convolucionales en el uso de lenguaje de señas en la gestión académica de los estudiantes para SENATI, utilizando el método de investigación científico como marco de investigación, utilizándose específicamente el método deductivo. Se aplicará el tipo de investigación aplicada, el alcance de la misma será explicativo, el enfoque de la investigación de tipo cuantitativo, con diseño Correlacional determinando la influencia entre las variables de investigación. La población total fue de 410 alumnos, se fijó un muestreo no probabilístico simple en una muestra de 199 alumnos, se aplicó la técnica de encuesta a través del instrumento de cuestionario. Para la fiabilidad se utilizó el coeficiente de alfa de Cronbach generando como resultado el valor: 0.834 y al final el examen inferencial de los datos se aplicó el Coeficiente de regresión ordinal. Para finalizar se concluye el proyecto, el cual permitirá detallar modelos de aprendizaje no supervisado por intermedio del lenguaje de señas, considerando elementos propios de los alumnos que a su vez representa alcances a lograr en busca de mejorar el servicio orientado a los futuros alumno

Aplicación móvil basado en el reconocimiento de imágenes para apoyar el aprendizaje del lenguaje de señas de gestos estáticos en el Perú

La investigación se realizó con el fin de apoyar en el aprendizaje del lenguaje de señas que es el medio de comunicación más usado por las personas con discapacidad auditiva. Para ello se utilizó la Metodología General de Machine Learning, donde mediante el aprendizaje de máquinas, se creó un modelo predictivo que permite reconocer los gestos estáticos del lenguaje de señas peruano que comprende el abecedario. Este modelo fue integrado haciendo uso de la Metodología XP en una aplicación interactiva que permite el aprendizaje de dichos gestos. Así, el resultado obtenido permite a las personas una manera más sencilla de aprender dicho lenguaje desde la comodidad de la casa generando así una mayor inclusión para las personas con esta discapacidad

Interprete virtual de lengua de señas colombiana

La población sorda en muchos casos ha sido excluida e incluso tachada como personas con incapacidad para pensar y procesar información. Esto es debido a que su aprendizaje no se enfoca en la audición para entender el entorno. Principalmente utilizan la vista, lo que les genera dificultades para desarrollar habilidades comunicativas. Con el paso del tiempo se ha generado un mecanismo de comunicación para estas personas, la cual se basa en la expresión corporal. La lengua de señas es formada a partir de las características de cada cultura, por lo cual no existe una lengua universal. Este artículo sustenta una propuesta, que busca minimizar las barreras existentes entre la comunicación de sordos y oyentes a través de las tecnologías de la informática. Esto último es dado a través de un intérprete virtual unilateral basado en software libre. La propuesta fue puesta a prueba a través de una validación funcional de la herramienta.