DESARROLLO DE UN SISTEMA DE APOYO EN LA ATENCIÓN AL PÚBLICO MEDIANTE TRADUCCIÓN BIDIRECCIONAL DE LENGUA DE SEÑAS COLOMBIANA Y VOZ A TEXTO

Abstract

Este proyecto presenta el desarrollo de un prototipo funcional de traductor bidireccional entre Lengua de Señas Colombiana (LSC) y voz/texto, orientado a fortalecer los procesos de atención al público y la inclusión comunicativa en la Universidad Católica de Pereira. El sistema integra técnicas de visión por computadora, mediante la arquitectura YOLOv8, y procesamiento del lenguaje natural para permitir tanto la interpretación automática de señas capturadas por cámara como la transcripción de voz en tiempo real. El enfoque metodológico se basó en el modelo de desarrollo en cascada y un diseño de investigación de tipo cuantitativo, centrado en la evaluación técnica del prototipo más que en la validación con usuarios finales. Para el entrenamiento del modelo se conformó un conjunto de datos compuesto por imágenes propias y por el dataset público Dynamic LSC70, aunque con un alcance limitado a letras del abecedario y un conjunto reducido de palabras básicas. Este corpus permitió ejecutar múltiples entrenamientos, cuyos resultados mostraron un desempeño estable con valores destacados como un [email protected] superior al 84% en el mejor modelo, así como un equilibrio adecuado entre precisión y exhaustividad. El sistema desarrollado logró integrar de manera eficiente componentes de visión por computadora y reconocimiento de voz dentro de una interfaz gráfica fácil de entender, permitiendo la visualización de video, traducción de señas y transcripción de voz. A pesar del tamaño del dataset, la capacidad computacional disponible y la falta de pruebas con usuarios reales, los resultados obtenidos demuestran la viabilidad técnica del enfoque y sientan las bases para futuras mejoras orientadas a ampliar el vocabulario reconocido, mejorar el rendimiento del modelo y validar el sistema en escenarios reales. En resumen, este proyecto es un paso importante hacia la facilitación de herramientas tecnológicas accesibles que ayuden a cerrar la brecha de comunicación entre la comunidad sorda que utiliza LSC y los funcionarios públicos, y es un ejemplo del potencial de la IA en los procesos de inclusión y servicio a la ciudadanía.This project presents the development of a functional prototype of a bidirectional translator between Colombian Sign Language (LSC) and voice/text, designed to strengthen communication accessibility and support public service processes at the Universidad Católica de Pereira. The system integrates computer vision techniques, using the YOLOv8 architecture, and natural language processing tools to enable real-time recognition of static LSC signs through camera input, as well as automatic speech transcription. The methodological approach followed a waterfall development model and a quantitative research design focused on evaluating the technical performance of the prototype. Training was conducted using a dataset composed of proprietary images and the public Dynamic LSC70 corpus, limited to alphabetic signs and a small set of basic vocabulary. Despite the reduced dataset and computational constraints, the best-trained model achieved stable performance, including a [email protected] above 84% and balanced precision/recall metrics. The system successfully integrated both recognition modules into a user-friendly graphical interface capable of displaying video, sign translation, and speech-to-text transcription simultaneously. Although no formal user testing with the deaf community was conducted, the results demonstrate the technical feasibility of the approach and provide a solid foundation for future improvements such as expanding the recognized vocabulary, incorporating dynamic signs, enhancing model efficiency, and evaluating the system in real-world settings. Overall, this prototype represents a significant step toward the creation of accessible technological tools that help reduce communication barriers for LSC users and showcases the potential of artificial intelligence to support inclusive public service environments.RESUMEN................................................................................................................... 11 ABSTRACT .................................................................................................................. 12 INTRODUCCIÓN ......................................................................................................... 13 1. PLANTEAMIENTO DEL PROBLEMA......................................................................... 15 2. DELIMITACIÓN..................................................................................................... 18 3. JUSTIFICACIÓN.................................................................................................... 18 4. OBJETIVOS .......................................................................................................... 21 4.1 OBJETIVO GENERAL ........................................................................................... 21 4.2 OBJETIVOS ESPECÍFICOS ................................................................................... 21 5. MARCO TEÓRICO................................................................................................. 22 5.1 VISIÓN POR COMPUTADORA Y RECONOCIMIENTO DE SEÑALES MANUALES........ 22 5.1.1 Reconocimiento gestual............................................................................... 22 5.1.2 Modelos YOLOv5 y YOLOv8 .......................................................................... 23 5.1.3 MediaPipe ................................................................................................... 23 5.2 REDES NEURONALES CONVOLUCIONALES (CNN) .............................................. 24 5.2.1 Arquitectura general de una CNN.................................................................. 24 5.2.2 Aprendizaje profundo y entrenamiento .......................................................... 24 5.2.3 Aplicación de CNN en el reconocimiento de señas......................................... 25 5.2.4 Limitaciones y desafíos actuales................................................................... 25 5.3 RECONOCIMIENTO AUTOMÁTICO DEL HABLA (ASR)............................................ 26 5.3.1 Funcionamiento general del ASR................................................................... 26 5.3.2 Modelos neuronales y aprendizaje profundo.................................................. 26 5.3.3 Implementaciones prácticas y bibliotecas en Python ..................................... 27 5.4 INGENIERÍA DEL SOFTWARE............................................................................... 27 5.4.1 Metodologías ágiles ..................................................................................... 27 5.4.2 Modelos de ciclo de vida .............................................................................. 28 5.4.3 Paradigmas de programación ....................................................................... 28 7 5.4.4 Lenguajes de programación.......................................................................... 29 5.4.5 API .............................................................................................................. 29 5.5 HERRAMIENTAS DE DESARROLLO ...................................................................... 30 5.5.1 Control de versiones............................................................................... 30 5.5.2 Gestión del proyecto........................................................................................ 31 6 METODOLOGÍA.................................................................................................... 32 6.1 CRONOGRAMA.................................................................................................. 32 6.2 PRESUPUESTO...................................................................................................... 34 7 DESARROLLO DEL PROYECTO.............................................................................. 36 7.1 ANTECEDENTES................................................................................................. 36 7.2 TECNOLOGÍAS UTILIZADAS ................................................................................ 37 7.2.1 Python 3.10 ................................................................................................. 38 7.2.2 PyTorch y Ultralytics YOLOv8 ........................................................................ 38 7.2.3 MediaPipe ................................................................................................... 38 7.2.4 OpenCV ...................................................................................................... 39 7.2.5 JavaScript y Web Speech API ........................................................................ 39 7.2.6 HTML y CSS ................................................................................................. 39 7.2.7 GitHub ........................................................................................................ 39 7.2.8 Entorno de ejecución ................................................................................... 40 7.3 APLICACIÓN DEL MÉTODO DE DESARROLLO ...................................................... 40 7.3.1 Recolección y análisis de requerimientos ...................................................... 40 7.3.2 Diseño ........................................................................................................ 43 7.3.3 Desarrollo ................................................................................................... 52 7.4 APLICACIÓN DE LA METODOLOGÍA SCRUM ........................................................ 65 7.5 PRUEBAS FUNCIONALES Y DE USABILIDAD......................................................... 68 7.5.1 Metodología de pruebas ............................................................................... 68 7.5.2 Pruebas funcionales .................................................................................... 69 7.5.4 Resultados de pruebas................................................................................. 71 8 8. ANÁLISIS DE RESULTADOS ...................................................................................... 71 8.1 EVALUACIÓN DE LA METODOLOGÍA APLICADA ................................................... 75 8.2 . EVALUACIÓN DEL MODELO DE VISIÓN POR COMPUTADORA ........................ 78 8.3 CONFIGURACIÓN DEL ENTORNO Y PARÁMETROS DE ENTRENAMIENTO .............. 79 8.3.1 Análisis de las métricas de entrenamiento..................................................... 80 8.3.2. Evaluación de precisión y generalización ................................................. 80 8.3.4 Conclusión del primer entrenamiento...................................................... 83 8.3.5 Evolución y comparación entre modelos.................................................. 84 9 CONCLUSIONES.................................................................................................. 88 10 USO DE HERRAMIENTAS DE IA .......................................................................... 91 11 RECOMENDACIONES ....................................................................................... 91 12 REFERENCIAS .................................................................................................. 94PregradoIngeniero de Sistemas y Telecomunicacione