Evaluation of depth-camera-systems for usage in semi-controlled assembly environments

With the availability of affordable depth-camera-systems like the Microsoft Kinect, Depth Imaging has seen a fast-growing number of applications in many different fields over the last years. Such systems can however be based on different measurement principles with widely differing parameters and hence are difficult to evaluate against a single benchmark. While accuracy and precision of depth-camera-systems inherently vary significantly with measuring distance and changing environments, and therefore impose heavy constraints on real world applications, they even allow for automated quality assurance in controlled environments. Context aware assistive systems in manual assembly environments push these boundaries by employing quality assurance in more open environments, where distracting influences by the worker or the work-space environment cannot be ruled out. The thesis concerns itself with the exploration and evaluation of different depth measuring approaches (e.g. Time of Flight, Structured Light, Stereo Vision) for usage in semi-controlled assembly environments. The still underexplored effects of material properties on measurements are experimentally evaluated and the resulting limitations of each approach for usage in assembly environments are discussed

Capture de mouvements humains par capteurs RGB-D

L'arrivée simultanée de capteurs de profondeur et couleur, et d'algorithmes de détection de squelettes super-temps-réel a conduit à un regain de la recherche sur la capture de mouvements humains. Cette fonctionnalité constitue un point clé de la communication Homme-Machine. Mais le contexte d'application de ces dernières avancées est l'interaction volontaire et fronto-parallèle, ce qui permet certaines approximations et requiert un positionnement spécifique des capteurs. Dans cette thèse, nous présentons une approche multi-capteurs, conçue pour améliorer la robustesse et la précision du positionnement des articulations de l'homme, et fondée sur un processus de lissage trajectoriel par intégration temporelle, et le filtrage des squelettes détectés par chaque capteur. L'approche est testée sur une base de données nouvelle acquise spécifiquement, avec une méthodologie d'étalonnage adaptée spécialement. Un début d'extension à la perception jointe avec du contexte, ici des objets, est proposée.Simultaneous apparition of depth and color sensors and super-realtime skeleton detection algorithms led to a surge of new research in Human Motion Capture. This feature is a key part of Human-Machine Interaction. But the applicative context of those new technologies is voluntary, fronto-parallel interaction with the sensor, which allowed the designers certain approximations and requires a specific sensor placement. In this thesis, we present a multi-sensor approach, designed to improve robustness and accuracy of a human's joints positionning, and based on a trajectory smoothing process by temporal integration, and filtering of the skeletons detected in each sensor. The approach has been tested on a new specially constituted database, with a specifically adapted calibration methodology. We also began extending the approach to context-based improvements, with object perception being proposed

Nuevas tecnologías aplicadas a la ergonomía ocupacional. Empleo de sensores RGBD y EyeTracking en la mejora ergonómica de puestos de trabajo

Tesis por compendio[ES] A mediados del siglo XX inició en el continente europeo, especialmente en Francia y Bélgica, una nueva disciplina denominada Ergonomía Centrada en la Actividad. Esta disciplina está enfocada en el análisis del trabajo con el fin de optimizar las condiciones laborales. El propósito de la intervención ergonómica es mejorar componentes que interactúan en el sistema o en la actividad del trabajo (las personas, la organización, la tecnología y el ambiente), interrelacionando aspectos de salud, seguridad, productividad y calidad. En investigaciones anteriores a la presente el doctorando identificó la necesidad de mejora de las herramientas empleadas por los profesionales para la evaluación de factores de riesgo ergonómico, motivando así el desarrollo de la presente investigación. Inicialmente se analizaron métodos generales empleados por los diseñadores para establecer aquellos susceptibles de mejora con la introducción de nuevas tecnologías. En una segunda fase se identificaron y analizaron dispositivos tecnológicos orientados al rastreo de la actividad humana aplicables en el ámbito de las metodologías de la ergonomía ocupacional para los sectores productivos. Como resultado se concluyó que los sensores RGB-D y el Eye-Tracking (rastreo ocular) son dispositivos aplicables para ayudar a mejorar las condiciones en los puestos de trabajo, el primero para distribuir las áreas de trabajo y el segundo para la mejora de las interfaces del usuario. En esta TD se desarrollaron técnicas y métodos para el empleo de estos dispositivos logrando el diseño ergonómico de puestos de trabajo con aplicación práctica (artículos 2 y 3). Durante la realización de esta TD, bajo las directrices del Programa de Doctorado en Tecnologías para la Salud y el Bienestar de la Universidad Politécnica de Valencia, se publicaron tres artículos en revistas que durante el año de su publicación estuvieron indexadas en el primer cuartil de su categoría en el Journal Citation Report, las cuáles sustentan los resultados de la investigación. En ellos se evidenció cómo los avances tecnológicos implementados en Ergonomía producen cambios importantes en el diseño de los puestos de trabajo, y minimizan los tiempos y los movimientos que se requieren en las diferentes actividades laborales, garantizando así una ubicación óptima del recurso humano en los sistemas de producción y generando a su vez estrategias que disminuyen los Trastornos Músculo Esqueléticos (TMEs).[CA] A mitjan segle XX es va desenvolupar en el continent europeu, especialment a França i Bèlgica, una nova disciplina denominada Ergonomia Centrada en l'Activitat. Aquesta disciplina està enfocada en l'anàlisi del treball amb la finalitat d'optimitzar les condicions laborals. El propòsit de la intervenció ergonòmica és millorar els components que interactuen en el sistema o en l'activitat del treball (les persones, l'organització, la tecnologia i l'ambient), interrelacionant els aspectes de salut, seguretat, productivitat i qualitat. En investigacions anteriors a la present el doctorand va identificar la necessitat de millora de les eines emprades pels professionals per a l'avaluació de factors de risc ergonòmic, motivant així el desenvolupament de la present investigació. Inicialment es van analitzar els mètodes habituals empleats pels ergónoms per a establir aquells susceptibles de millora amb la introducció de noves tecnologies. En una segona fase es va identificar i analitzar els dispositius tecnològics orientats al monitoratge de l'activitat humana aplicables en l'àmbit de les metodologies de l'ergonomia ocupacional per als sectors productius. Com a resultat es va concloure que els sensors RGB-D i el Eye-Tracking són dispositius aplicables per a ajudar a millorar les condicions en els llocs de treball, el primer per a distribuir les àrees de treball i el segon per a la millora de les interfícies de l'usuari. En aquesta TD es van desenvolupar tècniques i procediments per a l'ús d'aquests dispositius aconseguint el disseny ergonòmic de llocs de treball amb aplicació pràctica (articles 2 i 3). Durant la realització d'aquesta TD, sota les directrius del Programa de Doctorat en Tecnologies per a la Salut i el Benestar de la Universitat Politècnica de València, es van publicar tres articles en revistes, que durant l'any de la seua publicació, van estar indexades en el primer quartil de la seua categoria en el Journal Citation Report, les quals sustenten els resultats de la investigació. En ells es va evidenciar com els avanços tecnològics implementats en Ergonomia produeixen canvis importants en el disseny dels llocs de treball, minimitzen els temps i els moviments que es requereixen en les diferents activitats laborals, garantint així una ubicació òptima del recurs humà en els sistemes de producció i generant al seu torn estratègies que disminueixen els Trastorns Músculesquelètics.[EN] Around the middle of XX century in Europe, especially in France and Belgium, a new discipline named Activity Focused Ergonomics was developed. This concept is based on the task analysis aiming to optimize working conditions. The purpose of the ergonomic intervention is to improve the components interacting within the system or the work activities (people, organization, technology and environment), correlating all health, safety, productivity and quality facts. In previous research, the ergomists identified the improvement need of those tools used by professionals to assess ergonomic risk factors, enhancing therefore the development of this present research. In the beginning, regular methods used by ergonomics specilists were analized in order to define those that could be improved with the introduction of new technologies. In a second phase, technological devices aimed to monitorize human activity, as well as those applicable for the occupational ergonomics methodologies in productive sectors were identified and analyzed. The conclusion that came as a result was that RGB-D sensors and Eye-Tracking are actual workstations conditions' improving devices, the first one is used to better organize working areas and the second one to optimize the user's interfaces. This Doctoral Thesis develops techniques and procedures to correctly use these devices obtaining workstations ergonomic designs with practical applications (articles 2 and 3). Along the development of this Doctoral Thesis, under the Polytechnic University of Valencia Doctoral School for Health and Wellbeing Technologies program directions, three articles were published in magazines which, throughout their publication year were indexed within its cathegory's first quartile at the Journal Citation Report, supporting the research results. The articles evidenced how the technological progress implemented in Ergonomics produce important changes in the workstations design and minimize times and movements required in different working activities, ensuring human resources' optimal location within the production systems and also developing Musculoskeletal Disorders reduction strategies.Garzón Leal, DC. (2020). Nuevas tecnologías aplicadas a la ergonomía ocupacional. Empleo de sensores RGBD y EyeTracking en la mejora ergonómica de puestos de trabajo [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/156052TESISCompendi