User-interfaces layout optimization using eye-tracking, mouse movements and genetic algorithms

[EN] Establishing the best layout configuration for software-generated interfaces and control panels is a complex problem when they include many controls and indicators. Several methods have been developed for arranging the interface elements; however, the results are usually conceptual designs that must be manually adjusted to obtain layouts valid for real situations. Based on these considerations, in this work we propose a new automatized procedure to obtain optimal layouts for software-based interfaces. Eye-tracking and mouse-tracking data collected during the use of the interface is used to obtain the best configuration for its elements. The solutions are generated using a slicing-trees based genetic algorithm. This algorithm is able to obtain really applicable configurations that respect the geometrical restrictions of elements in the interface. Results show that this procedure increases effectiveness, efficiency and satisfaction of the users when they interact with the obtained interfaces.This work was supported by the Programa estatal de investigacion, desarrollo e innovacion orientada a los retos de la sociedad of the Government of Spain under Grant DPI 2016-79042-R.Diego-Mas, JA.; Garzon Leal, D.; Poveda Bautista, R.; Alcaide Marzal, J. (2019). User-interfaces layout optimization using eye-tracking, mouse movements and genetic algorithms. Applied Ergonomics. 78:197-209. https://doi.org/10.1016/j.apergo.2019.03.004S1972097

Nuevas tecnologías aplicadas a la ergonomía ocupacional. Empleo de sensores RGBD y EyeTracking en la mejora ergonómica de puestos de trabajo

Tesis por compendio[ES] A mediados del siglo XX inició en el continente europeo, especialmente en Francia y Bélgica, una nueva disciplina denominada Ergonomía Centrada en la Actividad. Esta disciplina está enfocada en el análisis del trabajo con el fin de optimizar las condiciones laborales. El propósito de la intervención ergonómica es mejorar componentes que interactúan en el sistema o en la actividad del trabajo (las personas, la organización, la tecnología y el ambiente), interrelacionando aspectos de salud, seguridad, productividad y calidad. En investigaciones anteriores a la presente el doctorando identificó la necesidad de mejora de las herramientas empleadas por los profesionales para la evaluación de factores de riesgo ergonómico, motivando así el desarrollo de la presente investigación. Inicialmente se analizaron métodos generales empleados por los diseñadores para establecer aquellos susceptibles de mejora con la introducción de nuevas tecnologías. En una segunda fase se identificaron y analizaron dispositivos tecnológicos orientados al rastreo de la actividad humana aplicables en el ámbito de las metodologías de la ergonomía ocupacional para los sectores productivos. Como resultado se concluyó que los sensores RGB-D y el Eye-Tracking (rastreo ocular) son dispositivos aplicables para ayudar a mejorar las condiciones en los puestos de trabajo, el primero para distribuir las áreas de trabajo y el segundo para la mejora de las interfaces del usuario. En esta TD se desarrollaron técnicas y métodos para el empleo de estos dispositivos logrando el diseño ergonómico de puestos de trabajo con aplicación práctica (artículos 2 y 3). Durante la realización de esta TD, bajo las directrices del Programa de Doctorado en Tecnologías para la Salud y el Bienestar de la Universidad Politécnica de Valencia, se publicaron tres artículos en revistas que durante el año de su publicación estuvieron indexadas en el primer cuartil de su categoría en el Journal Citation Report, las cuáles sustentan los resultados de la investigación. En ellos se evidenció cómo los avances tecnológicos implementados en Ergonomía producen cambios importantes en el diseño de los puestos de trabajo, y minimizan los tiempos y los movimientos que se requieren en las diferentes actividades laborales, garantizando así una ubicación óptima del recurso humano en los sistemas de producción y generando a su vez estrategias que disminuyen los Trastornos Músculo Esqueléticos (TMEs).[CA] A mitjan segle XX es va desenvolupar en el continent europeu, especialment a França i Bèlgica, una nova disciplina denominada Ergonomia Centrada en l'Activitat. Aquesta disciplina està enfocada en l'anàlisi del treball amb la finalitat d'optimitzar les condicions laborals. El propòsit de la intervenció ergonòmica és millorar els components que interactuen en el sistema o en l'activitat del treball (les persones, l'organització, la tecnologia i l'ambient), interrelacionant els aspectes de salut, seguretat, productivitat i qualitat. En investigacions anteriors a la present el doctorand va identificar la necessitat de millora de les eines emprades pels professionals per a l'avaluació de factors de risc ergonòmic, motivant així el desenvolupament de la present investigació. Inicialment es van analitzar els mètodes habituals empleats pels ergónoms per a establir aquells susceptibles de millora amb la introducció de noves tecnologies. En una segona fase es va identificar i analitzar els dispositius tecnològics orientats al monitoratge de l'activitat humana aplicables en l'àmbit de les metodologies de l'ergonomia ocupacional per als sectors productius. Com a resultat es va concloure que els sensors RGB-D i el Eye-Tracking són dispositius aplicables per a ajudar a millorar les condicions en els llocs de treball, el primer per a distribuir les àrees de treball i el segon per a la millora de les interfícies de l'usuari. En aquesta TD es van desenvolupar tècniques i procediments per a l'ús d'aquests dispositius aconseguint el disseny ergonòmic de llocs de treball amb aplicació pràctica (articles 2 i 3). Durant la realització d'aquesta TD, sota les directrius del Programa de Doctorat en Tecnologies per a la Salut i el Benestar de la Universitat Politècnica de València, es van publicar tres articles en revistes, que durant l'any de la seua publicació, van estar indexades en el primer quartil de la seua categoria en el Journal Citation Report, les quals sustenten els resultats de la investigació. En ells es va evidenciar com els avanços tecnològics implementats en Ergonomia produeixen canvis importants en el disseny dels llocs de treball, minimitzen els temps i els moviments que es requereixen en les diferents activitats laborals, garantint així una ubicació òptima del recurs humà en els sistemes de producció i generant al seu torn estratègies que disminueixen els Trastorns Músculesquelètics.[EN] Around the middle of XX century in Europe, especially in France and Belgium, a new discipline named Activity Focused Ergonomics was developed. This concept is based on the task analysis aiming to optimize working conditions. The purpose of the ergonomic intervention is to improve the components interacting within the system or the work activities (people, organization, technology and environment), correlating all health, safety, productivity and quality facts. In previous research, the ergomists identified the improvement need of those tools used by professionals to assess ergonomic risk factors, enhancing therefore the development of this present research. In the beginning, regular methods used by ergonomics specilists were analized in order to define those that could be improved with the introduction of new technologies. In a second phase, technological devices aimed to monitorize human activity, as well as those applicable for the occupational ergonomics methodologies in productive sectors were identified and analyzed. The conclusion that came as a result was that RGB-D sensors and Eye-Tracking are actual workstations conditions' improving devices, the first one is used to better organize working areas and the second one to optimize the user's interfaces. This Doctoral Thesis develops techniques and procedures to correctly use these devices obtaining workstations ergonomic designs with practical applications (articles 2 and 3). Along the development of this Doctoral Thesis, under the Polytechnic University of Valencia Doctoral School for Health and Wellbeing Technologies program directions, three articles were published in magazines which, throughout their publication year were indexed within its cathegory's first quartile at the Journal Citation Report, supporting the research results. The articles evidenced how the technological progress implemented in Ergonomics produce important changes in the workstations design and minimize times and movements required in different working activities, ensuring human resources' optimal location within the production systems and also developing Musculoskeletal Disorders reduction strategies.Garzón Leal, DC. (2020). Nuevas tecnologías aplicadas a la ergonomía ocupacional. Empleo de sensores RGBD y EyeTracking en la mejora ergonómica de puestos de trabajo [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/156052TESISCompendi

Agentes Virtuales Cognitivos en el proceso del aprendizaje en el Perú: Escenario al 2032

La presente Investigación aborda la importancia de la creación de escenarios futuros de los Agentes Virtuales Cognitivos en el proceso del aprendizaje, a través del uso la prospectiva en los planes de gestión de la innovación en el marco del uso de las aplicaciones de la computación cognitiva, que permitan relacionar la información, tecnología, personas y la ciencia cognitiva. Actualmente se sobreestima el uso de las nuevas tecnologías, no se pueden cuantificar los beneficios a largo plazo como las verdaderas necesidades, ni el contexto en que se pueden desenvolver; como la relación de las personas y las máquinas. El potencial que se puede aprovechar o desaprovechar al generar nuevo conocimiento que puede beneficiar a los diferentes actores involucrados en el proceso del proceso del aprendizaje, estimando esfuerzo y valiosos recursos que pueden ser aprovechados. Este trabajo se desarrolla bajo el marco de la disciplina prospectiva, usando la construcción de escenarios, tomando como referencia las metodologías en la investigación del futuro como el análisis de drivers, paneles de expertos, análisis estructural, construcción de escenarios. Los resultados obtenidos mostrarán los escenarios posibles que servirán en un futuro, como base en la definición de un plan estratégico en la gestión de la innovación entre los agentes cognitivos y el proceso de aprendizaje permitiendo la inclusión de las tecnologías de la Inteligencia artificial en general, en el campo de la cognición. Mejorando el entendimiento y la transferencia de un conocimiento claro y preciso adoptando estos proyectos basados en tecnologías con un carácter disruptivo, donde la única premisa es la adaptabilidad al cambio. Siendo los únicos beneficiados la sociedad en general en todos los sectores no sólo los que trabajan en una entidad estatal, sino todos los peruanos que accedamos a un servicio bajo estas tecnologías de la ciencia cognitiva.This Research addresses the importance of the creation of future scenarios of Cognitive Virtual Agents in the learning process, through the use of prospective in innovation management plans within the framework of the use of cognitive computing applications, that allow relating information, technology, people and cognitive science. Currently the use of new technologies is overestimated, the long-term benefits cannot be quantified as the true needs, nor the context in which they can be developed; like the relationship of people and machines. The potential that can be exploited or wasted when generating new knowledge that can benefit the different actors involved in the learning process, estimating effort and valuable resources that can be used. This work is developed under the framework of the prospective discipline, using the construction of scenarios, taking as a reference the methodologies in future research such as the analysis of drivers, panels of experts, structural analysis, construction of scenarios. The results obtained will show the possible scenarios that will serve in the future, as a basis for defining a strategic plan in the management of innovation between cognitive agents and the learning process, allowing the inclusion of artificial intelligence technologies in general, in the field of cognition. Improving the understanding and transfer of clear and precise knowledge by adopting these projects based on technologies with a disruptive nature, where the only premise is adaptability to change. The only beneficiaries being society in general in all sectors, not only those who work in a state entity, but all Peruvians who access a service under these cognitive science technologies

Optimizing user interfaces for human performance

This paper summarizes an invited talk given at the 9th International Conference on Intelligent Human Computer Interaction (December 2017, Paris). Algorithms have revolutionized almost every field of manufacturing and engineering. Is the design of user interfaces the next? This talk will give an overview of what future holds for algorithmic methods in this space. I introduce the idea of using predictive models and simulations of end-user behavior in combinatorial optimization of user interfaces, as well as the contributions that inverse modeling and interactive design tools make. Several research results are presented from gesture design to keyboards and web pages. Going beyond combinatorial optimization, I discuss self-optimizing or “autonomous” UI design agents.Peer reviewe