Realidad virtual para el mantenimiento de motores de avión

Exponemos un sistema de realidad virtual para la simulación de procesos de mantenimiento en aeronáutica que se ha desarrollado en el marco del Proyecto REVIMA. Hemos desarrollado un hardware nuevo (háptico) y resuelto diversos problemas al elaborar el software que integra el sistema. El nuevo háptico se emplea para realizar el seguimiento del movimiento de las manos, y al mismo tiempo devuelve una fuerza que provoca la sensación de estar trabajando con una maqueta física. Los principales módulos de software son: el módulo de generación de imágenes, el módulo de colisión y el módulo de control. La integración del sistema está basada en dos ordenadores conectados mediante una LAN que comparten diferentes tareas y datos.El módulo de visualización ha sido implementado empleando sistemas gráficos de bajo coste y mediante un estudio exhaustivo se ha logrado una frecuencia válida para las operaciones de simulación. Los modelos consisten en más de dos mil elementos diferentes y emplean alrededor de dos millones de polígonos para describir su geometría.Este trabajo presenta una breve descripción del conjunto y desarrolla de modo específico las técnicas de visualización que se han desarrollado

Monocular visual perception techniques for augmented reality and mobile robotics applications in industry

The current advances in communication and computing technologies are having a large impact in industry, leading to what’s known as the fourth industrial revolution or Industry 4.0. One of the challenges being addressed is to augment machines with the intelligence to mimic the cognitive functions of the human mind. In this context, machine perception is one of the core capacities to interpret data related to the world around us. For this purpose, computer vision (CV) is a commonly used solutions due its versatility and low cost implementation of the optical sensors. This thesis studies two different visual perception problems: object recognition and simultaneous localization and mapping (SLAM). The proposed solutions focus on single camera (monocular) approaches in industrial environments. This is specially challenging due to the lack of textured surfaces of objects typical in industry, uncontrolled illumination changes, non-Lambertian materials – that render many reflections – and cluttered scenes. Both problems consist in understanding the scene and determining the camera motion as accurately as possible. Object recognition sets its focus on identifying target 3D objects in the scene, whereas SLAM aims to recover the 3D structure of the scene. The first part of this thesis proposes a novel model-based object recognition method which uses geometric properties. It combines model surface conics and edge templates to reduce the image search space increasing the localization robustness and saving computational time. In addition, the proposed method is integrated into a complete augmented reality (AR) framework for guidance in maintenance in industry, called ARgitu. It generates and presents virtual and augmented information, including the tools required for the development of new contents and adapt AR technology applications into the advanced manufacturing industry. The second part of this thesis presents a direct monocular SLAM system, called Direct Sparse Mapping (DSM). It uses a direct formulation within a mapping framework to locate the position of the camera in the scene and build a consistent global map. Up to our knowledge, this is the first fully direct SLAM approach to reuse map point reobservations. As a direct method, it does not rely on point matches and it can work with points sampled across image edges – instead of only corners – and obtain a more descriptive reconstruction despite the sparse geometry representation. The system is robust in scenes with low texture and motion blur. The extensive experimental validation demonstrates that the proposed direct mapping framework outperforms current direct odometry approaches – even with loop closure – both in the estimated trajectory and map accuracy.Los avances actuales en las tecnologías de comunicación y computación están teniendo un gran impacto en la industria, conduciendo a la que se conoce como la cuarta revolución industrial o Industria 4.0. Uno de los principales retos es proporcionar a las máquinas la inteligencia necesaria para imitar las funciones cognitivas de la mente humana. En este contexto, la percepción e interpretación del mundo que nos rodea es una de las capacidades principales. Para este propósito, la visión por computador es una solución muy usada debido a su versatilidad y bajo coste de implementación de los sensores ópticos. Esta tesis estudia dos técnicas de percepción visual diferentes: reconocimiento de objetos y localización y mapeo simultáneos (SLAM por sus siglas en inglés). Las soluciones propuestas se centran en una única cámara (monocular) en entornos industriales. Esto es un desafío debido a la falta de superficies con textura en la escena, cambios de iluminación no controlados, materiales no-Lambertianos – que producen muchos reflejos – y escenas abarrotadas. Ambos problemas consisten en comprender la escena y determinar el movimiento de la cámara con la mayor precisión posible. El reconocimiento de objetos se enfoca en identificar objetos objetivo en la escena, mientras que el SLAM pretende recuperar la estructura tridimensional de la escena. La primera parte de esta tesis propone un nuevo método de reconocimiento de objetos basado en modelos que utiliza propiedades geométricas de los mismos. Combina cónicas de la superficie del modelo y plantillas de aristas para reducir el espacio de búsqueda en la imagen, aumentando la solidez de la localización y reduciendo el tiempo de cálculo. Además, el método propuesto se integra en un sistema industrial completo de realidad aumentada (RA), llamado ARgitu, empleado para el guiado en el mantenimiento. El sistema genera y presenta información virtual y aumentada, incluyendo las herramientas necesarias para el desarrollo de nuevos contenidos y adaptar las aplicaciones de tecnología RA en la industria de fabricación avanzada. La segunda parte de esta tesis presenta un sistema de SLAM monocular directo, llamado Direct Sparse Mapping (DSM). El método utiliza una formulación directa dentro de una infraestructura de mapeo para localizar la posición de la cámara en la escena y construir un mapa global consistente. Hasta donde sabemos, es el primer enfoque de SLAM totalmente directo que reutilice reobservaciones de los puntos del mapa. Como método directo, no depende de emparejamientos entre puntos y puede trabajar con puntos muestreados a través de las aristas en una imagen – en lugar de esquinas únicamente – y obtener una reconstrucción más descriptiva a pesar de utilizar una representación de puntos dispersa. Además, el sistema es robusto contra escenas con poca textura y desenfoques debido al movimiento. La extensa validación experimental demuestra que la infraestructura de mapeo directa que se propone supera a los enfoques de odometría directa actuales – incluso con cierre de bucle – tanto en la trayectoria estimada como en la precisión del mapa

Development of methodology for the characterisation and modelling of soft tissues for real-time simulation. Application to the modelling of the viscoelastic mechanical response of brain tissue.

The characterisation of the mechanical properties of biological soft tissues is of great interest for many applications in the bioengineering field: such as for the detection of tumours and diseases, for the development of medical assistive and surgical technologies. These technologies include surgery simulation, which based on computational methods, reproduces surgical procedures in order to develop the skills of the surgeon, to plan operations or to provide technical support to surgeon during the operation. However, modelling the physical behaviour of human organs and tissues remains a challenge. This is due to the difficulty in characterising the physical properties of biological soft tissues. Besides, the challenge lies on the computation time requirements for real-time simulations. Surgical real-time simulation should employ a sufficiently precise and simple model in order to provide a realistic tactile and visual feedback. To address these difficulties, this thesis presents a methodology for the characterisation and modelling of the mechanical properties of soft tissues, for its integration into real-time surgical simulators. The characterisation is performed in the laboratory using a parallel plate rheometer. The methodology has been applied to synthetic materials such as agar gel, as well as to biological tissues such as porcine brain tissue. By performing this characterisation, different mathematical models have been analysed and developed for the modelling of the selected tissues. These models have been studied in order to select the most appropriate one, depending on the specific requirements of the simulator.La caracterización y modelado de las propiedades mecánicas de tejidos biológicos blandos resulta de gran interés para diversas aplicaciones en el ámbito de la bioingeniería, como por ejemplo, para la detección de tumores y enfermedades, así como para tecnologías de asistencia médica y quirúrgica. Entre estas tecnologías está la simulación quirúrgica, que basándose en métodos computacionales, reproduce procedimientos quirúrgicos con el fin de desarrollar las habilidades del cirujano, planificar operaciones o proporcionar técnicas de apoyo al cirujano durante la operación. Sin embargo, la modelización del comportamiento físico de los órganos y tejidos humanos sigue siendo un desafío. Por una parte, esto es debido a la dificultad para caracterizar las propiedades físicas de los tejidos blandos. Por otro lado, el reto reside en los requerimientos de tiempo de cálculo que se necesita en la simulación, cuando ésta se quiere realizar en tiempo real, siendo el mayor interés el minimizar estos tiempos. Con el fin de hacer frente a estas dificultades, en esta tesis se ha desarrollado una metodología para la caracterización y el modelado de las propiedades mecánicas de tejidos blandos para su integración en simuladores quirúrgicos. La caracterización se ha llevado a cabo en el laboratorio mediante un reómetro de platos paralelos. La metodología se ha aplicado a materiales sintéticos, como el gel de agar, así como a tejidos biológicos, como el tejido cerebral porcino. Mediante la realización de esta caracterización, se han analizado y desarrollado diferentes modelos matemáticos para los tejidos elegidos. Se han estudiado estos modelos, con el fin de seleccionar el más adecuado en función de los requerimientos del simulador

Monocular visual perception techniques for augmented reality and mobile robotics applications in industry

The current advances in communication and computing technologies are having a large impact in industry, leading to what’s known as the fourth industrial revolution or Industry 4.0. One of the challenges being addressed is to augment machines with the intelligence to mimic the cognitive functions of the human mind. In this context, machine perception is one of the core capacities to interpret data related to the world around us. For this purpose, computer vision (CV) is a commonly used solutions due its versatility and low cost implementation of the optical sensors. This thesis studies two different visual perception problems: object recognition and simultaneous localization and mapping (SLAM). The proposed solutions focus on single camera (monocular) approaches in industrial environments. This is specially challenging due to the lack of textured surfaces of objects typical in industry, uncontrolled illumination changes, non-Lambertian materials – that render many reflections – and cluttered scenes. Both problems consist in understanding the scene and determining the camera motion as accurately as possible. Object recognition sets its focus on identifying target 3D objects in the scene, whereas SLAM aims to recover the 3D structure of the scene. The first part of this thesis proposes a novel model-based object recognition method which uses geometric properties. It combines model surface conics and edge templates to reduce the image search space increasing the localization robustness and saving computational time. In addition, the proposed method is integrated into a complete augmented reality (AR) framework for guidance in maintenance in industry, called ARgitu. It generates and presents virtual and augmented information, including the tools required for the development of new contents and adapt AR technology applications into the advanced manufacturing industry. The second part of this thesis presents a direct monocular SLAM system, called Direct Sparse Mapping (DSM). It uses a direct formulation within a mapping framework to locate the position of the camera in the scene and build a consistent global map. Up to our knowledge, this is the first fully direct SLAM approach to reuse map point reobservations. As a direct method, it does not rely on point matches and it can work with points sampled across image edges – instead of only corners – and obtain a more descriptive reconstruction despite the sparse geometry representation. The system is robust in scenes with low texture and motion blur. The extensive experimental validation demonstrates that the proposed direct mapping framework outperforms current direct odometry approaches – even with loop closure – both in the estimated trajectory and map accuracy.Los avances actuales en las tecnologías de comunicación y computación están teniendo un gran impacto en la industria, conduciendo a la que se conoce como la cuarta revolución industrial o Industria 4.0. Uno de los principales retos es proporcionar a las máquinas la inteligencia necesaria para imitar las funciones cognitivas de la mente humana. En este contexto, la percepción e interpretación del mundo que nos rodea es una de las capacidades principales. Para este propósito, la visión por computador es una solución muy usada debido a su versatilidad y bajo coste de implementación de los sensores ópticos. Esta tesis estudia dos técnicas de percepción visual diferentes: reconocimiento de objetos y localización y mapeo simultáneos (SLAM por sus siglas en inglés). Las soluciones propuestas se centran en una única cámara (monocular) en entornos industriales. Esto es un desafío debido a la falta de superficies con textura en la escena, cambios de iluminación no controlados, materiales no-Lambertianos – que producen muchos reflejos – y escenas abarrotadas. Ambos problemas consisten en comprender la escena y determinar el movimiento de la cámara con la mayor precisión posible. El reconocimiento de objetos se enfoca en identificar objetos objetivo en la escena, mientras que el SLAM pretende recuperar la estructura tridimensional de la escena. La primera parte de esta tesis propone un nuevo método de reconocimiento de objetos basado en modelos que utiliza propiedades geométricas de los mismos. Combina cónicas de la superficie del modelo y plantillas de aristas para reducir el espacio de búsqueda en la imagen, aumentando la solidez de la localización y reduciendo el tiempo de cálculo. Además, el método propuesto se integra en un sistema industrial completo de realidad aumentada (RA), llamado ARgitu, empleado para el guiado en el mantenimiento. El sistema genera y presenta información virtual y aumentada, incluyendo las herramientas necesarias para el desarrollo de nuevos contenidos y adaptar las aplicaciones de tecnología RA en la industria de fabricación avanzada. La segunda parte de esta tesis presenta un sistema de SLAM monocular directo, llamado Direct Sparse Mapping (DSM). El método utiliza una formulación directa dentro de una infraestructura de mapeo para localizar la posición de la cámara en la escena y construir un mapa global consistente. Hasta donde sabemos, es el primer enfoque de SLAM totalmente directo que reutilice reobservaciones de los puntos del mapa. Como método directo, no depende de emparejamientos entre puntos y puede trabajar con puntos muestreados a través de las aristas en una imagen – en lugar de esquinas únicamente – y obtener una reconstrucción más descriptiva a pesar de utilizar una representación de puntos dispersa. Además, el sistema es robusto contra escenas con poca textura y desenfoques debido al movimiento. La extensa validación experimental demuestra que la infraestructura de mapeo directa que se propone supera a los enfoques de odometría directa actuales – incluso con cierre de bucle – tanto en la trayectoria estimada como en la precisión del mapa

Flexible framework to model industry 4.0 processes for virtual simulators

Virtual reality (VR)- and augmented reality (AR)-based simulations are key technologies in Industry 4.0 which allow for testing and studying of new processes before their deployment. A simulator of industrial processes needs a flexible way in which to model the activities performed by the worker and other elements involved, such as robots and machinery. This work proposes a framework to model industrial processes for VR and AR simulators. The desk method was used to review previous research and extract the most important features of current approaches. Novel features include interaction among human workers and a variety of automation systems, such as collaborative robots, a broader set of tasks (including assembly and disassembly of components), flexibility of modeling industrial processes for different domains and purposes, a clear separation of process definition and simulator, and independence of specific programming languages or technologies. Three industrial scenarios modeled with this framework are presented: an aircraft assembly scenario, a guidance tool for high-voltage cell security, and an application for the training of machine-tool usage

Designing deformable models of soft tissue for virtual surgery planning and simulation using the Mas-Spring Model

Surgery simulators, biomechanical studies and some virtual reality applications require the handling of the mechanical behaviour of different biological tissue types. Each tissue type reacts in different ways to the action of the external loads applied onto the object. In particular, designing suitable mechanical models to represent the behaviour of soft tissue is a challenging task. Many models for deformable bodies have been proposed to approximate the behaviour of living deformable tissues. However, it is difficult to fulfil simultaneously two basic requirements: fast computation of the deformations and accuracy in the results. This challenge is even greater when the working environment requires real-time results, like in the case of interactive surgical simulators. In this thesis two new methods to design fast and accurate Mass- Spring Model (MSM) are proposed. The methods are specifically focused on the simulation of deformable tissues. The first method allows modelling the linear elastic behaviour under small deformations. In particular, it is based on the comparative analysis of the linearized system of equations of the MSM and a linear elastic Finite Element Method (FEM). This is performed by studying the eigenvalues and eigenvectors of the corresponding models. The second method allows designing soft-tissue models valid in the range of large deformations. This method is based on the fact that MSMs intrinsically behave nonlinearly under loads that lead to large deformations. In particular, a uniaxial tensile test is made to obtain the parameters of the MSM from material models or experimental data. Finally, the models proposed in this thesis have been implemented in medical simulators prototypes. The results suggest that MSMs can be an interesting alternative to other models such as FEM when the requirement on the computation efficiency is more important than model accuracy