Real Time Sequential Non Rigid Structure from motion using a single camera

En la actualidad las aplicaciones que basan su funcionamiento en una correcta localización y reconstrucción dentro de un entorno real en 3D han experimentado un gran interés en los últimos años, tanto por la comunidad investigadora como por la industrial. Estas aplicaciones varían desde la realidad aumentada, la robótica, la simulación, los videojuegos, etc. Dependiendo de la aplicación y del nivel de detalle de la reconstrucción, se emplean diversos dispositivos, algunos específicos, más complejos y caros como las cámaras estéreo, cámara y profundidad (RGBD) con Luz estructurada y Time of Flight (ToF), así como láser y otros más avanzados. Para aplicaciones sencillas es suficiente con dispositivos de uso común, como los smartphones, en los que aplicando técnicas de visión artificial, se pueden obtener modelos 3D del entorno para, en el caso de la realidad aumentada, mostrar información aumentada en la ubicación seleccionada.En robótica, la localización y generación simultáneas de un mapa del entorno en 3D es una tarea fundamental para conseguir la navegación autónoma. Este problema se conoce en el estado del arte como Simultaneous Localization And Mapping (SLAM) o Structure from Motion (SfM). Para la aplicación de estas técnicas, el objeto no ha de cambiar su forma a lo largo del tiempo. La reconstrucción es unívoca salvo factor de escala en captura monocular sin referencia. Si la condición de rigidez no se cumple, es porque la forma del objeto cambia a lo largo del tiempo. El problema sería equivalente a realizar una reconstrucción por fotograma, lo cual no se puede hacer de manera directa, puesto que diferentes formas, combinadas con diferentes poses de cámara pueden dar proyecciones similares. Es por esto que el campo de la reconstrucción de objetos deformables es todavía un área en desarrollo. Los métodos de SfM se han adaptado aplicando modelos físicos, restricciones temporales, espaciales, geométricas o de otros tipos para reducir la ambigüedad en las soluciones, naciendo así las técnicas conocidas como Non-Rigid SfM (NRSfM).En esta tesis se propone partir de una técnica de reconstrucción rígida bien conocida en el estado del arte como es PTAM (Parallel Tracking and Mapping) y adaptarla para incluir técnicas de NRSfM, basadas en modelo de bases lineales para estimar las deformaciones del objeto modelado dinámicamente y aplicar restricciones temporales y espaciales para mejorar las reconstrucciones, además de ir adaptándose a cambios de deformación que se presenten en la secuencia. Para ello, hay que realizar cambios de manera que cada uno de sus hilos de ejecución procesen datos no rígidos.El hilo encargado del seguimiento ya realizaba seguimiento basado en un mapa de puntos 3D, proporcionado a priori. La modificación más importante aquí es la integración de un modelo de deformación lineal para que se realice el cálculo de la deformación del objeto en tiempo real, asumiendo fijas las formas básicas de deformación. El cálculo de la pose de la cámara está basado en el sistema de estimación rígido, por lo que la estimación de pose y coeficientes de deformación se hace de manera alternada usando el algoritmo E-M (Expectation-Maximization). También, se imponen restricciones temporales y de forma para restringir las ambigüedades inherentes en las soluciones y mejorar la calidad de la estimación 3D.Respecto al hilo que gestiona el mapa, se actualiza en función del tiempo para que sea capaz de mejorar las bases de deformación cuando éstas no son capaces de explicar las formas que se ven en las imágenes actuales. Para ello, se sustituye la optimización de modelo rígido incluida en este hilo por un método de procesamiento exhaustivo NRSfM, para mejorar las bases acorde a las imágenes con gran error de reconstrucción desde el hilo de seguimiento. Con esto, el modelo se consigue adaptar a nuevas deformaciones, permitiendo al sistema evolucionar y ser estable a largo plazo.A diferencia de una gran parte de los métodos de la literatura, el sistema propuesto aborda el problema de la proyección perspectiva de forma nativa, minimizando los problemas de ambigüedad y de distancia al objeto existente en la proyección ortográfica. El sistema propuesto maneja centenares de puntos y está preparado para cumplir con restricciones de tiempo real para su aplicación en sistemas con recursos hardware limitados

Augmented Reality during Cutting and Tearing of Deformable Objects

International audienceCurrent methods dealing with non-rigid augmented reality only provide an augmented view when the topology of the tracked object is not modified, which is an important limitation. In this paper we solve this shortcoming by introducing a method for physics-based non-rigid augmented reality. Singularities caused by topological changes are detected by analyzing the displacement field of the underlying deformable model. These topological changes are then applied to the physics-based model to approximate the real cut. All these steps, from deformation to cutting simulation, are performed in real-time. This significantly improves the coherence between the actual view and the model, and provides added value

Analysis & Numerical Simulation of Indian Food Image Classification Using Convolutional Neural Network

Recognition of Indian food can be assumed to be a fine-grained visual task owing to recognition property of various food classes. It is therefore important to provide an optimized approach to segmentation and classification for different applications based on food recognition. Food computation mainly utilizes a computer science approach which needs food data from various data outlets like real-time images, social flat-forms, food journaling, food datasets etc, for different modalities. In order to consider Indian food images for a number of applications we need a proper analysis of food images with state-of-art-techniques. The appropriate segmentation and classification methods are required to forecast the relevant and upgraded analysis. As accurate segmentation lead to proper recognition and identification, in essence we have considered segmentation of food items from images. Considering the basic convolution neural network (CNN) model, there are edge and shape constraints that influence the outcome of segmentation on the edge side. Approaches that can solve the problem of edges need to be developed; an edge-adaptive As we have solved the problem of food segmentation with CNN, we also have difficulty in classifying food, which has been an important area for various types of applications. Food analysis is the primary component of health-related applications and is needed in our day to day life. It has the proficiency to directly predict the score function from image pixels, input layer to produce the tensor outputs and convolution layer is used for self- learning kernel through back-propagation. In this method, feature extraction and Max-Pooling is considered with multiple layers, and outputs are obtained using softmax functionality. The proposed implementation tests 92.89% accuracy by considering some data from yummly dataset and by own prepared dataset. Consequently, it is seen that some more improvement is needed in food image classification. We therefore consider the segmented feature of EA-CNN and concatenated it with the feature of our custom Inception-V3 to provide an optimized classification. It enhances the capacity of important features for further classification process. In extension we have considered south Indian food classes, with our own collected food image dataset and got 96.27% accuracy. The obtained accuracy for the considered dataset is very well in comparison with our foregoing method and state-of-the-art techniques.

Positionnement visuel pour la réalité augmentée en environnement plan

Mesurer en temps réel la pose d'une caméra relativement à des repères tridimensionnels identifiés dans une image vidéo est un, sinon le pilier fondamental de la réalité augmentée. Nous proposons de résoudre ce problème dans des environnements bâtis, à l'aide de la visionpar ordinateur. Nous montrons qu'un système de positionnement plus précis que le GPS, et par ailleurs plus stable, plus rapide et moins coûteux en mémoire que d'autres systèmes de positionnement visuel introduits dans la littérature, peut êtreobtenu en faisant coopérer : approche probabiliste et géométrie aléatoire (détection a contrario des points de fuite del'image), apprentissage profond (proposition de boites contenant des façades, élaboration d'un descripteur de façades basé sur un réseau deneurones convolutifs), inférence bayésienne (recalage par espérance-maximisation d'un modèle géométrique et sémantique compactdes façades identifiées) et sélection de modèle (analyse des mouvements de la caméra par suivi de plans texturés). Nous décrivonsde plus une méthode de modélisation in situ, qui permet d'obtenir de manière fiable, de par leur confrontation immédiate à la réalité, des modèles 3D utiles au calcul de pose tel que nous l'envisageons

Caracterización del e-learning como dominio de conocimiento

El objetivo general de esta investigación es construir el dominio científico del e-learning a través de la aplicación de indicadores bibliométricos para analizar las estructuras bibliométricas de la producción científica que se relaciona de manera directa con la investigación en esta área emergente.Metodología. El análisis bibliométrico se enfoca en la identificación de las características que contribuyen a la determinación de un dominio de conocimiento en el sistema mundial de la ciencia. Estas son, A) el reconocimiento de los canales de comunicación científica utilizados por los investigadores del área temática. Se busca identificar el conjunto de revistas científicas y actas de conferencias que publican trabajos relacionados con el área temática, analizando su cohesión mediante la combinación de los indicadores de citas, co-citas y coupling; B) la comparación de los indicadores bibliométricos de producción a nivel global y regional. Se analiza la evolución de la producción mundial en e-learning, segmentándola por los principales bloques de países e identificando la contribución de cada uno de ellos con respecto a la literatura primaria (article, conference paper y review).

Framework para la explotación de procedimientos semánticos para navegadores de RA

En la última década la Realidad Aumentada (RA), una tecnología que avanza fuertemente revolucionando a las tecnologías de la información, particularmente en el contexto 4.0, ha logrado expandirse a diferentes campos de aplicación como, turismo, el entretenimiento, la industria, la salud y la mercadotecnia. Este avance provocó la necesidad de establecer un acceso a datos estandarizados para lograr una interoperabilidad semántica de datos independientemente de la aplicación que la genere. Surgieron propuestas que integran los estándares de web semántica para lograr este propósito, por lo que emerge un nuevo desafío para lograr que estos contenidos virtuales sean utilizados por el usuario en sus rutinas diarias. En este orden, se presenta como resultado de la investigación del presente trabajo de tesis un framework para navegadores de Realidad aumentada que aporta una interacción dinámica a los usuarios a través de procedimientos interoperables semánticos reusables compuestos por un conjunto de acciones a realizar en un entorno enriquecido por tecnologías de realidad aumentada. La capacidad presentada en esta tesis impactará en diversas áreas, por ejemplo, en contextos 4.0, en casos de uso como la creación de una secuencia de tareas a realizar por de un operador inteligente en su puesto en una Smart factory o en la aumentación de tareas por hacer con un dispositivo/equipo IoT de la planta, como así también su potencial empleo en contextos masivos como lo representa el crecimiento de dispositivos IOT en contextos hogareños aumentados. Este trabajo de investigación se radicó en el Grupo de Investigación de Realidad Aumentada e Inteligencia Artificial Aplicada en la Universidad Nacional de La Matanza.Doctor en Ciencias InformáticasUniversidad Nacional de La PlataFacultad de Informátic

XR Development with the Relay and Responder Pattern

Augmented Reality (AR) and Virtual Reality (VR) provide powerful, natural, and robust ways to interact with digital content, across a number of different domains. AR and VR, collectively known as Extended Reality (XR), can facilitate the execution of surgical procedures, aid in maintenance and repair of mechanical equipment, provide novel visualization paradigms for data analysis, and even empower new ways to experience video games. These experiences are built on rich, complex real-time interactive systems (RISs) that require the integration of numerous components supporting everything from rendering of virtual content to tracking of objects and people in the real world. There are decades of research on the development of robust RISs, utilizing different software engineering modalities, which facilitate the creation of these systems. While in the past, developers would frequently write all of the components and the “logical glue” themselves (often built with graphics suites such as OpenGL and DirectX), with the the rise of popular 3D game creation engines, such as Unity and Unreal, new development modalities have begun to emerge. While the underlying game engines provide a significantly easier pipeline to integrate different subsystems of AR/VR applications, there are a number of development questions that arise when considering how interaction, visualization, rendering, and application logic should interact, as developers are often left to create the “logical glue” on their own, leading to software components with low reusability. As the needs of users of these systems increase and become more complex, and as the software and hardware technology improves and becomes more sophisticated, the underlying subsystems must also evolve to help meet these needs. In this work, I present a new software design pattern, the Relay & Responder (R&R) pattern, that attempts to address the concerns found with many traditional object-oriented approaches in XR systems. The R&R pattern simplifies the design of these systems by separating logical components from the communication infrastructure that connects them, while minimizing coupling and facilitating the creation of logical hierarchies that can improve XR application design and module reuse. Additionally, I explore how this pattern can, across a number of different research development efforts, aid in the creation of powerful and rich XR RISs. I first present related work in XR system design and introduce the R&R pattern. Then I discuss how XR development can be eased by utilizing modular building blocks and present the Mercury Messaging framework, which implements the R&R pattern. Next I delve into three new XR systems that explore complex XR RIS designs (including user study management modules) using the pattern and framework. I then address the creation of multi-user, networked XR RISs using R&R and Mercury. Finally I end with a discussion on additional considerations, advantages, and limitations of the pattern and framework, in addition to prospective future work that will help improve both

筑波大学計算科学研究センター 平成25年度 年次報告書

1 平成25 年度重点施策および改善目標の達成状況 ...... 22 自己評価と課題 ...... 83 各研究部門の報告 ...... 10I. 素粒子物理研究部門 ...... 10II. 宇宙・原子核物理研究部門 ...... 32II-1. 宇宙物理理論グループ ...... 32II-2. 原子核分野 ...... 56III. 量子物性研究部門 ...... 69IV. 生命科学研究部門 ...... 83IV-1. 生命機能情報分野 ...... 83IV-2. 分子進化分野 ...... 93V. 地球環境研究部門 ....... 104VI. 高性能計算システム研究部門 ...... 118VII. 計算情報学研究部門 ...... 148VII-1. データ基盤分野 ...... 148VII-2. 計算メディア分野 ...... 16

Place, recreation and local development

Proceedings of the 9th International Conference on Monitoring and Management of Visitors in Recreational and Protected Areas (MMV9), Bordeaux, FRA, 29-/08/2018 - 31/08/2018It is our pleasure to welcome you to the 9th international Conference on Monitoring and Management of Visitors in Recreational and Protected Areas (MMV9) with a program including keynote speeches, organized and poster sessions, a half-day field trip, social events and post conference trips. This is the first time that France has hosted an MMV Conference. Our country is ranked as the world's top tourist destination, thanks largely to its culture, art, and gastronomy, as well as popular cities such as Paris and Bordeaux. On the other hand, France's potential as a destination for outdoor recreation and nature-based tourism is not hugely publicized, despite its many unique features in this respect: varied climate and natural assets (shoreline, mountains, lakes, and forests), large expanses of countryside, and a network of protected natural areas, to name but a few. France's protected areas are often free to access for the general public. However, in contrast with other countries, nature conservation in specific areas is much less widespread. Where it does take place, it is often centered on territories that are perceived to be "attractive", and where many conflicting activities are practiced. This may be one of the reasons why contractual tools and regional park systems are quite popular in France. The MMV Conference offers an excellent opportunity to discuss the situation in France in greater depth. The theme proposed for the conference was "recreation, place and local development". This reflects our assumption that recreational areas are not just physical assets designed to receive visitors for the purpose of leisure - which in itself would already be something of great importance - but that they reflect deeper social phenomena, as demonstrated through the range of organized sessions dedicated to discussing questions such as environmental education and economic development, but also emerging themes such as social integration, community resilience, environmental justice, and health. The traditional topics covered by MMV Conference reflect an evolving society: with innovations in monitoring techniques (both on people and nature), focus on new populations (Y generation, ethnic minority) and a larger concern for individual engagement and participative management. The 9th Edition of MMV is co-hosted by Irstea and BSA. This would not have been possible without significant contributions from a large number of additional partners and sponsors as well as our national scientific and organizing committee. We would like to take this opportunity to thank everyone for their help. After two years of planning, we are proud to announce that we have more than 160 presentations from 30 countries, meaning that the conference will host over 200 participants from across the globe. We are honored that the International Steering Committee has given us the opportunity to be part of this great MMV community, which organized its first meeting in 2002. We hope you will enjoy the conference as much as we enjoyed organizing it. If you can't be with us in person, we hope that you will enjoy reading our publications