Combining Image Processing Techniques and Mobile Sensor Information for Marker-less Augmented Reality Based Reconstruction

Marker-less Augmented Reality(AR) based recon- struction using mobile devices, is a near impossible task. When considering vision based tracking approaches, it is due to the lack of processing power in mobile devices and when considering mobile sensor based tracking approaches, it is due to the lack of accuracy in mobile Global Positioning System(GPS). In order to address this problem this research presents a novel approach which combines image processing techniques and mobile sensor information which can be used to perform precise position localization in order to perform augmented reality based reconstruction using mobile devices. The core of this proposed methodology is tightly bound with the image processing technique which is used to identify the object scale in a given image, which is taken from the user’s mobile device. Use of mobile sensor information was to classify the most optimal locations for a given particular user location. This proposed methodology has been evaluated against the results obtained using 10cm accurate Real-Time Kinematic(RTK) device and against the results obtained using only the Assisted Global  Positioning  System(A-GPS)  chips  in  mobile  devices. Though  this  proposed  methodology  require  more  processing time than A-GPS chips, the accuracy level of this proposed methodology outperforms that of A-GPS chips and the results of the experiments carried out further convince that this proposed methodology facilitates improving the accuracy of position local- ization for augmented reality based reconstruction using mobile devices under certain limitations

Design Patterns for Augmented Reality Learning Games

Augmented Reality (AR) is expected to receive a major uptake with the recent availability of high quality wearable AR devices such as Microsoft’s Hololens. However, the design of interaction with AR applications and games is still a field of experimentation and upcoming innovations in sensor technology provide new ways. With this paper, we aim to provide a step towards the structured use of design patterns for sensor-based AR games, which can also inform general application development in the field of AR

Menetelmä 3D-mallin animointijärjestelmän automaattiseen luomiseen älylaitteella lisätyssä todellisuudessa

3D modeling has become more popular among novice users in the recent years. The ubiquity of mobile devices has led to the need to view and edit 3D content even beyond the traditional desktop workstations. This thesis develops an approach for editing mesh-based 3D models in mobile augmented reality. The developed approach takes a static 3D model and automatically generates a rig with control handles so that the user can pose the model interactively. The rig is generated by approximating the model with a structure called sphere mesh. To attach the generated spheres to the model, a technique called bone heat skinning is used. A direct manipulation scheme is presented to allow the user to pose the processed model with intuitive touch controls. Both translation and rotation operations are developed to give the user expressive power over the pose of the model without overly complicating the controls. Several example scenes are built and analyzed. The scenes show that the developed approach can be used to build novel scenes in augmented reality. The implementation of the approach is measured to be close to real time with the processing times around one second for the used models. The rig generation is shown to yield semantically coherent control handles especially at lower resolutions. While the chosen bone heat skinning algorithm has theoretical shortcomings, they were not apparent in the built examples.3D-mallinnus on kasvattanut suosiotaan ei-ammattimaisten käyttäjien keskuudessa viime vuosina. Mobiililaitteiden yleistyminen on johtanut tarpeeseen katsella ja muokata 3D-malleja myös perinteisten työasemien ulkopuolella. Tämä diplomityö kehittää menetelmän verkkorakenteisten 3D-mallien muokkaamiseen lisätyssä todellisuudessa mobiililaitteilla. Kehitetty menetelmä luo staattiselle 3D-mallille animaatiojärjestelmän ohjauskahvoineen automaattisesti. Näin käyttäjä voi interaktiivisesti muuttaa 3D-mallin asentoa. Animaatiojärjestelmä luodaan muodostamalla mallille likiarvoistus pallomallirakenteella. Luodut pallot kiinnitetään malliin nk. luulämpöpinnoitusmenetelmällä. Mallin asennon muokkaamiseksi esitellään suorakäyttöjärjestelmä, jossa käyttäjä voi käsitellä mallia helppokäyttöisin kosketusnäyttöelein. Työssä kehitetään sekä siirto- että pyöritysoperaatiot, jotta käyttäjä voi muokata mallia monipuolisesti ja vaivattomasti. Menetelmän toimivuuden osoittamiseksi työssä luodaan ja analysoidaan esimerkkejä, jotka eivät olisi mahdollisia ilman menetelmän hyödyntämistä. Menetelmän tekninen toteutus on mittausten perusteella lähes tosiaikainen ja käytettyjen mallien käsittelyajat ovat lähellä yhtä sekuntia. Luodut animaatiojärjestelmät ovat semanttisesti merkittäviä erityisesti alhaisemmilla tarkkuuksilla. Vaikka luulämpöpinnoitukseen liittyy teoreettisia ongelmia, ne eivät näkyneet luoduissa esimerkeissä

PROCEEDINGS OF THE IEEE SPECIAL ISSUE ON APPLICATIONS OF AUGMENTED REALITY ENVIRONMENTS 1 Augmented Reality for Construction Site Monitoring and Documentation

Abstract—Augmented Reality allows for an on-site presentation of information that is registered to the physical environment. Applications from civil engineering, which require users to process complex information, are among those which can benefit particularly highly from such a presentation. In this paper, we will describe how to use Augmented Reality (AR) to support monitoring and documentation of construction site progress. For these tasks, the staff responsible usually requires fast and comprehensible access to progress information to enable comparison to the as-built status as well as to as-planned data. Instead of tediously searching and mapping related information to the actual construction site environment, our AR system allows for the access of information right where it is needed. This is achieved by superimposing progress as well as as-planned information onto the user’s view of the physical environment. For this purpose, we present an approach that uses aerial 3D reconstruction to automatically capture progress information and a mobile AR client for on-site visualization. Within this paper, we will describe in greater detail how to capture 3D, how to register the AR system within the physical outdoor environment, how to visualize progress information in a comprehensible way in an AR overlay and how to interact with this kind of information. By implementing such an AR system, we are able to provide an overview about the possibilities and future applications of AR in the construction industry

Facial Motion Capture System for Indie Game Developers

Tässä diplomityössä tutustutaan liikkeenkaappaukseen perustuvaan kasvoanimaatioon ja esitellään yksinkertainen ja halpa järjestelmä, joka suorittaa liikkeenkaappauksen nykyaikaisen älypuhelimen videokameran ja liikesensorien avulla. Entistä realistisempi 3D-grafiikka vaatii rinnalleen entistä realistisempaa animaatiota todellisuuden tunnun säilyttämiseksi. Pelissä esiintyvien ihmismäisten hahmojen kannalta tämä on tarkoittanut vaiheittaista siirtymistä käsin tuotetusta animaatiosta kohti liikekaapattua animaatiota, jossa animaatio tuotetaan todellisen ihmisen liikkeistä. Viime vuosina liikekaapatun kasvoanimaation määrä on lähtenyt nousuun suuren budjetin tuotannoissa, ja monenlaisia kasvonliikkeiden kaappaukseen erikoistuneita tuotteita on ilmestynyt markkinoille. Kasvonliikkeiden kaappauksessa yleisin käytetty menetelmä on asettaa näyttelijän kasvoille selkeästi erottuvia merkkipisteitä ja kuvata kasvoja videokameroilla useista eri suunnista. Merkkipisteiden liikettä seurataan optisesti videokuvan perusteella ja järjestelmän kalibroinnilla tuotetaan järjestelmälle tietoa, jonka perusteella eri kameroiden kuvista voidaan laskea yksittäisten merkkipisteiden kolmiulotteiset sijainnit. Kaappaukseen on toki muitakin menetelmiä, joista subjektiivisesti luonnollisimman tuloksen on viime vuosina antanut merkkipisteetön liikkeenkaappaus, jossa kaapattiin koko kasvojen 3D-malli sekä sen tekstuurit suoraan näyttelijän kasvoilta. Kyseinen peli oli L.A. Noire vuodelta 2011. Tässä diplomityössä tarkastellaan kasvoanimaation kaappausta indie-pelikehittäjän näkökulmasta. Työn kannalta indie-kehittäjiksi lasketaan kaikki, jotka eivät vaadi lopputulokselta täydellisyyttä, ja joilla on käytössään hyvin rajalliset resurssit, niin rahalliset kuin ajallisetkin. Niinpä liikkeenkaappauksen lähdemateriaalin taltioimiseen valjastettiin yksittäinen nykyaikainen älypuhelin, jonka videokameralla tallennettiin kuvaa näyttelijän kasvoista ja jonka liikesensoreilla kaapattiin hänen päänliikkeitään. Puhelin on kiinnitetty kypärätelineeseen, jotta se liikkuu näyttelijän pään mukana. Itse liikkeenseuranta ja sensoridatan jälkikäsittely suoritetaan työpöytätietokoneella, ja puhelimen vastuulla on vain lähdemateriaalin tallentaminen. Kehittäjän aikaresurssien säästämiseksi järjestelmä suunniteltiin mahdollisimman pitkälle automatisoiduksi. Toteutetun järjestelmän perusteella nykyaikaisen älypuhelimen ja avoimen OpenCV-tietokonenäkökirjaston avulla on todellakin mahdollista kaapata laadukasta kasvoanimaatiota indie-kehittäjän tarpeisiin nähden. Päänliikkeet jouduttiin kuitenkin laitteistorajoitusten takia kaappaamaan ainoastaan kiihtyvyyssensorin avulla, mikä rajoitti lopputuloksen tarkkuutta verrattuna järjestelmään, joka pystyisi hyödyntämään gyroskooppiakin. Kehitettävää on myös vielä niin tehokkuuden, luotettavuuden kuin animaation luonnollisuudenkin saralla, mutta potentiaalia järjestelmällä on runsaasti

FREQUENCY DOMAIN CHARACTERIZATION OF OPTIC FLOW AND VISION-BASED OCELLAR SENSING FOR ROTATIONAL MOTION

The structure of an animal’s eye is determined by the tasks it must perform. While vertebrates rely on their two eyes for all visual functions, insects have evolved a wide range of specialized visual organs to support behaviors such as prey capture, predator evasion, mate pursuit, flight stabilization, and navigation. Compound eyes and ocelli constitute the vision forming and sensing mechanisms of some flying insects. They provide signals useful for flight stabilization and navigation. In contrast to the well-studied compound eye, the ocelli, seen as the second visual system, sense fast luminance changes and allows for fast visual processing. Using a luminance-based sensor that mimics the insect ocelli and a camera-based motion detection system, a frequency-domain characterization of an ocellar sensor and optic flow (due to rotational motion) are analyzed. Inspired by the insect neurons that make use of signals from both vision sensing mechanisms, advantages, disadvantages and complementary properties of ocellar and optic flow estimates are discussed