HoloLens research and demo application development

Abstract

The thesis was made as a research and development project for a Finnish software development company. The goal of the final year project was to create an in-depth documentation of HoloLens’ capabilities to be used as a knowledge bank by the company’s personnel and customers, and to develop demo applications that could be used interactively to demonstrate the device. The main focus of the thesis is Microsoft’s HoloLens augmented reality (AR) head mounted display (HMD). To get a better understanding of the topics covered, the study presents an introduction to augmented reality which also covers history of AR, some recent use cases and an overview of several manufacturers’ HMDs. HoloLens has two HD resolution screens and a field of view of 30-degrees. The device’s performance is comparable to a high-end mobile device and the battery life is 2–3 hours in active use. HoloLens also has 12 sensors that it uses to interact with the environment among other things. The thesis also covers the development process of two demo applications that were made for the final year project. The development of the first application covers the implementation of each of HoloLens’ interaction methods one by one along with testing of text and image recognition and the process of making a simple 3D object more engaging and interactive. The second development process was only two weeks long and relied heavily on image recognition with Vuforia SDK. The research revealed that AR is a promising technology that is very likely to become common once it matures and becomes more accessible. As for now, the AR HMDs still have technical limitations that restrict them from becoming popular among consumers. One of the demo applications was presented to a customer during the development phase and the thesis itself is available for the company’s personnel as a source of information on AR HMDs.Insinöörityö tehtiin ohjelmistokehityksen asiantutijayritykselle tutkimus- ja kehitysprojektina. Työn tavoitteena oli tehdä kattava dokumentaatio lisätyn todellisuuden laseista toimimaan tiedonlähteenä yrityksen työntekijöille ja asiakkaille sekä kehittää demosovelluksia laitteen esittelyä varten. Työssä tutustuttiin lisätyn todellisuuden historiaan, selvitettiin tämän teknologian kypsyyttä ja perehdyttiin sen toteutustapoihin. Insinöörityössä keskityttiin pääosin HoloLens-laseihin, mutta myös muita lisätyn todellisuuden laseja tarkasteltiin vertailun vuoksi. HoloLensissä on kaksi HD-resoluution näyttöä 30 asteen katselukulmalla, sen suorituskyky vastaa tehokasta mobiililaitetta ja laitteen akunkesto on noin 2–3 tuntia aktiivisessa käytössä. HoloLens sisältää myös 12 sensoria, joita laite hyödyntää muun muassa ympäristön kanssa vuorovaikutukseen. Insinöörityössä tehtiin myös kaksi demosovellusta. Ensimmäisen sovelluksen kehityksessä sovellukseen lisättiin jokainen HoloLensin vuorovaikutusmenetelmä sekä kuvan- ja tekstintunnistus. Toisen demosovelluksen kehitystyö oli lyhyempi, vain noin kahden viikon pituinen, ja se keskittyi vahvasti kuvantunnistukseen. Demosovellusten kehitykseen käytettiin Unity-pelimoottoria, sen Vuforia-laajennusta ja Visual Studiota. Insinöörityö paljasti lisätyn todellisuuden olevan lupaava teknologia, joka hyvin todennäköisesti yleistyy, kun se kypsyy ja tulee helpommin saavutettavaksi. Tämänhetkisillä lisätyn todellisuuden laseilla on teknisiä rajoituksia, jotka estävät niiden yleistymisen kuluttajien käytössä. Insinöörityössä tehtyä demosovellusta esiteltiin asiakkaalle jo sovelluksen kehitysvaiheessa, ja itse työ on hyödynnettävissä lisätyn todellisuuden lasien tietolähteenä tilaajayrityksen työntekijöille