3D scanning with a Kinect depth sensor

Real-life objects can be transferred to the virtual 3D world with 3D scanning techniques. Scanning can be performed either with a stationary camera while rotating the object or by moving the camera around the scanned object. This work investigates how a two-dimensional depth image of a depth sensor can be transformed into a three-dimensional point cloud and what filtering methods can be used to separate an object from its background. Point clouds taken from different directions are combined, and the quality of the obtained point clouds is studied. Microsoft Kinect V2 depth sensor was used to take depth images. The device calculates the distance to the destination by measuring the flight time of the infrared pulse it emits. Color information for the image was available, but this work focused only on using distance information. The device was used to scan objects from several different viewpoints. Background points were gradually filtered out of each image until only the scanned object point cloud remained. Each image taken from a different angle is initially in its own coordinate system. Point clouds are aligned and connected to the same global coordinate system. Alignment is performed using an iterative closest point (ICP) algorithm. The quality of the resulting point clouds for small objects is not good. The overall shapes of the resulting point cloud is correct, but the more accurate surface shapes disappear in the error noise. With a larger object, the error noise did not have as much effect on the result as the surface area was larger. This results a decent quality point cloud. A good scan result requires special features of the object and the environment. For example, reflective surfaces cause incorrect locations for points. These types of surfaces should be avoided or considered when handling data. Important point information may be lost in filtering, and errors may accumulate when points are combined using the ICP algorithm. The methods used are well suited for use if the goal is to obtain only a rough model of the described object.Tosielämän esineitä voidaan siirtää virtuaaliseen 3D-maailmaan 3D-skannaustekniikoilla. Skannaus voidaan suorittaa joko paikallaan olevalla kameralla kohdetta pyörittämällä tai liikuttamalla kameraa skannattavan kohteen ympärillä. Tässä työssä tutkitaan, kuinka syvyyssensorin kaksiulotteinen syvyyskuva voidaan muuntaa kolmiulotteiseksi pistepilveksi ja millä suodatusmenetelmillä kohde voidaan erottaa taustastaan. Eri suunnista otettuja pistepilviä yhdistetään ja saatujen pistepilvien laatua tutkitaan. Microsoft Kinect V2 -syvyysanturia käytettiin syvyyskuvien ottamiseen. Laite laskee etäisyyden kohteeseen mittaamalla lähettämänsä infrapunapulssin lentoajan keston. Kuvan väritiedot olivat saatavilla, mutta tässä työssä keskityttiin vain etäisyystietojen käyttöön. Laitteen avulla esineitä skannattiin useista eri näkökulmista. Taustapisteitä suodatettiin vähitellen pois jokaisesta kuvasta, kunnes jäljelle jäi vain skannatun esineen pistepilvi. Jokainen eri kulmasta otettu kuva on aluksi omassa koordinaatistossaan. Pistepilvet kohdistetaan ja yhdistetään samaan globaaliin koordinaattijärjestelmään. Kohdistus suoritetaan käyttämällä iteratiivista lähimmän pisteen algoritmia, ICP:tä (engl. iterative closest point). Tuloksena saatujen pistepilvien laatu pienille kohteille ei ole hyvä. Pistepilvien ulkomuodot ovat oikeat, mutta tarkemmat pinnanmuodot katoavat virhekohinassa. Suuremmalla kuvattavalla kohteella virhekohinalla ei ollut kovin suurta vaikutusta tulokseen, kun kohteen pinta-ala oli suurempi. Tämä tuottaa melko hyvänlaatuisen pistepilven. Hyvä skannaustulos vaatii kohteen ja ympäristön erityispiirteitä. Esimerkiksi heijastavat pinnat aiheuttavat virheellisiä sijainteja pisteille. Tämäntyyppisiä pintoja tulee välttää tai ottaa huomioon datan käsittelyssä. Tärkeät pistetiedot voivat kadota suodatuksessa ja virheitä voi kertyä, kun pisteitä yhdistetään ICP-algoritmilla. Käytetyt menetelmät sopivat hyvin käyttötarkoitukseen, jos tavoitteena on saada vain karkea malli kuvatusta kohteesta