Airborne SLAM Using High-Speed Vision : The construction of a fully self-contained micro air vehicle localized and controlledusing computer vision based Simultaneous Localization And Mapping.

Abstract

A helicopter platform was built where the all the controls, localization and other calculations are performed onboard the helicopter making it fully self-contained. The localization is made only by using a monocular camera (with an option to use a stereo pair for easier initialization) and processing the video feed with computer vision algorithms. The helicopter’s pose is estimated by a computer vision algorithm which is an extended version of PTAM, a Simultaneous Localization and Mapping (SLAM) algorithm published 2007 by G. Klein and D. Murray. The program was changed to be able to track different kinds of self-similar ground textures and to be integrated with the helicopter hardware. The algorithm was also modified to be able to auto-initialize and to keep the map size constant by pruning out far away key frames to not be confined only to small areas. The impact on tracking using high-speed vision at 60 Hz was investigated and compared to tracking at 30 Hz, respectively 10 Hz. The impact was not as big as hypothesized. Tracking stability increases a lot when going from 10 Hz to 30 Hz video. However increasing the frame rate from 30 Hz to 60 Hz has a very small effect. In 60 Hz the difference between frames becomes smaller, but does not seem to affect the tracking stability very much. The reason for this is most likely that 30 Hz is adequate for the velocities in which the helicopter flies and the limiting factor is the algorithm in itself that it cannot track in every possible setting, and this will not be fixed by increasing the frame rate further but will require changes in the algorithm. The computer vision localization works well as long as there are good salient features to track. The tracking accuracy in such cases is measured to have a RMS error of 2.4 cm compared to motion capture data that can be assumed to be ground truth.En helikopterplattform har satts samman där all motorstyrning, lokalisering och övriga beräkningar sker ombord på helikoptern vilket gör den oberoende av extern hårdvara. Lokaliseringen av helikoptern görs enbart med hjälp av en monokulär kamera genom att analysera videoströmmen med hjälp av datorseende-algoritmer. Algoritmen som används är en anpassning av PTAM, en Similtaneous Localization and Mapping (SLAM) algoritm publicerad 2007 av G. Klein och D. Murray. Algoritmen har modifierats så att den kan bättre hantera situationer med repeterande marktextur utan speciellt utmärkande särdrag, samt att programvaran har integrerats med helikopterhårdvaran för att att skicka styrsignaler. Algoritmen har även förbättrats med automatiskt initiering av trackern, samt ett alternativ att hålla kartstorleken konstant så att helikoptern kan röra sig över större områden utan att begränsas av den ökande beräkningstiden och minnesanvändningen för en större karta. Hur användandet av höghastighetskameror på 60 Hz påverkar kvalitén av trackningen undersöktes. Inverkan visade sig vara mindre än förväntad. Tracking-stabiliteten ökade mycket i övergången från 10 Hz till 30 Hz video. Mätningarna visade dock att det knappt var någon skillnad att gå från 30 Hz till 60 Hz. I 60 Hz så blir skillnaden mellan bildrutor mindre med det gav inte bättre trackning. Anledningen till detta är med största sannolikhet att 30 Hz ger tillräckligt mjuka rörelser för att kunna tracka rörelser i de hastigheter som är aktuella för helikoptern. Den begränsande faktorn är därför att den algoritm som används inte klarar av alla typer av scener och det kommer inte kunna lösas med snabbare och bättre kameror utan kommer kräva förbättringar av SLAM algoritmen. Lokaliseringen fungerar bra när det finns många framträdande särdrag. Precisionen i de fallen har mätts till att ha ett RMS fel på 2,4 cm jämfört med data från motion capture som kan antas vara exakt