En Introduksjon til Kunstig Syn i Autonom Kjøring

Autonom kjøring er en av de fremtredende teknologiene i dagens samfunn. Et bredt spekter av applikasjoner bruker derfor denne teknologien for fordelene den gir. For eksempel vil en autonom kjørende robot frigjøre arbeidskraft og øke produktiviteten i bransjer som krever rask transport. For å oppnå disse fordelene krever det imidlertid utvikling av pålitelig og nøyaktig programvare og algoritmer som skal implementeres i disse autonome kjøresytemene. Ettersom dette feltet har vokst gjennom årene, har forskjellige selskaper implementert denne teknologien med stor suksess. Dermed gjør det økte fokuset på autonom kjøre teknologi dette til et aktuelt tema å forske på. Siden utvikling av et autonomt kjøresystem er et krevende tema, fokuserer dette prosjektet kun på hvordan kunstig syn kan brukes i autonome kjøresystemer. Først og fremst utvikles en kunstig syns basert programvare for autonom kjøring. Programvaren er først implementert på et lite forhåndslaget kjøretøy i bok størrelse. Dette systemet brukes deretter til å teste programvarens funksjonalitet. Autonome kjørefunksjoner som fungerer tilfredsstillende på det lille test kjøretøyet blir også testet på et større kjøretøy for å se om programvaren fungerer for andre systemer. Videre er den en utviklede programvaren begrenset til enkelte autonome kjørehandlinger. Dette inkluderer handlinger som å stoppe når en hindring eller et stoppskilt er oppdaget, kjøring på en enkel vei og parkering. Selv om dette bare er noen få autonome kjøre funksjoner, er de grunnleggende operasjoner som kan gjøre det autonome kjøresystemet allerede anvendelig for forskjellige brukstilfeller. Ulike kunstig syn metode for gjenstands deteksjon har blitt implementert for å oppdage ulike typer gjenstander som hindringer og skilt for å bestemme kjøretøyets miljø. Programvaren inkluderer også bruk av en linje deteksjonsmetode for å oppdage vei- og parkerings linjer som brukes til å sentrere og parkere kjøretøyet. Dessuten skapes et fuglebilde av den fysiske verden fra kamera bilder som skal brukes som et miljøkart for å planlegge den mest optimale rute i forskjellige scenarier. Til slutt blir disse implementeringene kombinert for å bygge kjørelogikken til kjøretøyet, noe som gjør det i stand til å utføre kjørehandlingene nevnt i forrige avsnitt. Ved bruk av den utviklede programvaren for kjøreoppgave, deteksjon av hindringer, viste resultatet at selv om de faktiske hindringene ble oppdaget, var det scenarier der blokkader ble oppdaget selv om det ikke var noen. På den annen side var den utviklede funksjonen med å stoppe når et stoppskilt blir oppdaget svært nøyaktig og pålitelig ettersom den utførte som forventet. Når det gjelder de resterende to implementerte handlingene, sentrering og parkering av kjøretøyet, slet systemet med å oppnå et lovende resultat. Til tross for det viste de fysiske valideringstestene uten bruk av kjøretøymodell positive resultater, men med mindre avvik fra ønsket resultat. Samlet sett har programvaren potensial for å bli anvendelig i mer krevende scenarier, men det er behov for videre utvikling for å fikse noen problemområder først.Autonomous driving is one of the rising technology in today's society. Thus, a wide range of applications uses this technology for the benefits it yields. For instance, an autonomous driving robot will free up the labor force and increase productivity in industries that require rapid transportation. However, to gain these benefits, it requires the development of reliable and accurate software and algorithms to be implemented in these autonomous driving systems. As this field has been growing over the years, different companies have implemented this technology with great success. Thus, the increased focus on autonomous driving technology makes this a relevant topic to perform research on. As developing an autonomous driving system is a demanding topic, this project focuses solely on how computer vision can be used in autonomous driving systems. First and foremost, a computer-vision based autonomous driving software is developed. The software is first implemented on a small premade book-size vehicle. This system is then used to test the software's functionality. Autonomous driving functions that perform satisfactorily on the small test vehicle are also tested on a larger vehicle to see if the software works for other systems. Furthermore, the developed software is limited to some autonomous driving actions. This includes actions such as stopping when a hindrance or a stop sign is detected, driving on a simple road, and parking. Although these are only a few autonomous driving actions, they are fundamental operations that can make the autonomous driving system already applicable to different use cases. Different computer vision methods for object detection have been implemented for detecting different types of objects such as hindrances and signs to determine the vehicle's environment. The software also includes the usage of a line detection method for detecting road and parking lines that are used for centering and parking the vehicle. Moreover, a bird-view of the physical world is created from the camera output to be used as an environment map to plan the most optimal path in different scenarios. Finally, these implementations are combined to build the driving logic of the vehicle, making it able to perform the driving actions mentioned in the previous paragraph. When utilizing the developed software for the driving task, hindrance detection, the result showed that although the actual hindrances were detected, there were scenarios where blockades were detected even though there were none. On the other hand, the developed function of stopping when a stop sign is detected was highly accurate and reliable as it performed as expected. With regard to the remaining two implemented actions, centering and parking the vehicle, the system struggled to achieve a promising result. Despite that, the physical validation tests without the use of a vehicle model showed positive outcomes although with minor deviation from the desired result. Overall, the software showed potential to be developed even further to be applicable in more demanding scenarios, however, the current issues must be addressed first

En Introduksjon til Kunstig Syn i Autonom Kjøring

Autonomous driving is one of the rising technology in today’s society. Thus, a wide range of applications uses this technology for the benefits it yields. For instance, an autonomous driving robot will free up the labor force and increase productivity in industries that require rapid transportation. However, to gain these benefits, it requires the development of reliable and accurate software and algorithms to be implemented in these autonomous driving systems. As this field has been growing over the years, different companies have implemented this technology with great success. Thus, the increased focus on autonomous driving technology makes this a relevant topic to perform research on. As developing an autonomous driving system is a demanding topic, this project focuses solely on how computer vision can be used in autonomous driving systems. First and foremost, a computer-vision based autonomous driving software is developed. The software is first imple- mented on a small premade book-size vehicle. This system is then used to test the software’s functionality. Autonomous driving functions that perform satisfactorily on the small test vehicle are also tested on a larger vehicle to see if the software works for other systems. Furthermore, the developed software is limited to some autonomous driving actions. This includes actions such as stopping when a hindrance or a stop sign is detected, driving on a simple road, and parking. Although these are only a few autonomous driving actions, they are fundamental operations that can make the autonomous driving system already applicable to different use cases. Different computer vision methods for object detection have been implemented for detecting different types of objects such as hindrances and signs to determine the vehicle’s environment. The software also includes the usage of a line detection method for detecting road and parking lines that are used for centering and parking the vehicle. Moreover, a bird-view of the physical world is created from the camera output to be used as an environment map to plan the most optimal path in different scenarios. Finally, these implementations are combined to build the driving logic of the vehicle, making it able to perform the driving actions mentioned in the previous paragraph. When utilizing the developed software for the driving task, hindrance detection, the result showed that although the actual hindrances were detected, there were scenarios where block- ades were detected even though there were none. On the other hand, the developed function of stopping when a stop sign is detected was highly accurate and reliable as it performed as expected. With regard to the remaining two implemented actions, centering and parking the vehicle, the system struggled to achieve a promising result. Despite that, the physical validation tests without the use of a vehicle model showed positive outcomes although with minor deviation from the desired result. Overall, the software showed potential to be developed even further to be applicable in more demanding scenarios, however, the current issues must be addressed first

En Introduksjon til Kunstig Syn i Autonom Kjøring

Autonom kjøring er en av de fremtredende teknologiene i dagens samfunn. Et bredt spekter av applikasjoner bruker derfor denne teknologien for fordelene den gir. For eksempel vil en autonom kjørende robot frigjøre arbeidskraft og øke produktiviteten i bransjer som krever rask transport. For å oppnå disse fordelene krever det imidlertid utvikling av pålitelig og nøyaktig programvare og algoritmer som skal implementeres i disse autonome kjøresytemene. Ettersom dette feltet har vokst gjennom årene, har forskjellige selskaper implementert denne teknologien med stor suksess. Dermed gjør det økte fokuset på autonom kjøre teknologi dette til et aktuelt tema å forske på. Siden utvikling av et autonomt kjøresystem er et krevende tema, fokuserer dette prosjektet kun på hvordan kunstig syn kan brukes i autonome kjøresystemer. Først og fremst utvikles en kunstig syns basert programvare for autonom kjøring. Programvaren er først implementert på et lite forhåndslaget kjøretøy i bok størrelse. Dette systemet brukes deretter til å teste programvarens funksjonalitet. Autonome kjørefunksjoner som fungerer tilfredsstillende på det lille test kjøretøyet blir også testet på et større kjøretøy for å se om programvaren fungerer for andre systemer. Videre er den en utviklede programvaren begrenset til enkelte autonome kjørehandlinger. Dette inkluderer handlinger som å stoppe når en hindring eller et stoppskilt er oppdaget, kjøring på en enkel vei og parkering. Selv om dette bare er noen få autonome kjøre funksjoner, er de grunnleggende operasjoner som kan gjøre det autonome kjøresystemet allerede anvendelig for forskjellige brukstilfeller. Ulike kunstig syn metode for gjenstands deteksjon har blitt implementert for å oppdage ulike typer gjenstander som hindringer og skilt for å bestemme kjøretøyets miljø. Programvaren inkluderer også bruk av en linje deteksjonsmetode for å oppdage vei- og parkerings linjer som brukes til å sentrere og parkere kjøretøyet. Dessuten skapes et fuglebilde av den fysiske verden fra kamera bilder som skal brukes som et miljøkart for å planlegge den mest optimale rute i forskjellige scenarier. Til slutt blir disse implementeringene kombinert for å bygge kjørelogikken til kjøretøyet, noe som gjør det i stand til å utføre kjørehandlingene nevnt i forrige avsnitt. Ved bruk av den utviklede programvaren for kjøreoppgave, deteksjon av hindringer, viste resultatet at selv om de faktiske hindringene ble oppdaget, var det scenarier der blokkader ble oppdaget selv om det ikke var noen. På den annen side var den utviklede funksjonen med å stoppe når et stoppskilt blir oppdaget svært nøyaktig og pålitelig ettersom den utførte som forventet. Når det gjelder de resterende to implementerte handlingene, sentrering og parkering av kjøretøyet, slet systemet med å oppnå et lovende resultat. Til tross for det viste de fysiske valideringstestene uten bruk av kjøretøymodell positive resultater, men med mindre avvik fra ønsket resultat. Samlet sett har programvaren potensial for å bli anvendelig i mer krevende scenarier, men det er behov for videre utvikling for å fikse noen problemområder først.Autonomous driving is one of the rising technology in today’s society. Thus, a wide range of applications uses this technology for the benefits it yields. For instance, an autonomous driving robot will free up the labor force and increase productivity in industries that require rapid transportation. However, to gain these benefits, it requires the development of reliable and accurate software and algorithms to be implemented in these autonomous driving systems. As this field has been growing over the years, different companies have implemented this technology with great success. Thus, the increased focus on autonomous driving technology makes this a relevant topic to perform research on. As developing an autonomous driving system is a demanding topic, this project focuses solely on how computer vision can be used in autonomous driving systems. First and foremost, a computer-vision based autonomous driving software is developed. The software is first imple- mented on a small premade book-size vehicle. This system is then used to test the software’s functionality. Autonomous driving functions that perform satisfactorily on the small test vehicle are also tested on a larger vehicle to see if the software works for other systems. Furthermore, the developed software is limited to some autonomous driving actions. This includes actions such as stopping when a hindrance or a stop sign is detected, driving on a simple road, and parking. Although these are only a few autonomous driving actions, they are fundamental operations that can make the autonomous driving system already applicable to different use cases. Different computer vision methods for object detection have been implemented for detecting different types of objects such as hindrances and signs to determine the vehicle’s environment. The software also includes the usage of a line detection method for detecting road and parking lines that are used for centering and parking the vehicle. Moreover, a bird-view of the physical world is created from the camera output to be used as an environment map to plan the most optimal path in different scenarios. Finally, these implementations are combined to build the driving logic of the vehicle, making it able to perform the driving actions mentioned in the previous paragraph. When utilizing the developed software for the driving task, hindrance detection, the result showed that although the actual hindrances were detected, there were scenarios where block- ades were detected even though there were none. On the other hand, the developed function of stopping when a stop sign is detected was highly accurate and reliable as it performed as expected. With regard to the remaining two implemented actions, centering and parking the vehicle, the system struggled to achieve a promising result. Despite that, the physical validation tests without the use of a vehicle model showed positive outcomes although with minor deviation from the desired result. Overall, the software showed potential to be developed even further to be applicable in more demanding scenarios, however, the current issues must be addressed first

Utvikle en mikrokontrollerbasert plattform for arbeid med reguleringsteknikk og autonom kjøring

This report covers setting up a development system for embedded development for microcontrollers and Linux Embedded SBC systems. And, the development and testing of a microcontroller-based platform that can be used for prototyping and developing autonomous driving. The Platform can be used as a single board small car, or as a small multi-sensor-node vehicle with CAN bus connecting the different nodes. A SBC system can be used for computer vision and controlling and driving the car. It should be built using cheap, off-the-shelf components making it accessible for anyone interested