Stairs and Pedestrian Crosswalks Detection Using Morphological Image Processing and Analysis in Order to Guide Visually Impaired Persons

Većina slijepih i slabovidnih osoba još ne koristi napredne sustave za pomoć pri kretanju i orijentaciji. Iako još nije vrijeme za potpuno izbacivanje ustaljenih metoda poput bijelog štapa, napredak tehnologije sada omogućava razvijanje i postupno uvođenje digitalnih mobilnih sustava za pomoć slijepima i slabovidnima. U ovoj disertaciji opisana je problematika koju mora riješiti takav sustav s naglaskom na metode navođenja prilikom kretanja korištenjem kamere i računalnom obradom slike. Ovo istraživanje usmjereno je na specifične situacije kada se osoba nalazi ispred ili na stepenicama i pješačkim prijelazima kao potencijalnim kritičnim točkama prilikom kretanja. Osim pregleda postojećih metoda detaljno su opisane tri novorazvijene metode zajedno s njihovom evaluacijom. Razvijene metode uključuju: metodu za detekciju stepenica zasnovanu na vertikalnoj i horizontalnoj analizi, multirezolucijsku metodu za detekciju pješačkih prijelaza zasnovanu na morfološkoj analizi i energiji linija, metodu za zvučno usmjeravanje slijepih i slabovidnih određivanjem prostora za sigurno kretanje. Dodatno je razvijen okvir za evaluaciju metoda usmjeravanja slijepih i slabovidnih osoba na stepenicama i pješačkim prijelazima. Testiranjem razvijenih metoda pokazane su određene prednosti u odnosu na postojeće metode po pitanju uspješnosti detekcije, mogućnosti korištenja širokokutnih ulaznih slika i robusnosti u slučajevima zaklonjenosti traženih objekata. Testiranjem brzine izvođenja razvijenih metoda pokazana je mogućnost izvođenja u realnom vremenu što je iznimno važno za pomoćne sustave koji bi se trebali koristiti u pokretu.Most of the blind and visually impaired persons are still not using advanced navigation and orientation assistance systems. Though it is not yet time to fully expel standard methods such as a white cane, advances in technology now enable the development and gradual introduction of digital mobile systems for helping the blind and visually impaired people. This dissertation describes the issues that need to be solved by such a system, focusing on navigation methods using camera and digital image processing. This research is focused on specific situations when a person is in front of or on stairs and pedestrian crosswalks as potential critical points when walking. In addition to an overview of the existing methods, three newly developed methods are described in detail along with their evaluation. Developed methods include: method for stairs detection using vertical and horizontal analysis, multiresolution method for pedestrian crosswalks detection based on morphological analysis and line energy, method for sound guidance of the blind and visually impaired by determining space for safe movement. There is also an additionally developed framework for evaluating the methods for guidance of the blind and visually impaired on stairs and pedestrian crosswalks. Testing of the developed methods has shown some advantages over existing methods regarding the accuracy, the ability to use with wide-angle input images and the robustness in cases of concealed objects. By testing the processing speed for developed methods, possibility to perform in real-time is proven, which is extremely important for the assistance systems that should be used in the movement