A NON OVERLAPPING CAMERA NETWORK: CALIBRATION AND APPLICATION TOWARDS LANE DEPARTURE WARNING

ABSTRACT In this paper, we present a new multi camera approach to Lane Departure Warning (LDW). First, a perspective removal transformation is applied to the camera captured images to convert them into bird's-eye view images. Then, the position of the two cameras relative to a reference point is accurately determined using a new calibration technique. Lane detection is performed on the front and rear camera images who results are combined using data fusion. Finally, LDW is implemented by determining the distance between the vehicle and adjacent lane boundaries. The proposed system was tested on real world driving videos and shows good results when compared to ground truth

Підвищення ефективності телевізійної системи керування автомобіля

Дисертаційна робота присвячена підвищенню ефективності телевізійної системи керування автомобілем. Актуальність теми. В даний час комп'ютеризація в нашому суспільстві розвивається швидкими темпами і відіграє величезну роль в житті людини. За допомогою комп'ютерних технологій автоматизується широке коло процесів, які в недалекому минулому покладалися на людину. А з використанням оптико-електронних пристроїв вдається вирішувати задачі, які неможливо вирішити іншими шляхами. Рішення проблеми розпізнавання і обробки зображень і, як наслідок, запобігання аварійної ситуації на дорозі є досить важливим аспектом безпеки і контролю дорожньої ситуації. Системи активної безпеки дозволяють коригувати помилкові дії водія, уникати екстрених ситуацій, підвищити безпеку дорожнього руху. «Електронні асистенти», в основному, використовують ультразвукові датчики. Вони дозволяють тільки визначити наявність перешкоду і відстань до нього. А введення оптичних сенсорів дає цілий спектр корисної інформації, від наявності перешкоди до його розмірів, відстані, траєкторії руху. Актуальною, затребуваною і цікавою темою цього проекту є аналіз і розробка власного універсального приладу «консультування» водія (ADAS) в питанні активної безпеки. Мета і задачі дослідження. Метою дисертаційної роботи є досягнення максимального узгодження оптичної системи телевізійних систем керування автомобілем, покращення роздільної здатності і якості отримуваного зображення за рахунок вибору параметрів об’єктива, підвищення ефективності та адаптація під всі види транспортних засобів. Для досягнення поставленої мети в дисертаційній роботі поставлені наступні задачі: 1. Обґрунтувати вимоги до характеристик телевізійних систем керування автомобілем. 2. Досягти критерію узгодження просторової роздільної здатності об’єктива і ПЗЗ приймача для телевізійних оптичних систем та впливу кута нахилу системи відносно дороги на кінцеве зображення. 3. Вдосконалити математичну модель обробки вихідного сигналу методами DSP обробки. 4. Розробити стартап-проект оптико-електронного детектора дорожньої розмітки. Об’єкт дослідження. Процес реєстрації оптичного випромінювання приймачем випромінювання та його подальша обробка. Предмет дослідження. Телевізійні системи керування автомобілем. Наукова новизна. Вперше розроблена швидка методика детектування та локалізації дорожньої розмітки за допомогою алгоритмів згортки та кореляції сумісно із атермальним об’єктивом. Розроблено програмне забезпечення для автоматичної обробки зображень для локалізації розмітки. Проведено аналіз розрахованих методик на реальних даних. Методи дослідження. У дисертаційній роботі для розв’язання даних поставлених задач використовується: 1. Аналітичні методи, засновані на застосуванні апарату геометричної оптики, теорії аберацій оптичних систем, проектування та контролю телевізійних систем, алгоритми розпізнавання дорожньої розмітки. 2. Використання програмного пакета «MatLab» та «Python» для моделювання різноманітних дорожніх ситуацій та розробки алгоритму розпізнавання розмітки, досягнення вдосконалення критеріїв. 3. Комп’ютерне моделювання і оптичний розрахунок різних телевізійних оптичних систем в програмі «PODIL» з абераційним і енергетичним аналізом якості отримуваного зображення. 4. Використання різних методик оцінки роздільної здатності та якості отримуваного зображення телевізійних систем з ПЗЗ приймачем. Магістерська дисертація складається з чотирьох розділів. У першому розділі проаналізовано основні переваги і недоліки існуючих систем керування автомобілем та методів цифрової обробки зображень. У другому розділі приведено загальну фізико-математичну модель телевізійної системи керування автомобілем та розроблено атермальний об’єктив. Третій розділ присвячено огляду, аналізу та вибору методу цифрової обробки зображень для задачі детекції дорожньої розмітки. Четвертий розділ присвячено розробці стартап-проекту «Телевізійна система керування автомобілем» і аналізу перспектив входження розробки на ринок з маркетологічної точки зору.The dissertation is devoted to increase of efficiency of the television control system of the car. Actuality of theme. Nowadays, computerization in our society is developing at a rapid pace and plays a huge role in human life. Computer technology automates a wide range of processes that have relied on humans in the recent past. And with the use of optoelectronic devices it is possible to solve problems that cannot be solved in other ways. Addressing image recognition and processing and, as a consequence, preventing an accident on the road is a very important aspect of road safety and control. Active safety systems allow you to correct driver misconduct, avoid emergencies, and improve road safety. "Electronic assistants" mainly use ultrasonic sensors. They only allow you to determine the presence of an obstacle and the distance to it. And the introduction of optical sensors gives a whole spectrum of useful information, from the presence of obstacles to its size, distance, trajectory. A topical, sought-after and interesting topic of this project is the analysis and development of our own Active Driver Advice (ADAS) device in active safety. The purpose and objectives of the study. The aim of the dissertation is to achieve the maximum harmonization of the optical system of television control systems of the car, to improve the resolution and quality of the image obtained by selecting lens parameters, improving efficiency and adaptation to all types of vehicles. In order to achieve this goal in the dissertation the following tasks are set: 1. To substantiate the requirements for the characteristics of television control systems of the car. 2. Achieve the criterion of spatial resolution of the lens and the CCD of the television optical systems and the effect of the inclination of the system relative to the road on the final image. 3. Improve mathematical model of output signal processing by DSP processing methods. 4. To develop a startup project of opto-electronic road marking detector. Object of study. The process of registration of optical radiation by the radiation receiver and its subsequent processing. Subject of study. Car TV systems. Research methods. In the dissertation the following tasks are used to solve the data of the given tasks: 1. Analytical methods based on the application of geometric optics apparatus, theory of aberrations of optical systems, design and control of television systems, algorithms for recognition of road marking. 2. Using MatLab and Python software to simulate various road situations and to develop a markup recognition algorithm to achieve criteria improvement. 3. Computer simulation and optical calculation of various television optical systems in the PODIL program with aberration and energy analysis of the image quality. 4. The use of different methods of estimating the resolution and quality of the resulting image of television systems with CCD receiver. The master's thesis consists of four sections. The first section analyzes the main advantages and disadvantages of existing car control systems and digital imaging techniques. The second section presents a general physics and mathematics model of a car television system and a thermal lens. The third section deals with the review, analysis and selection of the digital image processing method for the task of detecting road marking. The fourth section is devoted to the development of a startup project "TV Car Control System" and to analyze the prospects for market entry from a marketing point of view

Sistema de detecção em tempo real de faixas de sinalização de trânsito para veículos inteligentes utilizando processamento de imagem

A mobilidade é uma marca da nossa civilização. Tanto o transporte de carga quanto o de passageiros compartilham de uma enorme infra-estrutura de conexões operados com o apoio de um sofisticado sistema logístico. Simbiose otimizada de módulos mecânicos e elétricos, os veículos evoluem continuamente com a integração de avanços tecnológicos e são projetados para oferecer o melhor em conforto, segurança, velocidade e economia. As regulamentações organizam o fluxo de transporte rodoviário e as suas interações, estipulando regras a fim de evitar conflitos. Mas a atividade de condução pode tornar-se estressante em diferentes condições, deixando os condutores humanos propensos a erros de julgamento e criando condições de acidente. Os esforços para reduzir acidentes de trânsito variam desde campanhas de re-educação até novas tecnologias. Esses tópicos têm atraído cada vez mais a atenção de pesquisadores e indústrias para Sistemas de Transporte Inteligentes baseados em imagens que visam a prevenção de acidentes e o auxilio ao seu motorista na interpretação das formas de sinalização urbana. Este trabalho apresenta um estudo sobre técnicas de detecção em tempo real de faixas de sinalização de trânsito em ambientes urbanos e intermunicipais, com objetivo de realçar as faixas de sinalização da pista para o condutor do veículo ou veículo autônomo, proporcionando um controle maior da área de tráfego destinada ao veículo e prover alertas de possíveis situações de risco. A principal contribuição deste trabalho é otimizar a formar como as técnicas de processamento de imagem são utilizas para realizar a extração das faixas de sinalização, com o objetivo de reduzir o custo computacional do sistema. Para realizar essa otimização foram definidas pequenas áreas de busca de tamanho fixo e posicionamento dinâmico. Essas áreas de busca vão isolar as regiões da imagem onde as faixas de sinalização estão contidas, reduzindo em até 75% a área total onde são aplicadas as técnicas utilizadas na extração de faixas. Os resultados experimentais mostraram que o algoritmo é robusto em diversas variações de iluminação ambiente, sombras e pavimentos com cores diferentes tanto em ambientes urbanos quanto em rodovias e autoestradas. Os resultados mostram uma taxa de detecção correta média de 98; 1%, com tempo médio de operação de 13,3 ms.Mobility is an imprint of our civilization. Both freight and passenger transport share a huge infrastructure of connecting links operated with the support of a sophisticated logistic system. As an optimized symbiosis of mechanical and electrical modules, vehicles are evolving continuously with the integration of technological advances and are engineered to offer the best in comfort, safety, speed and economy. Regulations organize the flow of road transportation machines and help on their interactions, stipulating rules to avoid conflicts. But driving can become stressing on different conditions, leaving human drivers prone to misjudgments and creating accident conditions. Efforts to reduce traffic accidents that may cause injuries and even deaths range from re-education campaigns to new technologies. These topics have increasingly attracted the attention of researchers and industries to Image-based Intelligent Transportation Systems that aim to prevent accidents and help your driver in the interpretation of urban signage forms. This work presents a study on real-time detection techniques of traffic signaling signs in urban and intermunicipal environments, aiming at the signaling lanes of the lane for the driver of the vehicle or autonomous vehicle, providing a greater control of the area of traffic destined to the vehicle and to provide alerts of possible risk situations. The main contribution of this work is to optimize how the image processing techniques are used to perform the lanes extraction, in order to reduce the computational cost of the system. To achieve this optimization, small search areas of fixed size and dynamic positioning were defined. These search areas will isolate the regions of the image where the signaling lanes are contained, reducing up to 75% the total area where the techniques used in the extraction of lanes are applied. The experimental results showed that the algorithm is robust in several variations of ambient light, shadows and pavements with different colors, in both urban environments and on highways and motorways. The results show an average detection rate of 98.1%, with average operating time of 13.3 ms