A computationally efficient stereo vision algorithm for adaptive cruise control

Thesis (M.S.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 1997.Includes bibliographical references (p. 55-56).by Jason Robert Bergendahl.M.S

Sensor fusion in driving assistance systems

Mención Internacional en el título de doctorLa vida diaria en los países desarrollados y en vías de desarrollo depende en gran medida del transporte urbano y en carretera. Esta actividad supone un coste importante para sus usuarios activos y pasivos en términos de polución y accidentes, muy habitualmente debidos al factor humano. Los nuevos desarrollos en seguridad y asistencia a la conducción, llamados Advanced Driving Assistance Systems (ADAS), buscan mejorar la seguridad en el transporte, y a medio plazo, llegar a la conducción autónoma. Los ADAS, al igual que la conducción humana, están basados en sensores que proporcionan información acerca del entorno, y la fiabilidad de los sensores es crucial para las aplicaciones ADAS al igual que las capacidades sensoriales lo son para la conducción humana. Una de las formas de aumentar la fiabilidad de los sensores es el uso de la Fusión Sensorial, desarrollando nuevas estrategias para el modelado del entorno de conducción gracias al uso de diversos sensores, y obteniendo una información mejorada a partid de los datos disponibles. La presente tesis pretende ofrecer una solución novedosa para la detección y clasificación de obstáculos en aplicaciones de automoción, usando fusión vii sensorial con dos sensores ampliamente disponibles en el mercado: la cámara de espectro visible y el escáner láser. Cámaras y láseres son sensores comúnmente usados en la literatura científica, cada vez más accesibles y listos para ser empleados en aplicaciones reales. La solución propuesta permite la detección y clasificación de algunos de los obstáculos comúnmente presentes en la vía, como son ciclistas y peatones. En esta tesis se han explorado novedosos enfoques para la detección y clasificación, desde la clasificación empleando clusters de nubes de puntos obtenidas desde el escáner láser, hasta las técnicas de domain adaptation para la creación de bases de datos de imágenes sintéticas, pasando por la extracción inteligente de clusters y la detección y eliminación del suelo en nubes de puntos.Life in developed and developing countries is highly dependent on road and urban motor transport. This activity involves a high cost for its active and passive users in terms of pollution and accidents, which are largely attributable to the human factor. New developments in safety and driving assistance, called Advanced Driving Assistance Systems (ADAS), are intended to improve security in transportation, and, in the mid-term, lead to autonomous driving. ADAS, like the human driving, are based on sensors, which provide information about the environment, and sensors’ reliability is crucial for ADAS applications in the same way the sensing abilities are crucial for human driving. One of the ways to improve reliability for sensors is the use of Sensor Fusion, developing novel strategies for environment modeling with the help of several sensors and obtaining an enhanced information from the combination of the available data. The present thesis is intended to offer a novel solution for obstacle detection and classification in automotive applications using sensor fusion with two highly available sensors in the market: visible spectrum camera and laser scanner. Cameras and lasers are commonly used sensors in the scientific literature, increasingly affordable and ready to be deployed in real world applications. The solution proposed provides obstacle detection and classification for some obstacles commonly present in the road, such as pedestrians and bicycles. Novel approaches for detection and classification have been explored in this thesis, from point cloud clustering classification for laser scanner, to domain adaptation techniques for synthetic dataset creation, and including intelligent clustering extraction and ground detection and removal from point clouds.Programa Oficial de Doctorado en Ingeniería Eléctrica, Electrónica y AutomáticaPresidente: Cristina Olaverri Monreal.- Secretario: Arturo de la Escalera Hueso.- Vocal: José Eugenio Naranjo Hernánde

Fusion-layer-based machine vision for intelligent transportation systems/

Thesis (Ph. D.)--Massachusetts Institute of Technology, Dept. of Electrical Engineering and Computer Science, 2010.Cataloged from PDF version of thesis.Includes bibliographical references (p. 307-317).Environment understanding technology is very vital for intelligent vehicles that are expected to automatically respond to fast changing environment and dangerous situations. To obtain perception abilities, we should automatically detect static and dynamic obstacles, and obtain their related information, such as, locations, speed, collision/occlusion possibility, and other dynamic current/historic information. Conventional methods independently detect individual information, which is normally noisy and not very reliable. Instead we propose fusion-based and layered-based information-retrieval methodology to systematically detect obstacles and obtain their location/timing information for visible and infrared sequences. The proposed obstacle detection methodologies take advantage of connection between different information and increase the computational accuracy of obstacle information estimation, thus improving environment understanding abilities, and driving safety.by Yajun Fang.Ph.D

Desenvolvimento de um sistema de visão estéreo com grande linha de base para a identifica cão de peões e outros alvos em estrada

Mestrado em Engenharia MecânicaOs veículos autónomos são uma tendência cada vez mais crescente nos dias de hoje com os grandes fabricantes da área automóvel, e não só, concentrados em desenvolver carros autónomos. As duas maiores vantagens que se destacam para os carros autónomos são maior conforto para o condutor e maior segurança, onde este trabalho se foca. São incontáveis as vezes que um condutor, por distração ou por outra razão, não vê um objeto na estrada e colide ou um peão na estrada que e atropelado. Esta e uma das questões que um sistema de apoio a condução (ADAS) ou um carro autónomo tenta solucionar e por ser uma questão tão relevante há cada vez mais investigação nesta área. Um dos sistemas mais usados para este tipo de aplicação são câmaras digitais, que fornecem informação muito completa sobre o meio circundante, para além de sistemas como sensores LIDAR, entre outros. Uma tendência que deriva desta e o uso de sistemas stereo, sistemas com duas câmaras, e neste contexto coloca-se uma pergunta a qual este trabalho tenta respoder: "qual e a distância ideal entre as câmaras num sistema stereo para deteção de objetos ou peões?". Esta tese apresenta todo o desenvolvimento de um sistema de visão stereo: desde o desenvolvimento de todo o software necessário para calcular a que distância estão peões e objetos usando duas câmaras até ao desenvolvimento de um sistema de xação das câmaras que permita o estudo da qualidade da deteção de peões para várias baselines. Foram realizadas experiências para estudar a influênci da baseline e da distância focal da lente que consistriam em gravar imagens com um peão em deslocamento a distâncias pré defenidas e marcadas no chão assim como um objeto xo, tudo em cenário exterior. A análise dos resultados foi feita comparando o valor calculado automáticamente pela aplicação com o valor medido. Conclui-se que com este sistema e com esta aplicação e possível detetar peões com exatidão razoável. No entanto, os melhores resultados foram obtidos para a baseline de 0.3m e para uma lente de 8mm.Nowadays, autonomous vehicles are an increasing trend as the major players of this sector, and not only, are focused in developing autonomous cars. The two main advantages of autonomous cars are the higher convenience for the passengers and more safety for the passengers and for the people around, which is what this thesis focus on. Sometimes, due to distraction or another reasons, the driver does not see an object on the road and crash or a pedestrian in the cross walk and the person is run over. This is one of the questions that an ADAS or an autonomous car tries to solve and due to the huge relevance of this more research have been done in this area. One of the most applied systems for ADAS are digital cameras, that provide complex information about the surrounding environment, in addition to LIDAR sensor and others. Following this trend, the use of stereo vision systems is increasing - systems with two cameras, and in this context a question comes up: "what is the ideal distance between the cameras in a stereo system for object and pedestrian detection?". This thesis shows all the development of a stereo vision system: from the development of the necessary software for calculating the objects and pedestrians distance form the setup using two cameras, to the design of a xing system for the cameras that allows the study of stereo for di erent baselines. In order to study the in uence of the baseline and the focal distance a pedestrian, walking through previously marked positions, and a xed object, were recorded, in an exterior scenario. The results were analyzed by comparing the automatically calculated distance, using the application, with the real value measured. It was concluded, in the end, that the distance of pedestrians and objects can be calculated, with minimal error, using the software developed and the xing support system. However, the best results were achieved for the 0.3m baseline and for the 8mm lens