Design and Implementation of Fuzzy Logic Controller for Online Computer Controlled Steering System for Navigation of a Teleoperated Agricultural Vehicle

This paper describes design, modeling, simulation, control, and implementation of teleoperated agricultural vehicle using intelligent technique. This vehicle can be used for ploughing, sowing, and soil moisture sensing. Online computer controlled steering system for a vehicle utilizing two independent drive wheels can be used to avoid obstacles and to improve the ability to resist external side forces. To control the steer angles of the nondriven wheels, the mathematical relationships between the drive wheel speeds and the steer angles of the nondriven wheels are used. A fuzzy logic controller is designed to change the drive wheel speeds and to achieve the desired steer angles. Online control of the agricultural vehicle is achieved from a remote place by means of Web Publishing Tool in LabVIEW. IR sensors in the vehicle are used to detect and to avoid the obstacles around. The developed steering angle control algorithm and fuzzy logic controller have been implemented in an agricultural vehicle which depicts that the vehicle performs its operation efficiently and reduces the manpower and becomes advantageous

Integrating Millimeter Wave Radar with a Monocular Vision Sensor for On-Road Obstacle Detection Applications

This paper presents a systematic scheme for fusing millimeter wave (MMW) radar and a monocular vision sensor for on-road obstacle detection. As a whole, a three-level fusion strategy based on visual attention mechanism and driver’s visual consciousness is provided for MMW radar and monocular vision fusion so as to obtain better comprehensive performance. Then an experimental method for radar-vision point alignment for easy operation with no reflection intensity of radar and special tool requirements is put forward. Furthermore, a region searching approach for potential target detection is derived in order to decrease the image processing time. An adaptive thresholding algorithm based on a new understanding of shadows in the image is adopted for obstacle detection, and edge detection is used to assist in determining the boundary of obstacles. The proposed fusion approach is verified through real experimental examples of on-road vehicle/pedestrian detection. In the end, the experimental results show that the proposed method is simple and feasible

Results of a Precrash Application Based on Laser Scanner and Short-Range Radars

International audienceIn this paper, we present a vehicle safety application based on data gathered by a laser scanner and two short-range radars that recognize unavoidable collisions with stationary objects before they take place to trigger restraint systems. Two different software modules that perform the processing of raw data and deliver a description of the vehicle's environment are compared. A comprehensive experimental evaluation based on relevant crash and noncrash scenarios is presented

Predicting Trajectory Paths For Collision Avoidance Systems

This work was motivated by the idea of developing a more encompassing collision avoidance system that supported vehicle to vehicle (V2V) and vehicle to infrastructure (V2I) communications. Current systems are mostly based on line of sight sensors that are used to prevent a collision, but these systems would prevent even more accidents if they could detect possible collisions before both vehicles were in line of sight. For this research we concentrated mostly on the aspect of improving the prediction of a vehicle\u27s future trajectory, particularly on non-straight paths. Having an accurate prediction of where the vehicle is heading is crucial for the system to reliably determine possible path intersections of more than one vehicle at the same time. We first evaluated the benefits of merging Global Positioning System (GPS) data with the Geographical Information System (GIS) data to correct improbable predicted positions. We then created a new algorithm called the Dead Reckoning with Dynamic Errors (DRWDE) sensor fusion, which can predict future positions at the rate of its fastest sensor, while improving the handling of accumulated error while some of the sensors are offline for a given period of time. The last part of out research consisted in the evaluation of the use of smartphones\u27 built-in sensors to predict a vehicle\u27s trajectory, as a possible intermediate solution for a vehicle to vehicle (V2V) and vehicle to infrastructure (V2I) communications, until all vehicles have all the necessary sensors and communication infrastructure to fully populate this new system. For the first part of our research, the actual experimental results validated our proposed system, which reduced the position prediction errors during curves to around half of what it would be without the use of GIS data for prediction corrections. The next improvement we worked on was the ability to handle change in noise, depending on unavailable sensor measurements, permitting a flexibility to use any type of sensor and still have the system run at the fastest frequency available. Compared to a more common KF implementation that run at the rate of its slowest sensor (1Hz in our setup), our experimental results showed that our DRWDE (running at 10Hz) yielded more accurate predictions (25-50% improvement) during abrupt changes in the heading of the vehicle. The last part of our research showed that, comparing to results obtained with the vehicle-mounted sensors, some smartphones yield similar prediction errors and can be used to predict a future position

State-of-the-Art Review on Wearable Obstacle Detection Systems Developed for Assistive Technologies and Footwear

Walking independently is essential to maintaining our quality of life but safe locomotion depends on perceiving hazards in the everyday environment. To address this problem, there is an increasing focus on developing assistive technologies that can alert the user to the risk destabilizing foot contact with either the ground or obstacles, leading to a fall. Shoe-mounted sensor systems designed to monitor foot-obstacle interaction are being employed to identify tripping risk and provide corrective feedback. Advances in smart wearable technologies, integrating motion sensors with machine learning algorithms, has led to developments in shoe-mounted obstacle detection. The focus of this review is gait-assisting wearable sensors and hazard detection for pedestrians. This literature represents a research front that is critically important in paving the way towards practical, low-cost, wearable devices that can make walking safer and reduce the increasing financial and human costs of fall injuries

Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen

Käfer E. Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen. Bielefeld: Universitätsbibliothek Bielefeld; 2013.Fahrerassistenzsysteme sind in der heutigen Zeit einer der erfolgversprechendsten Beiträge zu mehr Sicherheit auf unseren Straßen. Die intelligenten Helferlein unterstützen den Fahrer aktiv in kritischen Situationen oder erhöhen den Komfort während der Fahrt. Sie sind ein Meilenstein auf dem Weg zu der Vision vom unfallfreien Fahren. Mit Sensoren wie Stereokamera und Radarsystemen ausgestattete Fahrzeuge sind in der Lage die Umwelt wahrzunehmen und die Bewegungsrichtung der Verkehrsteilnehmer zu schätzen. Mit Methoden der künstlichen Intelligenz erfolgt eine Bewertung der Verkehrssituation auf Kritikalität. Je nach Kritikalität einer Situation werden unterschiedliche Warn- und Unterstützungskonzepte eingesetzt. Das Ziel ist es, den Fahrer auf eine gefährliche Situation hinzuweisen oder bei einem unvermeidbaren Unfall die Aufprallenergie durch einen Bremseingriff zu reduzieren. Gegen Auffahrunfälle im Längsverkehr gibt es bereits ein aktives Sicherheitssystem, den Bremsassistenten. Diese Arbeit hat das Ziel die Situationsanalyse für heutige Sicherheitssysteme auf Kreuzungssituationen zu erweitern. Dazu werden Algorithmen zur frühzeitigen Erkennung von gefährlichen Kreuzungssituationen vorgeschlagen. Der Fokus des ersten Ansatzes liegt auf der Analyse aller Fahreraktionen zweier kreuzender Fahrzeuge. Die kollisionsfreien Kombinationen von Bewegungsoptionen spannen einen zusammengesetzten Aktionsraum zweier Fahrer auf. Aus diesem Aktionsraum wird eine Wahrscheinlichkeit für die Gefahr einer Situation abgeleitet. In einem Versuchsträger integriert zeigt unsere Gefahrenschätzung im Realverkehr eine hohe Performanz und Zuverlässigkeit. Die Vermeidung der Falschwarnungen solcher Systeme ist eine der Herausforderungen, die es hier zu minimieren gilt. Gemessene Bewegungsmuster eines Fahrzeugs werden im zweiten Ansatz als Wissensbasis für eine Prognose eingesetzt. Bei mehreren Fahrzeugen lässt sich in den meisten Kreuzungssituationen eine Interaktion der Fahrer beobachten. Ein Modell für das Interaktionsverhalten ermöglicht eine realistischere Bewegungsprognose für mehrere Fahrzeuge. Im letzten Ansatz werden Bewegungsmuster zweier kreuzender Fahrzeuge in Betracht gezogen. Ein Interaktionsverhalten zwischen den Fahrern liegt dort bereits in den Daten vor. Eine anschauliche und kompakte Repräsentation der interaktiven Bewegungsmuster zweier Fahrzeuge fungiert als Wissensbasis für eine Situationserkennung und Bewegungsprognose

Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen

Käfer E. Situationsklassifikation und Bewegungsprognose in Verkehrssituationen mit mehreren Fahrzeugen. Bielefeld: Universitätsbibliothek Bielefeld; 2013.Fahrerassistenzsysteme sind in der heutigen Zeit einer der erfolgversprechendsten Beiträge zu mehr Sicherheit auf unseren Straßen. Die intelligenten Helferlein unterstützen den Fahrer aktiv in kritischen Situationen oder erhöhen den Komfort während der Fahrt. Sie sind ein Meilenstein auf dem Weg zu der Vision vom unfallfreien Fahren. Mit Sensoren wie Stereokamera und Radarsystemen ausgestattete Fahrzeuge sind in der Lage die Umwelt wahrzunehmen und die Bewegungsrichtung der Verkehrsteilnehmer zu schätzen. Mit Methoden der künstlichen Intelligenz erfolgt eine Bewertung der Verkehrssituation auf Kritikalität. Je nach Kritikalität einer Situation werden unterschiedliche Warn- und Unterstützungskonzepte eingesetzt. Das Ziel ist es, den Fahrer auf eine gefährliche Situation hinzuweisen oder bei einem unvermeidbaren Unfall die Aufprallenergie durch einen Bremseingriff zu reduzieren. Gegen Auffahrunfälle im Längsverkehr gibt es bereits ein aktives Sicherheitssystem, den Bremsassistenten. Diese Arbeit hat das Ziel die Situationsanalyse für heutige Sicherheitssysteme auf Kreuzungssituationen zu erweitern. Dazu werden Algorithmen zur frühzeitigen Erkennung von gefährlichen Kreuzungssituationen vorgeschlagen. Der Fokus des ersten Ansatzes liegt auf der Analyse aller Fahreraktionen zweier kreuzender Fahrzeuge. Die kollisionsfreien Kombinationen von Bewegungsoptionen spannen einen zusammengesetzten Aktionsraum zweier Fahrer auf. Aus diesem Aktionsraum wird eine Wahrscheinlichkeit für die Gefahr einer Situation abgeleitet. In einem Versuchsträger integriert zeigt unsere Gefahrenschätzung im Realverkehr eine hohe Performanz und Zuverlässigkeit. Die Vermeidung der Falschwarnungen solcher Systeme ist eine der Herausforderungen, die es hier zu minimieren gilt. Gemessene Bewegungsmuster eines Fahrzeugs werden im zweiten Ansatz als Wissensbasis für eine Prognose eingesetzt. Bei mehreren Fahrzeugen lässt sich in den meisten Kreuzungssituationen eine Interaktion der Fahrer beobachten. Ein Modell für das Interaktionsverhalten ermöglicht eine realistischere Bewegungsprognose für mehrere Fahrzeuge. Im letzten Ansatz werden Bewegungsmuster zweier kreuzender Fahrzeuge in Betracht gezogen. Ein Interaktionsverhalten zwischen den Fahrern liegt dort bereits in den Daten vor. Eine anschauliche und kompakte Repräsentation der interaktiven Bewegungsmuster zweier Fahrzeuge fungiert als Wissensbasis für eine Situationserkennung und Bewegungsprognose

Embedded visual perception system applied to safe navigation of vehicles

Orientadores: Douglas Eduardo Zampieri, Isabelle Fantoni CoichotTese (doutorado) - Universidade Estadual de Campinas, Faculdade de Engenharia MecanicaResumo: Esta tese aborda o problema de evitamento de obstáculos para plataformas terrestres semie autônomas em ambientes dinâmicos e desconhecidos. Baseado num sistema monocular, propõe-se um conjunto de ferramentas que monitoram continuamente a estrada a frente do veículo, provendo-o de informações adequadas em tempo real. A partir de um algoritmo robusto de detecção da linha do horizonte é possível investigar dinamicamente somente a porção da estrada a frente do veículo, a fim de determinar a área de navegação, e da deteção de obstáculos. Uma área de navegação livre de obstáculos é então representa a partir de uma imagem multimodal 2D. Esta representação permite que um nível de segurança possa ser selecionado de acordo com o ambiente e o contexto de operação. A fim de reduzir o custo computacional, um método automático para descarte de imagens é proposto. Levando-se em conta a coerência temporal entre consecutivas imagens, uma nova metodologia de gerenciamento de energia (Dynamic Power Management) é aplicada ao sistema de percepção visual a fim de otimizar o consumo de energia. Estas propostas foram testadas em diferentes tipos de ambientes, e incluem a deteção da área de navegação, navegação reativa e estimação do risco de colisão. Uma característica das metodologias apresentadas é a independência em relação ao sistema de aquisição de imagem e do próprio veículo. Este sistema de percepção em tempo real foi avaliado a partir de diferentes bancos de testes e também a partir de dados reais obtidos por diferentes plataformas inteligentes. Em tarefas realizadas com uma plataforma semi-autônoma, testes foram conduzidos em velocidades acima de 100 Km/h. A partir de um sistema em malha aberta, deslocamentos reativos autônomos foram realizados com sucessoResumé: Les études développées dans ce projet doctoral ont concerné deux problématiques actuelles dans le domaine des systèmes robotiques pour la mobilité terrestre: premièrement, le problème associé à la navigation autonome et (semi)-autonome des véhicules terrestres dans un environnement inconnu ou partiellement connu. Cela constitue un enjeu qui prend de l'importance sur plusieurs fronts, notamment dans le domaine militaire. Récemment, l'agence DARPA1 aux États-Unis a soutenu plusieurs challenges sur cette problématique robotique; deuxièmement, le développement de systèmes d'assistance à la conduite basés sur la vision par ordinateur. Les acteurs de l'industrie automobile s'intéressent de plus en plus au développement de tels systèmes afin de rendre leurs produits plus sûrs et plus confortables à toutes conditions climatiques ou de terrain. De plus, grâce à l'électronique embarquée et à l'utilisation des systèmes visuels, une interaction avec l'environnement est possible, rendant les routes et les villes plus sûres pour les conducteurs et les piétons. L'objectif principal de ce projet doctoral a été le développement de méthodologies qui permettent à des systèmes mobiles robotisés de naviguer de manière autonome dans un environnement inconnu ou partiellement connu, basées sur la perception visuelle fournie par un système de vision monoculaire embarqué. Un véhicule robotisé qui doit effectuer des tâches précises dans un environnement inconnu, doit avoir la faculté de percevoir son environnement proche et avoir un degré minimum d'interaction avec celui-ci. Nous avons proposé un système de vision embarquée préliminaire, où le temps de traitement de l'information (point critique dans des systèmes de vision utilisés en temps-réel) est optimisé par une méthode d'identification et de rejet d'informations redondantes. Suite à ces résultats, on a proposé une étude innovante par rapport à l'état de l'art en ce qui concerne la gestion énergétique du système de vision embarqué, également pour le calcul du temps de collision à partir d'images monoculaires. Ainsi, nous proposons le développement des travaux en étudiant une méthodologie robuste et efficace (utile en temps-réel) pour la détection de la route et l'extraction de primitives d'intérêts appliquée à la navigation autonome des véhicules terrestres. Nous présentons des résultats dans un environnement réel, dynamique et inconnu. Afin d'évaluer la performance de l'algorithme proposé, nous avons utilisé un banc d'essai urbain et réel. Pour la détection de la route et afin d'éviter les obstacles, les résultats sont présents en utilisant un véhicule réel afin d'évaluer la performance de l'algorithme dans un déplacement autonome. Cette Thèse de Doctorat a été réalisée à partir d'un accord de cotutelle entre l' Université de Campinas (UNICAMP) et l'Université de Technologie de Compiègne (UTC), sous la direction du Professeur Docteur Douglas Eduardo ZAMPIERI, Faculté de Génie Mécanique, UNICAMP, Campinas, Brésil, et Docteur Isabelle FANTONI-COICHOT du Laboratoire HEUDIASYC UTC, Compiègne, France. Cette thèse a été soutenue le 26 août 2011 à la Faculté de Génie Mécanique, UNICAMP, devant un jury composé des Professeurs suivantsAbstract: This thesis addresses the problem of obstacle avoidance for semi- and autonomous terrestrial platforms in dynamic and unknown environments. Based on monocular vision, it proposes a set of tools that continuously monitors the way forward, proving appropriate road informations in real time. A horizon finding algorithm was developed to sky removal. This algorithm generates the region of interest from a dynamic threshold search method, allowing to dynamically investigate only a small portion of the image ahead of the vehicle, in order to road and obstacle detection. A free-navigable area is therefore represented from a multimodal 2D drivability road image. This multimodal result enables that a level of safety can be selected according to the environment and operational context. In order to reduce processing time, this thesis also proposes an automatic image discarding criteria. Taking into account the temporal coherence between consecutive frames, a new Dynamic Power Management methodology is proposed and applied to a robotic visual machine perception, which included a new environment observer method to optimize energy consumption used by a visual machine. This proposal was tested in different types of image texture (road surfaces), which includes free-area detection, reactive navigation and time-to-collision estimation. A remarkable characteristic of these methodologies is its independence of the image acquiring system and of the robot itself. This real-time perception system has been evaluated from different test-banks and also from real data obtained by two intelligent platforms. In semi-autonomous tasks, tests were conducted at speeds above 100 Km/h. Autonomous displacements were also carried out successfully. The algorithms presented here showed an interesting robustnessDoutoradoMecanica dos Sólidos e Projeto MecanicoDoutor em Engenharia Mecânic

Advanced Sensing and Control for Connected and Automated Vehicles

Connected and automated vehicles (CAVs) are a transformative technology that is expected to change and improve the safety and efficiency of mobility. As the main functional components of CAVs, advanced sensing technologies and control algorithms, which gather environmental information, process data, and control vehicle motion, are of great importance. The development of novel sensing technologies for CAVs has become a hotspot in recent years. Thanks to improved sensing technologies, CAVs are able to interpret sensory information to further detect obstacles, localize their positions, navigate themselves, and interact with other surrounding vehicles in the dynamic environment. Furthermore, leveraging computer vision and other sensing methods, in-cabin humans’ body activities, facial emotions, and even mental states can also be recognized. Therefore, the aim of this Special Issue has been to gather contributions that illustrate the interest in the sensing and control of CAVs