Mapping and Localization in Urban Environments Using Cameras

In this work we present a system to fully automatically create a highly accurate visual feature map from image data aquired from within a moving vehicle. Moreover, a system for high precision self localization is presented. Furthermore, we present a method to automatically learn a visual descriptor. The map relative self localization is centimeter accurate and allows autonomous driving

Detection and Recognition of Traffic Sign using FCM with SVM

This paper mainly focuses on Traffic Sign and board Detection systems that have been placed on roads and highway. This system aims to deal with real-time traffic sign and traffic board recognition, i.e. localizing what type of traffic sign and traffic board are appears in which area of an input image at a fast processing time. Our detection module is based on proposed extraction and classification of traffic signs built upon a color probability model using HAAR feature Extraction and color Histogram of Orientated Gradients (HOG).HOG technique is used to convert original image into gray color then applies RGB for foreground. Then the Support Vector Machine (SVM) fetches the object from the above result and compares with database. At the same time Fuzzy Cmeans cluster (FCM) technique get the same output from above result and then  to compare with the database images. By using this method, accuracy of identifying the signs could be improved. Also the dynamic updating of new signals can be done. The goal of this work is to provide optimized prediction on the given sign

Computer vision for driving support systems: automatic traffic signs detection and proximity analysis

The future of the automotive industry in the coming years will depend heavily on artificial intelligence techniques. This thesis proposes a technique for automatic detection and recognition of traffic signs from images, to provide a driver alert system. The system developed in this work includes algorithms to detect, classify and recognize traffic signs, based on a set belonging to a German database. The main signs are circular and triangular, which have two different colors, namely red and blue. Several examples of images, in different scenarios, are taken from the German roads, and are used to test the effectiveness of the proposed system. Traffic signs are detected by analyzing the color and shape information. The detected signs are classified accordingtotheCNNMachineLearningtechnique,andcanbeclassifiedinto43differentclassesaccording to previous classification already existing in the reference database. After detecting the presence of a traffic signs, the traffic signs is detected by comparing the traffic signs detected in the images with the signs in the database. The overall recognition accuracy is 75 % and processing is normally done in 1.6 seconds. This project is implemented with the OpenCV tool and the Python programming language; Sumário: Visão Computacional aplicada a sistemas de apoio à condução: deteção automática de sinalização de trânsito e análise de proximidade O futuro da indústria automóvel nos próximos anos irá depender fortemente das técnicas de inteligência artificial. Esta tese propõe uma técnica para a deteção automática e o reconhecimento de sinais de trânsito a partir de imagens, para proporcionar um sistema de alerta ao condutor. O sistema desenvolvido neste trabalho inclui algoritmos para detetar, classificar e reconhecer sinais de trânsito, nomeadamente um conjunto pertencente a uma base de dados alemã. Osprincipaissinaissãocircularesetriangulares,osquaistêmduascoresdiferentes,nomeadamentevermelho e azul. Vários exemplos de imagens, em diferentes cenários, são tirados das estradas alemãs, e são usados para testar a eficácia do sistema proposto. Os sinais de trânsito são detetados analisando a informação de cor e forma. Os sinais detetados são classificadosapartirdatécnicaCNNMachineLearning, podendoserclassificadosem43classesdiferentes, de acordo com classificação prévia já existente na base de dados de referência. Após deteção da presença de um sinal de trânsito, o reconhecimento do mesmo é feito comparando os sinais de trânsito detetados nas imagens com os sinais existentes na base de dados. Oacertodoreconhecimentogeraléde75%eoprocessamentoéfeitonormalmenteem1.6segundos. Este projeto for implementado com a ferramenta OpenCV e a linguagem de programação Python

Text detection and recognition in natural images using computer vision techniques

El reconocimiento de texto en imágenes reales ha centrado la atención de muchos investigadores en todo el mundo en los últimos años. El motivo es el incremento de productos de bajo coste como teléfonos móviles o Tablet PCs que incorporan dispositivos de captura de imágenes y altas capacidades de procesamiento. Con estos antecedentes, esta tesis presenta un método robusto para detectar, localizar y reconocer texto horizontal en imágenes diurnas tomadas en escenarios reales. El reto es complejo dada la enorme variabilidad de los textos existentes y de las condiciones de captura en entornos reales. Inicialmente se presenta una revisión de los principales trabajos de los últimos años en el campo del reconocimiento de texto en imágenes naturales. Seguidamente, se lleva a cabo un estudio de las características más adecuadas para describir texto respecto de objetos no correspondientes con texto. Típicamente, un sistema de reconocimiento de texto en imágenes está formado por dos grandes etapas. La primera consiste en detectar si existe texto en la imagen y de localizarlo con la mayor precisión posible, minimizando la cantidad de texto no detectado así como el número de falsos positivos. La segunda etapa consiste en reconocer el texto extraído. El método de detección aquí propuesto está basado en análisis de componentes conexos tras aplicar una segmentación que combina un método global como MSER con un método local, de forma que se mejoran las propuestas del estado del arte al segmentar texto incluso en situaciones complejas como imágenes borrosas o de muy baja resolución. El proceso de análisis de los componentes conexos extraídos se optimiza mediante algoritmos genéticos. Al contrario que otros sistemas, nosotros proponemos un método recursivo que permite restaurar aquellos objetos correspondientes con texto y que inicialmente son erróneamente descartados. De esta forma, se consigue mejorar en gran medida la fiabilidad de la detección. Aunque el método propuesto está basado en análisis de componentes conexos, en esta tesis se utiliza también la idea de los métodos basados en texturas para validar las áreas de texto detectadas. Por otro lado, nuestro método para reconocer texto se basa en identificar cada caracter y aplicar posteriormente un modelo de lenguaje para corregir las palabras mal reconocidas, al restringir la solución a un diccionario que contiene el conjunto de posibles términos. Se propone una nueva característica para reconocer los caracteres, a la que hemos dado el nombre de Direction Histogram (DH). Se basa en calcular el histograma de las direcciones del gradiente en los pixeles de borde. Esta característica se compara con otras del estado del arte y los resultados experimentales obtenidos sobre una base de datos compleja muestran que nuestra propuesta es adecuada ya que supera otros trabajos del estado del arte. Presentamos también un método de clasificación borrosa de letras basado en KNN, el cual permite separar caracteres erróneamente conectados durante la etapa de segmentación. El método de reconocimiento de texto propuesto no es solo capaz de reconocer palabras, sino también números y signos de puntuación. El reconocimiento de palabras se lleva a cabo mediante un modelo de lenguaje basado en inferencia probabilística y el British National Corpus, un completo diccionario del inglés británico moderno, si bien el algoritmo puede ser fácilmente adaptado para ser usado con cualquier otro diccionario. El modelo de lenguaje utiliza una modificación del algoritmo forward usando en Modelos Ocultos de Markov. Para comprobar el rendimiento del sistema propuesto, se han obtenido resultados experimentales con distintas bases de datos, las cuales incluyen imágenes en diferentes escenarios y situaciones. Estas bases de datos han sido usadas como banco de pruebas en la última década por la mayoría de investigadores en el área de reconocimiento de texto en imágenes naturales. Los resultados muestran que el sistema propuesto logra un rendimiento similar al del estado del arte en términos de localización, mientras que lo supera en términos de reconocimiento. Con objeto de mostrar la aplicabilidad del método propuesto en esta tesis, se presenta también un sistema de detección y reconocimiento de la información contenida en paneles de tráfico basado en el algoritmo desarrollado. El objetivo de esta aplicación es la creación automática de inventarios de paneles de tráfico de países o regiones que faciliten el mantenimiento de la señalización vertical de las carreteras, usando imágenes disponibles en el servicio Street View de Google. Se ha creado una base de datos para esta aplicación. Proponemos modelar los paneles de tráfico usando apariencia visual en lugar de las clásicas soluciones que utilizan bordes o características geométricas, con objeto de detectar aquellas imágenes en las que existen paneles de tráfico. Los resultados experimentales muestran la viabilidad del sistema propuesto

Text detection and recognition in natural images using computer vision techniques

El reconocimiento de texto en imágenes reales ha centrado la atención de muchos investigadores en todo el mundo en los últimos años. El motivo es el incremento de productos de bajo coste como teléfonos móviles o Tablet PCs que incorporan dispositivos de captura de imágenes y altas capacidades de procesamiento. Con estos antecedentes, esta tesis presenta un método robusto para detectar, localizar y reconocer texto horizontal en imágenes diurnas tomadas en escenarios reales. El reto es complejo dada la enorme variabilidad de los textos existentes y de las condiciones de captura en entornos reales. Inicialmente se presenta una revisión de los principales trabajos de los últimos años en el campo del reconocimiento de texto en imágenes naturales. Seguidamente, se lleva a cabo un estudio de las características más adecuadas para describir texto respecto de objetos no correspondientes con texto. Típicamente, un sistema de reconocimiento de texto en imágenes está formado por dos grandes etapas. La primera consiste en detectar si existe texto en la imagen y de localizarlo con la mayor precisión posible, minimizando la cantidad de texto no detectado así como el número de falsos positivos. La segunda etapa consiste en reconocer el texto extraído. El método de detección aquí propuesto está basado en análisis de componentes conexos tras aplicar una segmentación que combina un método global como MSER con un método local, de forma que se mejoran las propuestas del estado del arte al segmentar texto incluso en situaciones complejas como imágenes borrosas o de muy baja resolución. El proceso de análisis de los componentes conexos extraídos se optimiza mediante algoritmos genéticos. Al contrario que otros sistemas, nosotros proponemos un método recursivo que permite restaurar aquellos objetos correspondientes con texto y que inicialmente son erróneamente descartados. De esta forma, se consigue mejorar en gran medida la fiabilidad de la detección. Aunque el método propuesto está basado en análisis de componentes conexos, en esta tesis se utiliza también la idea de los métodos basados en texturas para validar las áreas de texto detectadas. Por otro lado, nuestro método para reconocer texto se basa en identificar cada caracter y aplicar posteriormente un modelo de lenguaje para corregir las palabras mal reconocidas, al restringir la solución a un diccionario que contiene el conjunto de posibles términos. Se propone una nueva característica para reconocer los caracteres, a la que hemos dado el nombre de Direction Histogram (DH). Se basa en calcular el histograma de las direcciones del gradiente en los pixeles de borde. Esta característica se compara con otras del estado del arte y los resultados experimentales obtenidos sobre una base de datos compleja muestran que nuestra propuesta es adecuada ya que supera otros trabajos del estado del arte. Presentamos también un método de clasificación borrosa de letras basado en KNN, el cual permite separar caracteres erróneamente conectados durante la etapa de segmentación. El método de reconocimiento de texto propuesto no es solo capaz de reconocer palabras, sino también números y signos de puntuación. El reconocimiento de palabras se lleva a cabo mediante un modelo de lenguaje basado en inferencia probabilística y el British National Corpus, un completo diccionario del inglés británico moderno, si bien el algoritmo puede ser fácilmente adaptado para ser usado con cualquier otro diccionario. El modelo de lenguaje utiliza una modificación del algoritmo forward usando en Modelos Ocultos de Markov. Para comprobar el rendimiento del sistema propuesto, se han obtenido resultados experimentales con distintas bases de datos, las cuales incluyen imágenes en diferentes escenarios y situaciones. Estas bases de datos han sido usadas como banco de pruebas en la última década por la mayoría de investigadores en el área de reconocimiento de texto en imágenes naturales. Los resultados muestran que el sistema propuesto logra un rendimiento similar al del estado del arte en términos de localización, mientras que lo supera en términos de reconocimiento. Con objeto de mostrar la aplicabilidad del método propuesto en esta tesis, se presenta también un sistema de detección y reconocimiento de la información contenida en paneles de tráfico basado en el algoritmo desarrollado. El objetivo de esta aplicación es la creación automática de inventarios de paneles de tráfico de países o regiones que faciliten el mantenimiento de la señalización vertical de las carreteras, usando imágenes disponibles en el servicio Street View de Google. Se ha creado una base de datos para esta aplicación. Proponemos modelar los paneles de tráfico usando apariencia visual en lugar de las clásicas soluciones que utilizan bordes o características geométricas, con objeto de detectar aquellas imágenes en las que existen paneles de tráfico. Los resultados experimentales muestran la viabilidad del sistema propuesto

Study to determine potential flight applications and human factors design guidelines for voice recognition and synthesis systems

A study was conducted to determine potential commercial aircraft flight deck applications and implementation guidelines for voice recognition and synthesis. At first, a survey of voice recognition and synthesis technology was undertaken to develop a working knowledge base. Then, numerous potential aircraft and simulator flight deck voice applications were identified and each proposed application was rated on a number of criteria in order to achieve an overall payoff rating. The potential voice recognition applications fell into five general categories: programming, interrogation, data entry, switch and mode selection, and continuous/time-critical action control. The ratings of the first three categories showed the most promise of being beneficial to flight deck operations. Possible applications of voice synthesis systems were categorized as automatic or pilot selectable and many were rated as being potentially beneficial. In addition, voice system implementation guidelines and pertinent performance criteria are proposed. Finally, the findings of this study are compared with those made in a recent NASA study of a 1995 transport concept

IoT-Enabled Vehicle Speed Monitoring System

Millions of people lose their lives each year worldwide due to traffic law violations, specifically, over speeding. The existing systems fail to report most of such violations due to their respective flaws. For instance, speed guns work in isolation and cannot measure speed of all vehicles on roads at all spatial points. They can only detect the speed of the vehicle the line of sight of the camera. A solution is to deploy a huge number of speed guns at different locations on the road to detect and report vehicles that are over speeding. However, this solution is not feasible because it demands a large amount of equipment and computational resources to process such a big amount of data. In this paper, a speed detection framework is developed to detect vehicles’ speeds with only two speed guns, which can report speed even when the vehicle is not within the camera’s line of sight. The system is specifically designed for an irregular traffic scenario such as that of Pakistan, where it is inconvenient to install conventional systems. The idea is to calculate the average speed of vehicles traveling in a specific region, for instance, between two spatial points. A low-cost Raspberry Pi (RPi) module and an ordinary camera are deployed to detect the registration numbers on vehicle license plates. This hardware presents a more stable system since it is powered by a low consumption Raspberry Pi that can operate for hours without crashing or malfunctioning. More specifically, the entrance and exit locations and the time taken to get from one point to another are recorded. An automatic alert to traffic authorities is generated when a driver is over speeding. A detailed explanation of the hardware prototype and the algorithms is given, along with the setup configurations of the hardware prototype, the website, and the mobile device applications

GAFU: Using a gamification tool to save fuel

In this paper, we propose, implement and user-validate a training tool for saving fuel that uses some elements from games in order to promote efficient driving and provide feedback to the user. The proposed system uses a fuzzy logic system in order to assess the driving style from the point of view of the fuel consumption. The output is a score between 0 (not efficient) and 10 (efficient). This value can be compared with the scores obtained by other users of the solution that have similar characteristics in order to do a fair comparison and to obtain eco-driving advices adapted to the user's context and environment (e.g., braking frequency is greater on urban road than highway). Providing feedback to the user is essential in eco-driving systems for changing bad driving habits and not returning back to them. In our case, the system provides two types of feedback. The first type of feedback is provided in real time. When the user does not comply with some of a preconfigured set of eco-driving rules, he or she gets a warning message. The second type of feedback is based on a calculated relative score for each user according to his or her driving style, positioning the user into a ranking of eco-driving users and generating a set of eco-driving tips. A validation experiment has been conducted with 36 participants on three different routes in Spain. The results show that the use of gamification tools and techniques in eco-driving assistants helps drivers not to lose interest for fuel saving and helps them not to return back to their previous bad driving habits.The research leading to these results has received fund-ing from the “HERMES-SMART DRIVER” project TIN2013- 46801-C4-2-R within the Spanish “Plan Nacional de I+D+I” under the Spanish Ministerio de Economía y Competitividad and from the Spanish Ministerio de Economía y Competi-tividad funded projects (co-financed by the Fondo Europeo de Desarrollo Regional (FEDER)) IRENE (PT-2012-1036- 370000), COMINN (IPT-2012-0883-430000) and REMEDISS (IPT-2012-0882-430000) within the INNPACTO program.Publicad