A small vessel detection using a co-located multi-frequency FMCW MIMO radar

Small vessels detection is a known issue due to its low radar cross section (RCS). An existing shore-based vessel tracking radar is for long-distance commercial vessels detection. Meanwhile, a vessel-mounted radar system known for its reliability has a limitation due to its single radar coverage. The paper presented a co-located frequency modulated continuous waveform (FMCW) maritime radar for small vessel detection utilising a multiple-input multiple-output (MIMO) configuration. The radar behaviour is numerically simulated for detecting a Swerling 1 target which resembles small maritime’s vessels. The simulated MIMO configuration comprised two transmitting and receiving nodes. The proposal is to utilize a multi-frequency FMCW MIMO configuration in a maritime environment by applying the spectrum averaging (SA) to fuse MIMO received signals for range and velocity estimation. The analysis was summarised and displayed in terms of estimation error performance, probability of error and average error. The simulation outcomes an improvement of 2.2 dB for a static target, and 0.1 dB for a moving target, in resulting the 20% probability of range error with the MIMO setup. A moving vessel's effect was observed to degrade the range error estimation performance between 0.6 to 2.7 dB. Meanwhile, the proposed method was proven to improve the 20% probability of velocity error by 1.75 dB. The impact of multi-frequency MIMO was also observed to produce better average error performance

Sea-Surface Object Detection Based on Electro-Optical Sensors: A Review

Sea-surface object detection is critical for navigation safety of autonomous ships. Electrooptical (EO) sensors, such as video cameras, complement radar on board in detecting small obstacle sea-surface objects. Traditionally, researchers have used horizon detection, background subtraction, and foreground segmentation techniques to detect sea-surface objects. Recently, deep learning-based object detection technologies have been gradually applied to sea-surface object detection. This article demonstrates a comprehensive overview of sea-surface object-detection approaches where the advantages and drawbacks of each technique are compared, covering four essential aspects: EO sensors and image types, traditional object-detection methods, deep learning methods, and maritime datasets collection. In particular, sea-surface object detections based on deep learning methods are thoroughly analyzed and compared with highly influential public datasets introduced as benchmarks to verify the effectiveness of these approaches. The arti

Audit and AI: Can Artificial Intelligence Restore Public Trust?

Due to the fallout from a series of corporate fraud scandals in the late 2000s, the auditing world has lost much of the public trust that is very important to the profession. Much of the value of an audit opinion is determined by the trust the public places in the auditors behind the opinion. Without trust in the auditors, the audit opinion has very little value. The recent increase in the usage of artificial intelligence (AI) in many industries presents a solution to the problem of auditors. Increased usage of AI in the audit process has the potential to better meet public demand for an audit as well as restore public trust

Deep learning with multiple modalities : making the most out of available data

L’apprentissage profond, un sous domaine de l’apprentissage machine, est reconnu pour nécessiter une très grande quantité de données pour atteindre des performances satisfaisantes en généralisation. Une autre restriction actuelle des systèmes utilisant l’apprentissage machine en lien avec les données est la nécessité d’avoir accès au même type de données autant durant la phase d’entrainement du modèle que durant la phase de test de celui-ci. Dans plusieurs cas, ceci rend inutilisable en entrainement des données de modalité supplémentaire pouvant possiblement apporter de l’information additionnelle au système et l’améliorer. Dans ce mémoire, plusieurs méthodes d’entrainement permettant de tirer avantage de modalités additionnelles disponibles dans des jeux de données seulement en entrainement et non durant la phase de test seront proposées. Pour débuter, nous nous intéressons à diminuer le bruit présent dans images.. On débute le mémoire avec la technique la plus simple, soit un débruitage avant une tâche pour augmenter la capacité du système à faire cette tâche. Par la suite, deux techniques un peu plus poussées proposant de faire un débruitage guidé pour augmenter les performances d’une tâche subséquente sont présentées. On conclut finalement cette thèse en présentant une technique du nom d’Input Dropout permettant d’utiliser très facilement une modalité seulement disponible en entrainement pour augmenter les performances d’un système, et ce pour une multitude de tâches variées de vision numérique.Deep learning, a sub-domain of machine learning, is known to require a very large amount of data to achieve satisfactory performance in generalization. Another current limitation of these machine learning systems is the need to have access to the same type of data during the training phase of the model as during its testing phase. In many cases, this renders unusable training on additional modality data that could possibly bring additional information to the system and improve it. In this thesis, several training methods will be proposed to take advantage of additional modalities available in datasets only in training and not in testing. We will be particularly interested in reducing the noise present in images. The thesis begins with the simplest technique, which is a denoising before a task to increase the system’s ability to perform a task. Then, two more advanced techniques are presented, which propose guided denoising to increase the performance of a subsequent task. Finally, we conclude this thesis by presenting a technique called Input Dropout that facilitates the use of modality only available in training to increase the performance of a system, and this for a multitude of varied computer vision tasks

Automatic detection of signals by using artificial intelligence techniques

Premio Extraordinario de Doctorado de la UAH en 2013Premio a la Mejor Tesis Doctoral en Seguridad y Defensa por el Colegio Oficial de Ingenieros de Telecomunicación (COIT) y la Asociación Española de Ingenieros de Telecomunicación (AEIT) en 2013La detección automática de señales (blancos) en interferencia aditiva (clutter más ruido) es un problema no resuelto hoy en día. Muchos y diversos esquemas de detección son propuestos constantemente en revistas especializadas sobre temas de investigación radar y de procesado de señal. Esos esquemas son adaptados normalmente a la casuística del problema, es decir, a los blancos y al tipo de clutter presentes en esos experimentos. Es por ello que la tesis presentada a continuación busca proponer un esquema de detección que trabaje con altas prestaciones en distintos entornos. En esta tesis se pretende resolver dos tipos de problemas: uno centrado en la detección de blancos radar de tipo Swerling 0 en presencia de clutter sintético modelado con una distribución Weibull y ruido blanco Gaussiano; y otro centrado en la detección de barcos en movimiento a partir de imágenes radar provenientes de un radar marino comercial. Se ha comprobado que los datos reales están estadísticamente relacionados con los datos sintéticos simulados, lo cual permitirá proponer un único esquema de detección que trabaje en ambos casos. Teniendo en cuenta los problemas de detección planteados, se asumen varias premisas. Las imágenes radar generadas en entornos simulados tienen en cuenta una correlación temporal entre celdas consecutivas de la imagen y una distribución espacial constante de los parámetros estadísticos del clutter dentro de una misma imagen, pero variable de una imagen a otra. Dentro de este entorno simulado, se asumen distintos tamaños y formas de blanco. Estos entornos han sido simulados mediante el uso de los parámetros estadísticos del clutter descritos en la literatura. Comparando dichos entornos, se observa una gran disparidad en sus parámetros estadísticos, haciendo más difícil aún si cabe la tarea de proponer un detector radar que trabaje correctamente y con altas prestaciones en distintos entornos radar. Para resolver los problemas de detección planteados, se han considerado detectores radar utilizados habitualmente en la literatura. Así, se ha seleccionado como detector de referencia para el caso de trabajar con datos procedente de un radar coherente el detector de blanco conocido a priori (TSKAP: target sequence known a priori). Detectores basados en técnicas CFAR (constant false alarm rate) han sido elegidos para el caso de trabajar con datos procedentes de un radar incoherente. Por otro lado, se ha estudiado el uso de técnicas de inteligencia artificial (IA) para crear detectores que resuelvan los dos problemas de detección planteados. De las posibles técnicas de IA existentes en la literatura, se han elegido dos tipos de redes neuronales artificiales (RNAs): el perceptron multicapa (MLP: Multilayer perceptron) y las RNAs basadas en funciones de base radial (RBFNs: Radial basis function networks). Mediante este tipo de técnicas, se proponen nuevas estrategias de detección para los casos coherente e incoherente. Aparte de la contribución en el uso de técnicas de IA en temas de detección radar, se presenta otra contribución importante: el uso de nuevos modos de selección de celdas de una imagen para la mejora de las prestaciones del detector radar propuesto. Estos modos están basados en esquemas de selección con retardo (en una o dos dimensiones), dentro de los cuales se pueden elegir más celdas para poder realizar una mejor estimación de los parámetros del clutter que rodea al blanco. Además, el uso de estos modos de selección en dos dimensiones en detectores CFAR también puede ser considerado contribución ya que antes no se habían presentado resultados para los modos aquí propuestos. Los experimentos desarrollados consideran entornos simulados de mar, mar helado y tierra para el diseño y test de los detectores coherentes tomados como referencia y los basados en IA. En estos experimentos, se estudió la influencia de los siguientes parámetros durante el diseño de los detectores bajo estudio: las propiedades del clutter presente en las imágenes de los conjuntos de diseño (para entrenar RNAs y establecer el umbral de detección); los modos de selección; el número de celdas seleccionadas; así como el número de neuronas ocultas en las RNAs. A partir de estos estudios, se obtienen los valores de dichos parámetros, de tal forma que se obtienen altas prestaciones, mientras que se mantiene un coste computacional moderado en el detector propuesto. Una vez diseñados los detectores, éstos se testean utilizando un conjunto de datos de test no utilizado previamente. Este conjunto de test está compuesto por imágenes radar con distintas propiedades estadísticas para simular lo que ocurre en entornos reales. Las prestaciones observadas para este conjunto son ligeramente inferiores a los obtenidas en la etapa de diseño. Además, se observa que las prestaciones del detector para las distintas imágenes radar del con- junto, es decir, para distintos condiciones de clutter, presentan pequeñas variaciones. Esto nos indica un alto grado de robustez en los detectores cuando las condiciones de clutter cambian con el tiempo. Teniendo en cuenta estas pequeñas variaciones de las prestaciones del detector, podemos inferir que las mismas prestaciones presentadas aquí se pueden obtener cuando el detector diseñado procese nuevas imágenes radar en el futuro. Por otro lado, se han realizado estudios similares para el caso de detectores incoherentes en entornos simulados de mar, mar helado y tierra. De estos estudios, destacamos las diferencias que existen entre los resultados obtenidos por los detectores coherentes e incoherentes en entornos simulados de clutter de mar. La primera diferencia que se observa es que las prestaciones del detector incoherente son ligeramente menores que las obtenidas por el coherente, aspecto que era de esperar porque sólo considera la información de amplitud. La segunda diferencia observada es la alta reducción de coste computacional que se obtiene, siendo esto debido a que en estos detectores se utiliza menos información a la entrada. Los resultados obtenidos para los entornos simulados de mar helado y tierra no han sido incorporados en la memoria de la tesis porque tanto las prestaciones como el coste computacional obtenidos son similares a los obtenidos para el caso de entornos marinos. Finalmente, se han diseñado y testeado detectores incoherentes para trabajar con imágenes provenientes de un radar marino comercial situado en la plataforma de investigación alemana FINO-1, la cual se encuentra localizada en el mar del Norte (Alemania). Antes de proceder con el diseño de estos detectores, se comprobó que las medidas de clutter contenidas en las imágenes radar seguían una distribución Weibull, tal y como se asumió en el entorno simulado de mar. Acto seguido a esta comprobación, se procedió con el ajuste de los parámetros de cada uno de los detectores bajo estudio (CFAR y basados en técnicas de IA) para obtener las mejores prestaciones posibles, así como un coste computacional moderado. Una vez diseñados los detectores, se procedió a testearlos, llegando a las mismas conclusiones a las que se llegó para el caso sintético: alta robustez frente a cambios en las condiciones de diseño y baja pérdida de prestaciones cuando se procesan nuevas imágenes radar. También se muestra cual es el coste computacional de la configuración seleccionada en los casos de detectores incoherentes basados en MLPs y RBFNs, así como la velocidad de computo necesaria para poder procesar imágenes radar en tiempo real. A partir de estos resultados, se llega a la conclusión final de que como las unidades de procesado disponibles en el mercado permiten trabajar a las velocidades que necesita el sistema, el procesado en tiempo real está garantizado. A partir del análisis de las prestaciones obtenidas para los distintos casos de estudio abordados en la tesis, se llega a la siguiente conclusión general: los detectores basados en técnicas de IA mejoran las prestaciones obtenidas por los detectores de referencia seleccionados de la literatura en todos los casos de estudio presentados. Ésta conclusión se obtiene para radares que trabajan a distintas frecuencias, con distintas resoluciones y con receptores diferentes (coherentes e incoherentes). Además, esta conclusión también es independiente del entorno radar bajo estudio (mar, mar helado y tierra)

Automatic detection of signals by using artificial intelligence techniques

Premio Extraordinario de Doctorado de la UAH en 2013Premio a la Mejor Tesis Doctoral en Seguridad y Defensa por el Colegio Oficial de Ingenieros de Telecomunicación (COIT) y la Asociación Española de Ingenieros de Telecomunicación (AEIT) en 2013La detección automática de señales (blancos) en interferencia aditiva (clutter más ruido) es un problema no resuelto hoy en día. Muchos y diversos esquemas de detección son propuestos constantemente en revistas especializadas sobre temas de investigación radar y de procesado de señal. Esos esquemas son adaptados normalmente a la casuística del problema, es decir, a los blancos y al tipo de clutter presentes en esos experimentos. Es por ello que la tesis presentada a continuación busca proponer un esquema de detección que trabaje con altas prestaciones en distintos entornos. En esta tesis se pretende resolver dos tipos de problemas: uno centrado en la detección de blancos radar de tipo Swerling 0 en presencia de clutter sintético modelado con una distribución Weibull y ruido blanco Gaussiano; y otro centrado en la detección de barcos en movimiento a partir de imágenes radar provenientes de un radar marino comercial. Se ha comprobado que los datos reales están estadísticamente relacionados con los datos sintéticos simulados, lo cual permitirá proponer un único esquema de detección que trabaje en ambos casos. Teniendo en cuenta los problemas de detección planteados, se asumen varias premisas. Las imágenes radar generadas en entornos simulados tienen en cuenta una correlación temporal entre celdas consecutivas de la imagen y una distribución espacial constante de los parámetros estadísticos del clutter dentro de una misma imagen, pero variable de una imagen a otra. Dentro de este entorno simulado, se asumen distintos tamaños y formas de blanco. Estos entornos han sido simulados mediante el uso de los parámetros estadísticos del clutter descritos en la literatura. Comparando dichos entornos, se observa una gran disparidad en sus parámetros estadísticos, haciendo más difícil aún si cabe la tarea de proponer un detector radar que trabaje correctamente y con altas prestaciones en distintos entornos radar. Para resolver los problemas de detección planteados, se han considerado detectores radar utilizados habitualmente en la literatura. Así, se ha seleccionado como detector de referencia para el caso de trabajar con datos procedente de un radar coherente el detector de blanco conocido a priori (TSKAP: target sequence known a priori). Detectores basados en técnicas CFAR (constant false alarm rate) han sido elegidos para el caso de trabajar con datos procedentes de un radar incoherente. Por otro lado, se ha estudiado el uso de técnicas de inteligencia artificial (IA) para crear detectores que resuelvan los dos problemas de detección planteados. De las posibles técnicas de IA existentes en la literatura, se han elegido dos tipos de redes neuronales artificiales (RNAs): el perceptron multicapa (MLP: Multilayer perceptron) y las RNAs basadas en funciones de base radial (RBFNs: Radial basis function networks). Mediante este tipo de técnicas, se proponen nuevas estrategias de detección para los casos coherente e incoherente. Aparte de la contribución en el uso de técnicas de IA en temas de detección radar, se presenta otra contribución importante: el uso de nuevos modos de selección de celdas de una imagen para la mejora de las prestaciones del detector radar propuesto. Estos modos están basados en esquemas de selección con retardo (en una o dos dimensiones), dentro de los cuales se pueden elegir más celdas para poder realizar una mejor estimación de los parámetros del clutter que rodea al blanco. Además, el uso de estos modos de selección en dos dimensiones en detectores CFAR también puede ser considerado contribución ya que antes no se habían presentado resultados para los modos aquí propuestos. Los experimentos desarrollados consideran entornos simulados de mar, mar helado y tierra para el diseño y test de los detectores coherentes tomados como referencia y los basados en IA. En estos experimentos, se estudió la influencia de los siguientes parámetros durante el diseño de los detectores bajo estudio: las propiedades del clutter presente en las imágenes de los conjuntos de diseño (para entrenar RNAs y establecer el umbral de detección); los modos de selección; el número de celdas seleccionadas; así como el número de neuronas ocultas en las RNAs. A partir de estos estudios, se obtienen los valores de dichos parámetros, de tal forma que se obtienen altas prestaciones, mientras que se mantiene un coste computacional moderado en el detector propuesto. Una vez diseñados los detectores, éstos se testean utilizando un conjunto de datos de test no utilizado previamente. Este conjunto de test está compuesto por imágenes radar con distintas propiedades estadísticas para simular lo que ocurre en entornos reales. Las prestaciones observadas para este conjunto son ligeramente inferiores a los obtenidas en la etapa de diseño. Además, se observa que las prestaciones del detector para las distintas imágenes radar del con- junto, es decir, para distintos condiciones de clutter, presentan pequeñas variaciones. Esto nos indica un alto grado de robustez en los detectores cuando las condiciones de clutter cambian con el tiempo. Teniendo en cuenta estas pequeñas variaciones de las prestaciones del detector, podemos inferir que las mismas prestaciones presentadas aquí se pueden obtener cuando el detector diseñado procese nuevas imágenes radar en el futuro. Por otro lado, se han realizado estudios similares para el caso de detectores incoherentes en entornos simulados de mar, mar helado y tierra. De estos estudios, destacamos las diferencias que existen entre los resultados obtenidos por los detectores coherentes e incoherentes en entornos simulados de clutter de mar. La primera diferencia que se observa es que las prestaciones del detector incoherente son ligeramente menores que las obtenidas por el coherente, aspecto que era de esperar porque sólo considera la información de amplitud. La segunda diferencia observada es la alta reducción de coste computacional que se obtiene, siendo esto debido a que en estos detectores se utiliza menos información a la entrada. Los resultados obtenidos para los entornos simulados de mar helado y tierra no han sido incorporados en la memoria de la tesis porque tanto las prestaciones como el coste computacional obtenidos son similares a los obtenidos para el caso de entornos marinos. Finalmente, se han diseñado y testeado detectores incoherentes para trabajar con imágenes provenientes de un radar marino comercial situado en la plataforma de investigación alemana FINO-1, la cual se encuentra localizada en el mar del Norte (Alemania). Antes de proceder con el diseño de estos detectores, se comprobó que las medidas de clutter contenidas en las imágenes radar seguían una distribución Weibull, tal y como se asumió en el entorno simulado de mar. Acto seguido a esta comprobación, se procedió con el ajuste de los parámetros de cada uno de los detectores bajo estudio (CFAR y basados en técnicas de IA) para obtener las mejores prestaciones posibles, así como un coste computacional moderado. Una vez diseñados los detectores, se procedió a testearlos, llegando a las mismas conclusiones a las que se llegó para el caso sintético: alta robustez frente a cambios en las condiciones de diseño y baja pérdida de prestaciones cuando se procesan nuevas imágenes radar. También se muestra cual es el coste computacional de la configuración seleccionada en los casos de detectores incoherentes basados en MLPs y RBFNs, así como la velocidad de computo necesaria para poder procesar imágenes radar en tiempo real. A partir de estos resultados, se llega a la conclusión final de que como las unidades de procesado disponibles en el mercado permiten trabajar a las velocidades que necesita el sistema, el procesado en tiempo real está garantizado. A partir del análisis de las prestaciones obtenidas para los distintos casos de estudio abordados en la tesis, se llega a la siguiente conclusión general: los detectores basados en técnicas de IA mejoran las prestaciones obtenidas por los detectores de referencia seleccionados de la literatura en todos los casos de estudio presentados. Ésta conclusión se obtiene para radares que trabajan a distintas frecuencias, con distintas resoluciones y con receptores diferentes (coherentes e incoherentes). Además, esta conclusión también es independiente del entorno radar bajo estudio (mar, mar helado y tierra)

Edge Artificial Intelligence for Real-Time Target Monitoring

The key enabling technology for the exponentially growing cellular communications sector is location-based services. The need for location-aware services has increased along with the number of wireless and mobile devices. Estimation problems, and particularly parameter estimation, have drawn a lot of interest because of its relevance and engineers' ongoing need for higher performance. As applications expanded, a lot of interest was generated in the accurate assessment of temporal and spatial properties. In the thesis, two different approaches to subject monitoring are thoroughly addressed. For military applications, medical tracking, industrial workers, and providing location-based services to the mobile user community, which is always growing, this kind of activity is crucial. In-depth consideration is given to the viability of applying the Angle of Arrival (AoA) and Receiver Signal Strength Indication (RSSI) localization algorithms in real-world situations. We presented two prospective systems, discussed them, and presented specific assessments and tests. These systems were put to the test in diverse contexts (e.g., indoor, outdoor, in water...). The findings showed the localization capability, but because of the low-cost antenna we employed, this method is only practical up to a distance of roughly 150 meters. Consequently, depending on the use-case, this method may or may not be advantageous. An estimation algorithm that enhances the performance of the AoA technique was implemented on an edge device. Another approach was also considered. Radar sensors have shown to be durable in inclement weather and bad lighting conditions. Frequency Modulated Continuous Wave (FMCW) radars are the most frequently employed among the several sorts of radar technologies for these kinds of applications. Actually, this is because they are low-cost and can simultaneously provide range and Doppler data. In comparison to pulse and Ultra Wide Band (UWB) radar sensors, they also need a lower sample rate and a lower peak to average ratio. The system employs a cutting-edge surveillance method based on widely available FMCW radar technology. The data processing approach is built on an ad hoc-chain of different blocks that transforms data, extract features, and make a classification decision before cancelling clutters and leakage using a frame subtraction technique, applying DL algorithms to Range-Doppler (RD) maps, and adding a peak to cluster assignment step before tracking targets. In conclusion, the FMCW radar and DL technique for the RD maps performed well together for indoor use-cases. The aforementioned tests used an edge device and Infineon Technologies' Position2Go FMCW radar tool-set

Ship recognition on the sea surface using aerial images taken by Uav : a deep learning approach

Dissertation submitted in partial fulfilment of the requirements for the Degree of Master of Science in Geospatial TechnologiesOceans are very important for mankind, because they are a very important source of food, they have a very large impact on the global environmental equilibrium, and it is over the oceans that most of the world commerce is done. Thus, maritime surveillance and monitoring, in particular identifying the ships used, is of great importance to oversee activities like fishing, marine transportation, navigation in general, illegal border encroachment, and search and rescue operations. In this thesis, we used images obtained with Unmanned Aerial Vehicles (UAVs) over the Atlantic Ocean to identify what type of ship (if any) is present in a given location. Images generated from UAV cameras suffer from camera motion, scale variability, variability in the sea surface and sun glares. Extracting information from these images is challenging and is mostly done by human operators, but advances in computer vision technology and development of deep learning techniques in recent years have made it possible to do so automatically. We used four of the state-of-art pretrained deep learning network models, namely VGG16, Xception, ResNet and InceptionResNet trained on ImageNet dataset, modified their original structure using transfer learning based fine tuning techniques and then trained them on our dataset to create new models. We managed to achieve very high accuracy (99.6 to 99.9% correct classifications) when classifying the ships that appear on the images of our dataset. With such a high success rate (albeit at the cost of high computing power), we can proceed to implement these algorithms on maritime patrol UAVs, and thus improve Maritime Situational Awareness