Deep Learning-Based Multiple Object Visual Tracking on Embedded System for IoT and Mobile Edge Computing Applications

Compute and memory demands of state-of-the-art deep learning methods are still a shortcoming that must be addressed to make them useful at IoT end-nodes. In particular, recent results depict a hopeful prospect for image processing using Convolutional Neural Netwoks, CNNs, but the gap between software and hardware implementations is already considerable for IoT and mobile edge computing applications due to their high power consumption. This proposal performs low-power and real time deep learning-based multiple object visual tracking implemented on an NVIDIA Jetson TX2 development kit. It includes a camera and wireless connection capability and it is battery powered for mobile and outdoor applications. A collection of representative sequences captured with the on-board camera, dETRUSC video dataset, is used to exemplify the performance of the proposed algorithm and to facilitate benchmarking. The results in terms of power consumption and frame rate demonstrate the feasibility of deep learning algorithms on embedded platforms although more effort to joint algorithm and hardware design of CNNs is needed.Comment: This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessibl

Proposal of architecture for IoT solution for monitoring and management of plantations

The world population growth is increasing the demand for food production. Furthermore, the reduction of the workforce in rural areas and the increase in production costs are challenges for food production nowadays. Smart farming is a farm management concept that may use Internet of Things (IoT) to overcome the current challenges of food production This work presents a systematic review of the existing literature on smart farming with IoT. The systematic review reveals an evolution in the way data are processed by IoT solutions in recent years. Traditional approaches mostly used data in a reactive manner. In contrast, recent approaches allowed the use of data to prevent crop problems and to improve the accuracy of crop diagnosis. Based on the finds of the systematic review, this work proposes an architecture of an IoT solution that enables monitoring and management of crops in real time. The proposed architecture allows the usage of big data and machine learning to process the collected data. A prototype is implemented to validate the operation of the proposed architecture and a security risk assessment of the implemented prototype is carried out. The implemented prototype successfully validates the proposed architecture. The architecture presented in this work allows the implementation of IoT solutions in different scenarios of farming, such as indoor and outdoor

Managing Mobility for Distributed Smart Cities Services

The IoT refers to the idea of internetworking physical devices, vehicles, buildings, and any other item embedded with the appropriate electronics, software, sensors, actuators, and network connectivity to allows them to interchange data and to provide highly effective new services. In this thesis we focus on the communications issues of the IoT in relation to mobility and we provide different solutions to alleviate the impact of these potential problems and to guarantee the information delivery in mobile scenarios. Our reference context is a Smart City where various mobile devices collaboratively participate, periodically sending information from their sensors. We assume that these services are located in platforms based in cloud infrastructures where the information is protected through the use of virtualisation ensuring their security and privacy. This thesis is structured into seven chapters. We first detail our objectives and identify the current problems we intend to address. Next, we provide a thorough review of the state of the art of all the areas involved in our work, highlighting how we improved the existing solutions with our research. The overall approach of the solutions we propose in this thesis use prototypes that encompasses and integrates different technologies and standards in a small infrastructure, using real devices in real scenarios with two of the most commonly used networks around the world: WiFi and 802.15.4 to efficiently solve the problems we originally identified. We focussed on protocols based on a producer/consumer paradigm, namely AMQP and particularly MQTT. We observed the behaviour of these protocols using in lab experiments and in external environments, using a mesh wireless network as the backbone network. Various issues raised by mobility were taken into consideration, and thus, we repeated the tests with different messages sizes and different inter-message periodicity, in order to model different possible applications. We also present a model for dimensioning the number of sources for mobile nodes and calculating the number of buffers required in the mobile node as a function of the number of sources and the size of the messages. We included a mechanism for avoiding data loss based on intermediate buffering adapted to the MQTT protocol that, in conjunction with the use of an alternative to the Network Manager in certain contexts, improves the connection establishment for wireless mobile clients. We also performed a detailed study of the jitter behaviour of a mobile node when transmitting messages with this proposal while moving through a real outdoor scenario. To emulate simple IoT networks we used the Cooja simulator to study and determine the effects on the probability of delivering messages when both publishers and subscribers were added to different scenarios. Finally we present an approach that combines the MQTT protocol with DTN which we specifically designed for constrained environments and guarantees that important information will never be lost. The advantage of our proposed solutions is that they make an IoT system more resilient to changes in the point of attachment of the mobile devices in an IoT network without requiring IoT application & service developers to explicitly consider this issue. Moreover, our solutions do not require additional support from the network through protocols such as MobileIP or LISP. We close the thesis by providing some conclusions, and identifying future lines of work which we unable to address here.Internet de las cosas (IoT) se refiere a la idea de interconectar sensores, actuadores, dispositivos físicos, vehículos, edificios y cualquier elemento dotado de la electrónica, así como del software y de la conectividad de red que los hace capaces de intercambiar datos para proporcionar servicios altamente efectivos. En esta tesis nos centramos en temas relacionados con la comunicación de sistemas IoT, específicamente en situaciones de movilidad y en los problemas que esto conlleva. Con este fin ofrecemos diferentes soluciones que alivian su impacto y garantizan la entrega de información en estas situaciones. El contexto de referencia es una ciudad inteligente donde varios dispositivos móviles participan de forma colaborativa enviando periódicamente información desde sus sensores hacia servicios ubicados en plataformas en la nube (cloud computing) donde mediante el uso de virtualización, la información está protegida garantizando su seguridad y privacidad. Las soluciones propuestas en esta tesis se enfocan en probar sobre una pequeña infraestructura un prototipo que abarca e integra diferentes tecnologías y estándares para resolver eficientemente los problemas previamente identificados. Hemos enfocado nuestro esfuerzo en el uso de dispositivos sobre escenarios reales con dos de las redes más extendidas en todo el mundo: WiFi y enlaces 802.15.4. Nos enfocamos en protocolos que ofrecen el paradigma productor/consumidor como el protocolo avanzado de colas de mensajes (AMQP) y particularmente el protocolo de transporte de mensajes telemétricos (MQTT), observamos su comportamiento a través de experimentos en laboratorio y en pruebas al aire libre, repitiendo las pruebas con diferentes tamaños de mensajes y diferente periodicidad entre mensajes. Para modelar las diferentes posibles aplicaciones de la propuesta, se tomaron en consideración varias cuestiones planteadas por la movilidad, resultando en un modelo para dimensionar eficientemente el número de fuentes para un nodo móvil y para calcular el tamaño requerido del buffer, en función del número de fuentes y del tamaño de los mensajes. Proponemos un mecanismo adaptado al protocolo MQTT que evita la pérdida de datos en clientes móviles, basado en un buffer intermedio entre la producción y publicación de mensajes que, en conjunto con el uso de una alternativa al gestor de conexiones inalámbricas "Network Manager", en ciertos contextos mejora el establecimiento de las conexiones. Para la evaluación de esta propuesta se presenta un estudio detallado de un nodo móvil que se mueve en un escenario real al aire libre, donde estudiamos el comportamiento del jitter y la transmisión de mensajes. Además, hemos utilizado emuladores de redes IoT para estudiar y determinar los efectos sobre la probabilidad de entrega de mensajes, cuando se agregan tanto publicadores como suscriptores a diferentes escenarios. Finalmente, se presenta una solución totalmente orientada a entornos con dispositivos de recursos limitados que combina los protocolos MQTT con redes tolerantes a retardos (DTN) para garantizar la entrega de información. La ventaja de las soluciones que proponemos reside en el hecho de que los sistemas IoT se vuelven resilientes a la movilidad y a los cambios de punto de acceso, permitiendo así que los desarrolladores creen fácilmente aplicaciones y servicios IoT evitando considerar estos problema. Otra ventaja de nuestras soluciones es que no necesitan soporte adicional de la red como sucede con protocolos como MobileIP o el protocolo que separa el identificador del localizador (LISP). Se destaca cómo hemos mejorado las soluciones existentes hasta el momento de la escritura de esta disertación, y se identifican futuras líneas de actuación que no han sido contempladas.Internet de les coses (IoT) es refereix a la idea d'interconnectar sensors, actuadors, dispositius físics, vehicles, edificis i qualsevol element dotat de l'electrònica, així com del programari i de la connectivitat de xarxa que els fa capaces d'intercanviar dades per proporcionar serveis altament efectius. En aquesta tesi ens centrem en temes relacionats amb la comunicació de sistemes IoT, específicament en situacions de mobilitat i en els problemes que això comporta. A aquest efecte oferim diferents solucions que alleugeren el seu impacte i garanteixen el lliurament d'informació en aquestes situacions. El context de referència és una ciutat intel·ligent on diversos dispositius mòbils participen de forma col·laborativa enviant periòdicament informació des dels seus sensors cap a serveis situats en plataformes en el núvol (cloud computing) on mitjançant l'ús de virtualització, la informació està protegida garantint la seva seguretat i privadesa. Les solucions proposades en aquesta tesi s'enfoquen a provar sobre una xicoteta infraestructura un prototip que abasta i integra diferents tecnologies i estàndards per a resoldre eficientment els problemes prèviament identificats. Hem enfocat el nostre esforç en l'ús de dispositius sobre escenaris reals amb dos de les xarxes més esteses a tot el món: WiFi i enllaços 802.15.4. Ens enfoquem en protocols que ofereixen el paradigma productor/consumidor com el protocol avançat de cues de missatges (AMQP) i particularment el protocol de transport de missatges telemètrics (MQTT), observem el seu comportament a través d'experiments en laboratori i en proves a l'aire lliure, repetint les proves amb diferents grandàries de missatges i diferent periodicitat entre missatges. Per a modelar les diferents possibles aplicacions de la proposta, es van prendre en consideració diverses qüestions plantejades per la mobilitat, resultant en un model per a dimensionar eficientment el nombre de fonts per a un node mòbil i per a calcular la grandària requerida del buffer, en funció del nombre de fonts i de la grandària dels missatges. Proposem un mecanisme adaptat al protocol MQTT que evita la pèrdua de dades per a clients mòbils, basat en un buffer intermedi entre la producció i publicació de missatges que en conjunt amb l'ús d'una alternativa al gestor de connexions sense fils "Network Manager'', en certs contextos millora l'establiment de les connexions. Per a l'avaluació d'aquesta proposta es presenta un estudi detallat d'un node mòbil que es mou en un escenari real a l'aire lliure, on estudiem el comportament del jitter i la transmissió de missatges. A més, hem utilitzat emuladors de xarxes IoT per a estudiar i determinar els efectes sobre la probabilitat de lliurament de missatges, quan s'agreguen tant publicadors com subscriptors a diferents escenaris. Finalment, es presenta una solució totalment orientada a entorns amb dispositius de recursos limitats que combina els protocols MQTT amb xarxes tolerants a retards (DTN) per a garantir el lliurament d'informació. L'avantatge de les solucions que proposem resideix en el fet que els sistemes IoT es tornen resilients a la mobilitat i als canvis de punt d'accés, permetent així que els desenvolupadors creuen fàcilment aplicacions i serveis IoT evitant considerar aquests problema. Un altre avantatge de les nostres solucions és que no necessiten suport addicional de la xarxa com succeeix amb protocols com MobileIP o el protocol que separa l'identificador del localitzador (LISP). Es destaca com hem millorat les solucions existents fins al moment de l'escriptura d'aquesta dissertació, i s'identifican futures línies d'actuació que no han sigut contemplades.Luzuriaga Quichimbo, JE. (2017). Managing Mobility for Distributed Smart Cities Services [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/84744TESI

Recent Advances in Internet of Things Solutions for Early Warning Systems: A Review

none5noNatural disasters cause enormous damage and losses every year, both economic and in terms of human lives. It is essential to develop systems to predict disasters and to generate and disseminate timely warnings. Recently, technologies such as the Internet of Things solutions have been integrated into alert systems to provide an effective method to gather environmental data and produce alerts. This work reviews the literature regarding Internet of Things solutions in the field of Early Warning for different natural disasters: floods, earthquakes, tsunamis, and landslides. The aim of the paper is to describe the adopted IoT architectures, define the constraints and the requirements of an Early Warning system, and systematically determine which are the most used solutions in the four use cases examined. This review also highlights the main gaps in literature and provides suggestions to satisfy the requirements for each use case based on the articles and solutions reviewed, particularly stressing the advantages of integrating a Fog/Edge layer in the developed IoT architectures.openEsposito M.; Palma L.; Belli A.; Sabbatini L.; Pierleoni P.Esposito, M.; Palma, L.; Belli, A.; Sabbatini, L.; Pierleoni, P

Reserved Parking Validation

A common situation that we can testify every day: fossil fuel cars occupying electric cars charge only places, and handy capped reserved places, occupied with cars without the proper authorization. This is something that plagues our society, where the values and moral are forgotten, and our duties and rights are lost in the day-to-day life. There are more and more cars moving, every day, to the city center, where the lack of available parking, together with the lack of proper public transportation creates a chaotic situation. Also, the large proliferation of electric cars, that is not accompanied by a proportional availability of electric chargers, raises issues, where these cars’ drivers are not allowed to charge their vehicles, most of the times, because they are being used as abusive parking. This dissertation has the goal to identify and propose a universal solution, with low implementation and maintenance costs, that allows a fast and unambiguous validation of authorization of a user, for parking in a reserved parking space

An IoT Endpoint System-on-Chip for Secure and Energy-Efficient Near-Sensor Analytics

Near-sensor data analytics is a promising direction for IoT endpoints, as it minimizes energy spent on communication and reduces network load - but it also poses security concerns, as valuable data is stored or sent over the network at various stages of the analytics pipeline. Using encryption to protect sensitive data at the boundary of the on-chip analytics engine is a way to address data security issues. To cope with the combined workload of analytics and encryption in a tight power envelope, we propose Fulmine, a System-on-Chip based on a tightly-coupled multi-core cluster augmented with specialized blocks for compute-intensive data processing and encryption functions, supporting software programmability for regular computing tasks. The Fulmine SoC, fabricated in 65nm technology, consumes less than 20mW on average at 0.8V achieving an efficiency of up to 70pJ/B in encryption, 50pJ/px in convolution, or up to 25MIPS/mW in software. As a strong argument for real-life flexible application of our platform, we show experimental results for three secure analytics use cases: secure autonomous aerial surveillance with a state-of-the-art deep CNN consuming 3.16pJ per equivalent RISC op; local CNN-based face detection with secured remote recognition in 5.74pJ/op; and seizure detection with encrypted data collection from EEG within 12.7pJ/op.Comment: 15 pages, 12 figures, accepted for publication to the IEEE Transactions on Circuits and Systems - I: Regular Paper

Architecture and communication protocol to monitor and control water quality and irrigation in agricultural environments

[ES] La introducción de soluciones tecnológicas en la agricultura permite reducir el uso de recursos y aumentar la producción de los cultivos. Además, la calidad del agua de regadío se puede monitorizar para asegurar la seguridad de los productos para el consumo humano. Sin embargo, la localización remota de la mayoría de los campos presenta un problema para proveer de cobertura inalámbrica a los nodos sensores y actuadores desplegados en los campos y los canales de agua para regadío. El trabajo presentado en esta tesis aborda el problema de habilitar la comunicación inalámbrica entre los dispositivos electrónicos desplegados para la monitorización de la calidad del agua y el campo a través de un protocolo de comunicación y arquitectura heterogéneos. La primera parte de esta tesis introduce los sistemas de agricultura de precisión (PA) y la importancia de la monitorización de la calidad del agua y el campo. Asimismo, las tecnologías que permiten la comunicación inalámbrica en sistemas PA y el uso de soluciones alternativas como el internet de las cosas bajo tierra (IoUT) y los vehículos aéreos no tripulados (UAV) se introducen también. Después, se realiza un análisis en profundidad del estado del arte respecto a los sensores para la monitorización del agua, el campo y las condiciones meteorológicas, así como sobre las tecnologías inalámbricas más empleadas en PA. Además, las tendencias actuales y los desafíos de los sistemas de internet de las cosas (IoT) para regadío, incluyendo las soluciones alternativas introducidas anteriormente, han sido abordados en detalle. A continuación, se presenta la arquitectura propuesta para el sistema, la cual incluye las áreas de interés para las actividades monitorización que incluye las áreas de los canales y el campo. A su vez, la descripción y los algoritmos de operación de los nodos sensores contemplados para cada área son proporcionados. El siguiente capítulo detalla el protocolo de comunicación heterogéneo propuesto, incluyendo los mensajes y alertas del sistema. Adicionalmente, se presenta una nueva topología de árbol para redes híbridas LoRa/WiFi multisalto. Las funcionalidades específicas adicionales concebidas para la arquitectura propuesta están descritas en el siguiente capítulo. Éstas incluyen algoritmos de agregación de datos para la topología propuesta, un esquema de las amenazas de seguridad para los sistemas PA, algoritmos de ahorro de energía y tolerancia a fallos, comunicación bajo tierra para IoUT y el uso de drones para adquisición de datos. Después, los resultados de las simulaciones para las soluciones propuestas anteriormente son presentados. Finalmente, se tratan las pruebas realizadas en entornos reales para el protocolo heterogéneo presentado, las diferentes estrategias de despliegue de los nodos empleados, el consumo energético y la función de cuantificación de fruta. Estas pruebas demuestran la validez de la arquitectura y protocolo de comunicación heterogéneos que se han propuesto.[CA] La introducció de solucions tecnològiques en l'agricultura permet reduir l'ús de recursos i augmentar la producció dels cultius. A més, la qualitat de l'aigua de regadiu es pot monitoritzar per assegurar la qualitat dels productes per al consum humà. No obstant això, la localització remota de la majoria dels camps presenta un problema per a proveir de cobertura sense fils als nodes sensors i actuadors desplegats als camps i els canals d'aigua per a regadiu. El treball presentat en aquesta tesi tracta el problema d'habilitar la comunicació sense fils entre els dispositius electrònics desplegats per a la monitorització de la qualitat de l'aigua i el camp a través d'un protocol de comunicació i arquitectura heterogenis. La primera part d'aquesta tesi introdueix els sistemes d'agricultura de precisió (PA) i la importància de la monitorització de la qualitat de l'aigua i el camp. Així mateix, també s'introdueixen les tecnologies que permeten la comunicació sense fils en sistemes PA i l'ús de solucions alternatives com l'Internet de les coses sota terra (IoUT) i els vehicles aeris no tripulats (UAV). Després, es realitza una anàlisi en profunditat de l'estat de l'art respecte als sensors per a la monitorització de l'aigua, el camp i les condicions meteorològiques, així com sobre les tecnologies sense fils més emprades en PA. S'aborden les tendències actuals i els reptes dels sistemes d'internet de les coses (IoT) per a regadiu, incloent les solucions alternatives introduïdes anteriorment. A continuació, es presenta l'arquitectura proposada per al sistema, on s'inclouen les àrees d'interès per a les activitats monitorització en els canals i el camp. Finalment, es proporciona la descripció i els algoritmes d'operació dels nodes sensors contemplats per a cada àrea. El següent capítol detalla el protocol de comunicació heterogeni proposat, així como el disseny del missatges i alertes que el sistema proposa. A més, es presenta una nova topologia d'arbre per a xarxes híbrides Lora/WiFi multi-salt. Les funcionalitats específiques addicionals concebudes per l'arquitectura proposada estan descrites en el següent capítol. Aquestes inclouen algoritmes d'agregació de dades per a la topologia proposta, un esquema de les alertes de seguretat per als sistemes PA, algoritmes d'estalvi d'energia i tolerància a fallades, comunicació per a IoUT i l'ús de drons per a adquisició de dades. Després, es presenten els resultats de les simulacions per a les solucions proposades. Finalment, es duen a terme les proves en entorns reals per al protocol heterogeni dissenyat. A més s'expliquen les diferents estratègies de desplegament dels nodes empleats, el consum energètic, així com, la funció de quantificació de fruita. Els resultats d'aquetes proves demostren la validesa de l'arquitectura i protocol de comunicació heterogenis propost en aquesta tesi.[EN] The introduction of technological solutions in agriculture allows reducing the use of resources and increasing the production of the crops. Furthermore, the quality of the water for irrigation can be monitored to ensure the safety of the produce for human consumption. However, the remote location of most fields presents a problem for providing wireless coverage to the sensing nodes and actuators deployed on the fields and the irrigation water canals. The work presented in this thesis addresses the problem of enabling wireless communication among the electronic devices deployed for water quality and field monitoring through a heterogeneous communication protocol and architecture. The first part of the dissertation introduces Precision Agriculture (PA) systems and the importance of water quality and field monitoring. In addition, the technologies that enable wireless communication in PA systems and the use of alternative solutions such as Internet of Underground Things (IoUT) and Unmanned Aerial Vehicles (UAV) are introduced as well. Then, an in-depth analysis on the state of the art regarding the sensors for water, field and meteorology monitoring and the most utilized wireless technologies in PA is performed. Furthermore, the current trends and challenges for Internet of Things (IoT) irrigation systems, including the alternate solutions previously introduced, have been discussed in detail. Then, the architecture for the proposed system is presented, which includes the areas of interest for the monitoring activities comprised of the canal and field areas. Moreover, the description and operation algorithms of the sensor nodes contemplated for each area is provided. The next chapter details the proposed heterogeneous communication protocol including the messages and alerts of the system. Additionally, a new tree topology for hybrid LoRa/WiFi multi-hop networks is presented. The specific additional functionalities intended for the proposed architecture are described in the following chapter. It includes data aggregation algorithms for the proposed topology, an overview on the security threats of PA systems, energy-saving and fault-tolerance algorithms, underground communication for IoUT, and the use of drones for data acquisition. Then, the simulation results for the solutions previously proposed are presented. Finally, the tests performed in real environments for the presented heterogeneous protocol, the different deployment strategies for the utilized nodes, the energy consumption, and a functionality for fruit quantification are discussed. These tests demonstrate the validity of the proposed heterogeneous architecture and communication protocol.García García, L. (2021). Architecture and communication protocol to monitor and control water quality and irrigation in agricultural environments [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/17422