Internet of robotic things : converging sensing/actuating, hypoconnectivity, artificial intelligence and IoT Platforms

The Internet of Things (IoT) concept is evolving rapidly and influencing newdevelopments in various application domains, such as the Internet of MobileThings (IoMT), Autonomous Internet of Things (A-IoT), Autonomous Systemof Things (ASoT), Internet of Autonomous Things (IoAT), Internetof Things Clouds (IoT-C) and the Internet of Robotic Things (IoRT) etc.that are progressing/advancing by using IoT technology. The IoT influencerepresents new development and deployment challenges in different areassuch as seamless platform integration, context based cognitive network integration,new mobile sensor/actuator network paradigms, things identification(addressing, naming in IoT) and dynamic things discoverability and manyothers. The IoRT represents new convergence challenges and their need to be addressed, in one side the programmability and the communication ofmultiple heterogeneous mobile/autonomous/robotic things for cooperating,their coordination, configuration, exchange of information, security, safetyand protection. Developments in IoT heterogeneous parallel processing/communication and dynamic systems based on parallelism and concurrencyrequire new ideas for integrating the intelligent “devices”, collaborativerobots (COBOTS), into IoT applications. Dynamic maintainability, selfhealing,self-repair of resources, changing resource state, (re-) configurationand context based IoT systems for service implementation and integrationwith IoT network service composition are of paramount importance whennew “cognitive devices” are becoming active participants in IoT applications.This chapter aims to be an overview of the IoRT concept, technologies,architectures and applications and to provide a comprehensive coverage offuture challenges, developments and applications

Interconnection Architecture of Proximity Smart IoE-Networks with Centralised Management

[ES] La interoperabilidad entre los objetos comunicados es el objetivo principal del internet de las cosas (IoT). Algunos esfuerzos para lograrlo han generado diversas propuestas de arquitecturas, sin embargo, aún no se ha llegado a un conceso. Estas arquitecturas difieren en el tipo de estructura, grado de centralización, algoritmo de enrutamiento, métricas de enrutamiento, técnicas de descubrimiento, algoritmos de búsqueda, segmentación, calidad de servicio y seguridad, entre otros. Algunas son mejores que otras, dependiendo del entorno en el que se desempeñan y del tipo de parámetro que se use. Las más populares son las orientadas a eventos o acciones basadas en reglas, las cuales han permitido que IoT ingrese en el mercado y logre una rápida masificación. Sin embargo, su interoperabilidad se basa en alianzas entre fabricantes para lograr su compatibilidad. Esta solución se logra en la nube con una plataforma que unifica a las diferentes marcas aliadas. Esto permite la introducción de estas tecnologías a la vida común de los usuarios pero no resuelve problemas de autonomía ni de interoperabilidad. Además, no incluye a la nueva generación de redes inteligentes basadas en cosas inteligentes. La arquitectura propuesta en esta tesis toma los aspectos más relevantes de las cuatro arquitecturas IoT más aceptadas y las integra en una, separando la capa IoT (comúnmente presente en estas arquitecturas), en tres capas. Además, está pensada para abarcar redes de proximidad (integrando diferentes tecnologías de interconexión IoT) y basar su funcionamiento en inteligencia artificial (AI). Por lo tanto, esta propuesta aumenta la posibilidad de lograr la interoperabilidad esperada y aumenta la funcionalidad de cada objeto en la red enfocada en prestar un servicio al usuario. Aunque el sistema que se propone incluye el procesamiento de una inteligencia artificial, sigue los mismos aspectos técnicos que sus antecesoras, ya que su operación y comunicación continúan basándose en la capa de aplicación y trasporte de la pila de protocolo TCP/IP. Sin embargo, con el fin de aprovechar los protocolos IoT sin modificar su funcionamiento, se crea un protocolo adicional que se encapsula y adapta a su carga útil. Se trata de un protocolo que se encarga de descubrir las características de un objeto (DFSP) divididas en funciones, servicios, capacidades y recursos, y las extrae para centralizarla en el administrador de la red (IoT-Gateway). Con esta información el IoT-Gateway puede tomar decisiones como crear grupos de trabajo autónomos que presten un servicio al usuario y enrutar a los objetos de este grupo que prestan el servicio, además de medir la calidad de la experiencia (QoE) del servicio; también administra el acceso a internet e integra a otras redes IoT, utilizando inteligencia artificial en la nube. Al basarse esta propuesta en un nuevo sistema jerárquico para interconectar objetos de diferente tipo controlados por AI con una gestión centralizada, se reduce la tolerancia a fallos y seguridad, y se mejora el procesamiento de los datos. Los datos son preprocesados en tres niveles dependiendo del tipo de servicio y enviados a través de una interfaz. Sin embargo, si se trata de datos sobre sus características estos no requieren mucho procesamiento, por lo que cada objeto los preprocesa de forma independiente, los estructura y los envía a la administración central. La red IoT basada en esta arquitectura tiene la capacidad de clasificar un objeto nuevo que llegue a la red en un grupo de trabajo sin la intervención del usuario. Además de tener la capacidad de prestar un servicio que requiera un alto procesamiento (por ejemplo, multimedia), y un seguimiento del usuario en otras redes IoT a través de la nube.[CA] La interoperabilitat entre els objectes comunicats és l'objectiu principal de la internet de les coses (IoT). Alguns esforços per aconseguir-ho han generat diverses propostes d'arquitectures, però, encara no s'arriba a un concens. Aquestes arquitectures difereixen en el tipus d'estructura, grau de centralització, algoritme d'encaminament, mètriques d'enrutament, tècniques de descobriment, algoritmes de cerca, segmentació, qualitat de servei i seguretat entre d'altres. Algunes són millors que altres depenent de l'entorn en què es desenvolupen i de el tipus de paràmetre que es faci servir. Les més populars són les orientades a esdeveniments o accions basades en regles. Les quals li han permès entrar al mercat i aconseguir una ràpida massificació. No obstant això, la seva interoperabilitat es basa en aliances entre fabricants per aconseguir la seva compatibilitat. Aquesta solució s'aconsegueix en el núvol amb una plataforma que unifica les diferents marques aliades. Això permet la introducció d'aquestes tecnologies a la vida comuna dels usuaris però no resol problemes d'autonomia ni d'interoperabilitat. A més, no inclou a la nova generació de xarxes intel·ligents basades en coses intel·ligents. L'arquitectura proposada en aquesta tesi, pren els aspectes més rellevants de les quatre arquitectures IoT mes acceptades i les integra en una, separant la capa IoT (comunament present en aquestes arquitectures), en tres capes. A més aquesta pensada en abastar xarxes de proximitat (integrant diferents tecnologies d'interconnexió IoT) i basar el seu funcionament en intel·ligència artificial. Per tant, aquesta proposta augmenta la possibilitat d'aconseguir la interoperabilitat esperada i augmenta la funcionalitat de cada objecte a la xarxa enfocada a prestar un servei a l'usuari. Tot i que el sistema que es proposa inclou el processament d'una intel·ligència artificial, segueix els mateixos aspectes tècnics que les seves antecessores, ja que, la seva operació i comunicació se segueix basant en la capa d'aplicació i transport de la pila de protocol TCP / IP. No obstant això, per tal d'aprofitar els protocols IoT sense modificar el seu funcionament es crea un protocol addicional que s'encapsula i s'adapta a la seva càrrega útil. Es tracta d'un protocol que s'encarrega de descobrir les característiques d'un objecte (DFSP) dividides en funcions, serveis, capacitats i recursos, i les extreu per centralitzar-la en l'administrador de la xarxa (IoT-Gateway). Amb aquesta informació l'IoT-Gateway pot prendre decisions com crear grups de treball autònoms que prestin un servei a l'usuari i encaminar als objectes d'aquest grup que presten el servei. A més de mesurar la qualitat de l'experiència (QoE) de el servei. També administra l'accés a internet i integra a altres xarxes Iot, utilitzant intel·ligència artificial en el núvol. A l'basar-se aquesta proposta en un nou sistema jeràrquic per interconnectar objectes de diferent tipus controlats per AI amb una gestió centralitzada, es redueix la tolerància a fallades i seguretat, i es millora el processament de les dades. Les dades són processats en tres nivells depenent de el tipus de servei i enviats a través d'una interfície. No obstant això, si es tracta de dades sobre les seves característiques aquests no requereixen molt processament, de manera que cada objecte els processa de forma independent, els estructura i els envia a l'administració central. La xarxa IoT basada en aquesta arquitectura té la capacitat de classificar un objecte nou que arribi a la xarxa en un grup de treball sense la intervenció de l'usuari. A més de tenir la capacitat de prestar un servei que requereixi un alt processament (per exemple multimèdia), i un seguiment de l'usuari en altres xarxes IoT a través del núvol.[EN] Interoperability between communicating objects is the main goal of the Internet of Things (IoT). Efforts to achieve this have generated several architectures' proposals; however, no consensus has yet been reached. These architectures differ in structure, degree of centralisation, routing algorithm, routing metrics, discovery techniques, search algorithms, segmentation, quality of service, and security. Some are better than others depending on the environment in which they perform, and the type of parameter used. The most popular are those oriented to events or actions based on rules, which has allowed them to enter the market and achieve rapid massification. However, their interoperability is based on alliances between manufacturers to achieve compatibility. This solution is achieved in the cloud with a dashboard that unifies the different allied brands, allowing the introduction of these technologies into users' everyday lives but does not solve problems of autonomy or interoperability. Moreover, it does not include the new generation of smart grids based on smart things. The architecture proposed in this thesis takes the most relevant aspects of the four most accepted IoT-Architectures and integrates them into one, separating the IoT layer (commonly present in these architectures) into three layers. It is also intended to cover proximity networks (integrating different IoT interconnection technologies) and base its operation on artificial intelligence (AI). Therefore, this proposal increases the possibility of achieving the expected interoperability and increases the functionality of each object in the network focused on providing a service to the user. Although the proposed system includes artificial intelligence processing, it follows the same technical aspects as its predecessors since its operation and communication is still based on the application and transport layer of the TCP/IP protocol stack. However, in order to take advantage of IoT-Protocols without modifying their operation, an additional protocol is created that encapsulates and adapts to its payload. This protocol discovers the features of an object (DFSP) divided into functions, services, capabilities, and resources, and extracts them to be centralised in the network manager (IoT-Gateway). With this information, the IoT-Gateway can make decisions such as creating autonomous workgroups that provide a service to the user and routing the objects in this group that provide the service. It also measures the quality of experience (QoE) of the service. Moreover, manages internet access and integrates with other IoT-Networks, using artificial intelligence in the cloud. This proposal is based on a new hierarchical system for interconnecting objects of different types controlled by AI with centralised management, reducing the fault tolerance and security, and improving data processing. Data is preprocessed on three levels depending on the type of service and sent through an interface. However, if it is data about its features, it does not require much processing, so each object preprocesses it independently, structures it and sends it to the central administration. The IoT-Network based on this architecture can classify a new object arriving on the network in a workgroup without user intervention. It also can provide a service that requires high processing (e.g., multimedia), and user tracking in other IoT-Networks through the cloud.González Ramírez, PL. (2022). Interconnection Architecture of Proximity Smart IoE-Networks with Centralised Management [Tesis doctoral]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/181892TESI

Application of Artificial Neural Networks in Modeling Direction Wheelchairs Using Neurosky Mindset Mobile (EEG) Device

The implementation of Artificial Neural Network in prediction the direction of electric wheelchair from brain signal input for physical mobility impairment.. The control of the wheelchair as an effort in improving disabled person life quality. The interaction from disabled person is helping in relation to social life with others. Because of the mobility impairment, the wheelchair with brain signal input is made. This wheel chair is purposed to help the disabled person and elderly for their daily activity. ANN helps to develop the mapping from input to target. ANN is developed in 3 level: input level, one hidden level, and output level (6-2-1). There are 6 signal from Neurosky Mindset sensor output, Alpha1, Alpha2, Raw signal, Total time signal, Attention Signal, and Meditation signal. The purpose of this research is to find out the output value from ANN: value in turning right, turning left, and forward. From those outputs, we can prove the relevance to the target. One of the main problem that interfering with success is the problem of proper neural network training. Arduino uno is chosen to implement the learning program algorithm because it is a popular microcontroller that is economic and efficient. The training of artificial neural network in this research uses 21 data package from raw data, Alpha1, Aplha2, Meditation data, Attention data, total time data. At the time of the test there is a value of Mean square Error(MSE) at the end of training amounted to 0.92495 at epoch 9958, value a correlation coefficient of 0.92804 shows that accuracy the results of the training process good.  Keywords: Navigation, Neural network, Real-time training, ArduinoÂ

Algoritmos de aprendizaje neurocomputacionales para su implementación hardware

Las redes de neuronas artificiales son un paradigma de aprendizaje y procesamiento automático inspirado en el funcionamiento del sistema nervioso, se emplean en toda tipo de aplicaciones, con lo que van apareciendo nuevas aplicaciones donde la utilización de ordenadores no da una solución de manera. Los sistemas en tiempo real y las redes de sensores son dos de las tecnologías más extendidas donde la utilización de modelos neurocomputacionales requiere un desarrollo en dispositivos y el empleo de técnicas de programación diferente a las convencionales. En este tipo de aplicaciones otros dispositivos hardware como las FPGAs o microcontroladores son más adecuados a la hora de la implementación de redes neuronales artificiales. Los sistemas en tiempo real están sujetos a unas limitaciones temporales y la estructura de las FPGAs permite implementar este tipo de diseños debido a que se diseña el dispositivo a nivel hardware, consiguiendo unos tiempos de respuesta muy acotados, exigidos en una aplicación en tiempo real. En esta línea de investigación existen dos posibles alternativas para este tipo de sistemas: (i) implementaciones específicas de algoritmos conocidos adaptados a los dispositivos hardware; (ii) implementaciones de nuevos algoritmos que se adapten mejor a este dispositivo. Otra tecnología muy importante es las redes de sensores inalámbricas, debido a los avances tecnológicos registrados en la última década sobre la capacidad de los microcontroladores usados en este tipo de aplicaciones. Una motivación de esta tesis es de dotar de inteligencia a las redes de sensores en este tipo de escenarios para proporcionar de una cierta lógica a la toma de decisiones Se busca alcanzar los siguientes objetivos: (i) analizar el algoritmo Backpropagation, desarrollando y evaluando diferentes técnicas de optimización para cada dispositivo; (ii) evaluar una alternativa al algoritmo Backpropagation para poder realizar una implementación hardware maximizando el uso de recursos; (iii) realizar una implementación hardware eficiente del algoritmo C-Mantec para evaluar su posible utilización en aplicaciones de sistemas en tiempo real; y (iv) evaluar una implementación del algoritmo constructivo C-Mantec sobre microcontroladores para su utilización en redes de sensores. Se implementa el algoritmo Backpropagation una FPGA y un microcontrolador. La implementación en FPGA se precisa diseñar con diferentes modificaciones, que se centran en introducir una nueva neurona ``Primera Capa'', incorporar la multiplexación por división en el tiempo del bloque multiplicador, así como tabular e interpolar los valores de la función sigmoidea, permitiendo un reducción de recursos, en media, de un 25,8\% de celdas lógicas y un 50'3\% de bloques específicos. En el caso específico del microcontrolador la modificación del tipo de representación de los datos permite un incremento en la velocidad de cómputo de entre 8 a 18 veces más rápido, además de una reducción importante en la cantidad de memoria utilizada. La implementación ``on-chip'' del algoritmo C-Mantec ha sido realizada de forma específica para su implantación en una placa FPGA, haciendo un análisis del tiempo de cómputo se observa una disminución del tiempo empleado en las implementaciones sobre FPGA en relación a las realizadas sobre PC. Esto es debido a que el tiempo de cómputo en un ordenador crece de forma exponencial y de manera lineal en una FPGA, dando lugar a implementaciones hasta 47 veces más rápidas. La implementación hardware del algoritmo C-Mantec es un 15\% más eficientes en recursos hardware utilizados en comparación a la del algoritmo Backpropagation, permitiendo mayor número de neuronas en la arquitectura. Para finalizar es importante mencionar que el tiempo de aprendizaje de las implementaciones FPGAs en ambos algoritmos es notablemente menor que el tiempo empleado por un PC, siendo la del C-Mantec sustancialmente inferior al del Backpropagation. Además el tiempo de ejecución del modelo es considerablemente inferior para el C-Mantec, lo que supone una ventaja en la fase de explotación del modelo. El algoritmo C-Mantec se ha implementado en la placa Arduino, para lo que se ha modificado el paradigma de representación de datos reduciendo considerablemente la memoria utilizada para el almacenamiento de variables y aumentando la velocidad de procesamiento, debido a que la unidad aritmético lógica en este tipo de representación son más simples. El algoritmo implementado se ha empleado como una red de sensor/actuador en tres casos de estudios con el fin de demostrar la eficiencia y la versatilidad de la aplicación resultante. Los tres casos de estudios seleccionados son problemas definidos en entornos cambiantes, y por lo tanto la toma de decisiones del sensor/actuador ha de adaptarse en consecuencia a los cambios observados, por lo que requieren una reconversión del modelo de red neuronal que controla el proceso de decisión. Los tiempos de reprogramación observados son significativamente bajos en los tres casos de estudio, siendo en consecuencia el consumo de energía del dispositivo también bastante pequeño. Incluso sin una comparación exhaustiva con el caso tradicional en el que el nuevo código tiene que ser transmitido desde una unidad de control central, los resultados hacen evidente una reducción en el gasto energético, cualidad muy importante en este tipo de tecnología debida a la corta duración de las baterías que lo alimentan. Como resultado, se ha demostrado la idoneidad del algoritmo C-Mantec para su aplicación en una tarea compleja utilizando un microcontrolador Arduino UNO. Hoy en día, dada la existencia de dispositivos con mucho más poder de cómputo y recursos que la placa considerada, el presente estudio permite confirmar la potencial aplicación del algoritmo propuesto en tareas reales que necesitan sensores/actuadores. Las futuras líneas de investigación pueden ser muy variadas, algunas de los iniciados son evolucionar la implementación hardware del algoritmo Backpropagation; o analizar la posibilidad de emplear las FPGAs como aceleradoras hardware para simulaciones de sistemas complejos. Además de estudiar otros modelos computacionales con otras reglas de; o analizar la posibilidad de aplicar los sistemas neurocomputacionales en tiempo real en tareas complejas

Application of Artificial Neural Networks in Modeling Direction Wheelchairs Using Neurosky Mindset Mobile (EEG) Device

The implementation of Artificial Neural Network in prediction the direction of electric wheelchair from brain signal input for physical mobility impairment.. The control of the wheelchair as an effort in improving disabled person life quality. The interaction from disabled person is helping in relation to social life with others. Because of the mobility impairment, the wheelchair with brain signal input is made. This wheel chair is purposed to help the disabled person and elderly for their daily activity. ANN helps to develop the mapping from input to target. ANN is developed in 3 level: input level, one hidden level, and output level (6-2-1). There are 6 signal from Neurosky Mindset sensor output, Alpha1, Alpha2, Raw signal, Total time signal, Attention Signal, and Meditation signal. The purpose of this research is to find out the output value from ANN: value in turning right, turning left, and forward. From those outputs, we can prove the relevance to the target. One of the main problem that interfering with success is the problem of proper neural network training. Arduino uno is chosen to implement the learning program algorithm because it is a popular microcontroller that is economic and efficient. The training of artificial neural network in this research uses 21 data package from raw data, Alpha1, Aplha2, Meditation data, Attention data, total time data. At the time of the test there is a value of Mean square Error(MSE) at the end of training amounted to 0.92495 at epoch 9958, value a correlation coefficient of 0.92804 shows that accuracy the results of the training process good.     Keywords: Navigation, Neural network, Real-time training, Arduino

2023- The Twenty-seventh Annual Symposium of Student Scholars

The full program book from the Twenty-seventh Annual Symposium of Student Scholars, held on April 18-21, 2023. Includes abstracts from the presentations and posters.https://digitalcommons.kennesaw.edu/sssprograms/1027/thumbnail.jp