Instant messaging-based dialog system for device control in the Internet of things

La finalidad del proyecto im4Things es el desarrollo de una herramienta que proporcione una interfaz de comunicación entre humanos y dispositivos en la Internet de las cosas mediante diálogo en lenguaje natural escrito a través de servicios de mensajería instantánea. Esta comunicación puede ser de distintos tipos tales como el envío de órdenes, la consulta del estado e incluso se permite que sean los mismos dispositivos los encargados de alertar al usuario, si se ha producido un cambio del estado en los sensores de los dispositivos. Este proyecto está siendo desarrollado conjuntamente por la empresa Proasistech y el grupo TECNOMOD de la Universidad de Murcia y ha sido financiado por los fondos propios de la empresa Proasistech y con un contrato de I+D+i de asesoría tecnológica con el citado grupo de la Universidad de Murcia.The im4Things project aims to develop a communication interface to devices on the Internet of the Things (IoT) through intelligent dialogue based on written natural language over instant messaging services. This communication can be established in different ways such as order sending, status querying and even the devices themselves are responsible for alert users when a change has been produced in the devices sensors. This project is being developed by Proasistech company in cooperation with the TECNOMOD research group of the University of Murcia and it has been funded by equity capital of Proasistech company and by an R&D&i technology consulting contract with the aforementioned University of Murcia research group.Este trabajo ha sido financiado por la empresa Proasistech (http://www.proasistech.com/) a través de sus fondos propios

Sistema de diálogo basado en mensajería instantánea para el control de dispositivos en el Internet de las cosas

1. OBJETIVOS DE LA TESIS Desarrollar y sentar las bases de un sistema de comunicación basado en redes sociales en formato chat para que los humanos nos podamos comunicar en lenguaje natural y en tiempo real con las máquinas. 2. METODOLOGÍA Para lograr este objetivo, se ha seguido la siguiente metodología: • Análisis del estado del arte en Internet de las cosas, sistemas de diálogo y agentes conversacionales, inteligencia ambiental y domótica, bases de conocimiento y ontologías, hardware para IoT y tecnologías inalámbricas. Este estudio del estado del arte implica el estudio y análisis de los antecedentes de las tecnologías a incorporar en el proyecto. • Análisis detallado de las metodologías actuales en la evolución de la Internet de las Cosas y sus aplicaciones en el campo de la domótica y control de electrodomésticos. • Definición y desarrollo de un sistema de diálogo basado en mensajería instantánea para el control de aparatos en el Internet de las Cosas (IoT). Esta tarea se dividió en distintas partes: (i) definición y desarrollo de un software que permita interpretar las instrucciones en lenguaje natural e interactuar con los dispositivos; (ii) definición y desarrollo de medios de comunicación de la aplicación móvil de chat; (iii) definición y desarrollo de medios de restricción de acceso y autenticación.; (iv) definición y desarrollo para configuración de Bot desde la aplicación cliente; (v) definición y desarrollo de la base del conocimiento; (vi) definición y desarrollo para la adaptación de los protocolos XMPP y AIML; (vii) definición y desarrollo de los medios de seguridad y control de acciones a ejecutar por parte del usuario a través del chat. • Definición y desarrollo de una arquitectura informatizada basada en Internet de las Cosas denominada im4Things formada por tres módulos principales: Im4Things app, Im4ThingsCloudService y el Dispositivo. Esta tarea se dividió en distintas partes: (i) definición y desarrollo de la aplicación de usuario: Im4Things app, (ii) definición y desarrollo aplicación servidor: Im4ThingsCloudService; (iii) definición y desarrollo del hardware y software para el Dispositivo. • Validación de la metodología empleada desarrollada en dos direcciones bien diferenciadas: comprobación de resultados sobre prototipo real y comprobación de la aceptación de un grupo de 50 probadores del sistema (tester) por medio de análisis sociolingüístico para el control de los siguientes electrodomésticos: cafetera, sistema de riego, control de iluminación interior, control de persianas y calefactor de aire. 3. RESULTADOS Los resultados obtenidos basados en el cálculo de la precisión, cobertura y medida-F son que la cafetera y el sistema de riego obtiene la mayor precisión con un 94,87% frente al 91,89% del controlador de persianas, al 91,67% del control de iluminación y al 89,83% del calefactor de aire. 4. CONCLUSIONES Los datos que hemos obtenido de los usuarios tanto de la fase de validación como de la encuesta de satisfacción nos indican que el sistema funciona muy bien. El resultado demuestran que el sistema es preciso en general para los sistemas probados y especialmente precisos en aquellos sistemas donde el control depende de algunas señales de estado digitales. No obstante sólo hemos validado los 5 sistemas comentados que recordamos son cafetera, sistema de riego, control de iluminación interior, control de persianas y calefactor de aire y se deberían evaluar el sistema con más dispositivos para seguir mejorando tanto el funcionamiento del sistema como mejorar la experiencia de uso. 1. OBJECTIVES OF THE THESIS Develop and lay the foundations for a communication system based on social networks in chat format so that we humans can communicate in natural language and in real time with machines. 2. METHODOLOGY To achieve this goal, we have followed the following methodology: • Analysis of the state of the art Internet of things, conversational dialogue systems and agents, automation and environmental intelligence, knowledge bases and ontologies, hardware and wireless technologies for IoT. This study of the state of the art involves the study and analysis of the history of the technologies to be incorporated in the project. • Detailed analysis of current methodologies in the development of the Internet of Things analysis and its applications in the field of automation and control of electrical appliances. • Definition and development of a dialogue system based on instant messaging control devices in the Internet of Things (IoT). This task is divided into distinct parts: (i) definition and development of software for interpreting natural language instructions and interact with the devices; (ii) defining and developing media mobile chat application; (iii) defining and developing means of authentication and access restriction .; (iv) definition and development Bot Configuration from the client application; (v) defining and developing the knowledge base; (vi) the definition and development and adaptation of AIML XMPP protocols; (vii) defining and developing the means of security and control of actions to be executed by the user through the chat. • Definition and development of an architecture based computerized Internet of Things called im4Things consists of three main modules: Im4Things app, Im4ThingsCloudService and the device. This task is divided into distinct parts: (i) the definition and development of user application: Im4Things app, (ii) definition and development application server: Im4ThingsCloudService; (iii) defining and developing hardware and software for the device. • Validation of the methodology developed in two distinct directions: testing results on actual prototype and acceptance testing of a group of 50 testers system (tester) via sociolinguistic analysis to control the following appliances: coffee, irrigation system, interior lighting control, shutter control and air heater. 3. RESULTS The results based on the calculation accuracy, coverage and measurement-F is that the coffee irrigation system as accurately obtained with 94.87% vs. 91.89% shutters driver at 91.67% lighting control and 89.83% of the air heater. 4. CONCLUSIONS The data we have obtained from the users of both the validation phase and the satisfaction survey indicate that the system works very well. The result shows that the system is accurate in general and especially for proven accurate in those systems where control depends on some digital status signals systems. However we have just validated the 5 reviewed remember are coffee systems, irrigation system, interior lighting control, shutter control and heating and air system should be evaluated with more devices to further improve both system performance and improve user experience