Reinforcement machine learning for predictive analytics in smart cities

The digitization of our lives cause a shift in the data production as well as in the required data management. Numerous nodes are capable of producing huge volumes of data in our everyday activities. Sensors, personal smart devices as well as the Internet of Things (IoT) paradigm lead to a vast infrastructure that covers all the aspects of activities in modern societies. In the most of the cases, the critical issue for public authorities (usually, local, like municipalities) is the efficient management of data towards the support of novel services. The reason is that analytics provided on top of the collected data could help in the delivery of new applications that will facilitate citizens’ lives. However, the provision of analytics demands intelligent techniques for the underlying data management. The most known technique is the separation of huge volumes of data into a number of parts and their parallel management to limit the required time for the delivery of analytics. Afterwards, analytics requests in the form of queries could be realized and derive the necessary knowledge for supporting intelligent applications. In this paper, we define the concept of a Query Controller ( QC ) that receives queries for analytics and assigns each of them to a processor placed in front of each data partition. We discuss an intelligent process for query assignments that adopts Machine Learning (ML). We adopt two learning schemes, i.e., Reinforcement Learning (RL) and clustering. We report on the comparison of the two schemes and elaborate on their combination. Our aim is to provide an efficient framework to support the decision making of the QC that should swiftly select the appropriate processor for each query. We provide mathematical formulations for the discussed problem and present simulation results. Through a comprehensive experimental evaluation, we reveal the advantages of the proposed models and describe the outcomes results while comparing them with a deterministic framework

Bioans: bio-inspired ambient intelligence protocol for wireless sensor networks

This paper describes the BioANS (Bio-inspired Autonomic Networked Services) protocol that uses a novel utility-based service selection mechanism to drive autonomicity in sensor networks. Due to the increase in complexity of sensor network applications, self-configuration abilities, in terms of service discovery and automatic negotiation, have become core requirements. Further, as such systems are highly dynamic due to mobility and/or unreliability; runtime self-optimisation and self-healing is required. However the mechanism to implement this must be lightweight due to the sensor nodes being low in resources, and scalable as some applications can require thousands of nodes. BioANS incorporates some characteristics of natural emergent systems and these contribute to its overall stability whilst it remains simple and efficient. We show that not only does the BioANS protocol implement autonomicity in allowing a dynamic network of sensors to continue to function under demanding circumstances, but that the overheads incurred are reasonable. Moreover, state-flapping between requester and provider, message loss and randomness are not only tolerated but utilised to advantage in the new protocol

Human-Machine Cooperative Decision Making

Diese Dissertation beschäftigt sich mit der gemeinsamen Entscheidungsfindung in der Mensch-Maschine-Kooperation und liefert neue Erkenntnisse, welche von der theoretischen Modellierung bis zu experimentellen Untersuchungen reichen. Zunächst wird eine methodische Klassifikation bestehender Forschung zur Mensch-Maschine-Kooperation vorgenommen und der Forschungsfokus dieser Dissertation mithilfe eines vorgestellten Taxonomiemodells der Mensch-Maschine-Kooperation, dem Butterfly-Modell, abgegrenzt. Darauffolgend stellt die Dissertation zwei mathematische Verhaltensmodelle der gemeinsamen Entscheidungsfindung von Mensch und Maschine vor: das Adaptive Verhandlungsmodell und den n-stufigen War of Attrition. Beide modellieren den Einigungsprozess zweier emanzipierter Kooperationspartner und unterscheiden sich hinsichtlich ihrer Ursprünge, welche in der Verhandlungs- beziehungsweise Spieltheorie liegen. Zusätzlich wird eine Studie vorgestellt, die die Eignung der vorgeschlagenen mathematischen Modelle zur Beschreibung des menschlichen Nachgebeverhaltens in kooperativen Entscheidungsfindungs-Prozessen nachweist. Darauf aufbauend werden zwei modellbasierte Automationsdesigns bereitgestellt, welche die Entwicklung von Maschinen ermöglichen, die an einem Einigungsprozess mit einem Menschen teilnehmen können. Zuletzt werden zwei experimentelle Untersuchungen der vorgeschlagenen Automationsdesigns im Kontext von teleoperierten mobilen Robotern in Such- und Rettungsszenarien und anhand einer Anwendung in einem hochautomatisierten Fahrzeug präsentiert. Die experimentellen Ergebnisse liefern empirische Evidenz für die Überlegenheit der vorgestellten modellbasierten Automationsdesigns gegenüber den bisherigen Ansätzen in den Aspekten der objektiven kooperativen Performanz, des menschlichen Vertrauens in die Interaktion mit der Maschine und der Nutzerzufriedenheit. So zeigt diese Dissertation, dass Menschen eine emanzipierte Interaktion mit Bezug auf die Entscheidungsfindung bevorzugen, und leistet einen wertvollen Beitrag zur vollumfänglichen Betrachtung und Verwirklichung von Mensch-Maschine-Kooperationen