A Distributed Test System Architecture for Open-source IoT Software

International audienceIn this paper, we discuss challenges that are specific to testing of open IoT software systems. The analysis reveals gaps compared to wireless sensor networks as well as embedded software. We propose a testing framework which (a) supports continuous integration techniques, (b) allows for the integration of project contributors to volunteer hardware and software resources to the test system, and (c) can function as a permanent distributed plugtest for network interop-erability testing. The focus of this paper lies in open-source IoT development but many aspects are also applicable to closed-source projects

Robust Mobile Visual Recognition System: From Bag of Visual Words to Deep Learning

With billions of images captured by mobile users everyday, automatically recognizing contents in such images has become a particularly important feature for various mobile apps, including augmented reality, product search, visual-based authentication etc. Traditionally, a client-server architecture is adopted such that the mobile client sends captured images/video frames to a cloud server, which runs a set of task-specific computer vision algorithms and sends back the recognition results. However, such scheme may cause problems related to user privacy, network stability/availability and device energy.In this dissertation, we investigate the problem of building a robust mobile visual recognition system that achieves high accuracy, low latency, low energy cost and privacy protection. Generally, we study two broad types of recognition methods: the bag of visual words (BOVW) based retrieval methods, which search the nearest neighbor image to a query image, and the state-of-the-art deep learning based methods, which recognize a given image using a trained deep neural network. The challenges of deploying BOVW based retrieval methods include: size of indexed image database, query latency, feature extraction efficiency and re-ranking performance. To address such challenges, we first proposed EMOD which enables efficient on-device image retrieval on a downloaded context-dependent partial image database. The efficiency is achieved by analyzing the BOVW processing pipeline and optimizing each module with algorithmic improvement.Recent deep learning based recognition approaches have been shown to greatly exceed the performance of traditional approaches. We identify several challenges of applying deep learning based recognition methods on mobile scenarios, namely energy efficiency and privacy protection for real-time visual processing, and mobile visual domain biases. Thus, we proposed two techniques to address them, (i) efficiently splitting the workload across heterogeneous computing resources, i.e., mobile devices and the cloud using our Moca framework, and (ii) using mobile visual domain adaptation as proposed in our collaborative edge-mediated platform DeepCham. Our extensive experiments on large-scale benchmark datasets and off-the-shelf mobile devices show our solutions provide better results than the state-of-the-art solutions

Design and implementation of simulation tools, protocols and architectures to support service platforms on vehicular networks

Tesis por compendioProducts related with Intelligent Transportation Systems (ITS) are becoming a reality on our roads. All car manufacturers are starting to include Internet access in their vehicles and to integrate smartphones directly from the dashboard, but more and more services will be introduced in the near future. Connectivity through "vehicular networks" will become a cornerstone of every new proposal, and offering an adequate quality of service is obviously desirable. However, a lot of work is needed for vehicular networks to offer performances similar to those of the wired networks. Vehicular networks can be characterized by two main features: high variability due to mobility levels that can reach up to 250 kilometers per hour, and heterogeneity, being that various competing versions from different vendors have and will be released. Therefore, to make the deployment of efficient services possible, an extensive study must be carried out and adequate tools must be proposed and developed. This PhD thesis addresses the service deployment problem in these networks at three different levels: (i) the physical and link layer, showing an exhaustive analysis of the physical channel and models; (ii) the network layer, proposing a forwarding protocol for IP packets; and (iii) the transport layer, where protocols are proposed to improve data delivery. First of all, the two main wireless technologies used in vehicular networks where studied and modeled, namely the 802.11 family of standards, particularly 802.11p, and the cellular networks focusing on LTE. Since 802.11p is a quite mature standard, we defined (i) a propagation and attenuation model capable of replicating the transmission range and the fading behavior of real 802.11p devices, both in line-of-sight conditions and when obstructed by small obstacles, and (ii) a visibility model able to deal with large obstacles, such as buildings and houses, in a realistic manner. Additionally, we proposed a model based on high-level performance indicators (bandwidth and delay) for LTE, which makes application validation and evaluation easier. At the network layer, a hybrid protocol called AVE is proposed for packet forwarding by switching among a set of standard routing strategies. Depending on the specific scenario, AVE selects one out of four different routing solutions: a) two-hop direct delivery, b) Dynamic MANET On-demand (DYMO), c) greedy georouting, and d) store-carry-and-forward technique, to dynamically adapt its behavior to the specific situation. At the transport layer, we proposed a content delivery protocol for reliable and bidirectional unicast communication in lossy links that improves content delivery in situations where the wireless network is the bottleneck. It has been designed, validated, optimized, and its performance has been analyzed in terms of throughput and resource efficiency. Finally, at system level, we propose an edge-assisted computing model that allows reducing the response latency of several queries by placing a computing unit at the network edge. This way, traffic traversal through the Internet is avoided when not needed. This scheme could be used in both 802.11p and cellular networks, and in this thesis we decided to focus on its evaluation using LTE networks. The platform presented in this thesis combines all the individual efforts to create a single efficient platform. This new environment could be used by any provider to improve the quality of the user experience obtainable through the proposed vehicular network-based services.Los productos relacionados con los Sistemas Inteligentes de Transporte (ITS) se están transformando en una realidad en nuestras carreteras. Todos los fabricantes de coches comienzan a incluir acceso a internet en sus vehículos y a facilitar su integración con los teléfonos móviles, pero más y más servicios se introducirán en el futuro. La conectividad usando las "redes vehiculares" se convertirá en la piedra angular de cada nueva propuesta, y ofrecer una calidad de servicio adecuada será, obviamente, deseable. Sin embargo, se necesita una gran cantidad de trabajo para que las redes vehiculares ofrezcan un rendimiento similar al de las redes cableadas. Las redes vehiculares quedan definidas por sus dos características básicas: alto dinamismo, pues los nodos pueden alcanzar una velocidad relativa de más de 250 km/h; y heterogeneidad, por la gran cantidad de propuestas diferentes que los fabricantes están lanzando al mercado. Por ello, para hacer posible el despliegue de servicios sobre ellas, se impone la necesidad de hacer un estudio en profundidad de este entorno, y deben de proponerse y desarrollarse las herramientas adecuadas. Esta tesis ataca la problemática del despliegue de servicios en estas redes a tres niveles diferentes: (i) el nivel físico y de enlace, mostrando varios análisis en profundidad del medio físico y modelos derivados para su simulación; (ii) el nivel de red, proponiendo un protocolo de difusión de la información para los paquetes IP; y (iii) el nivel de transporte, donde otros protocolos son propuestos para mejorar el rendimiento del transporte de datos. En primer lugar, se han estudiado y modelado las dos principales tecnologías inalámbricas que se utilizan para la comunicación en redes vehiculares, la rama de estándares 802.11, en concreto 802.11p; y la comunicación celular, en particular LTE. Dado que el estándar 802.11p es un estándar bastante maduro, nos centramos en crear (i) un modelo de propagación y atenuación capaz de replicar el rango de transmisión de dispositivos 802.11p reales, en condiciones de visión directa y obstrucción por pequeños obstáculos, y (ii) un modelo de visibilidad capaz de simular el efecto de grandes obstáculos, como son los edifcios, de una manera realista. Además, proponemos un modelo basado en indicadores de rendimiento de alto nivel (ancho de banda y retardo) para LTE, que facilita la validación y evaluación de aplicaciones. En el plano de red, se propone un protocolo híbrido, llamado AVE, para el encaminamiento y reenvío de paquetes usando un conjunto de estrategias estándar de enrutamiento. Dependiendo del escenario, AVE elige entre cuatro estrategias diferentes: a) entrega directa a dos saltos, b) Dynamic MANET On-demand (DYMO) c) georouting voraz, y d) una técnica store-carry-and- forward, para adaptar su comportamiento dinámicamente a cada situación. En el plano de transporte, se propone un protocolo bidireccional de distribución de contenidos en canales con pérdidas que mejora la entrega de contenidos en situaciones en las que la red es un cuello de botella, como las redes inalámbricas. Ha sido diseñado, validado, optimizado, y su rendimiento ha sido analizado en términos de productividad y eficiencia en la utilización de recursos. Finalmente, a nivel de sistema, proponemos un modelo de computación asistida que permite reducir la latencia en la respuesta a muchas consultas colocando una unidad de computación en el borde de la red, i.e., la red de acceso. Este esquema podría ser usado en redes basadas en 802.11p y en redes celulares, si bien en esta tesis decidimos centrarnos en su evaluación usando redes LTE. La plataforma presentada en esta tesis combina todos los esfuerzos individuales para crear una plataforma única y eficiente. Este nuevo entorno puede ser usado por cualquier proveedor para mejorar la calidad de la experiencia de usuario en los servicios desplegados sobre redes vehiculares.Els productes relacionats amb els sistemes intel · ligents de transport (ITS) s'estan transformant en una realitat en les nostres carreteres. Tots els fabri- cants de cotxes comencen a incloure accés a internet en els vehicles i a facilitar- ne la integració amb els telèfons mòbils, però en el futur més i més serveis s'hi introduiran. La connectivitat usant les xarxes vehicular esdevindrà la pedra angular de cada nova proposta, i oferir una qualitat de servei adequada serà, òbviament, desitjable. No obstant això, es necessita una gran quantitat de treball perquè les xarxes vehiculars oferisquen un rendiment similar al de les xarxes cablejades. Les xarxes vehiculars queden definides per dues característiques bàsiques: alt dinamisme, ja que els nodes poden arribar a una velocitat relativa de més de 250 km/h; i heterogeneïtat, per la gran quantitat de propostes diferents que els fabricants estan llançant al mercat. Per això, per a fer possible el desplegament de serveis sobre aquestes xarxes, s'imposa la necessitat de fer un estudi en profunditat d'aquest entorn, i cal proposar i desenvolupar les eines adequades. Aquesta tesi ataca la problemàtica del desplegament de serveis en aquestes xarxes a tres nivells diferents: (i) el nivell físic i d'enllaç , mostrant diverses anàlisis en profunditat del medi físic i models derivats per simular-lo; (ii) el nivell de xarxa, proposant un protocol de difusió de la informació per als paquets IP; i (iii) el nivell de transport, on es proposen altres protocols per a millorar el rendiment del transport de dades. En primer lloc, s'han estudiat i modelat les dues principals tecnologies sense fils que s'utilitzen per a la comunicació en xarxes vehiculars, la branca d'estàndards 802.11, en concret 802.11p; i la comunicació cel · lular, en partic- ular LTE. Atès que l'estàndard 802.11p és un estàndard bastant madur, ens centrem a crear (i) un model de propagació i atenuació capaç de replicar el rang de transmissió de dispositius 802.11p reals, en condicions de visió directa i obstrucció per petits obstacles, i (ii) un model de visibilitat capaç de simular l'efecte de grans obstacles, com són els edificis, d'una manera realista. A més, proposem un model basat en indicadors de rendiment d'alt nivell (ample de banda i retard) per a LTE, que facilita la validació i l'avaluació d'aplicacions. En el pla de xarxa, es proposa un protocol híbrid, anomenat AVE, per a l'encaminament i el reenviament de paquets usant un conjunt d'estratègies estàndard d'encaminament. Depenent de l'escenari , AVE tria entre quatre estratègies diferents: a) lliurament directe a dos salts, b) Dynamic MANET On-demand (DYMO) c) georouting voraç, i d) una tècnica store-carry-and- forward, per a adaptar-ne el comportament dinàmicament a cada situació. En el pla de transport, es proposa un protocol bidireccional de distribució de continguts en canals amb pèrdues que millora el lliurament de continguts en situacions en què la xarxa és un coll de botella, com les xarxes sense fils. Ha sigut dissenyat, validat, optimitzat, i el seu rendiment ha sigut analitzat en termes de productivitat i eficiència en la utilització de recursos. Finalment, a nivell de sistema, proposem un model de computació assistida que permet reduir la latència en la resposta a moltes consultes col · locant una unitat de computació a la vora de la xarxa, és a dir, la xarxa d'accés. Aquest esquema podria ser usat en xarxes basades en 802.11p i en xarxes cel · lulars, si bé en aquesta tesi decidim centrar-nos en la seua avaluació usant xarxes LTE. La plataforma presentada en aquesta tesi combina tots els esforços indi- viduals per a crear una plataforma única i eficient. Aquest nou entorn pot ser usat per qualsevol proveïdor per a millorar la qualitat de l'experiència d'usuari en els serveis desplegats sobre xarxes vehiculars.Báguena Albaladejo, M. (2017). Design and implementation of simulation tools, protocols and architectures to support service platforms on vehicular networks [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/85333TESISCompendi

Designing gaze-based interaction for pervasive public displays

The last decade witnessed an increasing adoption of public interactive displays. Displays can now be seen in many public areas, such as shopping malls, and train stations. There is also a growing trend towards using large public displays especially in airports, urban areas, universities and libraries. Meanwhile, advances in eye tracking and visual computing promise straightforward integration of eye tracking on these displays for both: 1) monitoring the user's visual behavior to evaluate different aspects of the display, such as measuring the visual attention of passersby, and for 2) interaction purposes, such as allowing users to provide input, retrieve content, or transfer data using their eye movements. Gaze is particularly useful for pervasive public displays. In addition to being natural and intuitive, eye gaze can be detected from a distance, bringing interactivity to displays that are physically unreachable. Gaze reflects the user's intention and visual interests, and its subtle nature makes it well-suited for public interactions where social embarrassment and privacy concerns might hinder the experience. On the downside, eye tracking technologies have traditionally been developed for desktop settings, where a user interacts from a stationary position and for a relatively long period of time. Interaction with public displays is fundamentally different and hence poses unique challenges when employing eye tracking. First, users of public displays are dynamic; users could approach the display from different directions, and interact from different positions or even while moving. This means that gaze-enabled displays should not expect users to be stationary at a specific position, but instead adapt to users' ever-changing position in front of the display. Second, users of public displays typically interact for short durations, often for a few seconds only. This means that contrary to desktop settings, public displays cannot afford requiring users to perform time-consuming calibration prior to interaction. In this publications-based dissertation, we first report on a review of challenges of interactive public displays, and discuss the potential of gaze in addressing these challenges. We then showcase the implementation and in-depth evaluation of two applications where gaze is leveraged to address core problems in today's public displays. The first presents an eye-based solution, EyePACT, that tackles the parallax effect which is often experienced on today's touch-based public displays. We found that EyePACT significantly improves accuracy even with varying degrees of parallax. The second is a novel multimodal system, GTmoPass, that combines gaze and touch input for secure user authentication on public displays. GTmoPass was found to be highly resilient to shoulder surfing, thermal attacks and smudge attacks, thereby offering a secure solution to an important problem on public displays. The second part of the dissertation explores specific challenges of gaze-based interaction with public displays. First, we address the user positioning problem by means of active eye tracking. More specifically, we built a novel prototype, EyeScout, that dynamically moves the eye tracker based on the user's position without augmenting the user. This, in turn, allowed us to study and understand gaze-based interaction with public displays while walking, and when approaching the display from different positions. An evaluation revealed that EyeScout is well perceived by users, and improves the time needed to initiate gaze interaction by 62% compared to state-of-the-art. Second, we propose a system, Read2Calibrate, for calibrating eye trackers implicitly while users read text on displays. We found that although text-based calibration is less accurate than traditional methods, it integrates smoothly while reading and thereby more suitable for public displays. Finally, through our prototype system, EyeVote, we show how to allow users to select textual options on public displays via gaze without calibration. In a field deployment of EyeVote, we studied the trade-off between accuracy and selection speed when using calibration-free selection techniques. We found that users of public displays value faster interactions over accurate ones, and are willing to correct system errors in case of inaccuracies. We conclude by discussing the implications of our findings on the design of gaze-based interaction for public displays, and how our work can be adapted for other domains apart from public displays, such as on handheld mobile devices.In den letzten zehn Jahren wurden vermehrt interaktive Displays in öffentlichen Bereichen wie Einkaufszentren, Flughäfen und Bahnhöfen eingesetzt. Große öffentliche Displays finden sich zunehmend in städtischen Gebieten, beispielsweise in Universitäten und Bibliotheken. Fortschritte in der Eye-Tracking-Technologie und der Bildverarbeitung versprechen eine einfache Integration von Eye-Tracking auf diesen Displays. So kann zum einen das visuelle Verhalten der Benutzer verfolgt und damit ein Display nach verschiedenen Aspekten evaluiert werden. Zum anderen eröffnet Eye-Tracking auf öffentlichen Displays neue Interaktionsmöglichkeiten. Blickbasierte Interaktion ist besonders nützlich für Bildschirme im allgegenwärtigen öffentlichen Raum. Der Blick bietet mehr als eine natürliche und intuitive Interaktionsmethode: Blicke können aus der Ferne erkannt und somit für Interaktion mit sonst unerreichbaren Displays genutzt werden. Aus der Interaktion mit dem Blick (Gaze) lassen sich Absichten und visuelle Interessen der Benutzer ableiten. Dadurch eignet es sich besonders für den öffentlichen Raum, wo Nutzer möglicherweise Datenschutzbedenken haben könnten oder sich bei herkömmlichen Methoden gehemmt fühlen würden in der Öffentlichkeit mit den Displays zu interagieren. Dadurch wird ein uneingeschränktes Nutzererlebnis ermöglicht. Eye-Tracking-Technologien sind jedoch in erster Linie für Desktop-Szenarien entwickelt worden, bei denen ein Benutzer für eine relativ lange Zeitspanne in einer stationären Position mit dem System interagiert. Die Interaktion mit öffentlichen Displays ist jedoch grundlegend anders. Daher gilt es völlig neuartige Herausforderungen zu bewältigen, wenn Eye-Tracking eingesetzt wird. Da sich Nutzer von öffentlichen Displays bewegen, können sie sich dem Display aus verschiedenen Richtungen nähern und sogar währenddessen mit dem Display interagieren. Folglich sollten "Gaze-enabled Displays" nicht davon ausgehen, dass Nutzer sich stets an einer bestimmten Position befinden, sondern sollten sich an die ständig wechselnde Position des Nutzers anpassen können. Zum anderen interagieren Nutzer von öffentlichen Displays üblicherweise nur für eine kurze Zeitspannen von ein paar Sekunden. Eine zeitaufwändige Kalibrierung durch den Nutzer vor der eigentlichen Interaktion ist hier im Gegensatz zu Desktop-Szenarien also nicht adäquat. Diese kumulative Dissertation überprüft zunächst die Herausforderungen interaktiver öffentlicher Displays und diskutiert das Potenzial von blickbasierter Interaktion zu deren Bewältigung. Anschließend wird die Implementierung und eingehende Evaluierung von zwei beispielhaften Anwendungen vorgestellt, bei denen Nutzer durch den Blick mit öffentlichen Displays interagieren. Daraus ergeben sich weitere greifbare Vorteile der blickbasierten Interaktion für öffentliche Display-Kontexte. Bei der ersten Anwendung, EyePACT, steht der Parallaxeneffekt im Fokus, der heutzutage häufig ein Problem auf öffentlichen Displays darstellt, die über Berührung (Touch) gesteuert werden. Die zweite Anwendung ist ein neuartiges multimodales System, GTmoPass, das Gaze- und Touch-Eingabe zur sicheren Benutzerauthentifizierung auf öffentlichen Displays kombiniert. GTmoPass ist sehr widerstandsfähig sowohl gegenüber unerwünschten fremden Blicken als auch gegenüber sogenannten thermischen Angriffen und Schmierangriffen. Es bietet damit eine sichere Lösung für ein wichtiges Sicherheits- und Datenschutzproblem auf öffentlichen Displays. Der zweite Teil der Dissertation befasst sich mit spezifischen Herausforderungen der Gaze-Interaktion mit öffentlichen Displays. Zuerst wird der Aspekt der Benutzerpositionierung durch aktives Eye-Tracking adressiert. Der neuartige Prototyp EyeScout bewegt den Eye-Tracker passend zur Position des Nutzers, ohne dass dieser dafür mit weiteren Geräten oder Sensoren ausgestattet werden muss. Dies ermöglicht blickbasierte Interaktion mit öffentlichen Displays auch in jenen Situationen zu untersuchen und zu verstehen, in denen Nutzer in Bewegung sind und sich dem Display von verschiedenen Positionen aus nähern. Zweitens wird das System Read2Calibrate präsentiert, das Eye-Tracker implizit kalibriert, während Nutzer Texte auf Displays lesen. Der Prototyp EyeVote zeigt, wie man die Auswahl von Textantworten auf öffentlichen Displays per Blick ohne Kalibrierung ermöglichen kann. In einer Feldstudie mit EyeVote wird der Kompromiss zwischen Genauigkeit und Auswahlgeschwindigkeit unter der Verwendung kalibrierungsfreier Auswahltechniken untersucht. Die Implikationen der Ergebnisse für das Design von blickbasierter Interaktion öffentlicher Displays werden diskutiert. Abschließend wird erörtert wie die verwendete Methodik auf andere Bereiche, z.B. auf mobilie Geräte, angewendet werden kann

Sensors and Systems for Indoor Positioning

This reprint is a reprint of the articles that appeared in Sensors' (MDPI) Special Issue on “Sensors and Systems for Indoor Positioning". The published original contributions focused on systems and technologies to enable indoor applications

Integrating passive ubiquitous surfaces into human-computer interaction

Mobile technologies enable people to interact with computers ubiquitously. This dissertation investigates how ordinary, ubiquitous surfaces can be integrated into human-computer interaction to extend the interaction space beyond the edge of the display. It turns out that acoustic and tactile features generated during an interaction can be combined to identify input events, the user, and the surface. In addition, it is shown that a heterogeneous distribution of different surfaces is particularly suitable for realizing versatile interaction modalities. However, privacy concerns must be considered when selecting sensors, and context can be crucial in determining whether and what interaction to perform.Mobile Technologien ermöglichen den Menschen eine allgegenwärtige Interaktion mit Computern. Diese Dissertation untersucht, wie gewöhnliche, allgegenwärtige Oberflächen in die Mensch-Computer-Interaktion integriert werden können, um den Interaktionsraum über den Rand des Displays hinaus zu erweitern. Es stellt sich heraus, dass akustische und taktile Merkmale, die während einer Interaktion erzeugt werden, kombiniert werden können, um Eingabeereignisse, den Benutzer und die Oberfläche zu identifizieren. Darüber hinaus wird gezeigt, dass eine heterogene Verteilung verschiedener Oberflächen besonders geeignet ist, um vielfältige Interaktionsmodalitäten zu realisieren. Bei der Auswahl der Sensoren müssen jedoch Datenschutzaspekte berücksichtigt werden, und der Kontext kann entscheidend dafür sein, ob und welche Interaktion durchgeführt werden soll