Service-oriented Context-aware Framework

Location- and context-aware services are emerging technologies in mobile and desktop environments, however, most of them are difficult to use and do not seem to be beneficial enough. Our research focuses on designing and creating a service-oriented framework that helps location- and context-aware, client-service type application development and use. Location information is combined with other contexts such as the users' history, preferences and disabilities. The framework also handles the spatial model of the environment (e.g. map of a room or a building) as a context. The framework is built on a semantic backend where the ontologies are represented using the OWL description language. The use of ontologies enables the framework to run inference tasks and to easily adapt to new context types. The framework contains a compatibility layer for positioning devices, which hides the technical differences of positioning technologies and enables the combination of location data of various sources

UCAT: ubiquitous context awareness tools for the blind

Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2013As pessoas com deficiências visuais sofrem de uma constante falta de informação sobre o ambiente que as rodeia. Esta informação pode estar relacionada com locais, objetos e até mesmo pessoas. A inexistência de ajuda para combater esta falta de informação faz com que surjam situações em que uma pessoa cega só consegue resolver o seu problema recorrendo a ajuda de outras pessoas. São exemplos a identificação da presença de pessoas, informação escrita e outros detalhes de uma rotina diária. Os dispositivos móveis dos dias de hoje vêm equipados com uma grande extensão de sensores que possibilitam colmatar algumas destas falhas. Uma pessoa normovisual está habituada a recorrer à visão para obter informação sobre o ambiente que a rodeia. Sem grande esforço pode obter informação sobre proximidade de pessoas ou a sua movimentação. A mesma facilidade ocorre em reconhecer objetos ou orientar-se e compreender os locais onde se encontra. Esta informação é algo que pessoas cegas têm dificuldade em obter. Situações normais como identificar quem são as pessoas que os rodeiam torna-se uma tarefa mais complicada especialmente se estas não seguirem as regras de etiqueta social e fizerem notar a sua presença. A acessibilidade nos dispositivos móveis é uma área que ainda está a ser explorada e existem diversas possibilidades de uso que estes dispositivos permitem que ainda não são acessíveis para pessoas cegas. Cada vez mais os dispositivos móveis, em particular desde a chegada do iPhone, fornece a utilizadores cegos a possibilidade de acederem aplicações sociais, de lazer e de produtividade. Outros sistemas operativos e dispositivos seguem pelo mesmo caminho. O conjunto de características disponibilizadas por estes dispositivos nomeadamente para a localização, comunicação, armazenamento e processamento permitem criar ferramentas de perceção do ambiente para cegos cada vez mais ricas. Existem diversos trabalhos realizados para melhorar a orientação, localização, reconhecimento de objectos e proximidade (na maioria dos casos a obstáculos). Muitos deles focam-se em ambientes interiores, outros em ambientes exteriores. Uns em objects, outros têm uma componente maos social. O problema de todos estes projectos é que nenhum deles oferece uma solução complete e acessivel para pessoas cegas. As falhas existentes em cada um destes projectos deixa em aberto a possibilidade para que fosse desenvolvido um Sistema que não só junta-se todas as caracteristicas de awareness que pudessem ajudar uma pessoa cega mas também tornar este Sistema acessivel. No entanto mesmo com tantas aplicações e projectos existe uma falha no que toca a ferramentas que tratem de perceção implícita, que forneça informação sobre o ambiente que nos rodeia dentro de contexto. O nosso projeto focou-se em identificar as necessidades de informação de uma pessoa cega no que diz respeito à falta de informação. Foi realizada uma entrevista preliminar para que pudéssemos perceber as limitações e as necessidades que as pessoas cegas enfrentam quando confrontadas com ambientes sociais. A entrevista tinha como foco um perfil básico dos utilizadores e questões sobre o seu uso da tecnologia utilizada no projeto assim como questões sobre cenários onde a perceção do ambiente é limitada. A grande maioria da entrevista focou-se em questões sobre perceção, particularmente tendo em atenção a orientação em ambientes novos e ambientes já conhecidos, as dificuldades que normalmente encontram em situações sociais e de que maneira ou que comportamentos desenvolveram para tentar facilitar o seu dia-a-dia. Tentamos perceber quais as maiores fontes de desconforto que estão habituados a enfrentar e quais delas é que causam mais transtorno. A primeira causa apontada como fonte de desconforto foi a falta de conhecimento das pessoas que os rodeiam, tanto saber quem são como quantas pessoas são. Também fizemos a questão sobre o quão fácil é para eles ter a perceção de quem os rodeia, se é uma tarefa fácil de realizar e especialmente se tinham dificuldade em perceber a entrada e saída de pessoas no seu espaço. Todos os participantes afirmaram que seria bom obter mais informação sobre o ambiente que os rodeia, apesar de apontarem que esta ferramenta deveria passar despercebida e ser subtil na sua tarefa. Após analisarmos os resultados das entrevistas e de termos em conta os cenários mencionados pelos utilizadores assim como os cenários que tínhamos pensado para a implementação do sistema foi desenvolvido um sistema com a intenção de explorar estes novos cenários e fazer uma avaliação mais completa da aplicação e os seus benefícios. Após a implementação do sistema este foi submetido a uma fase de avaliação que durou uma semana e meia efetuada com utilizadores cegos para que pudéssemos tirar resultados não só do resultado da implementação do sistema mas do seu impacto para um utilizador cego. Sobre este Sistema foi feita uma avaliação de uma semana e meia, efectuada com utilizadores cegos durante a qual eles tiveram a oportunidade de explorer as capacidades do Sistema e utilizar durante o seu dia a dia normal a aplicaçao e retirar o máximo que conseguissem. Foi uma avaliação sem guião, logo os utilizadores não tinham tarefas explicitas apenas tinham que utilizar o Sistema à sua conveniência. Durante esse período de avaliação os utilizadores deram-nos feedback diário de como se estava a comportar o Sistema para que pudéssemos obter dados de uso diário. Foi também efectuado no final da avaliação questionários e uma entrevista final para recolher todas as informações possíveis por parte dos utilizadores que fizeram parte da avaliação. Analisamos esses dados e retirámos algumas conclusões. No geral os utilizadores estiveram satisfeitos com a informação produzida pela aplicação, foi de facto um aumento, na grande maioria dos casos, aquilo a que estão normalmente habituados. Sempre que eram notificados sentiram necessidade de explorar a notificação e perceber melhor qual a informação que a aplicação lhes estava a tentar fornecer. Verificou-se o interesse por parte dos participantes quando estes tentavam procurar por pessoas novas implicitamente. Todos os participantes confirmaram que o conhecimento sobre o ambiente que os rodeava foi de facto enriquecido. Houve mais facilidade em identificar pessoas quando estas chegavam a um local. Nos últimos anos tem sido feito um esforço para aumentar a acessibilidade a dispositivos e à informação disponível nestes (Ex: através de leitores de ecrã). No entanto, o mundo real apresenta muita informação que é oferecida de forma visualmente que é assim inacessível a uma pessoa cega. Esta é uma limitação a ter em consideração que pode ajudar à interação social e a compreensão do ambiente que rodeia o utilizador. Não existem sistemas que sejam capazes de fornecer a uma pessoa cega informação tão simples como quem é que se encontra à sua volta, quem é que passou próximo de si, quem é que ainda se encontra numa sala, quais as lojas mais próximas de si ou restaurantes ou simplesmente o que está escrito no placard de notícias. Da mesma maneira, existe a falta de ferramentas que lhes permitam adicionar a sua própria informação a ambientes, que possam partilhar essa informação e servirem-se dela para se entreajudarem em situações mais complicadas. Mostramos estas limitações, necessidades e desejos das pessoas cegas em obter informação sobre o ambiente que as rodeia. Tentando dar o enfâse no aspeto social da ferramenta, focámo-nos muito nas pessoas e na necessidade pessoal de cada individuo.Visually impaired people are often confronted with new environments and they find themselves face to face with an innumerous amount of difficulties when facing these environments. Having to surpass and deal with these difficulties that arise with their condition is something that we can help diminish. They are one sense down when trying to understand their surrounding environments and gather information about what is happening around them. It is difficult for blind people to be comfortable in places where they can’t achieve a proper perception of the environment, considering the difficulty to understand where they are, where are the things they want, who are the people around them, what is around them and how to safely get somewhere or accomplish a particular task. Nowadays, mobile devices present significant computing and technological capacity which has been increasing to the point where it is very common for most people to have access to a device with Bluetooth, GPS, Wi-Fi, and both high processing and storage capacities. This allows us to think of applications that can do so much to help people with difficulties. In the particular case of blind people, the lack of visual information can be bypassed with other contextual information retrieved by their own personal devices. Mobile devices are ubiquitous and are able to be used virtually anywhere and allow connectivity with one another. This also allows their users to save information and convey it through several devices, which means that we can easily share data, augmenting our possibilities beyond what a single device can do. Our goal is to provide information to blind users, be able to give them information about the context that surrounds them. We wanted to provide the blind users with the tools to create information and be able to share this information between each other, information about people, locations or objects. Our approach was to split the project into a data and information gathering phase where we did our field search and interviewed and elaborated on how is the situation of environment perception for blind users, followed by a technical phase where we implement a system based on the first stage. Our results gathered from both the collecting phase and our implementing phase showed that there is potential to use these tools in the blind community and that they welcome the possibilities and horizons that it opens them

Indoor Semantic Modelling for Routing: The Two-Level Routing Approach for Indoor Navigation

Humans perform many activities indoors and they show a growing need for indoor navigation, especially in unfamiliar buildings such as airports, museums and hospitals. Complexity of such buildings poses many challenges for building managers and visitors. Indoor navigation services play an important role in supporting these indoor activities. Indoor navigation covers extensive topics such as: 1) indoor positioning and localization; 2) indoor space representation for navigation model generation; 3) indoor routing computation; 4) human wayfinding behaviours; and 5) indoor guidance (e.g., textual directories). So far, a large number of studies of pedestrian indoor navigation have presented diverse navigation models and routing algorithms/methods. However, the major challenge is rarely referred to: how to represent the complex indoor environment for pedestrians and conduct routing according to the different roles and sizes of users. Such complex buildings contain irregular shapes, large open spaces, complicated obstacles and different types of passages. A navigation model can be very complicated if the indoors are accurately represented. Although most research demonstrates feasible indoor navigation models and related routing methods in regular buildings, the focus is still on a general navigation model for pedestrians who are simplified as circles. In fact, pedestrians represent different sizes, motion abilities and preferences (e.g., described in user profiles), which should be reflected in navigation models and be considered for indoor routing (e.g., relevant Spaces of Interest and Points of Interest). In order to address this challenge, this thesis proposes an innovative indoor modelling and routing approach – two-level routing. It specially targets the case of routing in complex buildings for distinct users. The conceptual (first) level uses general free indoor spaces: this is represented by the logical network whose nodes represent the spaces and edges stand for their connectivity; the detailed (second) level focuses on transition spaces such as openings and Spaces of Interest (SOI), and geometric networks are generated regarding these spaces. Nodes of a geometric network refers to locations of doors, windows and subspaces (SOIs) inside of the larger spaces; and the edges represent detailed paths among these geometric nodes. A combination of the two levels can represent complex buildings in specified spaces, which avoids maintaining a largescale complete network. User preferences on ordered SOIs are considered in routing on the logical network, and preferences on ordered Points of Interest (POI) are adopted in routing on geometric networks. In a geometric network, accessible obstacle-avoiding paths can be computed for users with different sizes. To facilitate automatic generation of the two types of network in any building, a new data model named Indoor Navigation Space Model (INSM) is proposed to store connectivity, semantics and geometry of indoor spaces for buildings. Abundant semantics of building components are designed in INSM based on navigational functionalities, such as VerticalUnit(VU) and HorizontalConnector(HC) as vertical and horizontal passages for pedestrians. The INSM supports different subdivision ways of a building in which indoor spaces can be assigned proper semantics. A logical and geometric network can be automatically derived from INSM, and they can be used individually or together for indoor routing. Thus, different routing options are designed. Paths can be provided by using either the logical network when some users are satisfied with a rough description of the path (e.g., the name of spaces), or a geometric path is automatically computed for a user who needs only a detailed path which shows how obstacles can be avoided. The two-level routing approach integrates both logical and geometric networks to obtain paths, when a user provides her/his preferences on SOIs and POIs. For example, routing results for the logical network can exclude unrelated spaces and then derive geometric paths more efficiently. In this thesis, two options are proposed for routing just on the logical network, three options are proposed for routing just on the geometric networks, and seven options for two-level routing. On the logical network, six routing criteria are proposed and three human wayfinding strategies are adopted to simulate human indoor behaviours. According to a specific criterion, space semantics of logical nodes is utilized to assign different weights to logical nodes and edges. Therefore, routing on the logical network can be accomplished by applying the Dijkstra algorithm. If multiple criteria are adopted, an order of criteria is applied for routing according to a specific user. In this way, logical paths can be computed as a sequence of indoor spaces with clear semantics. On geometric networks, this thesis proposes a new routing method to provide detailed paths avoiding indoor obstacles with respect to pedestrian sizes. This method allows geometric networks to be derived for individual users with different sizes for any specified spaces. To demonstrate the use of the two types of network, this thesis tests routing on one level (the logical or the geometric network). Four case studies about the logical network are presented in both simple and complex buildings. In the simple building, no multiple paths lie between spaces A and B, but in the complex buildings, multiple logical paths exist and the candidate paths can be reduced by applying these routing criteria in an order for a user. The relationships of these criteria to user profiles are assumed in this thesis. The proposed geometric routing regarding user sizes is tested with three case studies: 1) routing for pedestrians with two distinct sizes in one space; 2) routing for pedestrians with changed sizes in one space; and 3) a larger geometric network formed by the ones in a given sequence of spaces. The first case shows that a small increase of user size can largely change the accessible path; the second case shows different path segments for distinct sizes can be combined into one geometric path; the third case demonstrates a geometric network can be created ’on the fly’ for any specified spaces of a building. Therefore, the generation and routing of geometric networks are very flexible and fit to given users. To demonstrate the proposed two-level routing approach, this thesis designs five cases. The five cases are distinguished according to the method of model creation (pre-computed or ’on-the-fly’) and model storage (on the client or server). Two of them are realized in this thesis: 1) Case 1 just in the client pre-computes the logical network and derives geometric networks ’on the fly’; 2) Case 2 just in the client pre-computes and stores the logical and geometric networks for certain user sizes. Case 1 is implemented in a desktop application for building managers, and Case 2 is realized as a mobile mock-up for mobile users without an internet connection. As this thesis shows, two-level routing is powerful enough to effectively provide indicative logical paths and/or comprehensive geometric paths, according to different user requirements on path details. In the desktop application, three of the proposed routing options for two-level routing are tested for the simple OTB building and the complex Schiphol Airport building. These use cases demonstrate that the two-level routing approach includes the following merits: It supports routing in different abstraction forms of a building. The INSM model can describe different subdivision results of a building, and it allows two types of routing network to be derived – pure logical and geometric ones. The logical network contains the topology and semantics of indoor spaces, and the geometric network provides accurate geometry for paths. A consistent navigation model is formed with the two networks, i.e., the conceptual and detailed levels. On the conceptual level, it supports routing on a logical network and assists the derivation of a conceptual path (i.e., logical path) for a user in terms of space sequence. Routing criteria are designed based on the INSM semantics of spaces, which can generate logical paths similar to human wayfinding results such as minimizing VerticalUnit or HorizontalConnector. On the detailed level, it considers the size of users and results in obstacle-avoiding paths. By using this approach, geometric networks can be generated to avoid obstacles for the given users and accessible paths are flexibly provided for user demands. This approach can process changes of user size more efficiently, in contrast to routing on a complete geometric network. It supports routing on both the logical and the geometric networks, which can generate geometric paths based on user-specific logical paths, or re-compute logical paths when geometric paths are inaccessible. This computation method is very useful for complex buildings. The two-level routing approach can flexibly provide logical and geometric paths according to user preferences and sizes, and can adjust the generated paths in limited time. Based on the two-level routing approach, this thesis also provides a vision on possible cooperation with other methods. A potential direction is to design more routing options according to other indoor scenarios and user preferences. Extensions of the two-level routing approach, such as other types of semantics, multi-level networks and dynamic obstacles, will make it possible to deal with other routing cases. Last but not least, it is also promising to explore its relationships with indoor guidance, different building subdivisions and outdoor navigation. &nbsp