Markov Decision Processes with Applications in Wireless Sensor Networks: A Survey

Wireless sensor networks (WSNs) consist of autonomous and resource-limited devices. The devices cooperate to monitor one or more physical phenomena within an area of interest. WSNs operate as stochastic systems because of randomness in the monitored environments. For long service time and low maintenance cost, WSNs require adaptive and robust methods to address data exchange, topology formulation, resource and power optimization, sensing coverage and object detection, and security challenges. In these problems, sensor nodes are to make optimized decisions from a set of accessible strategies to achieve design goals. This survey reviews numerous applications of the Markov decision process (MDP) framework, a powerful decision-making tool to develop adaptive algorithms and protocols for WSNs. Furthermore, various solution methods are discussed and compared to serve as a guide for using MDPs in WSNs

Performance of management solutions and cooperation approaches for vehicular delay-tolerant networks

A wide range of daily-life applications supported by vehicular networks attracted the interest, not only from the research community, but also from governments and the automotive industry. For example, they can be used to enable services that assist drivers on the roads (e.g., road safety, traffic monitoring), to spread commercial and entertainment contents (e.g., publicity), or to enable communications on remote or rural regions where it is not possible to have a common network infrastructure. Nonetheless, the unique properties of vehicular networks raise several challenges that greatly impact the deployment of these networks. Most of the challenges faced by vehicular networks arise from the highly dynamic network topology, which leads to short and sporadic contact opportunities, disruption, variable node density, and intermittent connectivity. This situation makes data dissemination an interesting research topic within the vehicular networking area, which is addressed by this study. The work described along this thesis is motivated by the need to propose new solutions to deal with data dissemination problems in vehicular networking focusing on vehicular delay-tolerant networks (VDTNs). To guarantee the success of data dissemination in vehicular networks scenarios it is important to ensure that network nodes cooperate with each other. However, it is not possible to ensure a fully cooperative scenario. This situation makes vehicular networks suitable to the presence of selfish and misbehavior nodes, which may result in a significant decrease of the overall network performance. Thus, cooperative nodes may suffer from the overwhelming load of services from other nodes, which comprises their performance. Trying to solve some of these problems, this thesis presents several proposals and studies on the impact of cooperation, monitoring, and management strategies on the network performance of the VDTN architecture. The main goal of these proposals is to enhance the network performance. In particular, cooperation and management approaches are exploited to improve and optimize the use of network resources. It is demonstrated the performance gains attainable in a VDTN through both types of approaches, not only in terms of bundle delivery probability, but also in terms of wasted resources. The results and achievements observed on this research work are intended to contribute to the advance of the state-of-the-art on methods and strategies for overcome the challenges that arise from the unique characteristics and conceptual design of vehicular networks.O vasto número de aplicações e cenários suportados pelas redes veiculares faz com que estas atraiam o interesse não só da comunidade científica, mas também dos governos e da indústria automóvel. A título de exemplo, estas podem ser usadas para a implementação de serviços e aplicações que podem ajudar os condutores dos veículos a tomar decisões nas estradas, para a disseminação de conteúdos publicitários, ou ainda, para permitir que existam comunicações em zonas rurais ou remotas onde não é possível ter uma infraestrutura de rede convencional. Contudo, as propriedades únicas das redes veiculares fazem com que seja necessário ultrapassar um conjunto de desafios que têm grande impacto na sua aplicabilidade. A maioria dos desafios que as redes veiculares enfrentam advêm da grande mobilidade dos veículos e da topologia de rede que está em constante mutação. Esta situação faz com que este tipo de rede seja suscetível de disrupção, que as oportunidades de contacto sejam escassas e de curta duração, e que a ligação seja intermitente. Fruto destas adversidades, a disseminação dos dados torna-se um tópico de investigação bastante promissor na área das redes veiculares e por esta mesma razão é abordada neste trabalho de investigação. O trabalho descrito nesta tese é motivado pela necessidade de propor novas abordagens para lidar com os problemas inerentes à disseminação dos dados em ambientes veiculares. Para garantir o sucesso da disseminação dos dados em ambientes veiculares é importante que este tipo de redes garanta a cooperação entre os nós da rede. Contudo, neste tipo de ambientes não é possível garantir um cenário totalmente cooperativo. Este cenário faz com que as redes veiculares sejam suscetíveis à presença de nós não cooperativos que comprometem seriamente o desempenho global da rede. Por outro lado, os nós cooperativos podem ver o seu desempenho comprometido por causa da sobrecarga de serviços que poderão suportar. Para tentar resolver alguns destes problemas, esta tese apresenta várias propostas e estudos sobre o impacto de estratégias de cooperação, monitorização e gestão de rede no desempenho das redes veiculares com ligações intermitentes (Vehicular Delay-Tolerant Networks - VDTNs). O objetivo das propostas apresentadas nesta tese é melhorar o desempenho global da rede. Em particular, as estratégias de cooperação e gestão de rede são exploradas para melhorar e optimizar o uso dos recursos da rede. Ficou demonstrado que o uso deste tipo de estratégias e metodologias contribui para um aumento significativo do desempenho da rede, não só em termos de agregados de pacotes (“bundles”) entregues, mas também na diminuição do volume de recursos desperdiçados. Os resultados observados neste trabalho procuram contribuir para o avanço do estado da arte em métodos e estratégias que visam ultrapassar alguns dos desafios que advêm das propriedades e desenho conceptual das redes veiculares