CMQ - A lightweight, asynchronous high-performance messaging queue for the cloud

In cloud computing environments guarantees, consistency mechanisms, (shared) state and transactions are frequently traded for robustness, scalability and performance. Based on this challenge we present CMQ, a UDP-based inherently asynchronous message queue to orchestrate messages, events and processes in the cloud. CMQ's inherently asynchronous design is shown to perform especially well in modern Layer 2 switches in data center networks, as well as in the presence of errors. CMQ's lightweight edge-to-edge design, which is somewhat similar to Unix Pipes, makes it very composable. By presenting our work, we hope to initiate discussion on how to implement lightweight messaging paradigms that are aligned with the overall architectures and goals of cloud computing

Functional programming languages in computing clouds: practical and theoretical explorations

Cloud platforms must integrate three pillars: messaging, coordination of workers and data. This research investigates whether functional programming languages have any special merit when it comes to the implementation of cloud computing platforms. This thesis presents the lightweight message queue CMQ and the DSL CWMWL for the coordination of workers that we use as artefact to proof or disproof the special merit of functional programming languages in computing clouds. We have detailed the design and implementation with the broad aim to match the notions and the requirements of computing clouds. Our approach to evaluate these aims is based on evaluation criteria that are based on a series of comprehensive rationales and specifics that allow the FPL Haskell to be thoroughly analysed. We find that Haskell is excellent for use cases that do not require the distribution of the application across the boundaries of (physical or virtual) systems, but not appropriate as a whole for the development of distributed cloud based workloads that require communication with the far side and coordination of decoupled workloads. However, Haskell may be able to qualify as a suitable vehicle in the future with future developments of formal mechanisms that embrace non-determinism in the underlying distributed environments leading to applications that are anti-fragile rather than applications that insist on strict determinism that can only be guaranteed on the local system or via slow blocking communication mechanisms

Functional programming languages in computing clouds: practical and theoretical explorations

Cloud platforms must integrate three pillars: messaging, coordination of workers and data. This research investigates whether functional programming languages have any special merit when it comes to the implementation of cloud computing platforms. This thesis presents the lightweight message queue CMQ and the DSL CWMWL for the coordination of workers that we use as artefact to proof or disproof the special merit of functional programming languages in computing clouds. We have detailed the design and implementation with the broad aim to match the notions and the requirements of computing clouds. Our approach to evaluate these aims is based on evaluation criteria that are based on a series of comprehensive rationales and specifics that allow the FPL Haskell to be thoroughly analysed. We find that Haskell is excellent for use cases that do not require the distribution of the application across the boundaries of (physical or virtual) systems, but not appropriate as a whole for the development of distributed cloud based workloads that require communication with the far side and coordination of decoupled workloads. However, Haskell may be able to qualify as a suitable vehicle in the future with future developments of formal mechanisms that embrace non-determinism in the underlying distributed environments leading to applications that are anti-fragile rather than applications that insist on strict determinism that can only be guaranteed on the local system or via slow blocking communication mechanisms

A comparative study of software architectures in constrained-device iot deployments

Since its inception in 2009, the Internet of Things (IoT) has grown dramatically in both size and complexity. One of the areas that has seen significant developments is that of resourceconstrained devices. Such devices clearly require careful engineering in order to manage resources such as energy and memory, whilst still ensuring acceptable performance. A number of aspects play a critical role in the engineering of such systems. One such aspect is the choice of software architecture. The microservices architecture appears to be a promising approach for IoT, as suggested by a number of researchers. However, limited research has been done on the implementation of microservices in IoT and resource-constrained devices, and even less research has been done to compare the microservices architecture to the monolithic architecture in such deployments. The aim of this research thesis was to compare these two architectures in the context of IoT and constrained devices. The two architectures were compared by: energy consumption, runtime performance and memory consumption. To ensure that the results are not specific to a single programming language, each architecture was developed in three different languages: Go, Python and C++. Following a review of different asynchronous messaging protocols, Message Queuing Telemetry Transport was selected. The experiments were conducted on a Raspberry Pi 4, and a number of other hardware devices were used, including sensors, an actuator and a type C USB Tester. Two metrics were used to measure power consumption: maximum instantaneous power consumption and total power consumption. Whilst three metrics were used to measure memory consumption: maximum Resident Set Size (RSS), total RSS and central processing unit (CPU) resource usage. Each experiment was carried out 10 times in order to ensure data validity. The power consumption results showed that the microservices architecture had, on average, 14,9% higher maximum instantaneous power consumption, whilst the total power consumption of the microservices architecture was only 3,0% greater than that of the monolithic architecture. The runtime results indicated that the microservices architecture had a longer runtime than the monolithic architecture for Go and C++, whilst the inverse was true for Python. When considering memory consumption, it was found that the maximum RSS was 37,1% greater for the microservices architecture. The total RSS results for both architectures were very similar for Go and C++, whilst microservices performed much better for Python. Lastly, the results for CPU usage showed that the monolithic architecture had, on average, 14,9% greater CPU usage than the microservices architecture. It was concluded that, for small-scale applications, the monolithic architecture had better performance across most metrics and languages. It was, however,recommended that additional research be conducted on larger scale applications to determine the applicability of these results beyond the scope of small-scale applications. In general, there is still much room for research in this area.A Web e a Internet das Coisas (WoT/IoT) são áreas empolgantes que, sem dúvida, continuarão a desenvolver-se nos próximos anos. À medida que vão sendo feitos novos desenvolvimentos nestas áreas, e vários tipos de objetos se tornam “Coisas”, é expectável que a limitação de recursos seja cada vez mais uma preocupação. Atualmente já existem muitos dispositivos que possuem recursos limitados por vários motivos, como a sua localização em locais difíceis ou remotos (ex: sensores implantáveis ou sensores de erupção vulcânica) ou necessidade de trabalhar enquanto estão em movimento (ex: dispositivos vestíveis). Assim sendo, a necessidade de usar-se os recursos de forma eficiente será cada ver maior. O objetivo primordial desta tese foi o de analisar a utilização de recursos por parte de uma aplicação IoT, considerando duas arquiteturas de software diferentes, implementada num dispositivo com poucos recursos. O dispositivo escolhido é um Raspberry Pi 4, dado ser um dispositivo embarcado bastante adequado para realização de testes. As arquiteturas que foram comparadas neste estudo foram: microsserviços e monolítica. Para garantir que os resultados não fossem específicos da linguagem utilizada, o desenvolvimento foi feito em três linguagens de programação: Go, Python e C++. Embora seja possível encontrar estudos que analisam como as linguagens de programação utilizam os recursos, apenas foi encontrado um estudo cujo foco é a eficiência energética, memória e tempo de execução em dispositivos com recursos limitados, não tendo sido encontrado nenhum estudo que compare o desempenho das arquiteturas de software em dispositivos com recursos limitados. A adoção de uma arquitetura de microsserviços em ambientes WoT/IoT tem vantagens, como modularidade, flexibilidade e facilidade de manutenção. Vários estudos referem que esta arquitetura é adequada para WoT/IoT, pois compartilha muitos dos mesmos objetivos. WoT/IoT é inerentemente dinâmico e tem muitos pontos de extremidade, o que pode apresentar desafios de desenho e implementação. Uma arquitetura como microsserviços pode explorar estas caracteristicas, transformando estes desafios em vantagens. No entanto, não foi encontrada investigação que compare o desempenho da arquitetura de microsserviços com a arquitetura monolítica, especialmente no contexto IoT, tendo sido este o foco desta tese. A escolha do protocolo de transferência de mensagens, para comunicação entre os vários microsserviços, foi também analisada. Um protocolo de transferência leve será o mais adequado, para dispositivos que têm recursos limitados, e três opções foram consideradas em mais profundidade: MQTT (Message Queuing Telemetry Transport), AMQP (Advanced Message Queuing Protocol) e CoAP (Constrained Application Protocol). Da análise feita, verificou-se que o MQTT é limitado na qualidade de serviço, seguranca e confiabilidade que oferece, isto quando comparado com o AMQP, sendo por isso um protocolo mais leve. Ao comparar-se MQTT e CoAP, verificou-se que ambos os protocolos oferecem vários benefícios, tendo o MQTT sido escolhido para os testes realizados. A abordagem técnica que foi adotada é descrita em detalhe, incluindo os componentes de hardware necessários para o projeto e o software necessário para a recolha de medições. Foi ainda delineada uma metodologia experimental, a qual foi seguida de perto. Foram obtidos resultados que permitem analisar em detalhe o consumo de energia, o tempo de execução e o consumo de memória. Quanto ao consumo de energia, em específico, recolhe-se o consumo de energia instantâneo máximo e o consumo de energia total. Desta análise verificou-se que o consumo de energia instantâneo máximo da arquitetura de microserviços foi, em média, e em todas as linguagens, 14.9% maior do que o consumo obtido para a arquitetura monolítica. Verificou-se também que a linguagem Go tem o maior consumo de energia instantâneo máximo, para ambas as arquiteturas, enquanto que o Python e o C++ tiveram medidas semelhantes. Os resultados para o consumo total de energia (durante o tempo de execução total) foram ligeiramente diferentes. Ao comparar-se as duas arquiteturas, deduziu-se que os valores de consumo de energia eram muito semelhantes e, em média, e em todas as linguagens, a arquitetura de microsserviços consumia apenas 3.0% a mais que a arquitetura monolítica. Também foi verificado que ao usar-se a arquitetura monolítica, o consumo total de energia era quase idêntico em todos as linguagens. Com a arquitetura de microserviços, o Python teve o maior consumo, seguido do Go e C++, embora os valores não tenham diferido muito. Também ficou claro que, embora o consumo de energia instantâneo máximo possa ser útil para entender os requisitos de energia de pico, não é diretamente proporcional ao consumo de energia total. Por exemplo, o Python teve o menor consumo de energia instantâneo máximo, mas o maior consumo de energia total. A segunda parte dos resultados considerou o desempenho no que diz respeito ao tempo de execução. Considerando apenas a arquitetura, verificou-se que a quitetura de microsserviços tinha um tempo de execução maior do que a arquitetura monolítica para Go e C++, enquanto o inverso era verdadeiro para o Python, o que pode estar relacionado com a otimizacao de simultaneidade vinculada à unidade central de processamento (CPU), pelas diferentes linguagens. Ao comparar o tempo de execução das linguagens de programacao, os resultados ficaram amplamente em linha com as expetativas. C++ teve o menor tempo de execução, seguido de perto pelo Go. O Python teve um tempo de execução significativamente mais longo, o que faz sentido já que o Python é a única linguagem interpretada que foi usada neste projeto. Foi interessante notar que o tempo de execução do Python foi muito maior ao usar-se uma arquitetura monolítica do que ao usar-se uma arquitetura de microserviços, o que não foi o caso do C++ ou Go. Com a arquitetura de microserviços, o Python teve um tempo de execução médio 319.4% maior do que o do C++, enquanto que o tempo de execuçao médio do Go foi 31.5% maior do que o do C++. Diferenças semelhantes foram observadas para a arquitetura monolítica. O consumo de memória foi medido usando três métricas diferentes: tamanho do conjunto residente (RSS) máximo, RSS total e uso de CPU. A comparação do RSS máximo, em cada arquitetura, mostrou que o RSS máximo para a arquitetura de microserviços foi 37.1% maior do que para a arquitetura monolítica. A diferença foi especialmente significativa para Python (65.9% de diferença). Verificou-se que o Go teve um RSS máximo significativamente maior do que as outras linguagens, para ambas as arquiteturas. O Python teve o menor RSS máximo na arquitetura monolítica, enquanto que o C++ teve o menor para a arquitetura de microserviços. Os resultados para o RSS total foram muito diferentes do RSS máximo, tanto por arquitetura como por linguagem usada. Mais concretamente, as medidas totais de RSS para Go e C++ nao diferiam muito por arquitetura, embora houvesse uma grande diferença quando comparado com o Python. Em média o RSS total foi 127.0% maior para a arquitetura monolítica do que para a arquitetura de microserviços, ao usar-se Python. Comparando por linguagem, o RSS total do Python foi significativamente maior do que para as outras duas linguagens, especialmente para a arquitetura monolítica, enquanto o Go e C++ tiveram medições RSS totais muito semelhantes. A última métrica de consumo de memória considerada foi o uso médio da CPU. Verificou-se que a arquitetura monolítica teve, em média, 14.9% maior utilização de CPU do que a arquitetura de microserviços, e a maior diferença foi observada para o Python. Uma comparação por linguagem mostrou que o Go teve a maior utilização de CPU, para ambas as arquiteturas. O C++ teve a segunda maior utilização de CPU, e o Python teve a menor utilização. Estas conclusões foram de encontro às expectativas, já que o Go tem processos integrados leves (rotinas Go), podendo otimizar a utilização de CPU. Esta dissertação produziu, em geral, resultados muito interessantes, uns mais esperados que outros. Os resultados mostraram que a arquitetura monolítica teve melhor desempenho na maioria das métricas, ou seja, consumo de energia instantâneo máximo, consumo de energia total (apenas para o Go e Python), tempo de execução geral (apenas para o Go e C++), RSS e CPU máximos. Deste modo, é possível concluir que ao implementar-se aplicações de pequena escala, em dispositivos IoT, a arquitetura monolítica pode oferecer mais benefícios. É bastante provável, no entanto, que a arquitetura de microserviços possa superar a arquitetura monolítica em aplicações de maior escala. A dimensão da aplicação deve, por isso, ser considerada ao escolherse uma arquitetura de software. Claramente, ainda existe muito espaço para contribuição nesta área de investigação. A investigação encontrada sobre o desempenho da arquitetura de microserviços, em comparação com a arquitetura monolítica, é limitafa e não foi encontrada investigação no contexto da IoT. Isto acaba por ser surpreendente, pois muitas empresas estão já a adotar microserviços e tem havido um aumento das pesquisas relacionadas com esta arquitetura. Assim sendo, compreender quais as vantagens e desvantagens desta arquitetura tornou-se muito pertinente. Embora esta dissertação tenha analisado a arquitetura de microsserviços, e tendo esta sido comparada com a arquitetura monolítica, considerando diferentes linguagens, a análise é feita numa escala relativamente pequena, quanto ao número de componentes de serviço, e num único dispositivo embarcado. A análise de aplicações de maior escala forneceria, certamente, perceções adicionais muito valiosas

Autonomic behavioural framework for structural parallelism over heterogeneous multi-core systems.

With the continuous advancement in hardware technologies, significant research has been devoted to design and develop high-level parallel programming models that allow programmers to exploit the latest developments in heterogeneous multi-core/many-core architectures. Structural programming paradigms propose a viable solution for e ciently programming modern heterogeneous multi-core architectures equipped with one or more programmable Graphics Processing Units (GPUs). Applying structured programming paradigms, it is possible to subdivide a system into building blocks (modules, skids or components) that can be independently created and then used in di erent systems to derive multiple functionalities. Exploiting such systematic divisions, it is possible to address extra-functional features such as application performance, portability and resource utilisations from the component level in heterogeneous multi-core architecture. While the computing function of a building block can vary for di erent applications, the behaviour (semantic) of the block remains intact. Therefore, by understanding the behaviour of building blocks and their structural compositions in parallel patterns, the process of constructing and coordinating a structured application can be automated. In this thesis we have proposed Structural Composition and Interaction Protocol (SKIP) as a systematic methodology to exploit the structural programming paradigm (Building block approach in this case) for constructing a structured application and extracting/injecting information from/to the structured application. Using SKIP methodology, we have designed and developed Performance Enhancement Infrastructure (PEI) as a SKIP compliant autonomic behavioural framework to automatically coordinate structured parallel applications based on the extracted extra-functional properties related to the parallel computation patterns. We have used 15 di erent PEI-based applications (from large scale applications with heavy input workload that take hours to execute to small-scale applications which take seconds to execute) to evaluate PEI in terms of overhead and performance improvements. The experiments have been carried out on 3 di erent Heterogeneous (CPU/GPU) multi-core architectures (including one cluster machine with 4 symmetric nodes with one GPU per node and 2 single machines with one GPU per machine). Our results demonstrate that with less than 3% overhead, we can achieve up to one order of magnitude speed-up when using PEI for enhancing application performance

Satellite Networks: Architectures, Applications, and Technologies

Since global satellite networks are moving to the forefront in enhancing the national and global information infrastructures due to communication satellites' unique networking characteristics, a workshop was organized to assess the progress made to date and chart the future. This workshop provided the forum to assess the current state-of-the-art, identify key issues, and highlight the emerging trends in the next-generation architectures, data protocol development, communication interoperability, and applications. Presentations on overview, state-of-the-art in research, development, deployment and applications and future trends on satellite networks are assembled

Investigation into a best practice model for providing an integrated user experience with mobile cloud applications

Mobile Cloud Computing promises to overcome the physical limitations of mobile devices by executing demanding mobile applications on cloud infrastructure. In practice, implementing this paradigm is difficult; network disconnection often occurs, bandwidth may be limited, and a large power draw is required from the battery, resulting in a poor user experience. This thesis presents a mobile cloud middleware solution, Context Aware Mobile Cloud Services (CAMCS), which provides cloudbased services to mobile devices, in a disconnected fashion. An integrated user experience is delivered by designing for anticipated network disconnection, and low data transfer requirements. CAMCS achieves this by means of the Cloud Personal Assistant (CPA); each user of CAMCS is assigned their own CPA, which can complete user-assigned tasks, received as descriptions from the mobile device, by using existing cloud services. Service execution is personalised to the user's situation with contextual data, and task execution results are stored with the CPA until the user can connect with his/her mobile device to obtain the results. Requirements for an integrated user experience are outlined, along with the design and implementation of CAMCS. The operation of CAMCS and CPAs with cloud-based services is presented, specifically in terms of service description, discovery, and task execution. The use of contextual awareness to personalise service discovery and service consumption to the user's situation is also presented. Resource management by CAMCS is also studied, and compared with existing solutions. Additional application models that can be provided by CAMCS are also presented. Evaluation is performed with CAMCS deployed on the Amazon EC2 cloud. The resource usage of the CAMCS Client, running on Android-based mobile devices, is also evaluated. A user study with volunteers using CAMCS on their own mobile devices is also presented. Results show that CAMCS meets the requirements outlined for an integrated user experience