Enhancing Fault / Intrusion Tolerance through Design and Configuration Diversity

Fault/intrusion tolerance is usually the only viable way of improving the system dependability and security in the presence of continuously evolving threats. Many of the solutions in the literature concern a specific snapshot in the production or deployment of a fault-tolerant system and no immediate considerations are made about how the system should evolve to deal with novel threats. In this paper we outline and evaluate a set of operating systems’ and applications’ reconfiguration rules which can be used to modify the state of a system replica prior to deployment or in between recoveries, and hence increase the replicas chance of a longer intrusion-free operation

Discrete Moving Target Defense Application and Benchmarking in Software-Defined Networking

Moving Target Defense is a technique focused on disrupting certain phases of a cyber-attack. The static nature of the existing networks gives the adversaries an adequate amount of time to gather enough data concerning the target and succeed in mounting an attack. The random host address mutation is a well-known MTD technique that hides the actual IP address from external scanners. When the host establishes a session of transmitting or receiving data, due to mutation interval, the session is interrupted, leading to the host’s unavailability. Moving the network configuration creates overhead on the controller and additional switching costs resulting in latency, poor performance, packet loss, and jitter. In this dissertation, we proposed a novel discrete MTD technique in software-defined networking (SDN) to individualize the mutation interval for each host. The host IP address is changed at different intervals to avoid the termination of the existing sessions and to increase complexity in understanding mutation intervals for the attacker. We use the flow statistics of each host to determine if the host is in a session of transmitting or receiving data. Individualizing the mutation interval of each host enhances the defender game strategy making it complex in determining the pattern of mutation interval. Since the mutation of the host address is achieved using a pool of virtual (temporary) host addresses, a subnet game strategy is introduced to increase complexity in determining the network topology. A benchmarking framework is developed to measure the performance, scalability, and reliability of the MTD network with the traditional network. The analysis shows the discrete MTD network outperforms the random MTD network in all tests

Concretização de uma biblioteca para replicação tolerante a intrusões

Trabalho de projecto de mestrado em Engenharia Informática (Arquitectura, Sistemas e Redes de Computadores), apresentado à Universidade de Lisboa, através da Faculdade de Ciências, 2009A tolerância a intrusões tem sido uma área bastante activa nos últimos anos, em parte, devido ao crescente número de ataques bem sucedidos que se têm registado. Têm surgido várias propostas para sistemas tolerantes a intrusões, sendo que, a maioria desses sistemas optam por escolher uma de duas abordagens: máquina de estados replicada ou sistemas de quórum bizantinos. Enquanto que a primeira permite realizar qualquer tipo de operação generalista, os sistemas de quoruns bizantinos conseguem actuar em ambientes completamente assíncronos mas só suportam operações de leitura e escrita. Nesta tese é apresentada uma biblioteca de replicação tolerante a intrusões denominada Objectos de Serviço Confiávies (OSC). Esta biblioteca possibilita a construção de aplicações seguras e confiáveis que manipulem objectos replicados. A OSC é baseada no Sistemas de Quoruns Activos (SQA), um modelo de replicação tolerante a faltas bizantinas já existente, sendo um dos primeiros a juntar as duas principais abordagens para suportar operações de diferentes semânticas. O SQA fornece três tipos de operações distintas: leitura, escrita e actualização. Adicionalmente, o SQA demonstra uma característica única pois permite a construção de sistemas não deterministas. Esta tese apresenta o modelo SQA e a concretização da biblioteca OSC, sendo que, a OSC foi desenvolvida de modo a fornecer uma interface que permita manipular objectos através dos protocolos do SQA. Esses objectos estão preparados para ambientes de grande concorrência apresentando uma elevada disponibilidade. Uma das particularidades mais fortes da OSC é o suporte a multithreading, de modo a aproveitar as arquitecturas recentes que apresentam diversos núcleos de processamento. Os testes de desempenho efectuados à biblioteca OSC permitiram obter resultados bastante interessantes e promissores relativamente a outros modelos de replicação tolerantes a intrusões. Adicionalmente foi concretizado e avaliado um serviço LDAP sobre a OSC, de forma a se comprovar que o modelo proposto pelo SQA pode ser usado para o desenvolvimento de aplicações genéricas seguras e confiáveis.Intrusion tolerance has been a very active area in recent years, in part, due to the increasing number of successful attacks that have been recorded. Several proposals have emerged for intrusion-tolerant systems, and, most these systems choose one of two approaches: state machine replication or Byzantine quorum systems. While the first allows the implementation of any type of operation, Byzantine quorum systems can operate in environments completely asynchronous but only support simple read and write operations. This thesis presents an intrusion-tolerant library for object replication called Dependable Service Objects (OSC). This library allows the construction of secure and reliable applications that manipulate replicated objects. The OSC is based on Active Quorum Systems (SQA), a Byzantine fault-tolerant replication model, which is one of the first to join the two main approaches to support operations of various semantics. SQA provides three different types of operations: read, write and read-modify-write. Additionally, SQA presents an unique feature that allows the construction of non-deterministic systems. This thesis presents the implementation of OSC that has been developed to provide a interface that allows manipulation of objects through the SQA protocols. One of the most strongest features supported by OSC is a multi-threading model in order to take advantage of recent architectures showing various processing cores. The OSC was tested and presents results quite interesting and promising compared to other types of intrusion-tolerant replication. Additionally, an LDAP service was build and evaluated over the OSC library in order to prove that the model proposed by SQA can be used to develop reliable and safe intrusion-tolerant services

Diversity management in intrusion tolerant systems

Tese de mestrado em Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2011Uma aplicação importante dos protocolos de tolerância a faltas arbitrárias (ou Bizantinas) é a construção de sistemas tolerantes a intrusões, que são capazes de funcionar correctamente mesmo que alguns dos seus componentes sejam comprometidos. Estes sistemas são concretizados através da replicação de componentes e da utilização de protocolos capazes de tolerar faltas arbitrárias, quer na rede como num subconjunto de réplicas. Os protocolos garantem um comportamento correcto ainda que exista uma minoria (normalmente menor do que um terço) de componentes controlados por um adversário malicioso. Para cumprir esta condição os componentes do sistema têm de apresentar independência nas falhas. No entanto, quando estamos no contexto da segurança de sistemas, temos de admitir a possibilidade de ocorrerem ataques simultâneos contra várias réplicas. Se os vários componentes tiverem as mesmas vulnerabilidades, então podem ser comprometidos com um só ataque, o que destrói o propósito de se construir sistemas tolerantesa intrusões. Com o objectivo de reduzir a probabilidade de existirem vulnerabilidades comuns pretendemos utilizar diversidade: cada componente usa software distinto que fornece as mesmas funcionalidades, com a expectativa de que as diferenças vão reduzir o número de vulnerabilidades semelhantes. Reconhecemos também que isoladamente a tolerância a faltas arbitrárias tem algumas limitações uma vez que consideramos faltas maliciosas: uma das limitações mais importantes é que dado tempo suficiente o adversário pode comprometer f + 1 réplicas, e então violar a hipótese de que no máximo f componentes podem sofrer uma falta, levando os recursos do sistema à exaustão. Uma forma de lidar com esta limitação consiste em renovar periodicamente as réplicas, uma técnica denominada por Recuperação Proactiva. O propósito das recuperações é limpar o estado do sistema, reiniciando a replica com código disponível em armazenamento apenas com permissões de leitura (ex: CD-ROM) e validar/obter o estado de outro componente (que seja correcto). Num sistema tolerante a intrusões com recuperação proactiva o intervalo temporal que o adversário tem para comprometer f + 1 réplicas passa a ser uma pequena janela de vulnerabilidade, que compreende o tempo de recuperação do sistema todo. Apesar dos benefícios que as recuperações periódicas oferecem em termos de fiabilidade persiste a seguinte dificuldade: as vulnerabilidades exploradas nas execuções anteriores da replica podem ainda ser exploradas depois da recuperação. Esta limitação permite facilmente a um atacante criar um script que automaticamente compromete novamente a replica logo a seguir à sua recuperação pois as vulnerabilidades não são apagadas mas sim a falta (i.e., o estado incorrecto no componente devido à intrusão). Com o objectivo de melhorar o sistema introduzimos diversidade nas recuperações, mais precisamente em componentes off-the-shelf (OTS). Hoje em dia praticamente todo o software desenvolvido é baseado neste tipo de componentes, como por exemplo sistemas operativos (SO) e gestores de bases de dados. Isto deve-se principalmente à complexidade do desenvolvimento destes componentes em conjugação com os benefícios relacionados com o baixo custo, a instalação rápida e a variedade de opções disponíveis. No entanto, a maior parte dos componentes OTS não foram desenhados com segurança como prioridade, o que significa que em todos eles existem vulnerabilidades que podem ser maliciosamente exploradas. Por vezes, sistemas supostamente seguros são comprometidos através de uma componente critica na sua infraestrutura. Por outro lado, dada a quantidade de oferta das componentes OTS, utilizar diversidade nestes componentes é menos complexo e tem um menor custo do que desenvolver várias componentes de software diferentes. Um bom exemplo disto é o caso dos SO: as organizações na verdade preferem um sistema operativo OTS do que construir o seu próprio SO. Dada a variedade de sistemas operativos disponíveis e a criticidade do papel desempenhado por estes em qualquer computador, a diversidade ao nível dos SO pode ser uma forma razoável de garantir segurança contra vulnerabilidades comuns com um baixo custo adicional. O foco nas vulnerabilidades comuns é um aspecto importante deste trabalho. Visto que a tolerância intrusões ´e aplicada em sistemas críticos, ´e seguro afirmar que no sistema operativo vai ser assegurada a máxima segurança, aplicando todos os patches disponíveis. No entanto, mesmo com sistemas actualizados, o sistema pode ser comprometido através de vulnerabilidades que ainda não foram descobertas pelos programadores (vulnerabilidades de dia zero), visto que os patches aparecem normalmente depois da vulnerabilidade ser anunciada. Se uma vulnerabilidade de dia zero afectar o sistema existe uma janela de oportunidade para o atacante causar uma intrusão. A questão principal que tratamos na primeira parte desta tese é: Quais são os ganhos de se aplicar diversidade de SO num sistema tolerante a intrusões replicado? Para responder a esta questão, recolhemos e selecionámos dados sobre vulnerabilidades do NIST National Vulnerability Database (NVD) entre 1994 e 2010 para 11 sistemas operativos. Os dados do NVD relativamente aos SO são consideráveis, o que nos permite tirar algumas conclusões. Cada vulnerabilidade presente no NVD contém (entre outras coisas) informação sobre que produtos são afectados pela vulnerabilidade. Recolhemos estes dados e verificámos quantas vulnerabilidades afectam mais do que um sistema operativo. Constatámos que este número é relativamente pequeno para a maior parte de de sistemas operativos. Este estudo foi depois estendido a um número maior de SO, com conclusões semelhantes para esses conjuntos. Estes resultados sugerem que existem ganhos de segurança que podem ser alcançados recorrendo à utilização de sistemas operativos diferentes num sistema replicado. Como nota de cautela, não pretendemos afirmar que estes resultados são uma prova final sobre a ausência de vulnerabilidades comuns (embora sejam bastante promissores). Um dos principais problemas encontrados é que os relatórios focam-se nas vulnerabilidades e não em quantas intrusões ou exploits ocorreram para cada vulnerabilidade; isto faz com que a avaliação, em termos de segurança, seja mais difícil. A segunda parte da tese propõe uma arquitectura que explora a diversidade disponível nos sistemas operativos juntamente com mecanismos de recuperação proactiva. O objectivo principal é mudar a configuração das réplicas de forma a alterar o conjunto de vulnerabilidades após uma recuperação. Desenvolvemos também um algoritmo que seleciona entre os candidatos o melhor sistema operativo para ser usado numa recuperação, assegurando o maior nível de diversidade possível entre as réplicas que se encontram em execução.One of the key benefits of using intrusion-tolerant systems is the possibility of ensuring correct behavior in the presence of attacks and intrusions. These security gains are directly dependent on the components exhibiting failure diversity. To what extent failure diversity is observed in practical deployment depends on how diverse are the components that constitute the system. In this thesis we present a study with operating systems (OS) vulnerability reports from the NIST National Vulnerability Database. We have analyzed the vulnerabilities of 11 different OS over a period of roughly 15 years, to check how many of these vulnerabilities occur in more than one OS. We found this number to be low for several combinations of OS. Hence, our analysis provides a strong indication that building a system with diverse OS may be a useful technique to improve its intrusion tolerance capabilities. However, even with diversity the attacker eventually will find vulnerabilities in all OS replicas. To mitigate/eliminate this problem we introduce diverse proactive recovery on the replicas. Proactive recovery is a technique that periodically rejuvenates the components of a replicated system. When used in the context of intrusiontolerant systems, in which faulty replicas may be under control of some malicious user, it allows the removal of intrusions from the compromised replicas. We propose that after each recovery a replica starts to run a different software. The selection of the new replica configuration is a non-trivial problem, as we will explain, since we would like to maximize the diversity of the system under the constraint of the available configurations

Intrusion tolerant routing with data consensus in wireless sensor networks

Dissertação para obtenção do Grau de Mestre em Engenharia InformáticaWireless sensor networks (WSNs) are rapidly emerging and growing as an important new area in computing and wireless networking research. Applications of WSNs are numerous, growing, and ranging from small-scale indoor deployment scenarios in homes and buildings to large scale outdoor deployment settings in natural, industrial, military and embedded environments. In a WSN, the sensor nodes collect data to monitor physical conditions or to measure and pre-process physical phenomena, and forward that data to special computing nodes called Syncnodes or Base Stations (BSs). These nodes are eventually interconnected, as gateways, to other processing systems running applications. In large-scale settings, WSNs operate with a large number of sensors – from hundreds to thousands of sensor nodes – organised as ad-hoc multi-hop or mesh networks, working without human supervision. Sensor nodes are very limited in computation, storage, communication and energy resources. These limitations impose particular challenges in designing large scale reliable and secure WSN services and applications. However, as sensors are very limited in their resources they tend to be very cheap. Resilient solutions based on a large number of nodes with replicated capabilities, are possible approaches to address dependability concerns, namely reliability and security requirements and fault or intrusion tolerant network services. This thesis proposes, implements and tests an intrusion tolerant routing service for large-scale dependable WSNs. The service is based on a tree-structured multi-path routing algorithm, establishing multi-hop and multiple disjoint routes between sensors and a group of BSs. The BS nodes work as an overlay, processing intrusion tolerant data consensus over the routed data. In the proposed solution the multiple routes are discovered, selected and established by a self-organisation process. The solution allows the WSN nodes to collect and route data through multiple disjoint routes to the different BSs, with a preventive intrusion tolerance approach, while handling possible Byzantine attacks and failures in sensors and BS with a pro-active recovery strategy supported by intrusion and fault tolerant data-consensus algorithms, performed by the group of Base Stations

Encaminhamento de dados tolerante a intrusões para redes de sensores sem fios

Dissertação para obtenção do Grau de Mestre em Engenharia InformáticaAs redes de sensores sem fios (RSSFs) constituem uma área de desenvolvimento de aplicações inovadoras, despertando um enorme interesse na comunidade de investigação. Estas redes são compostas por dispositivos sensores com capacidades limitadas de processamento, armazenamento e autonomia energética, comunicando entre si por ligações sem fios suportadas por comunicações por rádio frequência. As limitações desses dispositivos impõem diversos desafios ao desenvolvimento de software para estas redes. Por outro lado, a estruturação de serviços de suporte à operação destas redes, bem como o suporte desses serviços em pilhas de protocolos adaptados às suas caraterísticas, continua na agenda de investigação. A concepção de serviços de segurança para a operação segura destas redes é um aspecto particularmente relevante, nomeadamente quando estas são utilizadas como redes auto-organizadas, operando em cenários de grande escala e sem supervisão humana. Neste tipo de ambiente de utilização, as RSSFs podem ser sujeitas a ataques às comunicações, bem como ataques por intrusão ao nível dos nós sensores. O objectivo desta dissertação é desenvolver, implementar e testar um serviço de encaminhamento seguro e tolerante a intrusões para RSSFs de grande escala, funcionando de forma auto-organizada num ambiente de comunicação multi-hop. O sistema de encaminhamento adopta uma estratégia suportada na descoberta, seleção e organização de múltiplas rotas disjuntas e múltiplas estações base (ou nós agregadores), sendo as rotas formadas de forma proactiva durante o processo de auto-organização da rede, visando assegurar condições de resiliência para tolerância a intrusões. Para o efeito, a solução baseia-se numa estrutura de rede sobreposta. Numa primeira camada, os nós sensores recolhem e transmitem dados pelas múltiplas rotas de encaminhamento criadas para as diferentes estações base. Numa segunda camada, as estações base, que possuem maiores capacidades de computação, comunicação e energia, funcionam como nós seguros de agregação e consenso de dados. Estes nós processam os dados encaminhados na primeira camada, tendo por base um protocolo de acordo bizantino probabilístico sobre os dados recebidos, de forma tolerante a intrusões. Os dados resultantes do acordo podem então ser disponibilizados para serem finalmente processados por sistemas ou aplicações externos à rede

Efficient and scalable replication of services over wide-area networks

PhD ThesisService replication ensures reliability and availability, but accomplishing it requires solving the total-order problem of guaranteeing that all replicas receive service requests in the same order. The problem, however, cannot be solved for a specific combination of three factors, namely, when (i) the message transmission delays cannot be reliably bounded, as often the case over wide-area networks such as the Internet, (ii) replicas can fail, e.g., by crashing, the very events that have to be tolerated through replication, and finally (iii) the solution has to be deterministic as distributed algorithms generally are. Therefore, total-order protocols are developed by avoiding one or more of these three factors by resorting to realistic assumptions based on system contexts. Nevertheless, they tend to be complex in structure and impose time overhead with potentials to slow down the performance of replicated services themselves. This thesis work develops an efficient total-order protocol by leveraging the emergence of cluster computing. It assumes that a server replica is not a stand-alone computer but is a part of a cluster from which it can enlist the cooperation of some of its peers for solving the total-order problem locally. The local solution is then globalised with replicas spread over a wide-area network. This two-staged solution is highly scalable and is experimentally demonstrated to have a smaller performance overhead than a single-stage solution applied directly over a wide-area network. The local solution is derived from an existing, multi-coordinator protocol, Mencius, which is known to have the best performance. Through a careful analysis, the derivation modifies some aspects of Mencius for further performance improvements while retaining the best aspects

Preliminary Specification of Services and Protocols

This document describes the preliminary specification of services and protocols for the Crutial Architecture. The Crutial Architecture definition, first addressed in Crutial Project Technical Report D4 (January 2007), intends to reply to a grand challenge of computer science and control engineering: how to achieve resilience of critical information infrastructures, in particular in the electrical sector. The definitions herein elaborate on the major architectural options and components established in the Preliminary Architecture Specification (D4), with special relevance to the Crutial middleware building blocks, and are based on the fault, synchrony and topological models defined in the same document. The document, in general lines, describes the Runtime Support Services and APIs, and the Middleware Services and APIs. Then, it delves into the protocols, describing: Runtime Support Protocols, and Middleware Services Protocols. The Runtime Support Services and APIs chapter features as a main component, the Proactive-Reactive Recovery Service, whose aim is to guarantee perpetual execution of any components it protects. The Middleware Services and APIs chapter describes our approach to intrusion-tolerant middleware. The middleware comprises several layers. The Multipoint Network layer is the lowest layer of CRUTIAL's middleware, and features an abstraction of basic communication services, such as provided by standard protocols, like IP, IPsec, UDP, TCP and SSL/TLS. The Communication Support Services feature two important building blocks: the Randomized Intrusion-Tolerant Services (RITAS), and the Overlay Protection Layer (OPL) against DoS attacks. The Activity Support Services currently defined comprise the CIS Protection service, and the Access Control and Authorization service. Protection as described in this report is implemented by mechanisms and protocols residing on a device called Crutial Information Switch (CIS). The Access Control and Authorization service is implemented through PolyOrBAC, which defines the rules for information exchange and collaboration between sub-modules of the architecture, corresponding in fact to different facilities of the CII's organizations.The Monitoring and Failure Detection layer contains a preliminary definition of the middleware services devoted to monitoring and failure detection activities. The remaining chapters describe the protocols implementing the above-mentioned services: Runtime Support Protocols, and Middleware Services Protocol

Um arcabouço de avaliação de algoritmos de Sistemas de Quóruns Bizantinos

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia Elétrica.A manutenção da disponibilidade e da integridade das informações é um requisito fundamental em sistemas de armazenamento de dados. Muitos destes sistemas devem manter estas propriedades mesmo em face à ocorrência de faltas acidentais ou intencionais (maliciosas), sendo que estas últimas são particularmente preocupantes uma vez que se originam de ataques bem sucedidos que levam a intrusões no sistema de armazenamento. A fim de prover armazenamento que tolere faltas acidentais e maliciosas, podemos considerar que o sistema está sujeito a faltas bizantinas (a classe mais abrangente de faltas) e, então, empregar técnicas de tolerância a faltas bizantinas em sua concretização. Duas abordagens podem ser utilizadas para implementar sistemas de armazenamento tolerantes a faltas bizantinas: a Replicação Máquina de Estados e os Sistemas de Quóruns Bizantinos. Sistemas de Quóruns Bizantinos (BQS) têm sido apresentados como uma boa abordagem para se construir armazenamento confiável distribuído, havendo muitas propostas para sua implementa\-ção. Escolher a melhor abordagem que satisfaça os requisitos de um ambiente de execução esperado exige uma avaliação minuciosa, que compreende o uso de ferramentas adequadas para modelagem e prototipação tanto do sistema de quóruns como do seu ambiente de execução. Apesar da boa quantidade de trabalhos sobre algoritmos de BQS, não existe uma ferramenta apropriada que viabilize um ambiente de testes para facilmente realizar tal tarefa de análise; ademais, não existem trabalhos que contemplem comparações e discussões entre os algoritmos propostos. Esta dissertação tem como objetivo principal a implementação de um arcabouço de avaliação de algoritmos de Sistemas de Quóruns Bizantinos, denominado BQSNeko. Para mostrar como este arcabouço pode ser usado para avaliação desta classe de algoritmos, o presente trabalho ainda apresenta e analisa casos de experimentos envolvendo algoritmos de BQS usando o próprio BQSNeko, sobretudo em um ambiente de rede local. Estas análises, ao mesmo tempo em que comprovam a utilidade do BQSNeko, servem como meio para discussão e um melhor entendimento dos algoritmos experimentados. Availability and consistency are essencial requirements of data storage systems. Most of such systems must maintain reliable and safe storage despite arbitrary faults (accidental or malicious faults). Malicious faults are particulary most critical than arbitrary ones since successful atacks may appear and cause intrusions on the storage system. In these scenario of faults it is tipical to considerate systems subjected to Byzantine Faults (a broader class of faults) and to employ techniques of byzantine fault-tolerance. Two techniques can be used for implementing data storage systems with byzantine fault tolerate: the Replication State-Machine and the Byzantine Quorum Systems. Byzantine Quorum Systems (BQS) have been presented like a good choice to build reliable distributed storage systems, existing many approaches for implementing them. Choosing the best approach that satisfies the requirements of an expected execution environment requires a careful evaluation which involves the use of adequate tools for modeling and prototyping both the Byzantine quorum system and its associated environment. However, to the best of our knowledge, there is no tool in which these task of analysis can be easily perfomed. In addiction there is no work that presents comparisons or that discusses the existing algorithms. This dissertation mainly aims to present BQSNeko, an useful framework for evaluating algorithms for Byzantine Quorum Systems. To show how BQSNeko can be used for evaluating Byzantine quorum protocols, it will be described results of some experiments envolving algorithms for BQS using the BQSNeko, especially as an execution environment of local network is regarded. At the moment such analyses show how useful the BQSNeko is, they enable also discussions and a better understanding of the experimented algorithms

Architecture, Services and Protocols for CRUTIAL

This document describes the complete specification of the architecture, services and protocols of the project CRUTIAL. The CRUTIAL Architecture intends to reply to a grand challenge of computer science and control engineering: how to achieve resilience of critical information infrastructures (CII), in particular in the electrical sector. In general lines, the document starts by presenting the main architectural options and components of the architecture, with a special emphasis on a protection device called the CRUTIAL Information Switch (CIS). Given the various criticality levels of the equipments that have to be protected, and the cost of using a replicated device, we define a hierarchy of CIS designs incrementally more resilient. The different CIS designs offer various trade offs in terms of capabilities to prevent and tolerate intrusions, both in the device itself and in the information infrastructure. The Middleware Services, APIs and Protocols chapter describes our approach to intrusion tolerant middleware. The CRUTIAL middleware comprises several building blocks that are organized on a set of layers. The Multipoint Network layer is the lowest layer of the middleware, and features an abstraction of basic communication services, such as provided by standard protocols, like IP, IPsec, UDP, TCP and SSL/TLS. The Communication Support layer features three important building blocks: the Randomized Intrusion-Tolerant Services (RITAS), the CIS Communication service and the Fosel service for mitigating DoS attacks. The Activity Support layer comprises the CIS Protection service, and the Access Control and Authorization service. The Access Control and Authorization service is implemented through PolyOrBAC, which defines the rules for information exchange and collaboration between sub-modules of the architecture, corresponding in fact to different facilities of the CII’s organizations. The Monitoring and Failure Detection layer contains a definition of the services devoted to monitoring and failure detection activities. The Runtime Support Services, APIs, and Protocols chapter features as a main component the Proactive-Reactive Recovery service, whose aim is to guarantee perpetual correct execution of any components it protects.Project co-funded by the European Commission within the Sixth Frame-work Programme (2002-2006