368 research outputs found

    Multi-value distributed key-value stores

    Get PDF
    Tese de Doutoramento em InformaticsMany large scale distributed data stores rely on optimistic replication to scale and remain highly available in the face of network partitions. Managing data without strong coordination results in eventually consistent data stores that allow for concurrent data updates. To allow writing applications in the absence of linearizability or transactions, the seminal Dynamo data store proposed a multi-value API in which a get returns the set of concurrent written values. In this scenario, it is important to be able to accurately and efficiently identify updates executed concurrently. Logical clocks are often used to track data causality, necessary to distinguish concurrent from causally related writes on the same key. However, in traditional mechanisms there is a non-negligible metadata overhead per key, which also keeps growing with time, proportional to the node churn rate. Another challenge is deleting keys while respecting causality: while the values can be deleted, per-key metadata cannot be permanently removed in current data stores. These systems often use anti-entropy mechanisms (like Merkle Trees) to detect and repair divergent data versions across nodes. However, in practice hash-based data structures are not suitable to a store using consistent hashing and create too many false positives. Also, highly available systems usually provide eventual consistency, which is the weakest form of consistency. This results in a programming model difficult to use and to reason about. It has been proved that causal consistency is the strongest consistency model achievable if we want highly available services. It provides better programming semantics such as sessions guarantees. However, classical causal consistency is a memory model that that is problematic for concurrent updates, in the absence of concurrency control primitives. Used in eventually consistent data stores, it leads to arbitrating between concurrent updates which leads to data loss. We propose three novel techniques in this thesis. The first is Dotted Version Vectors: a solution that combines a new logical clock mechanism and a request handling workflow that together support the traditional Dynamo key-value store API while capturing causality in an accurate and scalable way, avoiding false conflicts. It maintains concise information per version, linear only on the number of replicas, and includes a container data structure that allows sets of concurrent versions to be merged efficiently, with time complexity linear on the number of replicas plus versions. The second is DottedDB: a Dynamo-like key-value store, which uses a novel node-wide logical clock framework, overcoming three fundamental limitations of the state of the art: (1) minimize the metadata per key necessary to track causality, avoiding its growth even in the face of node churn; (2) correctly and durably delete keys, with no need for tombstones; (3) offer a lightweight anti-entropy mechanism to converge replicated data, avoiding the need for Merkle Trees. The third and final contribution is Causal Multi-Value Consistency: a novel consistency model that respects the causality of client operations while properly supporting concurrent updates without arbitration, by having the same Dynamo-like multi-value nature. In addition, we extend this model to provide the same semantics with read and write transactions. For both models, we define an efficient implementation on top of a distributed key-value store.Várias bases de dados de larga escala usam técnicas de replicação otimista para escalar e permanecer altamente disponíveis face a falhas e partições na rede. Gerir os dados sem coordenação forte entre os nós do servidor e o cliente resulta em bases de dados "inevitavelmente coerentes" que permitem escritas de dados concorrentes. Para permitir que aplicações escrevam na base de dados na ausência de transações e mecanismos de coerência forte, a influente base de dados Dynamo propôs uma interface multi-valor, que permite a uma leitura devolver um conjunto de valores escritos concorrentemente para a mesma chave. Neste cenário, é importante identificar com exatidão e eficiência quais as escritas efetuadas numa chave de forma potencialmente concorrente. Relógios lógicos são normalmente usados para gerir a causalidade das chaves, de forma a detetar escritas causalmente concorrentes na mesma chave. No entanto, mecanismos tradicionais adicionam metadados cujo tamanho cresce proporcionalmente com a entrada e saída de nós no servidor. Outro desafio é a remoção de chaves do sistema, respeitando a causalidade e ao mesmo tempo não deixando metadados permanentes no servidor. Estes sistemas de dados utilizam também mecanismos de anti-entropia (tais como Merkle Trees) para detetar e reparar dados replicados em diferentes nós que divirjam. No entanto, na prática estas estruturas de dados baseadas em hashes não são adequados para sistemas que usem hashing consistente para a partição de dados e resultam em muitos falsos positivos. Outro aspeto destes sistemas é o facto de normalmente apenas suportarem coerência inevitável, que é a garantia mais fraca em termos de coerência de dados. Isto resulta num modelo de programação difícil de usar e compreender. Foi provado que coerência causal é a forma mais forte de coerência de dados que se consegue fornecer, de forma a que se consiga também ser altamente disponível face a falhas. Este modelo fornece uma semântica mais interessante ao cliente do sistema, nomeadamente as garantias de sessão. No entanto, a coerência causal tradicional é definida sobre um modelo de memória não apropriado para escritas concorrentes não controladas. Isto leva a que se arbitre um vencedor quando escritas acontecem concorrentemente, levando a perda de dados. Propomos nesta tese três novas técnicas. A primeira chama-se Dotted Version Vectors: uma solução que combina um novo mecanismo de relógios lógicos com uma interação entre o cliente e o servidor, que permitem fornecer uma interface multi-valor ao cliente similar ao Dynamo de forma eficiente e escalável, sem falsos conflitos. O novo relógio lógico mantém informação precisa por versão de uma chave, de tamanho linear no número de réplicas da chave no sistema. Permite também que versão diferentes sejam corretamente e eficientemente reunidas. A segunda contribuição chama-se DottedDB: uma base de dados similar ao Dynamo, mas que implementa um novo mecanismo de relógios lógicos ao nível dos nós, que resolve três limitações fundamentais do estado da arte: (1) minimiza os metadados necessários manter por chave para gerir a causalidade, evitando o seu crescimento com a entrada e saída de nós; (2) permite remover chaves de forma permanente, sem a necessidade de manter metadados indefinidamente no servidor; (3) um novo protocolo de anti-entropia para reparar dados replicados, de modo a que todas as réplicas na base de dados convirjam, sem que seja necessário operações dispendiosas como as usadas com Merkle Trees. A terceira e última contribuição é Coerência Causal Multi-Valor: um novo modelo de coerência de dados que respeita a causalidade das operações efetuadas pelos clientes e que também suporta operações concorrentes, sem que seja necessário arbitrar um vencedor entre as escritas, seguindo o espírito da interface multi-valor do Dynamo. Adicionalmente, estendemos este modelo para fornecer transações de escritas ou leituras, respeitando a mesma semântica da causalidade. Para ambos os modelos, definimos uma implementação eficiente em cima de uma base de dados distribuída.Fundação para a Ciência e Tecnologia (FCT) - with the research grant SFRH/BD/86735/201

    Estimating the population and distributions trends of owls in Portugal using citizen science data from Program NOCTUA-Portugal and other sources

    Get PDF
    During the last eight years (2010-2017), the Working Group on Nocturnal Birds of SPEA (GTAN-SPEA) has carried out a volunteer monitoring program (NOCTUA-Portugal) to determine the population trends of seven owl species at a national scale. We used generalized estimating equations models to assess trends. In addition, we used the distribution data from breeding bird atlases, observations sent by collaborators, and data from the public online database PortugalAves/eBird to detect changes in distribution in a four-decade period (1978-2017). We defined four periods to study potential changes in distribution of owls in Portugal: 1978-1984 (1st breeding bird atlas); 1999-2005 (2nd breeding bird atlas); 2006-2014 (interval between 2nd and 3rd breeding bird atlases); and 2015-2017 (ongoing 3 rd breeding bird atlas). Three species had negative population and distribution trends: Common Barn-owl (Tyto alba), Eurasian Scops-owl (Otus scops), and Little Owl (Athene noctua). The Eurasian Eagle-owl (Bubo bubo) had a slightly positive population and distribution trends, while the Tawny Owl (Strix aluco) was stable or slightly declined. The population trend of the Northern Long-eared Owl (Asio otus) was unknown because of large fluctuations, and due to the low number of records it was not possible to determine a population trend for the Short-eared Owl (Asio flammeus)

    Mudanças climáticas nas regiões insulares

    Get PDF
    Tese de Doutoramento, Física, 27 de Novembro de 2013, Universidade dos Açores.Resultados de uma nova geração de modelos climáticos, forçados pelos cenários RCP8.5 e RCP4.5 de concentrações atmosféricas de gases de estufa e aerossol, estabelecidos pelo IPCC para o seu quinto relatório ainda em preparação, são utilizados para caracterizar o clima nas ilhas dos Açores e da Madeira e a sua resposta ao aquecimento global em curso. A metodologia aqui desenvolvida recorre ao novo modelo global EC-Earth, a dados da reanálise ERA-Interim e a resultados de um extenso conjunto de simulações com o modelo de investigação WRF, utilizando, pela primeira vez, uma metodologia dinâmica para a regionalização de campos globais para resoluções suficientemente finas, nas quais se representa explicitamente uma parte do efeito das ilhas e da sua complexidade topográfica. Os resultados aqui analisados sugerem aumentos da temperatura média superiores a 1 ᵒC a meio do século XXI nos Açores e da Madeira, atingindo valores superiores a 2,5 ᵒC no final do século, acompanhados por uma redução da precipitação anual da ordem dos 10% nos Açores mas que poderá atingir os 30% na Madeira. Estas alterações são suficientemente grandes para justificar impactos muito alargados sobre os ecossistemas insulares e sobre a população humana. Os resultados apresentados mostram a vantagem de utilização da metodologia proposta, em especial para uma representação adequada do regime de precipitação em ilhas de topografia complexa, sugerindo mesmo a necessidade de resoluções mais elevadas em trabalhos futuros.ABSTRACT: Results from a new generation of climate models, forced by scenarios RCP8.5 and RCP4.5 of greenhouse gases and aerosols atmospheric concentrations, established by the IPCC for its fifth report still in preparation, are used to characterize the climate of the islands Azores and Madeira and its response to the ongoing global warming. The methodology developed here uses the new global model EC-Earth, the data from the ERA-Interim reanalysis and the results of an extensive set of simulations with the WRF research model, using for the first time, a dynamic approach to the regionalization of global fields for sufficiently fine resolutions, in which it explicitly represents a part of the islands and the effect of topographical complexity. The results reviewed here suggest increases in temperature above 1 ᵒC in the middle of the XXI century in the Azores and Madeira, reaching values higher than 2,5 ᵒC at the end of the century, accompanied by a reduction of the annual rainfall of around 10% in the Azores but which could reach 30% in Madeira. These changes are large enough to justify much broader impacts on island ecosystems and the human population. The results show the advantage of using the proposed methodology, in particular for adequate representation of the precipitation regime in the islands of complex topography, even suggesting the need for higher resolutions in future work

    Desenvolvimento de critérios para a atribuição do rótulo ecológico a produtos de aquacultura da reserva natural do Estuário do Sado

    Get PDF
    Dissertação apresentada na Faculdade de Ciências e Tecnologia da Universidade Nova de Lisboa para a obtenção do grau de Mestre em Engenharia do Ambiente,perfil Gestão e Sistemas AmbientaisA aquacultura é uma actividade mundialmente em expansão e o caso português não é excepção. Esta actividade é vista como uma possível solução para o problema da sobrepesca e da depleção dos recursos marinhos, satisfazendo parte das necessidades alimentares da população. Ainda assim, importa garantir que este desenvolvimento se processe de forma sustentável, minimizando os impactes ambientais e assegurando a qualidade e segurança alimentar do produto final. De facto, caso não seja gerida de forma correcta, a aquacultura pode representar um perigo quer para o ambiente quer para o consumidor. Em Portugal uma parte importante da actividade da aquacultura está concentrada na área protegida da Reserva Natural do Estuário do Sado, tendo algumas aquaculturas resultado da conversão de antigas salinas. A Dourada (Sparus aurata), o Robalo (Dicentrarchus labrax) e o Linguado (Solea solea) são as principais espécies aí produzidas. Nesta dissertação propõe-se a adopção de um sistema de rotulagem ecológica local que permitirá assegurar quer a protecção do ambiente quer a confiança da população na qualidade dos produtos de aquacultura,com a definição de critérios ambientais e de segurança alimentar mais exigentes do que os previstos pela legislação. O rótulo ecológico enquanto instrumento voluntário de política de ambiente pode constituir um meio para promover a sustentabilidade e a qualidade da actividade e produtos aquícolas, uma vez que, ao contrário dos instrumentos de comando e controlo, não obriga o aquacultor a cumprir metas e objectivos. Este sente-se sim motivado a aderir pelas vantagens económicas que daí resultam, principalmente pelo efeito que um produto certificado tem sobre o consumidor. O rótulo ecológico pode revelar-se desta forma como uma vantagem competitiva para os produtores de aquacultura uma vez que influenciará a decisão de escolha dos consumidore

    Electronic transmission of chemical occurrence data - semantic integration to assist in identifying food data

    Get PDF
    Dissertação apresentado à Escola Superior de Tecnologia e Gestão do IPL para obtenção do grau de Mestre em Engenharia Informática - Computação Móvel, orientada pelo Doutor Vitor Manuel Basto Fernandes.Este documento tem como principal objetivo apresentar o desenvolvimento de uma plataforma que será utilizada a nível nacional por várias entidades portuguesas para a recolha de dados relativos a contaminantes químicos contidos em alimentos e em outros tipos de produtos. A plataforma web PT.ON.DATA é constituída por diversas ferramentas de análise e tratamento de dados, desenvolvidas por forma a criar a possibilidade para todas as autoridades competentes que tenham acesso a ela, submeterem com o mínimo de esforço possível os seus relatórios que contêm os dados analíticos. A submissão dos dados deverá ser feita à entidade reguladora europeia EFSA, utilizando um modelo específico de dados com o nome de Standard Sample Description, o que levou à necessidade de criação de um sistema que consegue mapear e integrar as fontes de dados (altamente heterogéneas) das entidades nacionais com as fontes de dados da EFSA. PT.ON.DATA é a solução encontrada para Portugal com o objetivo de satisfazer as necessidades da EFSA. Como ela, existem outras soluções implementadas pelos restantes estados membros, mas a plataforma desenvolvida tenta ser o próximo passo em relação às suas antecessoras, ao simplificar as tarefas de tratamento de dados e resolver os problemas que existem para esta área, problemas tais como o mapeamento de texto livre para vocabulário controlado. Uma ferramenta foi proposta com o intuito de auxiliar na tarefa de mapeamento. Esta ferramenta utiliza técnicas de tratamento léxico e gramatical, as quais mostraram resultados promissores ao efetuar com sucesso a relação entre uma secção do vocabulário controlado pertencente ao padrão SSD e um conjunto de entradas fornecidas por uma das autoridades portuguesas. A plataforma PT.ON.DATA, juntamente com os seus diferentes módulos, surge como uma solução para Portugal e algo com que os restantes estados membros poderão ver como exemplo do que poderão alcançar com a evolução dos seus próprios projetos

    Estudo da influência de chapas de ligação com cavilha na resistência à encurvadura de colunas de aço de secção tubular circular

    Get PDF
    Neste trabalho estuda-se a resistência à encurvadura (compressão uniforme) de tubos de aço de secção circular, com extremidades rotuladas por meio de cavilhas, tendo em conta a influência da chapa de ligação (gusset plate na designação em língua inglesa). Para o efeito, estuda-se uma ligação-tipo comum com chapa soldada e efetuam-se estudos paramétricos, recorrendo a modelos de elementos finitos de casca, para determinar a influência da chapa na (i) carga crítica e na (ii) carga de colapso do elemento. Os resultados mostram que a influência da chapa não pode ser desprezada para valores reduzidos da esbelteza do elemento. Propõe-se um método expedito e preciso para determinar a carga crítica tendo em conta a influência da chapa

    Serviços públicos em diferentes contextos territoriais: (re)organização das redes e relações com os sistemas urbanos

    Get PDF
    A presença de serviços públicos nos aglomerados populacionais suscita diferentes arti-culações e rearranjos socioterritoriais e promove a sua dinamização e especialização, fomenta a economia local e contribui, direta e indiretamente, para a coesão, o desen-volvimento, a atratividade, a competitividade e a resiliência dos territórios. Nas últimas décadas, as lógicas da oferta e da procura dos serviços públicos têm evoluído rapida-mente, passando de um modelo de gestão fechado e burocrático, para um modelo mais aberto, diversificado, simplificado e participativo. Com elas, surgiram (novos) de-safios na sua gestão, que vão desde a sua sustentabilidade económica até aos impac-tos sociais e territoriais resultantes da modernização, sem esquecer a maior (e cres-cente) exigência do cidadão. Estas mutações têm repercussões na filosofia da sua or-ganização e no modus operandi, com uma crescente orientação para as necessidades da procura e a satisfação do utente, procurando, em simultâneo, reduzir os custos e aumentar a produtividade e a qualidade dos serviços prestados, com base em políticas de inovação e em parcerias e governação em rede. Na prática, estas alterações condu-zem a processos diferenciados, que têm passado pela fusão, reconversão ou mesmo encerramento de serviços públicos. Num contexto de crise económico-financeira, como o que se vive em Portugal, e aten-dendo às mutações ocorridas na oferta e na procura de serviços públicos de educação, saúde, eventos de vida, defesa e segurança e justiça, importa refletir sobre os concei-tos inerentes a estes serviços e sintetizar as principais dinâmicas nesse período de tempo, tendo como pressupostos que, por um lado, o território é um elemento dife-renciador na prestação e na utilização de serviços e que, por outro lado, estes serviços, pela sua natureza estratégica para a sociedade e para a economia, exigem a definição de políticas e de estratégias territoriais consentâneas e inclusivas. Esta investigação centra a sua análise em dois âmbitos geográficos. Numa primeira fa-se, à escala de Portugal continental, onde se obtém um retrato atual da espacialização dos serviços públicos referidos acima. Em seguida, após a criação de uma metodologia inovadora baseada em análises e modelação de informação geográfica para a tipifica-ção dos diferentes tipos de territórios, são identificados três casos de estudo regionais, com características distintas. Assim, são estudados territórios metropolita-nos/densamente urbanizados (constituídos pelos concelhos de Lisboa, Almada, Seixal, Palmela, Sesimbra e Setúbal), eixo urbano-rural (Évora, Portel, Viana do Alentejo, Vidi-gueira, Cuba e Beja) e territórios profundamente rurais (Barrancos, Moura, Serpa e Mértola), para os quais foi realizado um inquérito à população, com o objetivo de compreender a utilização que fazem dos serviços públicos e quais as suas expetativas em relação aos mesmos. Os resultados obtidos para as análises nacional e regionais são acompanhados por uma reflexão sobre a territorialização das políticas de serviços públicos, as quais incidem em matérias relacionadas com o seu planeamento e, sobre-tudo, com a sua gestão

    Logical clocks for could databases

    Get PDF
    Dissertação de mestrado em Engenharia de InformáticaCloud computing environments, particularly cloud databases, are rapidly increasing in importance, acceptance and usage in major (web) applications, that need the partition-tolerance and availability for scalability purposes, thus sacrificing the consistency side (CAP theorem). With this approach, use of paradigms such as Eventual Consistency became more widespread. In these environments, a large number of users access data stored in highly available storage systems. To provide good performance to geographically disperse users and allow operation even in the presence of failures or network partitions, these systems often rely on optimistic replication solutions that guarantee only eventual consistency. In this scenario, it is important to be able to accurately and e ciently identify updates executed concurrently. In this dissertation we review, and expose problems with current approaches to causality tracking in optimistic replication: these either lose information about causality or do not scale, as they require replicas to maintain information that grows linearly with the number of clients or updates. Then, we propose Dotted Version Vectors (DVV), a novel mechanism for dealing with data versioning in eventual consistent systems, that allows both accurate causality tracking and scalability both in the number of clients and servers, while limiting vector size to replication degree. We conclude with the challenges faced when implementing DVV in Riak (a distributed key-value store), the evaluation of its behavior and performance, and discuss the advantages and disadvantages of it.Ambientes de computação na nuvem, em especial sistemas de base de dados na nuvem, estão rapidamente a aumentar em importância, aceitação e utilização entre as grandes aplicações (web), que precisam de alta disponibilidade e tolerância a partições por razões de escalabilidade, para isso sacrificando o lado da coerência (teorema de CAP). Com esta abordagem, o uso de paradigmas como a Coerência Inevitável tornou-se generalizado. Nestes sistemas, um grande número de utilizadores têm acesso aos dados presentes em sistemas de dados de alta disponibilidade. Para fornecer bom desempenho para utilizadores geograficamente dispersos e permitir a realização de operações mesmo em presença de partições ou falhas de nós, estes sistemas usam técnicas de replicação optimista que garantem apenas uma coerência inevitável. Nestes cenários, é importante que a identificação de escritas concorrentes de dados, seja o mais exata e eficiente possível. Nesta dissertação, revemos os problemas com as abordagens atuais para o registo da causalidade na replicação optimista: estes ou perdem informação sobre a causalidade ou não escalam, já que obrigam as réplicas a manter informação que cresce linearmente com o número de clientes ou escritas. Propomos então, os Dotted Version Vectors (DVV), um novo mecanismo para lidar com o versionamento de dados em ambientes com coerência inevitável, que permite tanto um registo exato e correto da causalidade, bem como escalabilidade em relação ao número de clientes e número de servidores, limitando o seu tamanho ao factor de replicação. Concluímos com os desafios surgidos na implementação dos DVV no Riak (uma base de dados distribuída de chave/valor), a sua avaliação de comportamento e de desempenho, acabando com uma análise das vantagens e desvantagens da mesma

    Comércio e serviços nas áreas urbanas de génese ilegal: o caso da Quinta do Conde

    Get PDF
    Dissertação apresentada para cumprimento dos requisitos necessários à obtenção do grau de Mestre em Gestão do TerritórioComo consequência dos problemas sociais, culturais e económicos que caracterizaram Por-tugal na segunda metade do século XX surgiram muitas Áreas Urbanas de Génese Ilegal (AUGI). O fenómeno de construção feita sem autorização das Câmaras Municipais, a quem compete licenciar e controlar as obras realizadas por particulares, ocorreu em massa nas Áreas Metropolitanas de Lisboa e do Porto, como consequência dos processos de industrialização e do êxodo rural que lhe está associado. A sua natureza clandestina fez com que as boas práticas urbanísticas não fossem levadas em conta, originando muitos proble-mas no espaço urbano e condicionando a sua organização e evolução. A Quinta do Conde foi uma AUGI. Os primeiros loteamentos surgiram na década de 60 e, desde cedo, se levantaram alguns problemas urbanos, entretanto resolvidos ou minimiza-dos. Vários factores atraíram, nos últimos cinquenta anos, população para a freguesia, imprimindo elevadas dinâmicas populacionais e de construção, ao ponto da Quinta do Conde ser, em termos relativos, a freguesia com o maior aumento inter-censitário (1991-2001) de população a nível nacional. Desde a sua génese, o comércio e os serviços que aí se instalaram têm sofrido grandes mutações. Assim, passou-se de um comércio predominantemente associado ao alimentar e à construção civil, com uma estruturação incipiente e muito marcada pela índole familiar em que se desenvolvia, para uma oferta mais vasta de produtos, alguns deles com especiali-zação, num ambiente urbano mais estruturado. A oferta de serviços é, por comparação, mais recente e mais especializada, apresentando lógicas de localização próprias. Criaram-se, portanto, condições para que se implementassem no território empresas de grande dimen-são do retalho alimentar e não alimentar e, ao mesmo tempo, se desenvolvessem nichos de mercado especializados
    corecore