Um algoritmo de alocação para bancos de dados biológicos distribuídos

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico, Programa de Pós-Graduação em Ciência da Computação, Florianópolis, 2014O presente trabalho propõe um algoritmo de alocação de dados distribuídos baseado na anidade de dados e perfis de uso com foco em bancos de dados (BD) relacionais biológicos. A proposta visa instruir os administradores de banco de dados (DBAs) sobre como alocar os dados nos nós de um cluster visando obter o melhor desempenho possível nas consultas e demais requisições dos usuários. O esquema e verificado através de testes em laboratório. Os experimentos são realizados sobre o sistema data warehouse (DW) Intermine (SMITH et al., 2012) utilizando o pgGrid, que adiciona funções de reaplicação e fragmentação no PostgreSQL e o HadoopDB (implementação do modelo Map-Reduce para bancos de dados relacionais). O algoritmo e comparado com outras propostas de alocação geradas por algoritmos desenvolvidos em pesquisas recentes.Abstract: This work proposes a data allocation algorithm based on distributed data affinity and query profile with focus on biological relational databases.The proposal aims to help database administrators (DBAs) about how to allocate the data across nodes in a cluster in order to obtain the maximum performance improvements on query time and executing other user requests. The allocation schema is verified in laboratory tests. The Intermine datawarehouse (DW) system (SMITH et al., 2012) was chosen as subject of this evaluation. The experiments were executed on distributed database platforms such as pgGrid, which adds replication and fragmentation functions to PostgreSQL and HadoopDB(implementation of Map-Reduce model for relational databases). Finally, the algorithm is compared with other allocation methods developed in recent researches

Técnicas, metodologias e ferramentas para projeto de bancos de dados distribuídos: uma estudo de soluções propostas

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação.O desenvolvimento do projeto de banco de dados distribuídos é visto como a etapa que garante o retorno dos investimentos de quem aposta nessa tecnologia. Devido as várias decisões que necessitam ser tomadas ao longo da execução do projeto, essa tarefa passa a enfrentar vários obstáculos. O primeiro deles é a escolha da abordagem, ou seja, top-down para o ambiente em que banco de dados será iniciado a partir do zero ou abordagem bottom-up para bancos de dados preexistentes e posteriormente integrados. A próxima decisão será sobre as técnicas utilizadas, para a abordagem top-down é necessário resolver duas questões, o particionamento e alocação dos dados. Para contribuir com o entendimento da relação entre esses fatores, este estudo apresenta algoritmos e heurísticas específicas para algumas técnicas, ferramentas e metodologias propostas por diferentes autores no intuito de fornecer boas sugestões para uma possível escolha de solução de boa qualidade

Estudo e implementação de um sistema de banco de dados distribuido

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro TecnologicoNeste trabalho apresenta-se o desenvolvimento e implementação de um sistema de informação baseado em um Banco de Dados Distribuído. No desenvolvimento do sistema utilizou-se técnicas da Engenharia da Informação e métodos de distribuição de dados para realizar o levantamento dos dados e processos e também os projetos lógico e físico. A implementação do sistema foi baseada no Sistema de Gerência de Banco de Dados Distribuído Oracle e em uma grande variedade de outros recursos computacionais da Celesc - Centrais Elétricas de Santa Catarina S.A, empresa usuária do sistema desenvolvido. No desenvolvimento do sistema deu-se ênfase às técnicas de replicação dos dados e do mecanismo de manutenção da integridade do Banco de Dados Distribuído em operações de atualizações globais, visando a garantia da consistência dos dados. Tirando proveito da experiência adquirida na implementação desse sistema, realizou-se também neste trabalho uma análise comparativa dos principais requisitos ideais de Banco de Dados Distribuídos existentes na literatura com o sistema implementado. Outrossim, um importante aspecto prático deste trabalho foi o domínio de modernas tecnologias para desenvolvimento de sistemas de informação distribuídos para dotar e repassar a Celesc uma nova metodologia de desenvolvimento de sistemas, atendendo com isto necessidades emergentes da empresa nesta área

Um repositório chave-valor com garantia de localidade de dados

Orientador : Prof. Dr. Carmem Satie HaraDissertação (mestrado) - Universidade Federal do Paraná, Setor de Ciências Exatas, Programa de Pós-Graduação em Informática. Defesa: Curitiba, 09/08/2016Inclui referências : f. 67-76Resumo: Grandes volumes de dados produzidos diariamente trouxeram desafios envolvendo a definição de formas eficientes de como extraí-los, armazená-los e acessá-los. Entretanto, soluções tradicionais de bancos de dados não se mostraram eficientes diante de tais desafios, principalmente no requisito de escalabilidade. Uma possível abordagem para prover escalabilidade horizontal aos sistemas gerenciadores de banco de dados é a adoção de uma arquitetura estratificada, tendo como base um sistema de armazenamento distribuído com uma interface simples para o acesso a dados remotamente armazenados. Esta dissertação apresenta o ALOCS, um repositório distribuído de dados que adota o modelo chave-valor, mas que permite a alocação de um conjunto de pares agrupados em uma única estrutura, cuja localidade é controlada pela aplicação usuária do sistema. O controle de localidade permite que dados usualmente utilizados em conjunto possam ser alocados em um mesmo servidor, reduzindo a quantidade de comunicações entre servidores no processamento de suas consultas. Isto é essencial para prover escalabilidade e melhorar o desempenho de processamento das consultas em ambientes distribuídos. Os estudos experimentais mostram a melhoria no tempo de resposta das consultas utilizando a solução proposta.Abstract:Large volumes of data produced every day brought new challenges involving the definition of efficient ways to extract, store and access them. However, traditional database solutions are not efficient to solve these challenges, especially with respect to the scalability requirement. One approach to provide horizontal scalability to database management systems is the adoption of a layered architecture, based on a distributed storage system with a simple interface to access data remotely stored. This dissertation presents ALOCS, a distributed storage repository of data which adopts the key-value model, and which allows the allocation of a set of pairs grouped into a single structure whose location is controlled by the user application of the system. This control allows data commonly used together to be allocated on the same server, reducing the amount of communications between servers for query processing. This is essential to provide scalability and improve the processing of query execution in distributed environments. Experimental studies shows that ALOCS improves query response times by reducing the amount of remote data accesse

Localização de instalações com o auxílio de Sistema de Informações Geográficas (SIG) e modelagem matemática

Problemas de localização de instalações envolvem escolher o melhor local para uma ou mais instalações dentro de um conjunto de locais possíveis, sendo uma questão logística de ampla abrangência e de grande importância. Uma das ferramentas que auxiliam na resolução desses problemas são os Sistemas de Informações Geográficas (SIG), pela sua grande capacidade em armazenar, exibir e manipular dados espacialmente distribuídos. Essa capacidade aumenta consideravelmente quando se faz seu uso combinado com técnicas de Pesquisa Operacional. Contudo, a integração do SIG com algoritmos de localização, apesar de bastante promissora, ainda não está totalmente difundida na comunidade científica internacional. Nesse sentido, o objetivo deste trabalho é efetuar uma interface entre o software SIG e um modelo de programação matemática, externo ao SIG, que efetue a localização e alocação de instalações de forma simultânea. Para tanto, foi efetuada uma simulação em um problema fictício de localização de Centros de Distribuição (CD’s), com dados espaciais reais do estado de São Paulo e 18 de seus principais municípios, candidatos à abertura de novos CD’s. Os resultados obtidos mostraram que a realização da interface entre a programação matemática e o software SIG é extremamente viável e, para o problema estudado, também eficiente.Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES

Gestão de Pessoas como Fator de Sucesso na Incorporação da Nossa Caixa pelo Banco do Brasil

Despite the increasing number of mergers and acquisitions, aspects related to people management and cultural integration are often neglected in these operations, impairing individual and organizational performance. Considering the importance of understanding the variables that influence the success of these processes, this research had the main objective of evaluating human resource practices adopted to facilitate the incorporation of Banco Nossa Caixa (BNC) by Banco do Brasil (BB). The evaluation was based on employees’ perceptions of the actions taken in order to promote their allocation, integration, orientation, training and adaptation. Data were collected through a structured questionnaire, available on the company’s intranet. The sample consisted of 781 former BNC employees (that delivered valid responses to the questionnaire). For data analysis, descriptive and multivariate statistical techniques (factorial analysis, t-test, and variance analysis) were used. The results revealed that, in general, participants had a positive perception of the incorporation process, which suggests that the actions taken by BB were effective. They also indicate the bank´s consideration for the people and the organizational culture being incorporated, though there were perception differences between employee segments. We hope that this study will contribute to the understanding of variables that influence the success of mergers and acquisitions, as well as contribute to the theoretical and practical debate on the topic

Banco de dados distribuídos para auxiliar na gerência de redes

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Ciência da Computação.Atualmente a maioria das empresas de médio e grande porte formadas de filiais que geralmente se localizam geograficamente distantes entre si não possuem uma integração entre seus bancos de dados, ou seja, armazenam e consultam apenas os dados locais. Isso é indesejável não somente para informações financeiras e contábeis, mas também no âmbito de gerência de redes. Devido ao crescimento do número de tecnologias de acesso a Internet que usam banda larga e por conseqüência seu barateamento, surge a possibilidade de utilização destes serviços nas empresas. Assim como o crescimento do número de softwares de banco de dados com suporte a distribuição de informações (e seu barateamento) facilita a integração de dados. O emprego de banco de dados distribuídos e gerência de redes de forma conjunta torna as informações de gerência (além de dados diversos das filiais) mais integradas e fáceis de se consultar e analisar

Comparação paralela exata de sequências biológicas em plataformas híbridas de alto desempenho

Dissertação (mestrado)—Universidade de Brasília, Instituto de Ciências Exatas, Departamento de Ciência da Computação, Programa de Pós-Graduação em Informática, 2013.Quando uma nova sequência biológica é descoberta, suas características funcionais e estruturais devem ser estabelecidas. Para isso, a sequência é comparada com outras sequências, procurando por similaridades. A comparação de sequências é, então, uma das operações básicas em Bioinformática. O algoritmo mais preciso para executar compara- ções é o proposto por Smith-Waterman (SW), que é baseado em programação dinâmica e possui complexidade quadrática de tempo e espaço. Essa complexidade pode facilmente levar a um alto tempo de execução e uso de memória. Técnicas de processamento paralelo podem ser utilizadas para produzir resultados em menos tempo. Existem muitas versões paralelas do algoritmo SW na literatura que se executam em multicores, GPUs, FPGAs e CellBEs. Mesmo que existam algumas abordagens que executem o algoritmo SW em plataformas híbridas compostas por GPUs e multicores, elas alocam trabalho de forma xa, baseada no desempenho teórico das unidades de processamento ou nos resultados obtidos por benchmarks. Essa dissertação de Mestrado propõe e avalia uma estratégia otimizada e exível para executar o algoritmo SW em plataformas híbridas compostas por GPUs e multicores com extensões SIMD. A nossa estratégia fornece múltiplas polí- ticas de alocação de tarefas e o usuário pode escolher a que é mais apropriada para o seu problema. Propomos também um mecanismo de re-trabalho que trata situações que ocorrem quando nodos mais lentos recebem as últimas e maiores tarefas. Os resultados obtidos comparando sequências de busca com cinco diferentes bancos de dados genômicos em uma plataforma composta por 4 GPUs e 2 multicores mostram que a nossa aborda- gem é capaz de reduzir o tempo de execução em plataformas híbridas, quando comparada com soluções que utilizam apenas GPUs. Mostramos também que o nosso mecanismo de re-trabalho pode melhorar signi cativamente o desempenho na plataforma utilizada. ______________________________________________________________________________ ABSTRACTOnce a new biological sequence is discovered, its functional and structural characteris- tics must be established. In order to do that, the newly discovered sequence is compared against other sequences, looking for similarities. Sequence comparison is, therefore, one of the most basic operations in Bioinformatics. The most accurate algorithm to execute pairwise comparisons is the one proposed by Smith-Waterman (SW), which is based on dynamic programming, with quadratic time and space complexity. This can easily lead to very high execution times and huge memory requirements. Parallel processing can be used to produce results faster, reducing signi cantly the time needed to obtain results with the SW algorithm. There are many parallel versions of SW in the literature, which run in multicores, GPUs, Field-Programmable Gate Arrays (FPGAs) and CellBEs. Even though there are some versions of SW that run on hybrid platforms composed of GPUs and multicores, they assign work in a xed way, based on the theoretical performance of the processing units or in the results obtained by some benchmarks. This MsC Disser-tation proposes and evaluates a exible and optimized strategy to run Smith-Waterman applications in hybrid platforms composed of GPUs and multicores with SIMD extensions. Our strategy provides multiple task allocation policies and the user can choose the one which is more appropriate to his/her problem. We also propose a workload adjustment mechanism that tackles situations that arise when slow nodes receive the last tasks. The results obtained comparing query sequences to 5 public genomic databases in a platform composed of 4 GPUs and 2 multicores show that we are able to reduce the execution time with hybrid platforms, when compared to the GPU-only solution. We also show that our workload adjustment technique can provide signi cant performance gains in our target platform

Precificação em pequenas empresas supermercadistas

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro Tecnológico. Programa de Pós-Graduação em Engenharia de Produção

Bancos de dados móveis: uma análise de solução propostas para gerenciamento de dados

Dissertação (mestrado) - Universidade Federal de Santa Catarina, Centro TecnológicoO volume de dados processados e principalmente armazenados tem crescido de forma exponencial, por este motivo estão surgindo tecnologias novas que possam acompanhar esta evolução. Grandes conquistas tecnológicas do homem estão se miniaturizando em alta velocidade. É importante que o banco de dados busque adaptabilidade à velocidade das transformações que ocorrem em todos os setores computacionais, conferindo uma crescente importância para a habilidade de armazenar, gerenciar e recuperar dados. O trabalho proposto tem como objeto de estudo banco de dados móveis com ênfase em soluções propostas para gerenciamento de dados, analisando aspectos como gerenciamento de transações, processamento de consultas, replicação de dados, recuperação de falhas e segurança de dados. Além dos aspectos de gerenciamento de dados, o trabalho presente aborda a aplicabilidade dos bancos de dados móveis, sua arquitetura, vantagens, restrições e objetivos, reunindo conceitos sobre computação móvel, comunicação sem fio, protocolos móveis, banco de dados distribuídos e os principais produtos existentes no mercado relacionado à plataforma móve