682 research outputs found
Evaluation and optimization of Big Data Processing on High Performance Computing Systems
Programa Oficial de Doutoramento en Investigación en Tecnoloxías da Información. 524V01[Resumo]
Hoxe en día, moitas organizacións empregan tecnoloxías Big Data para extraer
información de grandes volumes de datos. A medida que o tamaño destes volumes
crece, satisfacer as demandas de rendemento das aplicacións de procesamento
de datos masivos faise máis difícil. Esta Tese céntrase en avaliar e optimizar estas
aplicacións, presentando dúas novas ferramentas chamadas BDEv e Flame-MR. Por
unha banda, BDEv analiza o comportamento de frameworks de procesamento Big
Data como Hadoop, Spark e Flink, moi populares na actualidade. BDEv xestiona
a súa configuración e despregamento, xerando os conxuntos de datos de entrada
e executando cargas de traballo previamente elixidas polo usuario. Durante cada
execución, BDEv extrae diversas métricas de avaliación que inclúen rendemento,
uso de recursos, eficiencia enerxética e comportamento a nivel de microarquitectura.
Doutra banda, Flame-MR permite optimizar o rendemento de aplicacións Hadoop
MapReduce. En xeral, o seu deseño baséase nunha arquitectura dirixida por eventos
capaz de mellorar a eficiencia dos recursos do sistema mediante o solapamento da
computación coas comunicacións. Ademais de reducir o número de copias en memoria
que presenta Hadoop, emprega algoritmos eficientes para ordenar e mesturar os
datos. Flame-MR substitúe o motor de procesamento de datos MapReduce de xeito
totalmente transparente, polo que non é necesario modificar o código de aplicacións
xa existentes. A mellora de rendemento de Flame-MR foi avaliada de maneira exhaustiva
en sistemas clúster e cloud, executando tanto benchmarks estándar coma
aplicacións pertencentes a casos de uso reais. Os resultados amosan unha redución
de entre un 40% e un 90% do tempo de execución das aplicacións. Esta Tese proporciona
aos usuarios e desenvolvedores de Big Data dúas potentes ferramentas
para analizar e comprender o comportamento de frameworks de procesamento de
datos e reducir o tempo de execución das aplicacións sen necesidade de contar con
coñecemento experto para elo.[Resumen]
Hoy en día, muchas organizaciones utilizan tecnologías Big Data para extraer
información de grandes volúmenes de datos. A medida que el tamaño de estos volúmenes
crece, satisfacer las demandas de rendimiento de las aplicaciones de procesamiento
de datos masivos se vuelve más difícil. Esta Tesis se centra en evaluar y
optimizar estas aplicaciones, presentando dos nuevas herramientas llamadas BDEv
y Flame-MR. Por un lado, BDEv analiza el comportamiento de frameworks de procesamiento
Big Data como Hadoop, Spark y Flink, muy populares en la actualidad.
BDEv gestiona su configuración y despliegue, generando los conjuntos de datos de
entrada y ejecutando cargas de trabajo previamente elegidas por el usuario. Durante
cada ejecución, BDEv extrae diversas métricas de evaluación que incluyen rendimiento,
uso de recursos, eficiencia energética y comportamiento a nivel de microarquitectura.
Por otro lado, Flame-MR permite optimizar el rendimiento de aplicaciones
Hadoop MapReduce. En general, su diseño se basa en una arquitectura dirigida por
eventos capaz de mejorar la eficiencia de los recursos del sistema mediante el solapamiento
de la computación con las comunicaciones. Además de reducir el número
de copias en memoria que presenta Hadoop, utiliza algoritmos eficientes para ordenar
y mezclar los datos. Flame-MR reemplaza el motor de procesamiento de datos
MapReduce de manera totalmente transparente, por lo que no se necesita modificar
el código de aplicaciones ya existentes. La mejora de rendimiento de Flame-MR ha
sido evaluada de manera exhaustiva en sistemas clúster y cloud, ejecutando tanto
benchmarks estándar como aplicaciones pertenecientes a casos de uso reales. Los
resultados muestran una reducción de entre un 40% y un 90% del tiempo de ejecución
de las aplicaciones. Esta Tesis proporciona a los usuarios y desarrolladores de
Big Data dos potentes herramientas para analizar y comprender el comportamiento
de frameworks de procesamiento de datos y reducir el tiempo de ejecución de las
aplicaciones sin necesidad de contar con conocimiento experto para ello.[Abstract]
Nowadays, Big Data technologies are used by many organizations to extract
valuable information from large-scale datasets. As the size of these datasets increases,
meeting the huge performance requirements of data processing applications
becomes more challenging. This Thesis focuses on evaluating and optimizing these
applications by proposing two new tools, namely BDEv and Flame-MR. On the one
hand, BDEv allows to thoroughly assess the behavior of widespread Big Data processing
frameworks such as Hadoop, Spark and Flink. It manages the configuration
and deployment of the frameworks, generating the input datasets and launching the
workloads specified by the user. During each workload, it automatically extracts
several evaluation metrics that include performance, resource utilization, energy efficiency
and microarchitectural behavior. On the other hand, Flame-MR optimizes
the performance of existing Hadoop MapReduce applications. Its overall design is
based on an event-driven architecture that improves the efficiency of the system
resources by pipelining data movements and computation. Moreover, it avoids redundant
memory copies present in Hadoop, while also using efficient sort and merge
algorithms for data processing. Flame-MR replaces the underlying MapReduce data
processing engine in a transparent way and thus the source code of existing applications
does not require to be modified. The performance benefits provided by Flame-
MR have been thoroughly evaluated on cluster and cloud systems by using both
standard benchmarks and real-world applications, showing reductions in execution
time that range from 40% to 90%. This Thesis provides Big Data users with powerful
tools to analyze and understand the behavior of data processing frameworks and
reduce the execution time of the applications without requiring expert knowledge
Mexican and Portuguese young students facing disability. A comparative study using social representations
Los resultados de la investigación están basados en una muestra de 479 estudiantes mexicanos y portugueses, de ambos sexos, entre las edades de 15 y 19 años. Su objetivo era identificar y analizar sus sistemas de representación respecto a la discapacidad desde una perspectiva de comparación. Los resultados sugieren que no existe un sistema cerrado de la representación de la discapacidad entre los estudiantes mexicanos y portugueses sino un complejo sistema formado por representaciones centrales y periferias. Además, muestraque muchos denominadores comunes que existen en los dos sistemas de representación, actitudes e imágenes tienden hacia una visión negativa de la discapacidad. Puntos de interés: la aplicación de la teoría de las representaciones sociales en la comprensión de los sistemas sociales de representación para la discapacidad; la identificación de las dimensiones y los elementos que componen los sistemas de representación adoptados por jóvenes estudiantes mexicanos y portugueses
Alfabetización digital y principales iniciativas open access en ciencias de la salud
Ponencias de la Segunda Conferencia internacional sobre brecha digital e inclusión social, celebrada del 28 al 30 de octubre de 2009 en la Universidad Carlos III de MadridLos seres humanos tienden a reaccionar ante las palabras por sus antónimos. Lo primero que se piensa cuando se habla de alfabetización es en los analfabetos. Lamentablemente nos encontramos ante una palabra con un antónimo muy fuerte y con implicancias sociales y culturales negativas. Esta es una de las grandes críticas a la tendencia de llamar “alfabetización” a esta renovación continua de las capacidades de aprender y comunicarse, aunque coincidimos con los que sostienen que la palabra “alfabetización”, además de tener un significando de capacidad para leer y escribir, cada vez con mayor intensidad, ha ido extendiendo gradualmente su campo de aplicación en la era digital hacia un significado más relacionado con la capacidad para utilizar las tecnologías de información y comunicaciones, entendiendo la información que contienen, cualquiera que sea su formato. La alfabetización la entendemos como un proceso constante y permanente de aprendizaje que debe perdurar por toda la vida de las personas para que las mismas sean funcionales en su vida en familia, en sociedad y en las organizaciones en las que trabajan en este nuevo paradigma llamado “Sociedad de la Información”. La Alfabetización Digital es el último peldaño conocido de esta escalada hacia la Sociedad de la Información. Estamos en el medio de un proceso de transformación permanente que nos impone reorganizar nuestras relaciones con la realidad y debemos estar preparados para actuar en consecuencia ya que el tiempo y la disponibilidad y el acceso a información se han transformado en elementos claves de supervivencia en esta nueva Sociedad
Jóvenes estudiantes mexicanos y portugueses frente a la discapacidad. Un estudio comparativo de sus representaciones sociales
The results of the investigation are based on a sample of 479 Mexican and
Portuguese students of both genders, between the ages of 15 and 19. Its aim was to identify
and analyze their systems of representation with regards to disability from a perspective of
comparison. The results suggest that there is not a closed system of representation for disability
amongst Mexican and Portuguese students but rather a complex system made up of central
representations and peripheries. It further shows that many common denominators exist in
the two systems of representation that reveal attitudes and images that tend to a negative
view of disability. Points of Interest: the application of the theory of social representations
in the understanding of the social systems of representation for disability; the identification
of the dimensions and elements that make up the representation systems adopted by young
Mexican and Portuguese students.Los resultados de la investigación están basados en una muestra de 479 estudiantes mexicanos y portugueses, de ambos sexos, entre las edades de 15 y 19 años. Su objetivo era identificar y analizar sus sistemas de representación respecto a la discapacidad desde una perspectiva de comparación. Los resultados sugieren que no existe un sistema cerrado de la representación de la discapacidad entre los estudiantes mexicanos y portugueses sino un complejo sistema formado por representaciones centrales y periferias. Además, muestra que muchos denominadores comunes que existen en los dos sistemas de representación, actitudes e imágenes tienden hacia una visión negativa de la discapacidad. Puntos de interés: la aplicación de la teoría de las representaciones sociales en la comprensión de los sistemas sociales de representación para la discapacidad; la identificación de las dimensiones y los elementos que componen los sistemas de representación adoptados por jóvenes estudiantes mexicanos y portugueses
Capacidades, competencias y marcas identitarias de las personas con deficiencia. Las opiniones de los estudiantes portugueses y mexicanos jóvenes
Trata-se de um estudo exploratório e de tipo quantitativo, no qual foi aplicado um inquérito por questionário, redigido em língua portuguesa e em língua espanhola, a duas amostras de jovens estudantes (200 mexicanos e 279 portugueses). As amostras foram escolhidas por conveniência em 9 escolas básicas de ambos os países. Os resultados mostram que maioria dos jovens estudantes portugueses e mexicanos assumem globalmente uma visão inclusiva sobre as capacidades, competências e marcas identitárias das pessoas com deficiência. Embora, entre os estudantes dos dois países existam algumas diferenças na expressão das opiniões, os resultados obtidos são estruturalmente semelhantes. Portanto, os resultados não apontam as diferenças culturais e o contacto com a deficiência como relevantes na formação das opiniões sobre algumas capacidades, competências e marcas identitárias das pessoas com deficiência.This is an exploratory and quantitative study in which a survey, written in Portuguese and Spanish, was conducted in two samples of young students (200 Mexican and 279 Portuguese). For convenience, samples were selected from nine basic schools in both countries. The results show that most young Portuguese and Mexican students take an inclusive view of the capacities, competences and identity marks of people with disabilities. Although differences were found between students in the two countries, the results obtained are structurally similar. Therefore, our study does not confirm the findings of others that consider cultural and contact differences relevant in the formation of some opinions about skills, competences and marks of identity of people with disabilities.Este es un estudio de tipo exploratorio y cuantitativo, que se aplicó un cuestionario, escrito en portugués y español, las dos muestras de jóvenes estudiantes (200 mexicanos y 279 portugueses). Las muestras fueron elegidas por conveniencia en 9 escuelas básicas de ambos países. Los resultados muestran que la mayoría de los estudiantes portugueses y mexicanos jóvenes suelen tener una visión completa de las habilidades, competencias y marcas de identificación de las personas con deficiencia. Aunque entre los estudiantes de ambos países existen algunas diferencias en la expresión de las opiniones, los resultados obtenidos son estructuralmente similares. Por lo tanto, los resultados no apuntan a las diferencias culturales y el contacto con la deficiencia como relevantes en la formación de las opiniones sobre algunas capacidades, competencias y marcas identitarias de las personas con deficiencia.info:eu-repo/semantics/publishedVersio
Pose estimation system based on monocular cameras
Our world is full of wonders. It is filled with mysteries and challenges, which through
the ages inspired and called for the human civilization to grow itself, either philosophically
or sociologically. In time, humans reached their own physical limitations;
nevertheless, we created technology to help us overcome it. Like the ancient uncovered
land, we are pulled into the discovery and innovation of our time. All of this is
possible due to a very human characteristic - our imagination.
The world that surrounds us is mostly already discovered, but with the power of
computer vision (CV) and augmented reality (AR), we are able to live in multiple hidden
universes alongside our own. With the increasing performance and capabilities of
the current mobile devices, AR is what we dream it can be. There are still many obstacles,
but this future is already our reality, and with the evolving technologies closing
the gap between the real and the virtual world, soon it will be possible for us to surround
ourselves into other dimensions, or fuse them with our own.
This thesis focuses on the development of a system to predict the camera’s pose
estimation in the real-world regarding to the virtual world axis. The work was developed
as a sub-module integrated on the M5SAR project: Mobile Five Senses Augmented
Reality System for Museums, aiming to a more immerse experience with the
total or partial replacement of the environments’ surroundings. It is based mainly on
man-made buildings indoors and their typical rectangular cuboid shape. With the possibility
of knowing the user’s camera direction, we can then superimpose dynamic AR content, inviting the user to explore the hidden worlds.
The M5SAR project introduced a new way to explore the existent historical museums
by exploring the human’s five senses: hearing, smell, taste, touch, vision. With
this innovative technology, the user is able to enhance their visitation and immerse
themselves into a virtual world blended with our reality. A mobile device application
was built containing an innovating framework: MIRAR - Mobile Image Recognition
based Augmented Reality - containing object recognition, navigation, and additional
AR information projection in order to enrich the users’ visit, providing an intuitive
and compelling information regarding the available artworks, exploring the hearing
and vision senses. A device specially designed was built to explore the additional
three senses: smell, taste and touch which, when attached to a mobile device, either
smartphone or tablet, would pair with it and automatically react in with the offered
narrative related to the artwork, immersing the user with a sensorial experience.
As mentioned above, the work presented on this thesis is relative to a sub-module
of the MIRAR regarding environment detection and the superimposition of AR content.
With the main goal being the full replacement of the walls’ contents, and with the
possibility of keeping the artwork visible or not, it presented an additional challenge
with the limitation of using only monocular cameras. Without the depth information,
any 2D image of an environment, to a computer doesn’t represent the tridimensional
layout of the real-world dimensions. Nevertheless, man-based building tends to follow
a rectangular approach to divisions’ constructions, which allows for a prediction
to where the vanishing point on any environment image may point, allowing the reconstruction
of an environment’s layout from a 2D image. Furthermore, combining
this information with an initial localization through an improved image recognition
to retrieve the camera’s spatial position regarding to the real-world coordinates and
the virtual-world, alas, pose estimation, allowed for the possibility of superimposing
specific localized AR content over the user’s mobile device frame, in order to immerse,
i.e., a museum’s visitor into another era correlated to the present artworks’ historical
period. Through the work developed for this thesis, it was also presented a better planar surface in space rectification and retrieval, a hybrid and scalable multiple images
matching system, a more stabilized outlier filtration applied to the camera’s axis,
and a continuous tracking system that works with uncalibrated cameras and is able to
achieve particularly obtuse angles and still maintain the surface superimposition.
Furthermore, a novelty method using deep learning models for semantic segmentation
was introduced for indoor layout estimation based on monocular images. Contrary
to the previous developed methods, there is no need to perform geometric calculations
to achieve a near state of the art performance with a fraction of the parameters
required by similar methods. Contrary to the previous work presented on this thesis,
this method performs well even in unseen and cluttered rooms if they follow the Manhattan
assumption. An additional lightweight application to retrieve the camera pose
estimation is presented using the proposed method.O nosso mundo está repleto de maravilhas. Está cheio de mistérios e desafios, os quais,
ao longo das eras, inspiraram e impulsionaram a civilização humana a evoluir, seja
filosófica ou sociologicamente. Eventualmente, os humanos foram confrontados com
os seus limites físicos; desta forma, criaram tecnologias que permitiram superá-los.
Assim como as terras antigas por descobrir, somos impulsionados à descoberta e inovação
da nossa era, e tudo isso é possível graças a uma característica marcadamente
humana: a nossa imaginação.
O mundo que nos rodeia está praticamente todo descoberto, mas com o poder da
visão computacional (VC) e da realidade aumentada (RA), podemos viver em múltiplos
universos ocultos dentro do nosso. Com o aumento da performance e das capacidades
dos dispositivos móveis da atualidade, a RA pode ser exatamente aquilo que
sonhamos. Continuam a existir muitos obstáculos, mas este futuro já é o nosso presente,
e com a evolução das tecnologias a fechar o fosso entre o mundo real e o mundo
virtual, em breve será possível cercarmo-nos de outras dimensões, ou fundi-las dentro
da nossa.
Esta tese foca-se no desenvolvimento de um sistema de predição para a estimação
da pose da câmara no mundo real em relação ao eixo virtual do mundo. Este trabalho
foi desenvolvido como um sub-módulo integrado no projeto M5SAR: Mobile
Five Senses Augmented Reality System for Museums, com o objetivo de alcançar uma
experiência mais imersiva com a substituição total ou parcial dos limites do ambiente. Dedica-se ao interior de edifícios de arquitetura humana e a sua típica forma
de retângulo cuboide. Com a possibilidade de saber a direção da câmara do dispositivo,
podemos então sobrepor conteúdo dinâmico de RA, num convite ao utilizador
para explorar os mundos ocultos.
O projeto M5SAR introduziu uma nova forma de explorar os museus históricos existentes
através da exploração dos cinco sentidos humanos: a audição, o cheiro, o paladar,
o toque e a visão. Com essa tecnologia inovadora, o utilizador pode engrandecer
a sua visita e mergulhar num mundo virtual mesclado com a nossa realidade. Uma
aplicação para dispositivo móvel foi criada, contendo uma estrutura inovadora: MIRAR
- Mobile Image Recognition based Augmented Reality - a possuir o reconhecimento
de objetos, navegação e projeção de informação de RA adicional, de forma a
enriquecer a visita do utilizador, a fornecer informação intuitiva e interessante em relação
às obras de arte disponíveis, a explorar os sentidos da audição e da visão. Foi
também desenhado um dispositivo para exploração em particular dos três outros sentidos
adicionais: o cheiro, o toque e o sabor. Este dispositivo, quando afixado a um
dispositivo móvel, como um smartphone ou tablet, emparelha e reage com este automaticamente
com a narrativa relacionada à obra de arte, a imergir o utilizador numa
experiência sensorial.
Como já referido, o trabalho apresentado nesta tese é relativo a um sub-módulo
do MIRAR, relativamente à deteção do ambiente e a sobreposição de conteúdo de RA.
Sendo o objetivo principal a substituição completa dos conteúdos das paredes, e com
a possibilidade de manter as obras de arte visíveis ou não, foi apresentado um desafio
adicional com a limitação do uso de apenas câmaras monoculares. Sem a informação
relativa à profundidade, qualquer imagem bidimensional de um ambiente, para um
computador isso não se traduz na dimensão tridimensional das dimensões do mundo
real. No entanto, as construções de origem humana tendem a seguir uma abordagem
retangular às divisões dos edifícios, o que permite uma predição de onde poderá apontar
o ponto de fuga de qualquer ambiente, a permitir a reconstrução da disposição de
uma divisão através de uma imagem bidimensional. Adicionalmente, ao combinar esta informação com uma localização inicial através de um reconhecimento por imagem
refinado, para obter a posição espacial da câmara em relação às coordenadas
do mundo real e do mundo virtual, ou seja, uma estimativa da pose, foi possível alcançar
a possibilidade de sobrepor conteúdo de RA especificamente localizado sobre
a moldura do dispositivo móvel, de maneira a imergir, ou seja, colocar o visitante do
museu dentro de outra era, relativa ao período histórico da obra de arte em questão.
Ao longo do trabalho desenvolvido para esta tese, também foi apresentada uma melhor
superfície planar na recolha e retificação espacial, um sistema de comparação de
múltiplas imagens híbrido e escalável, um filtro de outliers mais estabilizado, aplicado
ao eixo da câmara, e um sistema de tracking contínuo que funciona com câmaras não
calibradas e que consegue obter ângulos particularmente obtusos, continuando a manter
a sobreposição da superfície.
Adicionalmente, um algoritmo inovador baseado num modelo de deep learning
para a segmentação semântica foi introduzido na estimativa do traçado com base em
imagens monoculares. Ao contrário de métodos previamente desenvolvidos, não é
necessário realizar cálculos geométricos para obter um desempenho próximo ao state
of the art e ao mesmo tempo usar uma fração dos parâmetros requeridos para métodos
semelhantes. Inversamente ao trabalho previamente apresentado nesta tese, este
método apresenta um bom desempenho mesmo em divisões sem vista ou obstruídas,
caso sigam a mesma premissa Manhattan. Uma leve aplicação adicional para obter a
posição da câmara é apresentada usando o método proposto
MarDRe: efficient MapReduce-based removal of duplicate DNA reads in the cloud
This is a pre-copyedited, author-produced version of an article accepted for publication in Bioinformatics following peer review. The version of record Roberto R. Expósito, Jorge Veiga, Jorge González-Domínguez, Juan Touriño; MarDRe: efficient MapReduce-based removal of duplicate DNA reads in the cloud, Bioinformatics, Volume 33, Issue 17, 1 September 2017, Pages 2762–2764 is available online at: https://doi.org/10.1093/bioinformatics/btx307[Abstract] This article presents MarDRe, a de novo cloud-ready duplicate and near-duplicate removal tool that can process single- and paired-end reads from FASTQ/FASTA datasets. MarDRe takes advantage of the widely adopted MapReduce programming model to fully exploit Big Data technologies on cloud-based infrastructures. Written in Java to maximize cross-platform compatibility, MarDRe is built upon the open-source Apache Hadoop project, the most popular distributed computing framework for scalable Big Data processing. On a 16-node cluster deployed on the Amazon EC2 cloud platform, MarDRe is up to 8.52 times faster than a representative state-of-the-art tool.Ministerio de Economia y Competitividad; TIN2016-75845-PMinisterio de Educación; FPU014/0280
An analysis of the dynamics of efficiency of mutual funds
This paper studies the efficiency of a sample of mutual funds that invest in the United States. Estimating a production function using Bayesian stochastic frontier analysis, we find evidence that the underlying technology presents economies of scale both at the fund and firm level. We also find evidence that informational asymmetries affect efficiency. Funds that invest domestically are likely to be more efficient than foreign funds investing in the US. Moreover, an inspection at the distribution process shows that funds sold directly to investors rather than by financial intermediaries are more efficient. The level of inefficiency persistence is overall high.Persistency of inefficiency is particularly higher for ethical funds, funds oriented to large firm sand lower in funds oriented to growth firms. The analysis done in two separate periods also shows that the efficiency of the funds changes. In particular, funds oriented to non-ethical, small and growth firms become more efficient over the period. Finally, funds' efficiency decreases during global financial crisis, but at the end of the sample period some funds recover and their efficiency levels are higher than those registered before the financial crisis. Our results have implications for investors' decisions in mutual funds.The authors acknowledge financial support from Fundação para a Ciência e
Tecnologia PEst-OE/EGE/UI0315/2011 and from the Spanish Ministry of Education and Science, research
project ECO2012-3240
- …