Accessing very high dimensional spaces in parallel

Access methods are a fundamental tool on Information Retrieval. However, most of these methods suffer the problem known as the curse of dimensionality when they are applied to objects with very high dimensionality representation spaces, such as text documents. In this paper we introduce a new parallel access method that uses several graphs as distributed index structure and a kNN search algorithm. Two parallel versions of the search method are presented, one based on master–slave scheme and the other based on a pipeline. A thorough experimental analysis on different datasets shows that our method can process efficiently large flows of queries, compete with other parallel algorithms and obtain at the same time very high quality results.This research has been supported by the CICYT project TIN2014-53495-R of the Ministerio de Economía y Competitividad

Procesamiento de consultas en motores de búsqueda: diseño y evaluación en términos de consumo de energía

Actualmente los centros de datos accedidos por los buscadores web junto con las computadoras personales consumen el 10% de la energía mundial, y de ese porcentaje aproximadamente el 2% es consumido sólo por los buscadores y sus centros de datos. Sin embargo, es de esperar que en los próximos años estos porcentajes se incrementen en un 30% o 40% debido a que el tamaño de la Web tiende a duplicarse cada ocho meses, la cantidad de usuarios que se conectan a ésta sigue creciendo y los buscadores satisfacen la creciente demanda incrementando el hardware utilizado. En este trabajo se presentan los objetivos y los desafíos de una línea de investigación que abarca los problemas de consumo de energía que deben solucionar actualmente los grandes centros de cómputos y de datos, en particular los buscadores Web.Eje: Procesamiento distribuido y paraleloRed de Universidades con Carreras en Informática (RedUNCI

Procesamiento de consultas en motores de búsqueda: diseño y evaluación en términos de consumo de energía

Actualmente los centros de datos accedidos por los buscadores web junto con las computadoras personales consumen el 10% de la energía mundial, y de ese porcentaje aproximadamente el 2% es consumido sólo por los buscadores y sus centros de datos. Sin embargo, es de esperar que en los próximos años estos porcentajes se incrementen en un 30% o 40% debido a que el tamaño de la Web tiende a duplicarse cada ocho meses, la cantidad de usuarios que se conectan a ésta sigue creciendo y los buscadores satisfacen la creciente demanda incrementando el hardware utilizado. En este trabajo se presentan los objetivos y los desafíos de una línea de investigación que abarca los problemas de consumo de energía que deben solucionar actualmente los grandes centros de cómputos y de datos, en particular los buscadores Web.Eje: Procesamiento distribuido y paraleloRed de Universidades con Carreras en Informática (RedUNCI

Programación paralela en sistemas híbridos

Con la aparición de las CPU multi-cores (o Chiplevel- Multi-Processor -CMP-), es importante el desarrollo de las técnicas que exploten las ventajas de las CMP para acelerar las aplicaciones paralelas que poseen una gran demanda de cómputo paralelo. En particular, las aplicaciones que requieren de un gran poder computacional de los recursos disponibles, es esencial poder desarrollar estrategias y algoritmos que aprovechen el uso adecuado del hardware. Esto es especialmente crítico cuando se consideran sistemas o aplicaciones en las que los requerimientos ingresan en intervalos variables. En este trabajo se propone el desarrollo de técnicas híbridas basadas en el uso de MPI para la comunicación entre procesadores y OpenMP para la comunicación entre cores de un mismo procesador. OpenMP ha sido desarrollado para tomar ventaja de las facilidades multithreading de los nodos CMP.Eje: Procesamiento Distribuido y ParaleloRed de Universidades con Carreras en Informática (RedUNCI

Programación paralela en sistemas híbridos

Con la aparición de las CPU multi-cores (o Chiplevel- Multi-Processor -CMP-), es importante el desarrollo de las técnicas que exploten las ventajas de las CMP para acelerar las aplicaciones paralelas que poseen una gran demanda de cómputo paralelo. En particular, las aplicaciones que requieren de un gran poder computacional de los recursos disponibles, es esencial poder desarrollar estrategias y algoritmos que aprovechen el uso adecuado del hardware. Esto es especialmente crítico cuando se consideran sistemas o aplicaciones en las que los requerimientos ingresan en intervalos variables. En este trabajo se propone el desarrollo de técnicas híbridas basadas en el uso de MPI para la comunicación entre procesadores y OpenMP para la comunicación entre cores de un mismo procesador. OpenMP ha sido desarrollado para tomar ventaja de las facilidades multithreading de los nodos CMP.Eje: Procesamiento Distribuido y ParaleloRed de Universidades con Carreras en Informática (RedUNCI

Consultas sobre espacios métricos en paralelo

En este trabajo se proponen estrategias eficientes y escalables de procesamiento paralelo de consultas, sobre índices distribuidos para bases de datos compuestas de un gran número de objetos en espacios métricos. Las estrategias están diseñadas para satisfacer los requerimientos de las máquinas de búsqueda para la Web, que operan a una gran tasa de consultas por unidad de tiempo, lo cual en este trabajo se logra mediante la combinación de las siguientes estrategias: (a) Particionado del índice de tal manera de reducir el número de procesadores involucrados en la solución de cada consulta, (b) reducción del número de objetos de la base de datos que son directamente comparados con cada consulta, (c) planificación de consultas para balancear la carga de los procesadores, (d) asignación equitativa de recursos de hardware y software a las consultas siendo resueltas, y (e) reducción de latencias mediante una combinación de los modelos síncrono y asíncrono de computación paralela. La eficiencia y escalabilidad de las estrategias propuestas se evalúan utilizando diferentes bases de datos y clusters de computadores, y los resultados muestran que éstas logran mejor desempeño que estrategias alternativas presentadas en la literatura.Eje: Concurso de tesisRed de Universidades con Carreras en Informática (RedUNCI

Hybrid architecture for metric space searches

Every day, new technologies are developed to combine the facilities arranged for shared memory systems with the facilities that provide distributed memory systems. This paper proposes a hybrid system that enables communication between threads running in a shared memory environment and a cluster of computers. To do this we use specific directives provided by MPI to solve a problem of similarity search on metric spaces .This work is part of a larger project that deals with improving query searches over high dimensional spaces, managing large volumes of data, reducing the number of distance evaluations and query response times. While the proposal of this work may be generalized and used for other problems, the results show that the proposed hybrid algorithm allows a significant improvement. This work is part of a larger project that deals with improving the execution of parallel algorithms using a hybrid architecture. The goal is to take advantage of the features and facilities provided by the new parallel architectures that combine distributed and shared memory systems. The former allows to solve large scale problems while the second allows better use of resources.Presentado en el XI Workshop Procesamiento Distribuido y Paralelo (WPDP)Red de Universidades con Carreras en Informática (RedUNCI

Consultas sobre espacios métricos en paralelo

El trabajo desarrollado en esta tesis tuvo como objetivo el diseño, implementación y evaluación de un índice distribuido para objetos en espacios métricos y su respectiva estrategia de procesamiento paralelo de consultas para máquinas de búsqueda.Tesis doctoral de la Facultad de Ciencias Físicomatemáticas y Naturales (Universidad Nacional de San Luis). Grado alcanzado: Doctor en Ciencias de la Computación. Director de tesis: Martín Mauricio; co-director: Marcela Printista.Red de Universidades con Carreras en Informática (RedUNCI

Distributed Sparse Spatial Selection Indexes

Searching for similar objects in metric-space databases can be efficiently solved by using index data structures. A number of alternative sequential indexes have been proposed in the literature. This paper proposes the parallelization of a recent pivot-based index data structure which can efficiently accommodate on-line updates and reduces the number of object-to-object comparisons during searches. We present algorithms for index construction and query processing