Técnicas de particionamiento multidimensional basadas en índices multiatributo en bases de datos paralelas

Los requerimientos cada día más exigentes de modernas aplicaciones de bases de datos, tales como GIS, CAD, CASE y otras, imponen la necesidad de encontrar nuevas vías de solución al problema del tratamiento de grandes volúmenes de información. La potencia de procesamiento de computadores paralelos económicamente abordables, ha atraído la atención de una gran comunidad de investigadores y técnicos que encuentran en los sistemas paralelos de bases de datos la respuesta eficiente a las exigencias de nuevas aplicaciones. Específicamente, la tecnología del paralelismo resulta una atractiva vía de solución a la problemática tradicional del cuello de botella que representan las operaciones de entrada/salida. Con objeto de minimizar el tiempo de respuesta a una consulta, los sistemas de bases de datos paralelas particionan los datos entre un conjunto de dispositivos de almacenamiento, favoreciendo el acceso en paralelo a los mismos y permitiendo, en definitiva la participación concurrente de varios procesadores en la ejecución de una consulta. Habitualmente, el particionamiento de las relaciones se efectúa por un sólo atributo, enviando las tupias a distintos dispositivos dependiendo del valor de dicha tupia sobre el atributo de particionamiento. Esta forma de fragmentar los datos resulta adecuada cuando el predicado de la consulta incluye el atributo de particionamiento. Sin embargo, en aquellos casos en que esto no sea así, la consulta debe ser dirigida hacia todos los nodos de procesamiento encargados de gestionar algún fragmento de la relación o relaciones implicadas en la consulta. Este modo de proceder afecta negativamente no sólo al tiempo de ejecución de la consulta, sino también al throughput del sistema. En la tesis que se presenta, se proponen modelos de particionamiento multidimensional, basados en la consideración de múltiples atributos. Básicamente, la técnica propuesta consiste en realizar un particionamiento por múltiples dimensiones del espacio de tupias, enviando posteriormente los diferentes fragmentos en que queda dividido este espacio a un determinado número de discos del sistema. Por su parte, la fragmentación del espacio de tupias se realiza equilibradamente por medio de un nuevo mecanismo de indexación multiatributo, conocido bajo el nombre de árbol Q. En el desarrollo de esta memoria de tesis, se exponen las ideas que han conducido al establecimiento del árbol Q; se definen con detalle las estructuras y algoritmos de manipulación del árbol Q; se presentan diversas estrategias de particionamiento basadas en esta estructura y se exhiben los resultados de rendimiento de las diferentes propuestas, basados en los trabajos de implementación realizados durante la fase de ejecución de esta tesis. Abstract The demanding requirements of modern datábase applications, such as GIS, CAD, CASE and others, claim for new solutions to the problem of managing large quantity of information. The processing power of inexpensive parallel computers has focussed the attention of many searchers who find in such computer systems the answer to the demands of these new applications. Specifically, the parallelism technology seems an attractive via to solve the traditional bottlelneck found in input/output operations. With the goal of minimizing the response time of a query, the parallel datábase systems decluster data among a number of storage devices, by favouring the access in parallel to data and by permitting the contribution of several processors in the execution of a query. Frequently, the partitioning of relations is made by a single attribute, sending tupies to different disks by depending on the valué of the tupie on the partitioning attribute. This way to fragment data is useful when the partitioning attribute is involved in the predícate of the query. However, in those situations where it is not the case, the query must be directed to every processing node which is in charge of some fragment of the relation or relations involved in the query. This approach affects negatively to both, the response time of the query and the throughput of the system. In the thesis we present, a multidimensional partitioning model is proposed. In short, the proposed technique partitions, on the base of múltiple attributes, the tupie space by sending the different fragments of the space to a specific number of disks in the system. By its hand, the tupie space partitioning is made in a balanced way by means of a new multi-attribute indexing method, called the Q-tree. In this thesis dissertation, we present the ideas which have guided the stablishment of the Q-tree. In addition, we define the structures and algorithms for manipulating the Q-tree, we introduce several partitioning strategies based on this structure and, finally, we include the performance results of the different proposals, based on the implementation tasks carried out during the execution of this doctoral thesis

Modelos de preclasificación biométrica

El objetivo del proyecto es estudiar alternativas para disminuir los “elevados tiempos de cálculo” necesarios en cada identificación. Este proyecto se encargará de establecer una metodología de preclasificación de los modelos existentes. Esta metodología pretende ser de ámbito general, aplicable para cualquier tipo de tecnología biométrica sin atender a la semántica de las características extraídas de la muestra biométrica. Este documento se estructura de la siguiente manera: En primera lugar se describen las motivaciones y objetivos del proyecto. Se continúa con un acercamiento al mundo biométrico y al reconocimiento de voz. Se prosigue con una revisión sobre el estado del arte del problema “elevados tiempos de cómputo”. En el siguiente capítulo se expone la metodología de trabajo desarrollada para conseguir los objetivos. En los tres capítulos siguientes se describirán la elección de la base de datos, la línea base y se concluirá con un análisis, evaluación y evolución de la solución adoptada. Se concluye la memoria con un apartado de conclusiones y futuras vías de investigación. Las últimas secciones del documento incluirán los diferentes anexos elaborados durante la creación del proyecto.Ingeniería Técnica en Sonido e Image

Diseño e implementación de una aplicación en Processing para la representación visual de datos multidimensionales utilizando técnicas de Minería de Datos

La posibilidad de disponer de representaciones gráficas de los datos es de gran valor a la hora de extraer conocimiento útil. Sus principales ventajas son la visualización de información de una forma sencilla, rápida y directa. No obstante, muchos de los conjuntos de datos contienen numerosos registros, que pueden ser de naturaleza multivariante. En estos casos, la representación visual de datos se convierte en una tarea complicada y las técnicas clásicas que suelen utilizarse obtienen resultados poco intuitivos. Esta tesis se plantea como objetivo el diseño e implementación de una aplicación versátil capaz de representar visualmente gran cantidad de datos multidimensionales de forma eficaz para su fácil comprensión. Mediante el uso de esta aplicación se pretende que el usuario encuentre un entorno interactivo de uso sencillo con el que poder visualizar su conjunto de datos. Para conseguir el objetivo de visualizar conjuntos con gran cantidad de datos se propone la utilización de métodos de agrupamiento en la aplicación. Estos procedimientos permiten que el conjunto de datos pueda distribuirse en grupos con características similares y ser representados visualmente de forma unitaria aunque conservando toda la información de los registros individuales que los componen. De este modo se pretende obtener representaciones gráficas de una forma más simple y apta para su inspección visual. Con el fin de representar visualmente datos multidimensionales se dota a la aplicación de diferentes técnicas de reducción de la dimensionalidad. Mediante estas técnicas, se puede lograr la transformación de los datos de alta dimensión en una representación de menor dimensión que sea significativa y que respete su estructura original. En el caso de la aplicación desarrollada, se utilizan estas técnicas para reducir la dimensión original de los datos a solamente dos para proceder a su representación en el plano. De igual modo, con esta aplicación no solamente se pretende que pueda representar visualmente conjuntos de datos multidimensionales de manera intuitiva y lógica sino que también ofrezca grandes posibilidades de interacción natural con el usuario. Para ello la aplicación ha de contar con herramientas mediante las cuales se pueda analizar la representación visual desde distintos puntos de vista y a diferentes niveles de detalle según la voluntad del usuario contando con servicios adecuados para poder manejar y almacenar la información obtenida. Atendiendo a este objetivo, se estima el entorno de programación Processing (www.processing.org) como el más adecuado para implementar la aplicación por su sencillez de manejo, velocidad de ejecución y su orientación hacia el desarrollo de aplicaciones visuales. A estas características se le unen la capacidad de producir aplicaciones multiplataforma y un tratamiento interactivo eficaz. La aplicación, una vez implementada, se evalúa y se utiliza para la extracción de conclusiones del problema analizado. En este sentido, se analizan los resultados obtenidos en diferentes contextos reales. Finalmente, se pone la aplicación a disposición de otros investigadores de manera gratuita con el objetivo de no solamente ser de utilidad en su aplicación a diferentes problemas y fenómenos sino también de obtener información acerca de la dirección o direcciones de evolución de esta herramienta.The availability of graphical data representations is extremely valuable in order to extract useful knowledge. Its main advantages are related to information visualization in a simple way, fast and straightforward to interpret. Nonetheless, many data sets include numerous records that may be multivariant. In those cases, visual representation becomes an arduous task and classical techniques provide results that usually lack of intuitiveness. This thesis pursues the goal of designing and implementing a versatile application, able to visually represent large amounts of multidimensional data in a simple way that make data understandable. The use of this application tries to provide a framework in which users can visualize data sets in an interactive and simple way. Clustering algorithms are proposed to achieve the goal of visualizing large amounts of data. This is because those methods allow the distribution of the data set in different clusters of similar characteristics that can be, in turn, visually represented in a unitary way although keeping all the information from the individual records that form the clusters. This way, graphical representations are obtained easily and can be inspected visually. In order to carry out a visual representation of multidimensional data, the application includes a number of techniques for dimensionality reduction. Therefore, it is possible to transform the original data into a lower dimensionality structure that must be significant and loyal to the original structure. The application only considers the reduction of the original dimension into bi-dimensional structures so that representation is done in a plane. Moreover, this application should not only provide a visual representation of multidimensional data in an intuitive and logical way, but also offer a wide and natural user interaction. Therefore, the application must contain tools to carry out visual representations from different points of view as well as different levels of detail that can be selected by the user. Finally, information management and storing must also be guaranteed. This latter goal suggests the use of Processing (www.processing.org) as programming framework due to their characteristics, namely, simple management, high execution speed, and its focus on the development of visual applications. Alongside those characteristics, it is also remarkable its capability of producing multi-platform applications and an efficient interactive treatment. Once the application has been implemented, it is evaluated and used for drawing conclusions from different problems. In particular, results are analyzed in the framework of several actual problems. Finally, the application is offered freely to other researchers

Técnicas de minería de datos en el proceso de secuencias temporales. Aplicaciones a la clasificación industrial de sonidos

El proceso de secuencias temporales supone un campo de trabajo específico dentro de las técnicas de minería de datos o aprendizaje automático. Entre las tareas de esta disciplina se encuentra la clasificación de secuencias temporales que, por su especificidad, admite el uso de tratamientos diferenciados. Entre los datos con estructura de secuencia temporal pueden destacarse las señales sonoras. Existen numerosas aplicaciones en las que resulta de utilidad la clasificación automatizada de sonidos. En muchas de ellas se requiere que la solución propuesta tenga unas características que podríamos calificar de industriales: robustez, inmunidad al ruido, normalización, operación en tiempo real, bajo consumo y bajo coste. En esta tesis se analizan y comparan distintos métodos de clasificación de sonidos. Para ello, se segmentan los sonidos en fragmentos (ventanas) de muy corta duración y se propone el uso del estándar ISO MPEG-7, cuya aplicación permite obtener un conjunto normalizado de parámetros. Se consideran hasta nueve algoritmos de clasificación que, tomando como patrones distintos sonidos de clases conocidas, realizan una clasificación supervisada sin tener en cuenta el carácter secuencial de las mismas (clasificación no secuencial). Para tener en cuenta el carácter secuencial de los sonidos se proponen y comparan distintos métodos (clasificación secuencial). Para pasar de la clasificación de una ventana, o secuencia de ventanas, a la clasificación de un sonido completo la presente investigación propone una clasificación de series derivadas. Se define una serie (vectorial) derivada como la secuencia de probabilidades de que cada ventana pertenezca a una determinada clase. Se propone la caracterización de las series derivadas como si se tratase de sonidos, es decir, mediante la caracterización de cada uno de sus ventanas usando parámetros MPEG-7 y su posterior clasificación supervisada usando alguno de los algoritmos clasificadores propios de la minería de datos. El resultado del análisis realizado permite afirmar que el uso de los parámetros MPEG-7 constituye una buena alternativa para caracterizar sonidos. En la aplicación analizada el mejor clasificador no secuencial ha resultado ser el árbol de decisión. Por otra parte, la introducción de un método de ventana deslizante aparece como la mejor opción de clasificación secuencial, aunque con una mejora muy discreta sobre la técnica no secuencial. Adicionalmente, se ha podido evidenciar que la clasificación de las series derivadas supone una mejora muy notable en las prestaciones del clasificador. Por último, se ha comprobado que la solución propuesta presenta las características adecuadas para poder proclamar su carácter industrial

Contribuciones basadas en el análisis biplot al diseño y gestión de redes de telecomunicación

[ES] La importancia de la redes de telecomunicación en nuestra sociedad es innegable. Desde la telefonía, tanto fija como móvil, hasta la red Internet están presentes en la mayoría de los hogares, empresas y administraciones públicas. Garantizar su correcto funcionamiento es de una importancia clave y la herramienta fundamental para este objetivo es un adecuado diseño y gestión de la red. Los métodos biplot, formulados por Gabriel en 1971, permiten representar una matriz de datos en forma de un gráfico que utiliza marcadores individuales para cada una de las filas y las columnas de la matriz de partida, respetando determinadas propiedades de los datos originales. En el diseño y gestión de redes se pueden utilizar múltiples tipos de matrices conteniendo diversos datos sobre su operación y configuración. Destacan entre ellas las matrices de tráfico, las matrices de topología y combinaciones de ambas. Por otro lado, las representaciones gráficas permiten a los diseñadores y gestores de la red identificar de manera eficiente y eficaz el estado de la red de comunicaciones. Esta tesis doctoral propone la utilización de los métodos biplot, en general, y del HJ-Biplot, propuesto por Galindo en 1986, en particular, en los procesos de diseño y gestión de redes de comunicación, presentando aplicaciones sobre las redes de datos más habituales hoy en día. Las propuestas se centran en tres casuísticas generales que cubren un amplio espectro de posibles aplicaciones: detección de anomalías, análisis de series temporales de tráfico y análisis de la topología de redes. La detección de anomalías se aplica en un primer ejemplo sobre datos de una red Ethernet real. Se demuestra que es posible utilizar la representación HJ-Biplot con dos objetivos: modelar la red con una representación adecuadamente robusta y detectar incidencias con la suficiente sensibilidad. En un segundo supuesto se aplica a la detección de un ataque de negación de servicio, como caso especial de anomalía, para lo que se utiliza un juego de datos publicados para la verificación del funcionamiento de este tipo de sistemas. En este apartado se incluye la aplicación del método STATIS para la detección de la anomalía, y finalmente el HJ-Biplot para la diagnosis concreta de la incidencia ocurrida en la red. El análisis de series temporales utilizando el HJ-Biplot mejora la propuesta realizada por Lakhina et al en 2004 y siguientes, que aplicaba el Análisis de Componentes Principales (ACP) a una matriz de tráfico Origen-Destino. El HJ-Biplot tiene en consideración la existencia simultánea de correlaciones temporales y espaciales en la matriz de tráfico y además permite localizar el punto de ocurrencia de la incidencia. Finalmente, la combinación de la teoría espectral de grafos, aplicada a redes de comunicación, y la metodología biplot en general, y el HJ-Biplot en particular, permite obtener representaciones gráficas de las redes de comunicación con información sobre su topología, incluso incorporando información sobre tráfico cursado, simétrico o asimétrico, entre nodos. La tesis doctoral presenta algunas contribuciones de los métodos biplot al análisis y gestión de las redes de comunicación más utilizadas en nuestros días. La herramienta propuesta permite mejorar los procedimientos de diseño y gestión de redes constituyendo una potente herramienta de visualización del estado de la red de comunicación

Síntesis de nuevos materiales microporosos mediante técnicas de alta capacidad ("High-Throughput")

La presente tesis doctoral está enmarcada dentro del campo de la síntesis de materiales microporosos, los cuales presentan aplicaciones de diversa índole como separación de gases, catalizadores selectivos, electrónica, y biomedicina. Las zeolitas son materiales microporosos cristalinos, que presentan canales y cavidades de dimensiones moleculares en su interior. La gran ventaja de las zeolitas es su elevada estabilidad térmica y química, junto con la posibilidad de poder variar la topología y dimensiones de los canales y cavidades. El principal objetivo de la presente tesis doctoral es crear una nueva metodología de trabajo en la síntesis de materiales microporosos mediante el uso de técnicas de alta capacidad ("high-throughput"). El uso de este tipo de herramientas es muy reciente en el área de materiales y, por tanto, la aplicación de las mismas para el desarrollo de nuevos materiales de interés está en su primera etapa. Una vez desarrollada y comprobada la metodología de trabajo, se explota con el fin de descubrir nuevos materiales microporosos o mejorar las condiciones de preparación de los ya conocidos. Se estudia el efecto de los agentes directores de estructura orgánicos (rigidez y flexibilidad), la introducción de otros elementos tetravalentes distintos al silicio (Ge ó Ti), la presencia de elementos trivalentes que introducen cargas negativas en la red (como Al ó B), el agente mineralizante utilizado en la síntesis (medio OH- y medio F-), así como la concentración de los geles. Finalmente, el uso de las técnicas de alta capacidad genera una gran cantidad de resultados, que habrá que tratar mediante la utilización de técnicas de tratamiento de datos. En la parte final de la tesis, se desarrollan técnicas novedosas de tratamiento de datos en la síntesis de materiales, tanto a nivel de modelado, como de visualización y clasificación de los mismos.Moliner Marin, M. (2008). Síntesis de nuevos materiales microporosos mediante técnicas de alta capacidad ("High-Throughput") [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/1987Palanci

Localización y generación de mapas del entorno (SLAM) de un robot por medio de una Kinect

En este proyecto exploraremos las posibilidades del sensor Kinect de Microsoft en el ámbito de la robótica, así como la historia y el amplio repertorio de herramientas Open Source que nos permitirán desarrollar aplicaciones de navegación y mapeado haciendo uso del mismo.Viñals Pons, J. (2012). Localización y generación de mapas del entorno (SLAM) de un robot por medio de una Kinect. http://hdl.handle.net/10251/17544

Modelos de representación visual de la información bibliográfica : aproximaciones multivariantes y conexionistas

En esta tesis se realiza una completa revisión sobre la investigación en el campo de la visualización de la información. También se realiza une estudio sobre la aplicación de diversas metodológicas, tales como el Escalamiento Multidimensional (MDS) y los Mapas Auto-organizativos (SOM), para la creación de representaciones gráficas que reflejen los contenidos temáticos de las bases de datos bibliográficas. La aplicación desarrollada se basó en el catálogo de la Biblioteca Pública de Granada.Tesis Univ. Granada. Departamento de Biblioteconomía y Documentació

Manual para el manejo y procesamiento de imágenes satelitales obtenidas del sensor remoto Modis de la Nasa, aplicado en estudios de Ingeniería Civil

Ingeniero (a) CivilPregrad

Evaluación del desarrollo de biofilms en los sistemas de distribución de agua potable mediante la extracción de conocimiento a través de los datos (Knowledge Discovery in Databases)

[ES] Uno de los principales objetivos de las empresas encargadas de la gestión de los sistemas de distribución de agua potable (DWDSs, del inglés Drinking Water Distribution Systems) es asegurar una alta calidad microbiológica en su abastecimiento. Sin embargo, la existencia de biofilms en todos ellos, a pesar de la presencia de desinfectante residual, hace que no se pueda asegurar un control bacteriológico total; por lo que, hoy en día, los biofilms representan un paradigma en la gestión de la calidad del agua en los DWDSs. Los biofilms son comunidades complejas de microrganismos recubiertas de un polímero extracelular que les da estructura y les ayuda a retener el alimento y a protegerse de agentes tóxicos. Además del riesgo sanitario que suponen por su papel como refugio de patógenos, existen muchos otros problemas asociados al desarrollo de biofilms en los DWDSs, como deterioro estético del agua, biocorrosión y consumo de desinfectante, entre otros. Son varias las investigaciones que se han llevado a cabo en este área. Sin embargo, los estudios realizados en relación a la influencia conjunta de las distintas características de los DWDSs en el desarrollo de biofilms, excepto notables excepciones, son escasos, debido a la complejidad de la comunidad y del entorno estudiado. El presente trabajo trata de cubrir esta carencia, estudiando el efecto de la interacción del conjunto de características físicas e hidráulicas de los DWDSs relevantes en el desarrollo de biofilms. Para ello utilizamos la metodología de extracción de conocimiento a través de los datos (KDD, del inglés Knowledge Discovery in Databases). Además, introducimos técnicas de ensamblaje adecuadas que nos permiten aumentar la robustez y precisión de los resultados obtenidos y así mejorar la metodología final propuesta de ayuda a la toma de decisiones. La realización de este trabajo ha servido para confirmar la necesidad de estudiar el impacto que el conjunto de las características de los DWDSs tienen en el desarrollo de biofilms. Mostramos que el efecto que una variable tiene sobre este desarrollo depende del valor que tomen el resto de variables y así identificamos condiciones conjuntas, físicas e hidráulicas, que determinan el mayor o menor desarrollo de biofilms en el interior de las tuberías.[EN] One of the main challenges of drinking water utilities is to ensure microbial high quality supply. However, biofilms invariably develop in all drinking water distribution systems (DWDSs), despite the presence of residual disinfectant. As a result, water utilities are not able to ensure a total bacteriological control. Currently biofilms represent a real paradigm in water quality management for all DWDSs. Biofilms are complex communities of microorganisms bound by an extracellular polymer that provides them with structure, protection from toxics and helps retain food. Besides the health risk that biofilms involve, due to their role as a pathogen shelter, a number of additional problems associated with biofilm development in DWDSs can be identified. Among others, aesthetic deterioration of water, biocorrosion and disinfectant decay are universally recognized. Numerous investigations have been carried out in this field. Nevertheless, the joint influence of the various DWDS characteristics in biofilm development, apart from a few exceptions, has been scarcely studied, due to the complexity of the community and the environment under study. The present work aims to help solve this problem studying the effect of the interaction among relevant hydraulic and physical characteristics of the DWDSs in biofilm development. To achieve this purpose we have chosen the framework of the KDD (Knowledge Discovery in Databases). Ensamble methods have been introduced to increase the robustness and the precision of the obtained results. The final aim is to improve the proposed methodology to assist in decision making. This work confirms the necessity of studying the impact that the joint characteristics of the DWDSs has in biofilm development. We show that the effect of one variable depends on the values of the rest of variables and, as a result, we are able to identify some joint physical and hydraulic scenarios that determine greater or lesser biofilm development in pipe walls.Ramos Martínez, E. (2012). Evaluación del desarrollo de biofilms en los sistemas de distribución de agua potable mediante la extracción de conocimiento a través de los datos (Knowledge Discovery in Databases). http://hdl.handle.net/10251/19124Archivo delegad