Hetero-manifold Regularisation for Cross-modal Hashing

Recently, cross-modal search has attracted considerable attention but remains a very challenging task because of the integration complexity and heterogeneity of the multi-modal data. To address both challenges, in this paper, we propose a novel method termed hetero-manifold regularisation (HMR) to supervise the learning of hash functions for efficient cross-modal search. A hetero-manifold integrates multiple sub-manifolds defined by homogeneous data with the help of cross-modal supervision information. Taking advantages of the hetero-manifold, the similarity between each pair of heterogeneous data could be naturally measured by three order random walks on this hetero-manifold. Furthermore, a novel cumulative distance inequality defined on the hetero-manifold is introduced to avoid the computational difficulty induced by the discreteness of hash codes. By using the inequality, cross-modal hashing is transformed into a problem of hetero-manifold regularised support vector learning. Therefore, the performance of cross-modal search can be significantly improved by seamlessly combining the integrated information of the hetero-manifold and the strong generalisation of the support vector machine. Comprehensive experiments show that the proposed HMR achieve advantageous results over the state-of-the-art methods in several challenging cross-modal tasks

Systematic approaches to generate reversiblizations of Markov chains

Given a target distribution $\pi$ and an arbitrary Markov infinitesimal generator $L$ on a finite state space $\mathcal{X}$, we develop three structured and inter-related approaches to generate new reversiblizations from $L$. The first approach hinges on a geometric perspective, in which we view reversiblizations as projections onto the space of $\pi$-reversible generators under suitable information divergences such as $f$-divergences. With different choices of functions $f$, we not only recover nearly all established reversiblizations but also unravel and generate new reversiblizations. Along the way, we unveil interesting geometric results such as bisection properties, Pythagorean identities, parallelogram laws and a Markov chain counterpart of the arithmetic-geometric-harmonic mean inequality governing these reversiblizations. This further serves as motivation for introducing the notion of information centroids of a sequence of Markov chains and to give conditions for their existence and uniqueness. Building upon the first approach, we view reversiblizations as generalized means. In this second approach, we construct new reversiblizations via different natural notions of generalized means such as the Cauchy mean or the dual mean. In the third approach, we combine the recently introduced locally-balanced Markov processes framework and the notion of convex $*$-conjugate in the study of $f$-divergence. The latter offers a rich source of balancing functions to generate new reversiblizations.Comment: 33 pages, 1 figur

Fusión de datos estadísticamente dependientes en sistemas de detección

La presente tesis se centra en la problemática existente a la hora de implementar un sistema de detección o clasificación binaria cuando es necesario combinar, integrar o fusionar diversas fuentes de información que pueden ser dependientes y heterogéneas entre sí. Las técnicas de fusión de datos tratan de combinar múltiples fuentes de información para alcanzar la exactitud y precisión en la toma de decisiones que no sería posible conseguir con el uso de una sola fuente de información de forma aislada. En un sistema de detección se pueden encontrar diferentes etapas y niveles de fusión: en la etapa de pre-detección encontramos los niveles de fusión de sensores y de características, donde se combinan los diferentes flujos de muestras proporcionados por una serie de sensores o diferentes características obtenidas del procesado estos; en la etapa de post- detección, se realiza la combinación de diferentes detectores, a través de la fusión de valoraciones continuas o de decisiones individuales aportadas por cada uno de ellos. Atendiendo al tipo de datos a combinar encontramos dos grupos: fusión soft, donde se combinan datos modelados mediante variables aleatorias continuas, caracterizadas mediante sus funciones de densidad de probabilidad (PDFs), o fusión hard, asociada a la combinación de las decisiones individuales tomadas en la etapa de fusión de detectores, donde se combinan datos binarios modelados mediante variables aleatorias discretas, caracterizadas por funciones de masa de probabilidad. Se destaca la fusión de scores como un caso particular de fusión soft asociada a la fusión de diversos detectores, en donde los datos a combinar presentan buenas propiedades discriminatorias de forma aislada y se encuentran definidos en un mismo rango normalizado [0,1]. En el presente trabajo se ha realizado una completa revisión del estado del arte en cuanto a técnicas de fusión y combinación de datos aplicadas en problemas de detección donde los datos pueden ser heterogéneos y dependientes entre sí. Se realiza una revisión en mayor profundidad de la técnica de estimación de PDFs basada en la teoría de cópulas, la cual puede ser usada en la fusión óptima de datos soft. Se destaca de forma especial tanto por su novedad e incipiente uso en el campo del procesado de señal, como por su adecuación en problemas de detección, permitiéndonos modelar de forma aislada las funciones marginales de los datos y la estructura de dependencia presente entre ellos, simplificando el problema de modelado de PDFs de datos heterogéneos y dependientes. Se ha propuesto una nueva técnica de fusión soft denominada integración-a, basada en una función de media-a, la cual, sin elevar mucho la complejidad, aporta un mayor grado de flexibilidad y de adaptación, siendo capaz de mejorar las prestaciones que se pueden obtener con respecto al resto de técnicas subóptimas utilizadas comúnmente en problemas de fusión de scores heterogéneos y dependientes entre sí. Se ha derivado un novedoso método de entrenamiento basado en el criterio de maximización parcial del área bajo la curva ROC. Se han utilizado diversas bases de datos públicas para poder testear y comprobar el correcto funcionamiento de las técnicas de fusión propuestas en problemas de autentificación multibiométrica. También se han aplicado algunas de las técnicas de fusión en la mejora de un sistema de detección de eventos acústicos. Se ha propuesto un nuevo tipo de detector basado en la teoría de cópulas denominado COCD para lidiar con el problema de la detección de señal desconocida en presencia de ruido aleatorio dependiente y no Gaussiano, centrándonos en su utilización para una aplicación de detección de eventos sonoros desconocidos. También se realiza un estudio de fusión de más de un canal de audio (utilizando más de un micrófono para captar diferentes señales) como método para incrementar las prestaciones obtenidas.Soriano Tolosa, A. (2013). Fusión de datos estadísticamente dependientes en sistemas de detección [Tesis doctoral no publicada]. Universitat Politècnica de València. https://doi.org/10.4995/Thesis/10251/34780TESI