Interdisciplinary application of nonlinear time series methods

This paper reports on the application to field measurements of time series methods developed on the basis of the theory of deterministic chaos. The major difficulties are pointed out that arise when the data cannot be assumed to be purely deterministic and the potential that remains in this situation is discussed. For signals with weakly nonlinear structure, the presence of nonlinearity in a general sense has to be inferred statistically. The paper reviews the relevant methods and discusses the implications for deterministic modeling. Most field measurements yield nonstationary time series, which poses a severe problem for their analysis. Recent progress in the detection and understanding of nonstationarity is reported. If a clear signature of approximate determinism is found, the notions of phase space, attractors, invariant manifolds etc. provide a convenient framework for time series analysis. Although the results have to be interpreted with great care, superior performance can be achieved for typical signal processing tasks. In particular, prediction and filtering of signals are discussed, as well as the classification of system states by means of time series recordings.Comment: 86 pages, 26 figure

Visual Quality Assessment and Blur Detection Based on the Transform of Gradient Magnitudes

abstract: Digital imaging and image processing technologies have revolutionized the way in which we capture, store, receive, view, utilize, and share images. In image-based applications, through different processing stages (e.g., acquisition, compression, and transmission), images are subjected to different types of distortions which degrade their visual quality. Image Quality Assessment (IQA) attempts to use computational models to automatically evaluate and estimate the image quality in accordance with subjective evaluations. Moreover, with the fast development of computer vision techniques, it is important in practice to extract and understand the information contained in blurred images or regions. The work in this dissertation focuses on reduced-reference visual quality assessment of images and textures, as well as perceptual-based spatially-varying blur detection. A training-free low-cost Reduced-Reference IQA (RRIQA) method is proposed. The proposed method requires a very small number of reduced-reference (RR) features. Extensive experiments performed on different benchmark databases demonstrate that the proposed RRIQA method, delivers highly competitive performance as compared with the state-of-the-art RRIQA models for both natural and texture images. In the context of texture, the effect of texture granularity on the quality of synthesized textures is studied. Moreover, two RR objective visual quality assessment methods that quantify the perceived quality of synthesized textures are proposed. Performance evaluations on two synthesized texture databases demonstrate that the proposed RR metrics outperforms full-reference (FR), no-reference (NR), and RR state-of-the-art quality metrics in predicting the perceived visual quality of the synthesized textures. Last but not least, an effective approach to address the spatially-varying blur detection problem from a single image without requiring any knowledge about the blur type, level, or camera settings is proposed. The evaluations of the proposed approach on a diverse sets of blurry images with different blur types, levels, and content demonstrate that the proposed algorithm performs favorably against the state-of-the-art methods qualitatively and quantitatively.Dissertation/ThesisDoctoral Dissertation Electrical Engineering 201

Uterine contractions clustering based on surface electromyography: an input for pregnancy monitoring

Tese de mestrado em Bioestatística, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, em 2018Inicialmente a investigação da contratilidade uterina recorria à utilização de dois métodos: o tocograma externo e o cateter de pressão intrauterino. Ambos os métodos apresentam limitações ao nível da avaliação do risco de parto prematuro e na monitorização da gravidez. O EHG (Electrohisterograma) é um método alternativo ao tocograma externo e ao cateter de pressão intrauterino. Este método pode ser aplicado de forma invasiva no músculo uterino, ou de forma não invasiva através de elétrodos colocados no abdómen. O EHG tem sido considerado uma ferramenta adequada para a monitorização da gravidez e do parto. O índice de massa corporal tem um impacto quase impercetível no EHG, sendo esta uma das principais características deste método. O EHG pode também ser utilizado para identificar as mulheres que vão entrar em trabalho de parto e ainda auxiliar na tomada de decisão médica quanto à utilização da terapia tocolítica (antagonista da oxitocina), evitando deste modo a ingestão de medicação desnecessária e os consequentes efeitos secundários. Na literatura existem apenas cinco casos publicados em que foi realizada uma separação dos principais eventos do sinal EHG: contrações, movimentos fetais, ondas Alvarez e ondas LDBF (Longue Durée Basse Fréquence). Em três das publicações a separação dos eventos foi feita manualmente e nos restantes casos algoritmos, como redes neuronais, foram aplicados ao EHG. As ondas Alvarez e as Braxton-Hicks são as mais reconhecidas. As ondas Alvarez foram descritas pela primeira vez nos anos cinquenta e as Braxton-Hicks foram descritas pela primeira vez em 1872 sendo detetadas através de palpação. As ondas Alvarez são ocasionalmente sentidas pela mulher. Estas ondas estão localizadas numa pequena área do tecido uterino sem propagação e podem levar a contrações com maior intensidade e, consequentemente, ao parto pré-termo. As Braxton-Hicks são contrações ineficientes registadas a partir da 20ª semana de gravidez que se tornam mais frequentes e intensas com o decorrer da gravidez. Estas contrações são menos localizadas que as ondas Alvarez e, durante o parto, propagam-se por todo o tecido uterino num curto período de tempo. As Braxton-Hicks estão associadas a uma diminuição do ritmo cardíaco fetal. As ondas LDBF são contrações de longa duração associadas a hipertonia uterina, quando há contração do tecido uterino sem retorno ao relaxamento muscular, o que representa um risco na gravidez. Neste trabalho foram utilizadas duas bases de dados. Na base de dados da Islândia existem 122 registos de 45 mulheres, dos quais apenas 4 correspondem a partos pré-termo. Na base de dados TPEHG (Term-Preterm EHG) existem 300 registos, dos quais 38 correspondem a partos pré-termo. Neste trabalho foram escolhidos canais bipolares, visto que estes reduzem o ruído idêntico, como o ECG (Eletrocardiograma) materno ou movimentos respiratórios. Para ambas as bases de dados os sinais originais de EHG foram processados e filtrados. Na estimação espetral foram considerados dois métodos: paramétricos e não paramétricos. O método Welch foi escolhido pois representa um bom compromisso entre ambos. Este método foi utilizado para calcular o espectro de cada evento detetado no sinal EHG. Para detetar os eventos no sinal EHG foram considerados cinco métodos baseados na energia ou amplitude. O método Wavelet foi o escolhido pois após uma inspeção visual, este era o método que delineava melhor as contrações. Na base de dados da Islândia foram identificadas 3136 contrações e na TPEHG foram encontradas 4622 contrações. O objetivo principal desta tese é obter clusters de contrações detetadas no sinal EHG. No entanto, as contrações são séries temporais não estacionárias, e a sua classificação visual é inviável a longo termo e também difícil de aplicar na prática clínica. Existem vários parâmetros que podem ser extraídos do sinal EHG, mas o espectro das contrações foi o método escolhido visto que este representa o sinal EHG e tem sempre a mesma dimensão, independentemente da duração da contração. As distâncias espetrais têm sido utilizadas com sucesso no reconhecimento áudio. Neste trabalho foi realizada uma aplicação desse método ao processamento do EHG, no qual foram realizados os ajustes necessários. Para comparar os espectros foram estudadas 8 distâncias diferentes: Itakura-Saito, COSH, Itakura, Itakura simétrica, Kullback-Leibler, Jeffrey, Rényi e Jensen-Rényi. Apenas as distâncias simétricas foram selecionadas para um estudo mais detalhado visto que estas são, segundo a literatura, as distâncias mais adequadas aquando do clustering. Após comparação das distâncias simétricas, a divergência de Jeffrey foi a selecionada para a comparação dos espectros. Nesta tese foram avaliados três métodos diferentes de clustering: o linkage, o K-means e o K-medoids. O linkage é um método hierárquico. Os clusters que resultam do agrupamento hierárquico estão organizados numa estrutura chamada dendrograma. No agrupamento hierárquico, não é necessário predeterminar o número de clusters, o que torna este um método ideal na exploração dos dados. O K-means e o K-medoids são métodos de partição, nos quais os dados são separados em k clusters decididos previamente. Os clusters são definidos de forma a otimizar a função da distância. No algoritmo K-means, os clusters baseiam-se na proximidade entre si de acordo com uma distância predeterminada. A diferença entre o K-medoids e o K-means é que o K-medoids escolhe pontos de dados como centros, chamados de medoides, enquanto K-means usa centróides. Após uma comparação dos diferentes métodos de clustering foi escolhido neste trabalho foi o average linkage, visto que este apresentava melhores resultados quer na separação dos espectros quer na silhueta. É então apresentado um método inovador no qual se utiliza todo o espectro das contrações detetadas automaticamente no EHG para o clustering não supervisionado. Esta técnica é uma contribuição para a classificação automática das diferentes contrações, especialmente aquelas mais reconhecidas na literatura: Alvarez e Braxton-Hicks. Era expectável encontrar um cluster isolado com as ondas LDBF, visto que estas representam um risco para o feto. O principal objetivo era juntar num cluster os espectros semelhantes das contrações, e relacioná-lo com o respetivo tipo de contração. Essa tarefa foi concluída através da identificação positiva de Alvarez e Braxton-Hicks. O clustering forneceu ainda algumas pistas sobre ondas Alvarez que não foram encontradas com o algoritmo de deteção de contrações, situação para a qual um método alternativo é apresentado. É sugerido que as ondas Alvarez sejam detetadas com métodos baseados na frequência, como, por exemplo, a frequência instantânea, no entanto este método não foi desenvolvido neste trabalho. Em relação às ondas LDBF, estas foram encontradas no cluster das Braxton-Hicks. É sugerido que a deteção das ondas LDBF seja baseada na sua caraterística mais distinta: a longa duração. Verificou-se que os casos pré-termo e os registos pré-parto não ficaram isolados num cluster, não se tendo encontrado uma relação entre a idade gestacional e o tipo de contração. Conclui-se que as contrações mais curtas apresentam maior amplitude do que as contrações com maior duração. Baseado em estudos anteriores sobre a eletrofisiologia do útero, supõem-se que o início do trabalho de parto pré-termo e termo esteja associado a sequências específicas de diferentes tipos de contrações, nas quais as ondas Alvares desempenham um papel importante. As contrações identificadas como Alvarez e Braxton-Hicks não são usadas como tal na prática clínica apesar de a maioria das contrações detetadas pelo tocograma serem Braxton-Hicks. O interesse pelas ondas Alvarez diminuiu rapidamente visto que estas ondas são praticamente indetetáveis pelo método de referência de deteção de contrações: o tocograma. As capacidades e a resolução do EHG levaram à renovação do estudo das contrações mais subtis, incluindo as Alvarez. Este trabalho é uma contribuição para a investigação nesta área.An innovative technique is introduced wherein where an unsupervised clustering method using as feature the whole spectrum of automatically detected contractions on the EHG (Electrohysterogram) is presented as a contribution to the automatic classification of the different uterine contractions, at least those that have been most recognized in the literature: Alvarez and Braxton-Hicks. It was expected to also be able to cluster the LDBF (Longue Durée Basse Fréquence) components, as these pose a fetal risk. The main task was to have the spectral contractions descriptions clustered and linked to the respective contraction type. That task was completed with positive identification of the Alvarez and Braxton-Hicks. The clustering process also provided clues regarding the missed Alvarez waves in the contraction detection algorithm, for which an alternative technique is suggested but not developed in this work. Regarding the LDBF they were found in the Braxton-Hicks cluster. It is suggested the LDBF´s to be detected based in their most prominent feature: the long duration. It is presented the rationale behind the selection of a cost function to be used in the spectral distance’s algorithm. Spectral distances have been successfully used in audio recognition and this works represents an application to the EHG processing, for which the necessary adjustments have to be implemented. It was found that no single cluster pointed to the preterm cases, or indeed to the pre-labor subject recordings. It is hypothesized, based on previous studies in uterine electrophysiology, that the initiation of pre-term or term labor should be associated with triggering contraction sequences of different types, where the Alvarez waves play a major role. Alvarez and Braxton-Hicks, labeled as such, are not typically used in the clinical environment despite most of the Tocogram detected contractions being the latter. Alvarez waves are not usually detectable by the Tocogram. Alvarez were firstly detected invasively in the early fifties, and Braxton-Hicks in 1872 using routine palpation techniques. The interest in Alvarez components declined rapidly since being practically undetectable by the de facto reference in the contraction detection: the Tocogram. The EHG capabilities and resolution made it possible to revive the research on the most subtle uterine contractions, Alvarez included and this work is a contribution in this research area

Functional Sensory Representations of Natural Stimuli: the Case of Spatial Hearing

In this thesis I attempt to explain mechanisms of neuronal coding in the auditory system as a form of adaptation to statistics of natural stereo sounds. To this end I analyse recordings of real-world auditory environments and construct novel statistical models of these data. I further compare regularities present in natural stimuli with known, experimentally observed neuronal mechanisms of spatial hearing. In a more general perspective, I use binaural auditory system as a starting point to consider the notion of function implemented by sensory neurons. In particular I argue for two, closely-related tenets: 1. The function of sensory neurons can not be fully elucidated without understanding statistics of natural stimuli they process. 2. Function of sensory representations is determined by redundancies present in the natural sensory environment. I present the evidence in support of the first tenet by describing and analysing marginal statistics of natural binaural sound. I compare observed, empirical distributions with knowledge from reductionist experiments. Such comparison allows to argue that the complexity of the spatial hearing task in the natural environment is much higher than analytic, physics-based predictions. I discuss the possibility that early brain stem circuits such as LSO and MSO do not \"compute sound localization\" as is often being claimed in the experimental literature. I propose that instead they perform a signal transformation, which constitutes the first step of a complex inference process. To support the second tenet I develop a hierarchical statistical model, which learns a joint sparse representation of amplitude and phase information from natural stereo sounds. I demonstrate that learned higher order features reproduce properties of auditory cortical neurons, when probed with spatial sounds. Reproduced aspects were hypothesized to be a manifestation of a fine-tuned computation specific to the sound-localization task. Here it is demonstrated that they rather reflect redundancies present in the natural stimulus. Taken together, results presented in this thesis suggest that efficient coding is a strategy useful for discovering structures (redundancies) in the input data. Their meaning has to be determined by the organism via environmental feedback

Entropy in Image Analysis II

Image analysis is a fundamental task for any application where extracting information from images is required. The analysis requires highly sophisticated numerical and analytical methods, particularly for those applications in medicine, security, and other fields where the results of the processing consist of data of vital importance. This fact is evident from all the articles composing the Special Issue "Entropy in Image Analysis II", in which the authors used widely tested methods to verify their results. In the process of reading the present volume, the reader will appreciate the richness of their methods and applications, in particular for medical imaging and image security, and a remarkable cross-fertilization among the proposed research areas

Content-based music classification, summarization and retrieval

Ph.DDOCTOR OF PHILOSOPH

Towards Informed Exploration for Deep Reinforcement Learning

In this thesis, we discuss various techniques for improving exploration for deep reinforcement learning. We begin with a brief review of reinforcement learning (RL) and the fundamental v.s. exploitation trade-off. Then we review how deep RL has improved upon classical and summarize six categories of the latest exploration methods for deep RL, in the order increasing usage of prior information. We then explore representative works in three categories discuss their strengths and weaknesses. The first category, represented by Soft Q-learning, uses regularization to encourage exploration. The second category, represented by count-based via hashing, maps states to hash codes for counting and assigns higher exploration to less-encountered states. The third category utilizes hierarchy and is represented by modular architecture for RL agents to play StarCraft II. Finally, we conclude that exploration by prior knowledge is a promising research direction and suggest topics of potentially impact

Digital image forensics via meta-learning and few-shot learning

Digital images are a substantial portion of the information conveyed by social media, the Internet, and television in our daily life. In recent years, digital images have become not only one of the public information carriers, but also a crucial piece of evidence. The widespread availability of low-cost, user-friendly, and potent image editing software and mobile phone applications facilitates altering images without professional expertise. Consequently, safeguarding the originality and integrity of digital images has become a difficulty. Forgers commonly use digital image manipulation to transmit misleading information. Digital image forensics investigates the irregular patterns that might result from image alteration. It is crucial to information security. Over the past several years, machine learning techniques have been effectively used to identify image forgeries. Convolutional Neural Networks(CNN) are a frequent machine learning approach. A standard CNN model could distinguish between original and manipulated images. In this dissertation, two CNN models are introduced to recognize seam carving and Gaussian filtering. Training a conventional CNN model for a new similar image forgery detection task, one must start from scratch. Additionally, many types of tampered image data are challenging to acquire or simulate. Meta-learning is an alternative learning paradigm in which a machine learning model gets experience across numerous related tasks and uses this expertise to improve its future learning performance. Few-shot learning is a method for acquiring knowledge from few data. It can classify images with as few as one or two examples per class. Inspired by meta-learning and few-shot learning, this dissertation proposed a prototypical networks model capable of resolving a collection of related image forgery detection problems. Unlike traditional CNN models, the proposed prototypical networks model does not need to be trained from scratch for a new task. Additionally, it drastically decreases the quantity of training images