A Comprehensive Survey on Pi-Sigma Neural Network for Time Series Prediction

Prediction of time series grabs received much attention because of its effect on the vast range of real life applications. This paper presents a survey of time series applications using Higher Order Neural Network (HONN) model. The basic motivation behind using HONN is the ability to expand the input space, to solve complex problems it becomes more efficient and perform high learning abilities of the time series forecasting. Pi-Sigma Neural Network (PSNN) includes indirectly the capabilities of higher order networks using product cells as the output units and less number of weights. The goal of this research is to present the reader awareness about PSNN for time series prediction, to highlight some benefits and challenges using PSNN. Possible fields of PSNN applications in comparison with existing methods are presented and future directions are also explored in advantage with the properties of error feedback and recurrent networks

Classification Techniques Using EHG Signals for Detecting Preterm Births

Premature birth is defined as an infant born before 37 weeks of gestation and can be sub-categorized into three phrases; late preterm delivery between 34 and 36 weeks of gestation; moderately preterm between 32 and 34 weeks, and extreme preterm less than 28 weeks of gestation. Globally, the rate of preterm births is increasing, thus resulting in significant health, development and economic problems. The current methods for the detection of preterm birth are inadequate due to the fact that the exact cause of premature uterine contractions leading to delivery is mostly unknown. Another problem is the interpretation of temporal and spectral characteristics of Electromyography (EMG), which is an electrodiagnostic medicine technique for recording and evaluating the electrical activity produced by uterine muscles during pregnancy and parturition – significant variability exists among obstetric care practitioners. Apart from a small number of potential causes for preterm birth, such as medication, uterine over-distension, preterm premature rupture of membranes (PPROM), intrauterine inflammation, precocious foetal endocrine activation, surgery, ethnicity and lifestyle, there is still a large amount of uncertainty about their specific risks. Hence, it is currently very difficult to make reliable predictions about preterm delivery risk. There has also been some evidence that the analysis of uterine electrical signals, collected from the abdominal surface, could provide an independent and easier way to diagnose true labour and detect the onset of preterm delivery. Early detection opens up new avenues for the development of an automated ambulatory system, based on uterine EMG, for patient monitoring during pregnancy. This can be made possible through the use of machine learning. The essence of machine learning is the utilisation of previously recorded data outcomes to train algorithms to ii stimulate software learning elements. Such learned models can, as a result, be used to detect and predict the early signs associated with the onset of preterm birth. Therefore in this thesis, Electrohysterography signals are used to classify uterine activity associated with preterm birth. This is achieved using an open dataset, which contains 262 records for women who delivered at term and 38 who delivered prematurely. Several new features from Electromyography studies are utilized, as well as feature-ranking techniques to determine their discriminative capabilities in detecting term and preterm records. The results illustrate that the combination of the Levenberg-Marquardt trained Feed-Forward Neural Network, Radial Basis Function Neural Network and the Random Neural Network classifiers performed the best, with 91% for sensitivity, 84% for specificity, 94% for the area under the curve and 12% for the mean error rate. Applying advanced machine learning algorithms, in conjunction with innovative signal processing techniques and the analysis of Electrohysterography signals shows significant benefits for use in clinical interventions for preterm birth assessments

Higher order neural networks for financial time series prediction

Neural networks have been shown to be a promising tool for forecasting financial times series. Numerous research and applications of neural networks in business have proven their advantage in relation to classical methods that do not include artificial intelligence. What makes this particular use of neural networks so attractive to financial analysts and traders is the fact that governments and companies benefit from it to make decisions on investment and trading. However, when the number of inputs to the model and the number of training examples becomes extremely large, the training procedure for ordinary neural network architectures becomes tremendously slow and unduly tedious. To overcome such time-consuming operations, this research work focuses on using various Higher Order Neural Networks (HONNs) which have a single layer of learnable weights, therefore reducing the networks' complexity. In order to predict the upcoming trends of univariate financial time series signals, three HONNs models; the Pi-Sigma Neural Network, the Functional Link Neural Network, and the Ridge Polynomial Neural Network were used, as well as the Multilayer Perceptron. Furthermore, a novel neural network architecture which comprises of a feedback connection in addition to the feedforward Ridge Polynomial Neural Network was constructed. The proposed network combines the properties of both higher order and recurrent neural networks, and is called Dynamic Ridge Polynomial Neural Network (DRPNN). Extensive simulations covering ten financial time series were performed. The forecasting performance of various feedforward HONNs models, the Multilayer Perceptron and the novel DRPNN was compared. Simulation results indicate that HONNs, particularly the DRPNN in most cases demonstrated advantages in capturing chaotic movement in the financial signals with an improvement in the profit return over other network models. The relative superiority of DRPNN to other networks is not just its ability to attain high profit return, but rather to model the training set with fast learning and convergence. The network offers fast training and shows considerable promise as a forecasting tool. It is concluded that DRPNN do have the capability to forecast the financial markets, and individual investor could benefit from the use of this forecasting

Diseño de detectores robustos en aplicaciones radar

El problema de la detección automática de blancos radar puede ser formulado como un test de hipótesis binaria, en el que el sistema tiene que decir a favor de la hipótesis alternativa H1 (blanco presente) o de la hipótesis nula H0 (blanco ausente). El criterio de Neyman-Pearson, NP, es el más extendido en aplicaciones radar. Este detector trata de maximizar la probabilidad de detección, PD, manteniendo la probabilidad de falsa alarma, PFA, igual o inferior a un valor determinado. Cuando las funciones de verosimilitud son conocidas, una posible implementación del detector NP consiste en comparar el cociente de verosimilitud con un umbral fijado por los requisitos de PF A (LRT). Se trata de un detector paramétrico que puede presentar grandes pérdidas de detección cuando las características estadísticas del blanco y/o interferencia asumidas en el diseño difieren de las reales. En situaciones prácticas, las parámetros de la interferencia pueden estimarse a partir de medidas obtenidas en el entorno del radar, pero las propiedades del blanco pueden ser difíciles de estimar. Por lo que, para el diseño de detectores, se asume diferentes modelos de blanco cuyos parámetros, como su coeficiente de correlación o su frecuencia Doppler, son variables aleatorias con funciones de densidad de probabilidad conocidas. En estos casos, el problema de la detección se plantea como un test de hipótesis compuesto y, una regla de decisión basada en el cociente de verosimilitud promediado (ALR) es una posible implementación del detector NP. Esta realización requiere la resolución de integrales muy complejas que pueden hasta no tener una solución cerrada y se proponen soluciones sub-óptimas basadas en técnicas de integración numérica y otras aproximaciones numéricas. En esta Tesis Doctoral, se aborda el diseño de detectores basados en inteligencia artificial como solución alternativa para la detección de blancos con parámetros desconocidos en diferentes entornos de clutter. En la literatura se ha demostrado la capacidad de aproximar el detector NP utilizando sistemas adaptativos entrenados de manera supervisada para minimizar la función de coste adecuada, y se ha calculado la función aproximada por agentes inteligentes, como los perceptrones multicapa (MLP), redes neuronales con funciones de base radial (RBFNN) y redes neuronales de segundo orden (SONN), entrenados con el error cuadrático medio o la entropía. En esta Tesis, este estudio teórico previo ha sido extendido para tests de hipótesis compuestos, confirmando que la condición suficiente puede ser aplicada para probar si un sistema adaptativo entrenado de manera supervisada con una función de error adecuada es capaz de aproximar el detector NP para cualquier par de funciones de verosimilitud. Otra contribución importante de la Tesis, es el estudio teórico de la función aproximada por una Máquina de Vectores Soporte (SVM) cuando en el entrenamiento se utiliza la función de error de clasificación convencional. Se trata de una contribución importante en este campo, porque aporta claves importantes para explicar, desde el punto de vista teórico, las limitaciones de las prestaciones de las C-SVM y 2C-SVM en diferentes aplicaciones de detección presentados en la literatura. Como esta Tesis se enmarca en proyectos financiados por el Ministerio de Ciencia e Innovación, la Comunidad de Madrid, la Universidad de Alcalá y la empresa AMPER SISTEMAS, S.A. centrados en aplicaciones de radares marinos, se han estudiado distintos modelos de clutter marino. Estos modelos se han utilizado para generar datos sintéticos para entrenar, validad y probar las soluciones basadas en inteligencia artificial y simular un escenario radar. Se han considerado tres casos de estudio: Detección de blancos fluctuantes Gaussianos con coeficientes de correlación o pulsación Doppler desconocida en ruido blanco Gaussiano aditivo; detección de blancos fluctuantes Gaussianos con coeficientes de correlación o pulsación Doppler desconocida en clutter Gaussiano correlado más ruido blanco Gaussiano aditivo; y detección de blancos no fluctuantes con pulsación Doppler desconocida en clutter K-distribuido impulsivo. Se ha realizado un estudio de la sensibilidad de los detectores LRT para blancos con parámetros desconocidos para todos los casos y se han diseñado aproximaciones basadas en el cociente de verosimilitud generalizado restringido (CGLR) para ser utilizadas como detectores de referencia para analizar las capacidades de detección y el coste computacional de las soluciones basadas en inteligencia artificial. Para cada uno de los casos de estudio, se han diseñado y evaluado detectores basados en MLPs, RBFNNs, SONNs y SVMs que presenten un buen compromiso entre capacidad de detección y coste computacional. La propuesta de soluciones basadas en SONNs es otra contribución importante de esta Tesis. Los detectores SONN, con una única unidad neuronal cuadrática, presentan una gran robustez frente al coeficiente de correlación o frecuencia Doppler del blanco en interferencia Gaussiana. También se proponen soluciones basadas en mezclas de expertos para mejorar las capacidades de detección y/o reducir el coste computacional. Se han propuesto diferentes técnicas novedosas de combinación de las salidas de los expertos. Las detectores propuestos han sido, finalmente, evaluados en un escenario radar simulado, cuyos resultados han sido comparados con los obtenidos con técnicas CA-CFAR