Deep Attentive Time Series Modelling for Quantitative Finance

Mención Internacional en el título de doctorTime series modelling and forecasting is a persistent problem with extensive implications in scientific, business, industrial, and economic areas. This thesis’s contribution is twofold. Firstly, we propose a novel probabilistic time series forecasting methodology that introduces the use of Fourier domain-based attention models, merging classic signal processing spectral filtering techniques with machine learning architectures. Secondly, we take advantage of the abundance of financial intraday high-frequency data to develop deep learning-based solutions for modelling financial time series. Machine learning methods can potentially enhance the performance of traditional methodologies used by practitioners. Deep neural networks’ feature extraction capabilities, which can benefit from the rising accessibility of highfrequency data, and attention mechanisms, which help to model temporal patterns, are mostly to blame for this. Concerning our first major contribution, this thesis empirically demonstrates that spectral domain-based machine learning models can learn the properties of time series datasets and integrate this information to improve the forecasting accuracy. Simultaneously, Fourier domain-based models alleviate some of the inconveniences commonly associated with deep autoregressive models. These architectures, prone to prioritising recent past data, often ignore critical global information not contained in previous time steps. Additionally, they are susceptible to error accumulation and propagation and may not yield illustrative results. The proposed model, the Spectral Attention Autoregressive Model (SAAM), mitigates these problems by combining deep autoregressive models with a Spectral Attention (SA) module. This module uses two attention models operating over the Fourier domain representation of the time series’ embedding. Through spectral filtering, SAAM differentiates between the components of the frequency domain that should be considered noise and subsequently filtered out, and the global patterns that are relevant and should be incorporated into the predictions. Empirical evaluation proves how the proposed Spectral Attention module can be integrated into various deep autoregressive models, consistently improving the results of these base architectures and achieving state-of-the-art performance. Afterwards, this thesis shifts toward showcasing the benefits of machine learning solutions in two different quantitative finance scenarios, proving how attention-based deep learning approaches compare favourably to classic parametric-based models and providing solutions for various algorithmic and high-frequency trading problems. In the context of volatility forecasting, which plays a central role among equity risk measures, we show that Dilated Causal Convolutional-based neural networks offer significant performance gains compared to well-established volatility-oriented parametric models. The proposed model, called DeepVol, showcases how data- driven models can avoid the limitations of classical methods by taking advantage of the abundance of high-frequency data. DeepVol outperforms baseline methods while exhibiting robustness in the presence of volatility shocks, showing its ability to extract universal features and transfer learning to out-of-distribution data. Consequently, data-driven approaches should be carefully considered in the context of volatility forecasting, as they can be instrumental in the valuation of financial derivatives, risk management, and the formation of investment portfolios. Finally, this thesis presents a survival analysis model for estimating the distri- bution of fill times for limit orders posted in the Limit Order Book (LOB). The proposed model, which does not make assumptions about the underlying stochastic processes, employs a convolutional-Transformer encoder and a monotonic neural network decoder to relate the time-varying features of the LOB to the distribution of fill times. It grants practitioners the capability of making informed decisions between market orders and limit orders, which in practice entails a trade-off between immediate execution and price premium. We offer an exhaustive comparison of the survival functions resulting from different order placement strategies, offering insight into the fill probability of orders placed within the spread. Empirical evaluation reveals the superior performance of the monotonic encoder-decoder convolutional- Transformer compared to state-of-the-art benchmarks, leading to more accurate predictions and improved economic value.El modelado y predicción de series temporales es un problema persistente con amplias implicaciones en áreas científicas, comerciales, industriales y económicas. Esta tesis propone una doble contribución en este ámbito. En primer lugar, formulamos una novedosa metodología para la predicción probabilística de series temporales que introduce el uso de modelos de atención basados en el dominio de la frecuencia, con la transformada de Fourier desempeñando un papel fundamental. El modelo propuesto fusiona técnicas clásicas de filtrado espectral, pertenecientes al campo del procesado de señal, con modelos de aprendizaje automático. En segundo lugar, desarrollamos varias soluciones basadas en aprendizaje profundo para el modelado de datos financieros intradía, aprovechando la cada vez mayor disponibilidad de los mismos. Los métodos de aprendizaje automático poseen el potencial para mejorar los resultados obtenidos por las metodologías clásicas que los profesionales del ámbito de las finanzas cuantitativas acostumbran a utilizar. La capacidad de extracción de características de las redes neuronales, que pueden aprovechar la creciente accesibilidad a los datos financieros de alta frecuencia, y el uso de los mecanismos de atención para el modelado temporal, son los principales responsables de ésto. En lo relativo a la primera de las contribuciones mencionadas anteriormente, es decir, el uso de modelos de aprendizaje automático que operan sobre el dominio de la frecuencia, esta tesis demuestra de manera empírica que los modelos de aprendizaje profundo basados en el dominio espectral pueden aprender de forma más eficiente las propiedades de las series temporales a predecir. De esta manera, logran mejorar la precisión de las predicciones a la vez que solventan varios de los problemas que lastran el rendimiento de los modelos autoregresivos. Estas arquitecturas son propensas a sobreponderar los datos del pasado inmediato, ignorando a menudo valiosa información global que no está contenida en estas observaciones recientes. Además, son susceptibles a la acumulación y propagación de errores. Finalmente, los resultados que producen son difícilmente interpretables. Proponemos un nuevo modelo, llamado “Spectral Attention Autoregressive Model”(SAAM) (Modelo Autorregresivo con Atención Espectral), que mitiga estos problemas combinando modelos autorregresivos basados en aprendizaje profundo con un módulo de Atención Espectral. Dicho módulo contiene dos modelos de atención que operan sobre la representación en el dominio de Fourier del “embedding” obtenido a partir de la serie temporal a predecir. Usando técnicas de filtrado espectral, SAAM diferencia entre los componentes del espectro que deben ser considerados ruido, y por consiguiente deben ser filtrados, y aquellos patrones globales que son relevantes y deben ser incorporados en las predicciones. Mediante una exhaustiva evaluación empírica, demostramos que nuestro modelo de Atención Espectral puede ser integrado en diversos modelos autorregresivos que forman parte del estado del arte actual, mejorando de forma consistente los resultados obtenidos. En lo relativo a la segunda contribución principal de esta tesis doctoral, demostramos los beneficios que las metodologías de aprendizaje automático basadas en modelos de atención pueden aportar en dos problemas propios de las finanzas cuantitativas. Diversos experimentos demuestran cómo este tipo de modelos pueden mejorar los resultados obtenidos por los modelos clásicos empleados en este campo, proporcionando soluciones innovadoras para diversos problemas recurrentes dentro del trading algorítmico de alta frecuencia. La predicción de volatilidad en mercados financieros es el primero de estos problemas en ser abordado en la presente tesis. La estimación de volatilidad desempeña un papel central entre las medidas de riesgo utilizadas en los mercados de renta variable. En esta tesis demostramos que las redes neuronales basadas en “Dilated Causal Convolutions” (Convolucionales Causales Dilatadas) ofrecen ganancias significativas en comparación con los modelos paramétricos clásicos desarrollados única y exclusivamente para predicción de volatilidad. El modelo propuesto, llamado DeepVol, evidencia que el uso de modelos de aprendizaje profundo puede evitar las numerosas limitaciones propias de los métodos clásicos, logrando aprovechar la abundancia de datos de alta frecuencia para aprender las funciones deseadas. DeepVol supera a todos los modelos de referencia usados como comparativa, a la vez que exhibe robustez en períodos que contienen shocks de volatilidad, demostrando su capacidad para extraer características universales comunes a diferentes instrumentos financieros. Los resultados obtenidos en esta parte de la tesis nos llevan a concluir que los modelos de aprendizaje automático deben considerarse cuidadosamente en el contexto de predicción de volatilidad, pudiendo ser especialmente relevantes en la valoración de derivados financieros, gestión del riesgo, y creación de carteras de inversión. Para terminar, esta tesis presenta un modelo de análisis de supervivencia para estimar la distribución de probabilidad de ejecución subyacente a órdenes limitadas publicadas en el conocido como “Limit Order Book” (Libro de Órdenes Limitadas). El modelo propuesto, que no necesita partir de suposiciones sobre los procesos estocásticos subyacentes, emplea una arquitectura codificador/decodificador que utiliza un “Transformer” convolutional para codificar la información del libro de órdenes y una red monotónica que decodifica la función de supervivencia a estimar.Programa de Doctorado en Multimedia y Comunicaciones por la Universidad Carlos III de Madrid y la Universidad Rey Juan CarlosPresidente: Juan José Murillo Fuentes.- Secretario: Emilio Parrado Hernández.- Vocal: Manuel Gómez Rodrígue

Prototypicality effects in global semantic description of objects

In this paper, we introduce a novel approach for semantic description of object features based on the prototypicality effects of the Prototype Theory. Our prototype-based description model encodes and stores the semantic meaning of an object, while describing its features using the semantic prototype computed by CNN-classifications models. Our method uses semantic prototypes to create discriminative descriptor signatures that describe an object highlighting its most distinctive features within the category. Our experiments show that: i) our descriptor preserves the semantic information used by the CNN-models in classification tasks; ii) our distance metric can be used as the object's typicality score; iii) our descriptor signatures are semantically interpretable and enables the simulation of the prototypical organization of objects within a category.Comment: Paper accepted in IEEE Winter Conference on Applications of Computer Vision 2019 (WACV2019). Content: 10 pages (8 + 2 reference) with 7 figure

Los Nemátodos Entomopatógenos: una alternativa en la lucha contra el gusano cabezudo (Capnodis Tenebrionis Linnaeus) (Coleoptera, Buprestidae)

El gusano cabezudo Capnodis tenebrionis es una importante plaga de los cultivos de frutales de hueso. La larva de este coleóptero se desarrolla y alimenta en el interior de las raíces de los árboles atacados, lo que dificulta su lucha con los insecticidas químicos tradicionales. Los nemátodos entomopatógenos han sido ampliamente utilizados en la lucha contra diversas plagas de coleópteros que se desarrollan en el suelo y en hábitats crípticos. Sin embargo no existen estudios sobre la susceptibilidad de Capnodis tenebrionis a estos nemátodos. En el presente trabajo, se analiza la susceptibilidad de esta plaga a los nemátodos entomopatógenos y se valora la posible eficacia de su aplicación en el campo.Entomopathogen nematodes: an alternative in the fight against Capnodis tenebrionis Linnaeus (Coleoptera, Buprestidae). Capnodis tenebrionis is a very important pest of fruit trees. Its larva develops and feeds in the roots of infested trees, which makes eradication of the pest very difficult through the usual chemical insecticides. Entomopathogen nematodes have been largely used in the fight against different pest beetles which live in the soil and other cryptic habitats. However there are no studies on the susceptibility of Capnodis tenebrionis to those nematodes. In the present work, this susceptibility is analysed, as well as the possible efficacy of use of the nematodes in the field

A logic of graph conditions extended with paths

In this paper we tackle the problem of extending the logic of nested graph conditions with paths. This means, for instance, that we may state properties about the existence of paths between some given nodes. As a main contribution, a sound and complete tableau method is defined for reasoning about this kind of properties.Peer ReviewedPostprint (published version

Towards a navigational logic for graphical structures

One of the main advantages of the Logic of Nested Conditions, defined by Habel and Pennemann, for reasoning about graphs, is its generality: this logic can be used in the framework of many classes of graphs and graphical structures. It is enough that the category of these structures satisfies certain basic conditions. In a previous paper [14], we extended this logic to be able to deal with graph properties including paths, but this extension was only defined for the category of untyped directed graphs. In addition it seemed difficult to talk about paths abstractly, that is, independently of the given category of graphical structures. In this paper we approach this problem. In particular, given an arbitrary category of graphical structures, we assume that for every object of this category there is an associated edge relation that can be used to define a path relation. Moreover, we consider that edges have some kind of labels and paths can be specified by associating them to a set of label sequences. Then, after the presentation of that general framework, we show how it can be applied to several classes of graphs. Moreover, we present a set of sound inference rules for reasoning in the logic.Peer ReviewedPostprint (author's final draft

Brandplacement and Advertainment: Integration and Fusion between Audiovisual Fiction and Brands

Estamos siendo testigos directos de la mayor revolución habida en las estructuras y contenidos del mundo audiovisual y publicitario en nuestro país. Los cambios en los contenidos y formatos televisivos están estrechamente unidos a los producidos en el panorama de fórmulas publicitarias y, estos a su vez, a los cambios sociales de los espectadores-consumidores. La superación de las formas convencionales de hacer publicidad, viene siendo una realidad, avalada por la creciente diversidad de fórmulas que aparecen, proliferan, se copian y saturan el panorama televisivo en general y el publicitario en particular. De esta convivencia y conexión entre el mundo audiovisual y el del marketing publicitario, y como respuesta de adaptación al nuevo contexto, llegan, procedentes de EE.UU, nuevos ámbitos que están siendo realidad en nuestro país: advertainment, marketainment y brand placement.We are direct witnesses of the greatest revolution that has occurred in the structures and contents of the audiovisual and advertising world in our country. The changes in television contents and formats are closely united to those occurring in the panorama of advertising formulas and these, in their turn, to the social changes of the consumer spectators. The superseding of the conventional forms of advertising is becoming a reality, backed by the growing diversity of formulas that appear, proliferate, are copied and saturate the television panorama in general and the advertising panorama in particular. From this coexistence and connection between the audiovisual world and that of advertising marketing, and as a response of adaptation to the new context, new fields are arriving from the USA that are becoming a reality in our country: advertainment, marketainment and brand placement.Publicad

Prejuicios de las enfermeras hacia la población inmigrante: Una mirada desde el Sur de España.

In the last decades Spain has turned into a receiver country  of immigrants.This increase entails a rise in the cultural diversity in the society which is reflected in the change of the cultural profile of the users of the health public system. The aim of this study has been to approach the prejudices of the nurses towards the immigrant population. Methodology: Transversal quantitative study. Participants: Nursing professionals from the three public hospitals of Almería. Data collection: Anonymous questionnaire.   Results: More than 68% of the sample thinks that “we take advantage of the immigrants in order to offer them the most precarious jobs”,  and they do not consider that there are some Spanish people unemployed because of the immigrants.Half of the sample agrees with the statement “the ethnic minorities constitute a source of social conflicts” and more than 80% relate immigration to delinquency. Conclusions: The social prejudices mark mostly the Nurses opinions. It´s necessary to develop some training and sensitization programs aimed to these professionals as a key to achieve a change towards these negative opinions.En las últimas décadas España se ha convertido en un país receptor de inmigrantes, este aumento conlleva una creciente diversidad cultural en la sociedad que se refleja en el cambio del perfil cultural de los usuarios del sistema sanitario público.En este trabajo se ha marcado como objetivo tener una primera aproximación a los prejuicios que tiene el personal de Enfermería acerca de la población inmigrante.Metodología.Estudio cuantitativo transversal. Participantes: Personal de Enfermería de hospitales públicos de Almería. Recogida de datos: Cuestionario anónimo.Resultados.Más de un 68% de la muestra opina que “nos aprovechamos de los inmigrantes para ofrecerles los trabajos más precarios”, no considerando que los inmigrantes dejen a españoles en el paro. Más de la mitad de la muestra está de acuerdo con la afirmación de que las minorías étnicas constituyen una fuente de conflictividad social y más del 80% relacionan inmigración y delincuencia.Conclusiones.Los prejuicios sociales marcan mayoritariamente las opiniones de las enfermeras. Vemos necesario el desarrollo de programas de formación y sensibilización dirigido a estos profesionales como clave para conseguir cambiar estas opiniones negativas

Comparing the Didactic-Mathematical Knowledge of Derivative of In-Service and Pre-service Teachers

Background: The knowledge that a mathematics teacher should master has taken an increasing interest in recent years. Very few studies focused on comparing didactic-mathematic knowledge of in-service and pre-service teachers aimed at identifying features of the teachers’ didactic-mathematical knowledge on specific topics that can establish a line between pre-service and in-service teachers’ knowledge for teaching. Objective: The research aims to compare derivative knowledge of pre-service and in-service teachers to identify similarities and differences between teachers’ knowledge. Design: This research is a mixed and interpretative study. Settings and Participants: The participants were 22 pre-service teachers, and 11 in-service teachers enrolled in a pre-service teacher education programme and a master’s programme, respectively. Data collection and participants: Data were collected based on a questionnaire designed purposefully for the study. Results: The results show that pre-service teachers lack both epistemic derivative knowledge, while in-service teachers not only have this knowledge but relates it to its use in teaching. Pre-service teachers may not be making sense of the concept of derivative means, much less related to teaching. Conclusions: The insufficiencies found in pre-service teachers’ knowledge justify the pertinence to design specific formative cycles to develop prospective teachers’ epistemic facet of didactic-mathematical knowledge. It is recommended that both in-service and pre-service teachers discuss activities in which they can identify and reflect on possible mistakes and errors made by students. The development of these formative cycles should consider the complexity of the global meaning of the derivative

Desarrollo e implementación en Matlab de un código numérico para la resolución de problemas de Aerodinámica potencial linealizada no estacionaria

En el presente trabajo se desarrollado e implementado un método numérico para la resolución de problemas de aerodinámica potencial linealizada en régimen estacionario y no estacionario para alas de cualquier geometría. Dicho método consiste en una reformulación no encontrada antes en la literatura de la ecuación integral que se obtiene tras la imposición de la condición de contorno de impenetrabilidad. Dicho método ha sido implementado por el autor de este trabajo en Matlab basándose en la formulación, ecuación integral y en el programa en C originalmente desarrollados por el Profesor José Manuel Gordillo para la resolución de alas rectangulares en régimen estacionario. Posteriormente y ante la validación de los resultados obtenidos con aquellos encontrados en la literatura para otros métodos, se ha realizado la extensión a alas con geometría en flecha y también para el análisis de flujo no estacionario. El resultado fundamental de este trabajo es que se ha puesto a punto un código numérico basado en una formulación integral robusta y novedosa que permite resolver de manera muy eficiente las ecuaciones de la aerodinámica potencial subsónica en régimen no estacionario para alas de geometría genérica.The goal of this work is to develop and implement a numerical method in Matlab in order to solve steady and unsteady regime aerodynamics problems using the Linearized Potential Theory for wings with any geometry. This method consists of a reformulation, not found before in the literature, of the integral equation that is obtained after the imposition of the boundary condition on the wing surface. This method, which has been implemented in Matlab, is based on the C program developed by the Professor José Manuel Gordillo for the resolution of rectangular wings in steady regime. After the validation of the results obtained with those found in the literature with other methods, this method has been extended to solve steady and unsteady regime aerodynamics problems for wings with any geometry. The main result of this work is a numerical code which has been developed based on a robust and novel integral formulation that permits to efficiently solve the subsonic potential aerodynamic equations in non-stationary regime for generic geometry wings.Universidad de Sevilla. Máster en Ingeniería Aeronáutic