18 research outputs found

    Using Linux for industrial projects – A return of experience

    Get PDF
    International audienceThis article describes industrial projects involving embedded and/or real time Linux. After an introduction dedicated to place Linux regarding the embedded software market, it explains the adoption process of Linux in our company, that was working will legacy RTOS since years. Then it emphasizes 3 aspects of using Linux in industrial projects : using Linux in an embedded device, using Linux in a real time context and porting an application from legacy RTOS to Linux. The article ends up with the problem of management in an industrial context of a software base that moves very quickly, and explains what philosophy to adopt regarding evolutions control

    Application of Machine Learning Approaches in Intrusion Detection System

    Get PDF
    The rapid development of technology reveals several safety concerns for making life more straightforward. The advance of the Internet over the years has increased the number of attacks on the Internet. The IDS is one supporting layer for data protection. Intrusion Detection Systems (IDS) offers a healthy market climate and prevents misgivings in the network. Recently, IDS is used to recognize and distinguish safety risks using Machine Learning (ML). This paper proposed a comparative analysis of the different ML algorithms used in IDS and aims to identify intrusions with SVM, J48, and Naive Bayes. Intrusion is also classified. Work with the KDD-CUP data set, and their performance has checked with the Weak software. In comparison of techniques such as J48, SVM and Naïve Bayes showed that the accuracy of j48 is the higher one which was (99.96%)

    Xenomai Lab: uma plataforma para controlo digital em tempo-real

    Get PDF
    Mestrado em Engenharia Electrónica e TelecomunicaçõesXenomai Lab is a free software suite that allows a user to graphically design control systems using block diagrams. The designed system can be executed in real-time with operating frequencies of up to 10KHz using the Xenomai framework. Execution can be merely a numerical simulation or an interaction with the real-world via input/output blocks. Several useful blocks are included in the default installation, such as an oscilloscope, a signal generator, MATLAB setpoint profile loader, and others. A rich set of documentation and examples is also provided. Development of Xenomai Lab was supported by a thorough study of real-time operating systems based on GNU/Linux. The performances of standard Linux, the PREEEMPT_RT patchset, RTAI and Xenomai were benchmarked using a standard test. This allowed for a direct comparison between them. Xenomai was found to have the ideal balance between performance and ease of use, with scheduling jitter bellow 35μs on a desktop computer. Ease of use was one of Xenomai Lab’s main goals. This distinguishes it from alternatives. Control algorithms are programmed in C and no prior knowledge of Xenomai, or real-time operating systems in general for that matter, is needed. This makes our system adequate for use by control engineers unfamiliar with GNU/Linux and by entry level students of control engineering, robotics, and other equally technical areas. Advanced users will feel right at home.O Xenomai Lab é uma plataforma open-source que permite a um utilizador projectar gráficamente um sistema de controlo recorrendo a um diagrama de blocos. O sistema projectado pode ser executado em tempo-real a uma frequência de operação de até 10KHz pela framework de tempo-real Xenomai. Execução pode ser uma mera simulação numérica, ou uma interacção com o mundo real recorrendo a blocos de input e output. A instalação traz de origem vários blocos potencialmente úteis, como um osciloscópio, um gerador de sinais, interface com perfis de setpoint feitos em MATLAB, entre outros. É também incluída documentação e alguns exemplos ilustrativos. O desenvolvimento do Xenomai Lab teve por base uma pesquisa exaustiva de sistemas operativos de tempo-real baseados em GNU/Linux. As performances de Linux, do patch PREEEMPT_RT, do RTAI e do Xenomai foram medidas recorrendo a um mesmo teste. Desta forma, tornou-se possível fazer uma comparação directa entre as diferentes tecnologias. De acordo com os nossos testes, o Xenomai apresenta um balanço ideal entre performance e facilidade de utilização. O jitter de escalonamento esteve sempre abaixo de 35μs num computador de secretária. O Xenomai Lab foi desenvolvido de forma a ser fácil de utilizar. Esta é a característica chave que o distingue de software semelhante. Algoritmos de controlo são programados em linguagem C, não sendo necessário nenhum conhecimento específico de Xenomai ou mesmo de sistemas de tempo-real em geral. Assim, o Xenomai Lab é adequado para engenheiros da área de controlo sem experiência em GNU/Linux ou sistemas operativos de tempo-real ou mesmo estudantes de engenharia de controlo, robótica e outras áreas técnicas. Utilizadores avançados sentir-se-ão imediatamente em casa

    Predicting potential customer needs and wants for agile design and manufacture in an industry 4.0 environment

    Get PDF
    Manufacturing is currently experiencing a paradigm shift in the way that products are designed, produced and serviced. Such changes are brought about mainly by the extensive use of the Internet and digital technologies. As a result of this shift, a new industrial revolution is emerging, termed “Industry 4.0” (i4), which promises to accommodate mass customisation at a mass production cost. For i4 to become a reality, however, multiple challenges need to be addressed, highlighting the need for design for agile manufacturing and, for this, a framework capable of integrating big data analytics arising from the service end, business informatics through the manufacturing process, and artificial intelligence (AI) for the entire manufacturing value chain. This thesis attempts to address these issues, with a focus on the need for design for agile manufacturing. First, the state of the art in this field of research is reviewed on combining cutting-edge technologies in digital manufacturing with big data analysed to support agile manufacturing. Then, the work is focused on developing an AI-based framework to address one of the customisation issues in smart design and agile manufacturing, that is, prediction of potential customer needs and wants. With this framework, an AI-based approach is developed to predict design attributes that would help manufacturers to decide the best virtual designs to meet emerging customer needs and wants predictively. In particular, various machine learning approaches are developed to help explain at least 85% of the design variance when building a model to predict potential customer needs and wants. These approaches include k-means clustering, self-organizing maps, fuzzy k-means clustering, and decision trees, all supporting a vector machine to evaluate and extract conscious and subconscious customer needs and wants. A model capable of accurately predicting customer needs and wants for at least 85% of classified design attributes is thus obtained. Further, an analysis capable of determining the best design attributes and features for predicting customer needs and wants is also achieved. As the information analysed can be utilized to advise the selection of desired attributes, it is fed back in a closed-loop of the manufacturing value chain: design → manufacture → management/service → → → design... For this, a total of 4 case studies are undertaken to test and demonstrate the efficacy and effectiveness of the framework developed. These case studies include: 1) an evaluation model of consumer cars with multiple attributes including categorical and numerical ones; 2) specifications of automotive vehicles in terms of various characteristics including categorical and numerical instances; 3) fuel consumptions of various car models and makes, taking into account a desire for low fuel costs and low CO2 emissions; and 4) computer parts design for recommending the best design attributes when buying a computer. The results show that the decision trees, as a machine learning approach, work best in predicting customer needs and wants for smart design. With the tested framework and methodology, this thesis overall presents a holistic attempt to addressing the missing gap between manufacture and customisation, that is meeting customer needs and wants. Effective ways of achieving customization for i4 and smart manufacturing are identified. This is achieved through predicting potential customer needs and wants and applying the prediction at the product design stage for agile manufacturing to meet individual requirements at a mass production cost. Such agility is one key element in realising Industry 4.0. At the end, this thesis contributes to improving the process of analysing the data to predict potential customer needs and wants to be used as inputs to customizing product designs agilely

    Real-Time software technology and its use in experimental neuroscience

    Full text link
    Debido a las complicadas dinámicas no lineales de los sistemas neuronales así como a la incapacidad existente a la hora de observar más de unas pocas de las señales que participan en dichas dinámicas de forma simultánea, el estudio de estos sistemas es muy complejo. Además, el paradigma tradicional de trabajo es el de estímulo-respuesta, en el cual se registra el comportamiento del sistema al responder a ciertos estímulos de entrada y se estudian estos resultados a posteriori, lo que impide caracterizar completamente la dinámica de su funcionamiento. Las tecnologías de ciclo cerrado permiten superar estas adversidades mediante la observación, el control y la interacción bidireccional con estos elementos neuronales. Sin embargo, la implementación de este tipo de tecnologías no es tan sencilla debido a que en muchos casos la detección y estimulación del sistema biológico debe hacerse de acuerdo a ciertas restricciones temporales precisas. Esta capacidad del sistema para ejecutar tareas y responder a eventos externos (síncronos o asíncronos) en una determinada franja de tiempo es lo que se conoce como funcionamiento en "tiempo real". Los ordenadores personales actuales poseen la suficiente potencia de procesamiento como para cumplir con los requisitos de tiempo real, sin embargo debido al funcionamieno de los planificadores de los sistemas operativos de propósito general (Windows, Linux, MacOS), que no puede ser controlado por el usuario, no existe manera de asegurar que un proceso de tiempo real se ejecutará sin interrupciones y cumpliendo con las restricciones temporales. Por otra parte, las implementaciones en hardware pueden cumplir con dichas restricciones temporales pero son menos programables. Por ello, existen también los llamados sistemas operativos de tiempo real (RTOS). Sin embargo, esta tecnología es a menudo difícil de instalar, configurar y manejar. Estas dificultades relativas a los RTOS provocan que muchos equipos y laboratorios dedicados a la neurociencia no vean viable invertir tiempo y esfuerzo en dominar esta tecnología para realizar experimentos de ciclo cerrado. En este trabajo se realiza una comparativa cuantitativa de las herramientas para tiempo real RTAI, Xenomai y Preempt-RT, de acuerdo a su rendimiento así como su usabilidad y accesibilidad, en la que se compara sus valores de latencia y la variabilidad (jitter) de estos. La comparativa se lleva a cabo en el contexto del uso de la tecnología de tiempo real en neurociencia experimental. Además se ha desarrollado una librería de modelos neuronales y sinápticos en tiempo real para su uso en circuitos híbridos, con neuronas vivas y modelos artificiales, y experimentos de ciclo cerrado. El correcto funcionamiento de dicha librería ha sido probado mediante su integración en circuitos híbridos, tanto con neuronas vivas como electrónicas, así como con el manejo de un motor de pasos para la estimulación mecánica.Due to the complicated non linear dynamics of neuronal systems, as to the existing inability to observe simultaneously more than a few signals of the ones involved in said dynamics, the study of these systems is quite complex. Moreover, traditionally the working paradigm is the stimulus-response one, where the system behaviour is recorded while it responds to certain input stimuli and the results are studied afterwards, thus preventing the complete characterization of the behavioural dynamics. Closed-loop technologies allow to overcome these difficulties through online observation, control and bidirectional interaction with these neural elements. Nevertheless, implementing this kind of technologies is not an easy task because in many cases the detection and stimulation must be done within some precise temporal boundaries. This ability of the system to complete tasks and respond to external events (synchronous and asynchronous) within a determined time slot is known as "real-time" performance. Actual computers have enough processing power and speed to comply with real-time requirements, but due to the general purpose operating systems (Windows, Linux, MacOS) schedulers’ behaviour, which can not be controlled by the user, there is no way to ensure that a real-time process will be run without interruptions and respecting the temporal restrictions. On the other hand, hardware implementations can fullfil such boundaries, but are also less programmable. For this reason the real-time operating systems (RTOS) exist. However, this technology is often difficult to install, configure and use. This RTOS-related complications provoke that many neuroscience researching teams and laboratories do not consider feasible to spend time and effort to implement this tools for closed-loop experiments. In this work a quantitative comparison between the real-time solution RTAI, Xenomai and Preempt-RT is carried out, focusing on their performance, usability and accessibility, by comparing their latency values and jitter. The comparison done in the context of real-time software technology usage in experimental neuroscience. Furthermore, a real-time neuron and synapse model library was developed for its use in hybrid circuits and closed-loop experiments. To validate the correct functioning of said library it was used in hybrid circuits, with both electronic and living neurons, and to control a stepper motor for mechanical stimulation

    Controlador de tempo-real baseado em MATLAB e raspberry Pi

    Get PDF
    Mestrado em Engenharia Electrónica e TelecomunicaçõesPara esta dissertação é proposto o desenvolvimento de um controlador de tempo-real baseado na plataforma computacional Raspberry Pi, munidos de ADCs e DACs para interagir com sistemas físicos. Os algoritmos de controlo deverão poder ser desenvolvidos e testados em MATLAB, sendo “traduzidos”, de forma automática, para linguagem C capaz de ser compilada e executada na plataforma Raspberry Pi.For this dissertation is proposed the development of a real-time controller based on the computer platform Raspberry Pi, fitted with ADCs and DACs to interact with physical systems. The control algorithms must be able to be developed and tested in MATLAB, then "translated" automatically to C programming language to be compiled and run on the Raspberry Pi platform

    Forecasting of uv-vis spectrometry time series for online water quality monitoring in operating urban sewer systems

    Get PDF
    El monitoreo de contaminantes en sistemas de saneamiento urbano es generalmente realizado por medio de campañas de muestreo, las muestras deben ser transportadas, almacenadas y analizadas en laboratorio. Sin embargo, los desarrollos en óptica y electrónica han permitido su fusión y aplicación en la espectrometría UV-Vis. Los sensores UV-Vis tienen como propósito determinar la dinámica de las cargas de materia orgánica (Demanda Química de Oxigeno DQO y Demanda Bioquímica de Oxigeno DBO5), nitratos, nitritos y Sólidos Suspendidos Totales (SST). Adicionalmente a los métodos aplicados para la calibración de los sensores y el análisis las series de tiempo de los espectros de absorbancias UV-Vis, es necesario desarrollar métodos de pronóstico con el fin de ser utilizada en control de monitoreo en línea en tiempo real. La información proveniente de los datos recolectados puede ser utilizada para la toma de decisiones y en aplicaciones de control de tiempo real. Realizar pronósticos es importante en procesos de toma de decisiones. Por lo tanto, el objetivo de este trabajo de investigación fue desarrollar uno o varios métodos de pronóstico que puedan ser aplicados a series de tiempo de espectrometría UV-Vis para el monitoreo en línea de la calidad de agua en sistemas urbanos de saneamiento en operación. Cinco series de tiempo de absorbancia UV-Vis obtenidas en línea en diferentes sitios fueron utilizadas, con un total de 5705 espectros de absorbancia UV-Vis: cuatro sitios experimentales en Colombia (Planta de Tratamiento de Aguas Residuales (PTAR) El-Salitre, PTAR San Fernando, Estación Elevadora de Gibraltar y un Humedal Construido/Tanque de Almacenamiento) y un sitio en Austria (Graz-West R05 Catchment outlet). El proceso propuesto completo consta de etapas a ser aplicadas a las series de tiempo de absorbancia UV-Vis y son: (i) entradas, series de tiempo de absorbancia UV-Vis,(ii) pre-procesamiento de las series de tiempo, análisis de outliers, completar los valores ausentes y reducción de la dimensionalidad,y (iii) procedimientos de pronóstico y evaluación de los resultados. La metodología propuesta fue aplicada a la series de tiempo con diferentes características (absorbancia), esta consiste del enventaneo Winsorising como paso para la remoción de outliers y la aplicación de la transformada discreta de Fourier (DFT) para reemplazar valores ausentes. Los nuevos valores reemplazando o los outliers o los valores ausentes presentan la misma o al menos la misma forma de la serie de tiempo original, permitiendo una visión macro en la coherencia de la serie de tiempo. La reducción de la dimensionalidad en las series de tiempo de absorbancia multivariadas permite obtener menor número de variables a ser procesadas: el análisis por componentes principales (PCA) como transformación lineal captura más del 97% de la variabilidad en cada serie de tiempo (en un rango de una a seis, dependiendo del comportamiento de la series de tiempo absorbancia) y el proceso de Clustering (k-means) combinado con cadenas de Markov. Los procedimientos de pronóstico basados en señales periódicas como la DFT, Chebyshev, Legendre y Regresión Polinomial fueron aplicados y estos pueden capturar el comportamiento dinámico de las series de tiempo. Algunas técnicas de aprendizaje de máquina fueron probadas y fue posible capturar el comportamiento de las series de tiempo en la etapa de calibración, los valores de pronóstico pueden seguir el comportamiento general comparado con los valores observados (excepto ANFIS, GA y Filtro de Kalman). Por lo tanto, ANN y SVM tiene buen rendimiento de pronóstico para la primer parte del horizonte de pronóstico (2 horas). La evaluación de cada metodología de pronóstico fue realizada utilizando cuatro indicadores estadísticos tales como porcentaje absoluto de error (APE), incertidumbre extendida (EU), conjunto de valores dentro del intervalo de confianza (CI) y suma de valores de incertidumbre extendida más el conjunto de valores dentro del intervalo de confianza. El rendimiento de los indicadores provee información acerca de los resultados de pronóstico multivariado con el fin de estimar y evaluar los tiempos de pronóstico para cierta metodología de pronóstico y determinar cuál metodología de pronóstico es mejor adaptada a diferentes rangos de longitudes de onda (espectros de absorbancia) para cada serie de tiempo de absorbancia UV-Vis en cada sitio de estudio. Los resultados en la comparación de las diferentes metodologías de pronóstico, resaltan que no es posible obtener la mejor metodología de pronóstico, porque todas las metodologías de pronóstico propuestas podrían generar un amplio número de valores que permitirán complementar cada una con las otras para diferentes pasos de tiempo de pronóstico y en diferentes rangos del espectro (UV y/o Vis). Por lo tanto, es propuesto un sistema híbrido que es basado en siete metodologías de pronóstico. Así, los valores de los espectros de absorbancia pronosticados fueron transformados a los correspondientes indicadores de calidad de agua (WQI) para utilización en la práctica. Los resultados de pronóstico multivariado presentan valores bajos de APE comparados con los resultados de pronóstico univariado utilizando directamente los valores WQI observados. Estos resultados, probablemente, son obtenidos porque el pronóstico multivariado incluye la correlación presente en todo el rango de los espectros de absorbancia (se captura de forma completa o al menos gran parte de la variabilidad de las series de tiempo),una longitud de onda interfiere con otra u otras longitudes de onda. Finalmente, los resultados obtenidos para el humedal construido/tanque de almacenamiento presentan que es posible obtener apreciables resultados de pronóstico en términos de tiempos de detección para eventos de lluvia. Adicionalmente, la inclusión de variables como escorrentía (nivel de agua para este caso) mejora substancialmente los resultados de pronóstico de la calidad del agua. El monitoreo de contaminantes en sistemas de saneamiento urbano es generalmente realizado por medio de campañas de muestreo, las muestras deben ser transportadas, almacenadas y analizadas en laboratorio. Sin embargo, los desarrollos en óptica y electrónica han permitido su fusión y aplicación en la espectrometría UV-Vis. Los sensores UV-Vis tienen como propósito determinar la dinámica de las cargas de materia orgánica (Demanda Química de Oxigeno DQO y Demanda Bioquímica de Oxigeno DBO5), nitratos, nitritos y Sólidos Suspendidos Totales (SST). Adicionalmente a los métodos aplicados para la calibración de los sensores y el análisis las series de tiempo de los espectros de absorbancias UV-Vis, es necesario desarrollar métodos de pronóstico con el fin de ser utilizada en control de monitoreo en línea en tiempo real. La información proveniente de los datos recolectados puede ser utilizada para la toma de decisiones y en aplicaciones de control de tiempo real. Realizar pronósticos es importante en procesos de toma de decisiones. Por lo tanto, el objetivo de este trabajo de investigación fue desarrollar uno o varios métodos de pronóstico que puedan ser aplicados a series de tiempo de espectrometría UV-Vis para el monitoreo en línea de la calidad de agua en sistemas urbanos de saneamiento en operación. Cinco series de tiempo de absorbancia UV-Vis obtenidas en línea en diferentes sitios fueron utilizadas, con un total de 5705 espectros de absorbancia UV-Vis: cuatro sitios experimentales en Colombia (Planta de Tratamiento de Aguas Residuales (PTAR) El-Salitre, PTAR San Fernando, Estación Elevadora de Gibraltar y un Humedal Construido/Tanque de Almacenamiento) y un sitio en Austria (Graz-West R05 Catchment outlet). El proceso propuesto completo consta de etapas a ser aplicadas a las series de tiempo de absorbancia UV-Vis y son: (i) entradas, series de tiempo de absorbancia UV-Vis,(ii) pre-procesamiento de las series de tiempo, análisis de outliers, completar los valores ausentes y reducción de la dimensionalidad,y (iii) procedimientos de pronóstico y evaluación de los resultados. La metodología propuesta fue aplicada a la series de tiempo con diferentes características (absorbancia), esta consiste del enventaneo Winsorising como paso para la remoción de outliers y la aplicación de la transformada discreta de Fourier (DFT) para reemplazar valores ausentes. Los nuevos valores reemplazando o los outliers o los valores ausentes presentan la misma o al menos la misma forma de la serie de tiempo original, permitiendo una visión macro en la coherencia de la serie de tiempo. La reducción de la dimensionalidad en las series de tiempo de absorbancia multivariadas permite obtener menor número de variables a ser procesadas: el análisis por componentes principales (PCA) como transformación lineal captura más del 97% de la variabilidad en cada serie de tiempo (en un rango de una a seis, dependiendo del comportamiento de la series de tiempo absorbancia) y el proceso de Clustering (k-means) combinado con cadenas de Markov. Los procedimientos de pronóstico basados en señales periódicas como la DFT, Chebyshev, Legendre y Regresión Polinomial fueron aplicados y estos pueden capturar el comportamiento dinámico de las series de tiempo. Algunas técnicas de aprendizaje de máquina fueron probadas y fue posible capturar el comportamiento de las series de tiempo en la etapa de calibración, los valores de pronóstico pueden seguir el comportamiento general comparado con los valores observados (excepto ANFIS, GA y Filtro de Kalman). Por lo tanto, ANN y SVM tiene buen rendimiento de pronóstico para la primer parte del horizonte de pronóstico (2 horas). La evaluación de cada metodología de pronóstico fue realizada utilizando cuatro indicadores estadísticos tales como porcentaje absoluto de error (APE), incertidumbre extendida (EU), conjunto de valores dentro del intervalo de confianza (CI) y suma de valores de incertidumbre extendida más el conjunto de valores dentro del intervalo de confianza. El rendimiento de los indicadores provee información acerca de los resultados de pronóstico multivariado con el fin de estimar y evaluar los tiempos de pronóstico para cierta metodología de pronóstico y determinar cuál metodología de pronóstico es mejor adaptada a diferentes rangos de longitudes de onda (espectros de absorbancia) para cada serie de tiempo de absorbancia UV-Vis en cada sitio de estudio. Los resultados en la comparación de las diferentes metodologías de pronóstico, resaltan que no es posible obtener la mejor metodología de pronóstico, porque todas las metodologías de pronóstico propuestas podrían generar un amplio número de valores que permitirán complementar cada una con las otras para diferentes pasos de tiempo de pronóstico y en diferentes rangos del espectro (UV y/o Vis). Por lo tanto, es propuesto un sistema híbrido que es basado en siete metodologías de pronóstico. Así, los valores de los espectros de absorbancia pronosticados fueron transformados a los correspondientes indicadores de calidad de agua (WQI) para utilización en la práctica. Los resultados de pronóstico multivariado presentan valores bajos de APE comparados con los resultados de pronóstico univariado utilizando directamente los valores WQI observados. Estos resultados, probablemente, son obtenidos porque el pronóstico multivariado incluye la correlación presente en todo el rango de los espectros de absorbancia (se captura de forma completa o al menos gran parte de la variabilidad de las series de tiempo),una longitud de onda interfiere con otra u otras longitudes de onda. Finalmente, los resultados obtenidos para el humedal construido/tanque de almacenamiento presentan que es posible obtener apreciables resultados de pronóstico en términos de tiempos de detección para eventos de lluvia. Adicionalmente, la inclusión de variables como escorrentía (nivel de agua para este caso) mejora substancialmente los resultados de pronóstico de la calidad del agua.The monitoring of pollutants in urban sewer systems is generally conducted by sampling campaigns, and the resulting samples must be transported, stored and analyzed in laboratory. However, the developments in optics and electronics have enabled the merge of them into the UV-Vis Spectrometry. UV-Vis probes have the purpose of determining the dynamics of loads of organic materials (i.e. Chemical Oxygen Demand (COD) and Biochemical Oxygen Demand (BOD5)), nitrates, nitrites and Total Suspended Solids (TSS). In addition to the methods used for the calibration of the probes and the analysis of the time series of UV-Vis absorbance spectra, it is necessary to develop forecasting methods in order to use the online control monitoring in real time. The information from the collected data can also be used for decision making purposes and for real-time control applications. Forecasting is important for decision-making processes. Therefore, the objective of this research work was to develop either a forecasting method or forecasting methods applied to UV-Vis spectrometry time series data for online water quality monitoring in operating urban sewer systems. Five UV-Vis Absorbance time series collected at different on-line measurement sites were used, for a total of 5705 UV-Vis absorbance spectra data: four sites in Colombia (El-Salitre Wastewater Treatment Plant-WWTP, San Fernando WWTP, Pumping Station (PS) sewage called Gibraltar and constructed-wetland/reservoir-tank (CWRT)) and one site in Austria (Graz-West R05 Catchment outlet). The complete process proposed to be applied to UV-Vis absorbance time series has several stages and these are: (i) inputs, the UV-Vis absorbance time series,(ii) the time series pre-processing, outliers analysis, complete missing values and time series dimensionality reduction,and (iii) forecasting procedures and evaluation of results. The methodology proposed was applied to the time series with different characteristics (absorbance), this consists of Winsorising as a step in outlier removal and the application of the Discrete Fourier Transform (DFT) to complete the missing values. The new values replaced either outliers or missing values present the same, or almost the same, shape as the original time series, granted the macro vision of the time series coherence. Dimensionality reduction of multivariate absorbance time series allows to have less variables to be processed: PCA linear transformation captures more than 97% of variability for each time series (PC ranging from one to six, depending on absorbance time series behavior), and Clustering process (k-means) combined with Markov Chains. Forecasting procedures based on periodic signals as DFT, Chebyshev, Legendre and Polynomial Regression were applied and they can capture the dynamic behaviour of the time series. Several Machine Learning technics were tested and it was possible to capture the behaviour of the time series at calibration stage, the forecasting obtained valúes can follow the general behaviour compared with observed valúes (with exception of ANFIS, GA and Kalman Filter). Therefore, ANN and SVM have good forecasting performances for first part of forecasting horizon (2 hours). The evaluation of each forecasting methodology was done using four statistic indicators as Absolute Percentage Error (APE), Extended Uncertainty (EU), Set of observed values within Confidence Interval (CI) and sum of EU and Set of observed values within CI. The performance indicators provided valuable information about multivariate forecasting results to estimate and evaluate the forecasting time for a given forecasting methodology and determine which forecasting methodology is best suited for different wavelength ranges (absorbance spectra) at each study site s UV-Vis absorbance time series. Results from different comparison of several forecasting methodologies, highlight that there is not possibility to have a best forecasting methodology among the proposed ones, because all of them could provide a wide forecasting values that would complemented each other for different forecasting time steps and spectra range (UV and/or Vis). Therefore, it is proposed a hybrid system that is based on seven forecasting methodologies. Thus, the forecasted absorbance spectra were transformed to Water Quality Indicators (WQI) for practical uses. The multivariate forecasting results show lower APE values compared to the univariate forecasting results (APE values) using the observed WQI. These results, probably, were obtained because multivariate forecasting includes the correlation presented at whole absorbance spectra range (captures complete or at least great part of time series variability),one wavelength interferes with another and/or other wavelengths. Finally, the results obtained for a constructed-wetland/reservoir-tank system show that it is possible to obtain valuable forecasting results in terms of time detection for some rainfall events. In addition, the inclusion of runoff variables (water level in this case) improves the water quality forecasting results.Doctor en IngenieríaDoctorad
    corecore