Probabilistic Guarantees for Nonlinear Safety-Critical Optimal Control

Leveraging recent developments in black-box risk-aware verification, we provide three algorithms that generate probabilistic guarantees on (1) optimality of solutions, (2) recursive feasibility, and (3) maximum controller runtimes for general nonlinear safety-critical finite-time optimal controllers. These methods forego the usual (perhaps) restrictive assumptions required for typical theoretical guarantees, e.g. terminal set calculation for recursive feasibility in Nonlinear Model Predictive Control, or convexification of optimal controllers to ensure optimality. Furthermore, we show that these methods can directly be applied to hardware systems to generate controller guarantees on their respective systems

Information Technology

The new millennium has been labeled as the century of the personal communications revolution or more specifically, the digital wireless communications revolution. The introduction of new multimedia services has created higher loads on available radio resources. These services can be presented in different levels of quality of service. Namely, the task of the radio resource manager is to provide these levels. Radio resources are scarce and need to be shared by many users. The sharing has to be carried out in an efficient way avoiding as much as possible any waste of resources. The main contribution focus of this work is on radio resource management in opportunistic systems. In opportunistic communications dynamic rate and power allocation may be performed over the dimensions of time, frequency and space in a wireless system. In this work a number of these allocation schemes are proposed. A downlink scheduler is introduced in this work that controls the activity of the users. The scheduler is a simple integral controller that controls the activity of users, increasing or decreasing it depending on the degree of proximity to a requested quality of service level. The scheduler is designed to be a best effort scheduler; that is, in the event the requested quality of service (QoS) cannot be attained, users are always guaranteed the basic QoS level provided by a proportional fair scheduler. In a proportional fair scheduler, the user with the best rate quality factor is selected. The rate quality here is the instantaneous achievable rate divided by the average throughput Uplink scheduling is more challenging than its downlink counterpart due to signalling restrictions and additional constraints on resource allocations. For instance, in long term evolution systems, single carrier FDMA is to be utilized which requires the frequency domain resource allocation to be done in such a way that a user could only be allocated subsequent bands. We suggest for the uplink a scheduler that follows a heuristic approach in its decision. The scheduler is mainly based on the gradient algorithm that maximizes the gradient of a certain utility. The utility could be a function of any QoS. In addition, an optimal uplink scheduler for the same system is presented. This optimal scheduler is valid in theory only, nevertheless, it provides a considerable benchmark for evaluation of performance for the heuristic scheduler as well as other algorithms of the same system. A study is also made for the feedback information in a multi-carrier system. In a multi-carrier system, reporting the channel state information (CSI) of every subcarrier will result in huge overhead and consequent waste in bandwidth. In this work the subcarriers are grouped into subbands which are in turn grouped into blocks and a study is made to find the minimum amount of information for the adaptive modulation and coding (AMC) of the blocks. The thesis also deals with admission control and proposes an opportunistic admission controller. The controller gradually integrates a new user requesting admission into the system. The system is probed to examine the effect of the new user on existing connections. The user is finally fully admitted if by the end of the probing, the quality of service (QoS) of existing connections did not drop below a certain threshold. It is imperative to mention that the research work of this thesis is mainly focused on non-real time applications.fi=Opinnäytetyö kokotekstinä PDF-muodossa.|en=Thesis fulltext in PDF format.|sv=Lärdomsprov tillgängligt som fulltext i PDF-format

Collider Physics at HERA

From 1992 to 2007, HERA, the first electron-proton collider, operated at cms energies of about 320 GeV and allowed the investigation of deep-inelastic and photoproduction processes at the highest energy scales accessed thus far. This review is an introduction to, and a summary of, the main results obtained at HERA during its operation.Comment: A review article: 75 pages, 43 figure

Abordagens multivariadas para seleção de variáveis com vistas à classificação e predição de propriedades de amostras

A seleção de variáveis é uma etapa importante para a análise de dados, visto que identifica os subconjuntos de variáveis mais informativas para a construção de modelos precisos de classificação e predição. Além disso, a seleção de variáveis facilita a interpretação e análise dos modelos obtidos, potencialmente reduzindo o tempo computacional de geração dos modelos e o custo/tempo para obtenção das amostras. Neste contexto, a presente tese apresenta proposições inovadoras de abordagens com vistas à seleção de variáveis para classificação e predição de propriedades de amostras de produtos diversos. Tais abordagens são abordadas em três artigos apresentados nesta tese, com intuito de melhorar a precisão dos modelos de classificação e predição em diferentes áreas. No primeiro artigo, integram-se índices de importância de variáveis a sistemáticas de classificação hierárquica para categorizar amostras de espumantes de acordo com seu país de origem. No segundo artigo, para selecionar as variáveis mais informativas para a predição de amostras via PLS, propõe-se um índice de importância de variáveis baseado na Lei de Lambert-Beer combinado a um processo iterativo de seleção do tipo forward. Por fim, o terceiro artigo utilizou cluster de variáveis espectrais e índice de importância para selecionar as variáveis que produzem modelos de predição mais consistentes. Em todos os artigos dessa tese, os resultados obtidos pelos métodos propostos foram superiores quando comparados a outros métodos tradicionais da literatura voltados à identificação das variáveis mais informativas.Variable selection is an important step in data analysis, since it identifies the most informative subsets of variables for build accurate classification and prediction models. In addition, variable selection improves the interpretation and analysis of obtained models, reduces the computational time to build models and reduces the obtained samples costs. In this context, this thesis presents propositions for a variable selection method aiming to classifying and predicting sample properties. Such methods are presented in three papers in this thesis, in order to improve the classification and prediction accuracy in different areas. In first paper, we applied variable importance index coupled with a hierarchical classification technique to identify the country of origin of sparkling wines. In second paper, to select the most informative variables for prediction, a variable improtance index was built based on Lambert-Beer law and an iterative forward process was performed. Finally, in third paper was used clustering of variables and variable importance index to select the variables that produce more consistent prediction models. In all papers of this thesis, when conpared to other traditional methods, our proposition obtained better results

Heuristic-based feature selection for rough set approach

The paper presents the proposed research methodology, dedicated to the application of greedy heuristics as a way of gathering information about available features. Discovered knowledge, represented in the form of generated decision rules, was employed to support feature selection and reduction process for induction of decision rules with classical rough set approach. Observations were executed over input data sets discretised by several methods. Experimental results show that elimination of less relevant attributes through the proposed methodology led to inferring rule sets with reduced cardinalities, while maintaining rule quality necessary for satisfactory classification

Redução de dimensionalidade para dados espectrais colineares

Na análise de dados, a identificação das variáveis relevantes para uma determinada tarefa de aprendizagem da máquina pode ajudar a construir modelos mais precisos, robustos e explicáveis. Embora avanços recentes em redes neurais, como autoencoders e redes neurais profundas, tenham proporcionado abordagens que implicitamente realizam a redução de dimensionalidade, tais modelos usualmente requerem grandes tamanhos de amostra e podem não ser explicáveis, podendo ter aplicabilidade restrita em diversos tipos de bancos de dados, como os de espectroscopia. Bancos de dados espectroscópicos têm como característica um elevado número de variáveis que tendem a ser colineares e geralmente se apoiam em menor número de amostras do que variáveis, o que pode deteriorar o desempenho de diversas técnicas multivariadas aplicadas a tais dados. Desta forma, esta tese propõe métodos de seleção de variáveis aplicados a dados espectroscópicos com o objetivo de realizar agrupamento, classificação e regressão em conjuntos de dados abrangendo diferentes áreas. Esta tese é composta de quatro artigos, três de pesquisa aplicada, e uma comunicação. No primeiro artigo, um índice de importância de variáveis (IIV) é proposto para selecionar os comprimentos de onda mais relevantes para o agrupamento de amostras de acordo com suas similaridades. O IIV proposto é baseado na combinação do escalonamento multidimensional (para redução de dimensionalidade) e análise de Procrustes para derivar uma matriz de projeção. No segundo artigo, com o objetivo de selecionar variáveis para um problema de regressão, outro VII é derivado com base nos pesos da matriz de projeção obtida a partir de uma redução de dimensão através da regressão inversa por fatias localizadas (LSIR). No terceiro artigo, uma comunicação relacionada a um artigo publicado recentemente, foram apontadas falhas de projeto em um experimento com o objetivo de classificar espectros Raman de plasma sanguíneo de pacientes positivos para COVID e controles. Esta comunicação também estabeleceu baselines não enviesados para o quarto artigo, no qual o algoritmo de Máxima Relevância Mínima Redundância (mRMR) para seleção de variáveis é melhorado a fim de levar em conta as dependências lineares no conjunto de variáveis selecionadas. O aprimoramento proposto, denominado PCA-mRMR, é aplicado ao mesmo conjunto de dados do terceiro artigo com propósito de classificação. Em todos os três artigos de pesquisa, os métodos propostos foram comparados com abordagens de seleção de variáveis já existentes e seu desempenho foi avaliado.In data analysis, identifying the most relevant features for a given machine learning task can help build more accurate, robust, and explainable models. Although recent advances in neural networks, such as autoencoders and deep neural nets, have provided approaches that implicitly perform dimension reduction, they usually require large sample sizes and may not be explainable. One of such cases is the analysis of spectroscopic data, which is characterised by colinear features (variables or wavelengths) and usually have less samples than features, thus suffering for the curse of dimensionality. Considering this setting, this thesis presents propositions for features election methods applied to spectroscopic data with the goal to perform clustering, classification, and regression in datasets spanning different areas. This thesis is comprised of four articles, three applied research ones, and one communication. In the first article, a feature importance index (FII) is proposed to select the most relevant wavelengths for clustering. This FII is based on the combination of multidimensional scaling (for dimension reduction) and Procrustes analysis to derive a projection matrix. In the second article, with the goal of selecting features for a regression problem, another FII is derived based on the weights of the projection matrix from a Localized Sliced Inverse Regression dimension reduction. In the third article, a communication related to a recent published article, design flaws were pointed out in an experiment aiming to classify Raman spectra of blood plasma of COVID positive patients and controls. This article also established unbiased baselines for the fourth article. In the fourth article, the Maximum Relevancy Minimum Redundancy (mRMR) algorithm for feature selection is improved in order to account for linear dependencies in the selected features. The proposed improved, named PCA-mRMR, is applied to the same dataset of article three, being a classification task. In all three research articles, the proposed methods were compared against existing baseline approaches and their performance were assessed

Contribuciones al problema de clasificación en machine learning

El problema de clasificación es un tema muy estudiado en la ciencia de datos, en concreto en el campo del aprendizaje automático o “machine learning”. En la actualidad cada vez hay más información y los agentes económicos y sociales quieren extraer conclusiones relevantes de los datos que les ayuden a tomar mejores decisiones. El problema de clasificación es muy importante en la toma de decisiones en una gran variedad de campos, de hecho, en la literatura se puede encontrar un gran número de métodos que son capaces de realizar las tareas propias de la clasificación. La clasificación es una metodología de aprendizaje supervisado en la ciencia de datos, cuyo propósito es predecir la clase correcta, entre un conjunto de clases conocidas, de una nueva observación dada en base al conocimiento proporcionado por un conjunto de datos previo, también llamado datos de entrenamiento. En esta tesis doctoral se trabaja el problema de la clasificación en los aspectos siguientes: Se hace una revisión bibliográfica exhaustiva del problema de clasificación. Se compara el análisis discriminante y el método de selección de características, RBS. Se estudia el desempeño de dos conceptos de la teoría de juegos, como técnicas para la selección de características, comparándolos con distintos métodos de selección de características implementados en Weka. Y se definen tres medidas de desempeño para evaluar el rendimiento de un clasificador. A continuación, se desarrolla cada uno de los aspectos anteriores. En esta tesis se realiza una revisión bibliográfica muy amplia, que queda reflejada a lo largo de toda la memoria por estar estrechamente vinculada con la revisión de la literatura relacionada con el problema de clasificación y en particular, con la selección de características. Todo ello ha servido para elaborar un estado del arte del tema que ha sido muy útil como punto de partida para establecer diferentes problemas abiertos pendientes de estudiar. Se sabe que una de las dificultades en el análisis de un conjunto de datos es su alta dimensionalidad, lo que puede implicar un peor rendimiento de los clasificadores utilizados. La respuesta más eficaz es reducir la dimensión transformando los datos o la otra alternativa puede ser la selección de características. En esta tesis se lleva a cabo un estudio computacional en el que se comparan los resultados obtenidos mediante un método de reducción de la dimensión como es el análisis discriminante y un método de selección de características, incorporado en RBS. En dicho estudio se obtiene que en tiempo computacional el análisis discriminante es ligeramente mejor que el método RBS. Sin embargo, en términos de precisión para conjuntos de 1,000,000 de registros, el método de selección de características RBS ofrece mejores resultados. Además, en esta memoria se lleva a cabo un estudio computacional comparando la selección de características mediante los valores de Shapley y Banzhaf con varios algoritmos de selección de características implementados en Weka. Lo que se hace es definir un juego cooperativo asociado a un problema de clasificación y se calculan los valores de Shapley y Banzhaf asociados a ese juego, seleccionando aquellas características con un mayor valor por considerarse que tienen una mayor influencia en la precisión de la predicción. Finalmente, se compara, para diversos conjuntos de datos, la selección de características obtenidas con los métodos basados en teoría de juegos y los métodos implementados en Weka. Resaltar que, dado el mismo conjunto de datos, no todos los clasificadores son igualmente precisos en sus predicciones. La precisión conseguida por un modelo de clasificación depende de varios factores. Por lo tanto, el análisis del desempeño de los clasificadores es relevante para determinar cuál funciona mejor. Asimismo, en esta tesis se definen tres medidas de desempeño para evaluar el rendimiento de un clasificador. Se consideran tres clasificadores de referencia, en concreto, dos intuitivos y uno aleatorio. Para evaluar un clasificador se determina la reducción proporcional del error de clasificación cuando se utiliza el clasificador a evaluar con respecto a emplear uno de referencia. Este también es un enfoque interesante de la evaluación del desempeño de los clasificadores porque se puede medir lo ventajoso que es un nuevo clasificador con respecto a los tres de referencia simples, que pueden verse como las mejores opciones basadas en el sentido común. Además, también se analiza la relación entre los tres clasificadores de referencia y diferentes aspectos de la entropía del conjunto de datos. Se lleva a cabo un experimento intensivo para exponer cómo funcionan las medidas de rendimiento propuestas y cómo la entropía puede afectar el rendimiento de un clasificador. Para validar lo observado en el experimento anterior, se realiza un experimento extensivo utilizando 11 conjuntos de datos y cuatro clasificadores implementados en Weka