optimal pruned K-nearest neighbors: op-knn application to financial modeling

The paper proposes a methodology called OP-KNN, which builds a one hidden- layer feedforward neural network, using nearest neighbors neurons with extremely small com- putational time. The main strategy is to select the most relevant variables beforehand, then to build the model using KNN kernels. Multiresponse Sparse Regression (MRSR) is used as the second step in order to rank each kth nearest neighbor and finally as a third step Leave-One- Out estimation is used to select the number of neighbors and to estimate the generalization performances. This new methodology is tested on a toy example and is applied to financial modeling

Fuzzy Analysis of Resonance Frequencies for Structural Inspection of an Engine Cylinder Block

Summary: A new inspection technique for complex mechanical structures is proposed in this paper, where a fuzzy inference system carries out structural inspection. The inputs to the fuzzy inference system are the elements of a fault signature, an array of numbers prepared with use of below 5 kHz resonance frequencies of faultless and a number of faulty specimens. Advantage: Below 5 kHz resonance frequencies are easier and less expensive to obtain compared to higher frequency ones. Limit: Due to high expenses of experiments, reliable finite element models were alternatively used to obtain resonance frequencies of the faulty specimens. Results: The developed fuzzy inference system in this research accurately located an under-surface fault in an engine cylinder block

Mutual information for the selection of relevant variables in spectrometric nonlinear modelling

Data from spectrophotometers form vectors of a large number of exploitable variables. Building quantitative models using these variables most often requires using a smaller set of variables than the initial one. Indeed, a too large number of input variables to a model results in a too large number of parameters, leading to overfitting and poor generalization abilities. In this paper, we suggest the use of the mutual information measure to select variables from the initial set. The mutual information measures the information content in input variables with respect to the model output, without making any assumption on the model that will be used; it is thus suitable for nonlinear modelling. In addition, it leads to the selection of variables among the initial set, and not to linear or nonlinear combinations of them. Without decreasing the model performances compared to other variable projection methods, it allows therefore a greater interpretability of the results

Modelling of Engineering Systems with Small Data, a Comparative Study

This chapter equitably compares five different Artificial Intelligence (AI) techniques for data-driven modelling. All these techniques were used to solve two real-world engineering data-driven modelling problems with small number of experimental data samples, one with sparse and one with dense data. The models of both problems are shown to be highly nonlinear. In the problem with available dense data, Multi-Layer Perceptron (MLP) evidently outperforms other AI models and challenges the claims in the literature about superiority of Fully Connected Cascade (FCC). However, the results of the problem with sparse data shows superiority of FCC, closely followed by MLP and neuro-fuzzy network

Model selection with cross-validations and bootstraps - Application to time series prediction with RBFN models

This paper compares several model selection methods, based on experimental estimates of their generalization errors. Experiments in the context of nonlinear time series prediction by Radial-Basis Function Networks show the superiority of the bootstrap methodology over classical cross-validations and leave-one-out

Evolutionary Optimization Of Support Vector Machines

Support vector machines are a relatively new approach for creating classifiers that have become increasingly popular in the machine learning community. They present several advantages over other methods like neural networks in areas like training speed, convergence, complexity control of the classifier, as well as a stronger mathematical background based on optimization and statistical learning theory. This thesis deals with the problem of model selection with support vector machines, that is, the problem of finding the optimal parameters that will improve the performance of the algorithm. It is shown that genetic algorithms provide an effective way to find the optimal parameters for support vector machines. The proposed algorithm is compared with a backpropagation Neural Network in a dataset that represents individual models for electronic commerce

ДОСЛІДЖЕННЯ КЛАСИФІКАТОРА З ВИПАДКОВИМИ ПІДПРОСТОРАМИ ТА ЙОГО ЗАСТОСУВАННЯ ДЛЯ ПРОГНОЗУВАННЯ ДИНАМІКИ ФОНДОВОГО РИНКА

Дисертація присвячена математичному дослідженню характеристик функ-ціонування класифікатора з випадковими підпросторами. Запропоновані методи його удосконалення, проведено порівняння з іншими класифікаційними алгорит-мами. Продемонстрована ефективність застосування цієї моделі нейронної мережі для технічного прогнозування фондового ринка.\ud Класифікатор з випадковими підпросторами є високопродуктивним нейро-мережевим класифікатором. Концептуально архітектура даної нейронної мережі представляється двома компонентами. Перша здійснює нелінійне перетворення дійсного вхідного вектора в бінарний образ великої розмірності. В отриманому просторі ознак лінійна розділимість представників різних класів стає більш віро-гідною. Друга частина класифікатора є одношаровим персептроном, для якого використовується ітеративний алгоритм навчання з фіксованим інкрементом.\ud Запропоновані наступні методи удосконалення розглянутої нейронної мере-жі: оптимізація конфігураційних параметрів структури класифікатора для макси-мізації відстані Хеммінга між бінарними образами двох довільних вхідних векто-рів; адаптація розподілу порогових значень у відповідності з ймовірнісним роз-поділом вхідних даних; локальне усереднення коефіцієнтів синаптичної матриці, що є ефективним для задач з великою байєсовською похибкою. Функціонування даної мережі проаналізовано на відомій класифікаційній базі даних. Доведено,\ud що класифікатор з випадковими підпросторами є універсальним. Як і більшість інших нейромережевих парадигм, даний класифікатор дозволяє застосування ге-нетичного алгоритму формування структури мережі, а також алгоритму навчання зі збереженням найкращої синаптичної матриці.\ud Використовувалися наступні вхідні дані для задачі прогнозування фінансо-вих часових рядів: нормалізовані дані цін та об’єму торгів, різні технічні індика-тори, патерни японських свічок, індикатори відхилення від ковзних середніх і т.ін. Запропоновано метод оцінки ефективності прогнозування з точки зору теорії інформації. Розроблено алгоритм функціонування програмного агента для торгів-лі цінними паперами. Архітектура класифікатора з випадковими підпросторами дозволяє ефективне розпаралелювання відповідних базових алгоритмів для засто-сування на багатоядерних чи багатопроцесорних комп’ютерних системах.\u

Variable precision rough set theory decision support system: With an application to bank rating prediction

This dissertation considers, the Variable Precision Rough Sets (VPRS) model, and its development within a comprehensive software package (decision support system), incorporating methods of re sampling and classifier aggregation. The concept of /-reduct aggregation is introduced, as a novel approach to classifier aggregation within the VPRS framework. The software is applied to the credit rating prediction problem, in particularly, a full exposition of the prediction and classification of Fitch's Individual Bank Strength Ratings (FIBRs), to a number of banks from around the world is presented. The ethos of the developed software was to rely heavily on a simple 'point and click' interface, designed to make a VPRS analysis accessible to an analyst, who is not necessarily an expert in the field of VPRS or decision rule based systems. The development of the software has also benefited from consultations with managers from one of Europe's leading hedge funds, who gave valuable insight, advice and recommendations on what they considered as pertinent issues with regards to data mining, and what they would like to see from a modern data mining system. The elements within the developed software reflect each stage of the knowledge discovery process, namely, pre-processing, feature selection, data mining, interpretation and evaluation. The developed software encompasses three software packages, a pre-processing package incorporating some of the latest pre-processing and feature selection methods a VPRS data mining package, based on a novel "vein graph" interface, which presents the analyst with selectable /-reducts over the domain of / and a third more advanced VPRS data mining package, which essentially automates the vein graph interface for incorporation into a re-sampling environment, and also implements the introduced aggregated /-reduct, developed to optimise and stabilise the predictive accuracy of a set of decision rules induced from the aggregated /-reduct