Напівкерований граничний бустинг

Дипломна робота: 92 сторінки, 33 рисунки, 13 таблиць, 1 додаток, 17 джерел. Об’єкт дослідження – напівкерований граничний бустинг. Під час створення систем підтримки прийняття рішень, нейронних мереж та інших систем машинного навчання, виникає проблема збору та правильної класифікації тренувальних даних. Залежно від типу даних, процес класифікації може бути складним, повільним або вартісним. Наприклад, класифікація медичних знімків вимагає глибокої медичної експертизи і значних ресурсів часу. Існує ризик помилкової класифікації, що вносить шум у тренувальні дані. З метою вирішення цих викликів, були розроблені алгоритми напів- керованого навчання, що потребують меншого обсягу відмічених даних та здатні використовувати невідмічені дані. Одним з таких алгоритмів є напівкерований граничний бустинг, який дозволяє покращувати точність моделі бінарної класифікації через ітеративне навчання, використовуючи відмічені та невідмічені дані. Це дозволяє зекономити на попередній класифікації навчальних даних, не втрачаючи при цьому якості моделі. Мета роботи – розробити покращення існуючих підходів до реалізації алгоритму напівкерованого граничного бустингу. Практичне значення роботи полягає в отриманні високоефективного алгоритму для класифікації даних при невеликій кількості міток.Bachelor thesis: 92 pages, 33 figures, 13 tables, 1 appendix, 17 sources. The object of research is an algorithm of semi-supervised MarginBoost. When creating decision support systems, neural networks, and other machine learning systems, the problem of collecting and correctly classifying training data arises. Depending on the type of data, the classification process can be complex, slow, or costly. For example, classifying medical images requires in-depth medical expertise and significant time resources. There is a risk of misclassification, which introduces noise into the training data. In order to address these challenges, semi-supervised learning algorithms have been developed that require less labeled data and are able to utilize unlabeled data. One of these algorithms is Semi-Supervised MarginBoost, which improves the accuracy of a binary classification model through iterative learning using both labeled and unlabeled data. This allows to save on pre-classification of training data without losing the model performance. The aim of the work is to develop an improvement of existing approaches to the implementation of the semi-supervised margin boosting algorithm. The practical significance of this work is to obtain a highly efficient algorithm for data classification with a small number of labels

Ансамблевий класифікатор на основі бустінгу

Робота публікується згідно наказу Ректора НАУ від 27.05.2021 р. №311/од "Про розміщення кваліфікаційних робіт здобувачів вищої освіти в репозиторії університету". Керівник роботи: д.т.н., професор, зав. кафедри авіаційних комп’ютерно-інтегрованих комплексів, Синєглазов Віктор МихайловичThis paper considers the construction of a classifier based on neural networks, nowadays AI is a major global trend, as an element of AI, as a rule, an artificial neural network is used. One of the main tasks that solves the neural network is the problem of classification. For a neural network to become a tool, it must be trained. To train a neural network you must use a training sample. Since the marked training sample is expensive, the work uses semi-supervised learning, to solve the problem we use ensemble approach based on boosting. Speaking of unlabeled data, we can move on to the topic of semi-supervised learning. This is due to the need to process hard-to-access, limited data. Despite many problems, the first algorithms with similar structures have proven successful on a number of basic tasks in applications, conducting functional testing experiments in AI testing. There are enough variations to choose marking, where training takes place on a different set of information, the possible validation eliminates the need for robust method comparison. Typical areas where this occurs are speech processing (due to slow transcription), text categorization. Choosing labeled and unlabeled data to improve computational power leads to the conclusion that semi-supervised learning can be better than teacher-assisted learning. Also, it can be on an equal efficiency factor as supervised learning. Neural networks represent global trends in the fields of language search, machine vision with great cost and efficiency. The use of "Hyper automation" allows the necessary tasks to be processed to introduce speedy and simplified task execution. Big data involves the introduction of multi-threading, something that large companies in the artificial intelligence industry are doing.У даній роботі розглядається побудова класифікатора на основі нейронних мереж, на сьогоднішній день AI є основним світовим трендом, як елемент AI, як правило, використовується штучна нейронна мережа. Однією з основних задач, яку вирішує нейронна мережа, є проблема класифікації. Щоб нейронна мережа стала інструментом, її потрібно навчити. Для навчання нейронної мережі необхідно використовувати навчальну вибірку. Оскільки позначена навчальна вибірка є дорогою, у роботі використовується напівконтрольоване навчання, для вирішення проблеми ми використовуємо ансамблевий підхід на основі бустингу. Говорячи про немарковані дані, ми можемо перейти до теми напівконтрольованого навчання. Це пов’язано з необхідністю обробки важкодоступних обмежених даних. Незважаючи на багато проблем, перші алгоритми з подібними структурами виявилися успішними в ряді основних завдань у додатках, проводячи експерименти функціонального тестування в тестуванні ШІ. Є достатньо варіацій для вибору маркування, де навчання відбувається на іншому наборі інформації, можлива перевірка усуває потребу в надійному порівнянні методів. Типовими областями, де це відбувається, є обробка мовлення (через повільну транскрипцію), категоризація тексту. Вибір мічених і немічених даних для підвищення обчислювальної потужності призводить до висновку, що напівкероване навчання може бути кращим, ніж навчання за допомогою вчителя. Крім того, воно може мати такий же коефіцієнт ефективності, як навчання під наглядом. Нейронні мережі представляють глобальні тенденції в області мовного пошуку, машинного зору з великою вартістю та ефективністю. Використання «Гіперавтоматизації» дозволяє обробляти необхідні завдання для впровадження швидкого та спрощеного виконання завдань. Великі дані передбачають впровадження багатопоточності, чим займаються великі компанії в індустрії штучного інтелекту

Exploiting Universum data in AdaBoost using gradient descent

Recently, Universum data that does not belong to any class of the training data, has been applied for training better classifiers. In this paper, we address a novel boosting algorithm called UAdaBoost that can improve the classification performance of AdaBoost with Universum data. UAdaBoost chooses a function by minimizing the loss for labeled data and Universum data. The cost function is minimized by a greedy, stagewise, functional gradient procedure. Each training stage of UAdaBoost is fast and efficient. The standard AdaBoost weights labeled samples during training iterations while UAdaBoost gives an explicit weighting scheme for Universum samples as well. In addition, this paper describes the practical conditions for the effectiveness of Universum learning. These conditions are based on the analysis of the distribution of ensemble predictions over training samples. Experiments on handwritten digits classification and gender classification problems are presented. As exhibited by our experimental results, the proposed method can obtain superior performances over the standard AdaBoost by selecting proper Universum data. © 2014 Elsevier B.V

Cluster-based semi-supervised ensemble learning

Semi-supervised classification consists of acquiring knowledge from both labelled and unlabelled data to classify test instances. The cluster assumption represents one of the potential relationships between true classes and data distribution that semi-supervised algorithms assume in order to use unlabelled data. Ensemble algorithms have been widely and successfully employed in both supervised and semi-supervised contexts. In this Thesis, we focus on the cluster assumption to study ensemble learning based on a new cluster regularisation technique for multi-class semi-supervised classification. Firstly, we introduce a multi-class cluster-based classifier, the Cluster-based Regularisation (Cluster- Reg) algorithm. ClusterReg employs a new regularisation mechanism based on posterior probabilities generated by a clustering algorithm in order to avoid generating decision boundaries that traverses high-density regions. Such a method possesses robustness to overlapping classes and to scarce labelled instances on uncertain and low-density regions, when data follows the cluster assumption. Secondly, we propose a robust multi-class boosting technique, Cluster-based Boosting (CBoost), which implements the proposed cluster regularisation for ensemble learning and uses ClusterReg as base learner. CBoost is able to overcome possible incorrect pseudo-labels and produces better generalisation than existing classifiers. And, finally, since there are often datasets with a large number of unlabelled instances, we propose the Efficient Cluster-based Boosting (ECB) for large multi-class datasets. ECB extends CBoost and has lower time and memory complexities than state-of-the-art algorithms. Such a method employs a sampling procedure to reduce the training set of base learners, an efficient clustering algorithm, and an approximation technique for nearest neighbours to avoid the computation of pairwise distance matrix. Hence, ECB enables semi-supervised classification for large-scale datasets

Context-driven Object Detection and Segmentation with Auxiliary Information

One fundamental problem in computer vision and robotics is to localize objects of interest in an image. The task can either be formulated as an object detection problem if the objects are described by a set of pose parameters, or an object segmentation one if we recover object boundary precisely. A key issue in object detection and segmentation concerns exploiting the spatial context, as local evidence is often insufficient to determine object pose in the presence of heavy occlusions or large object appearance variations. This thesis addresses the object detection and segmentation problem in such adverse conditions with auxiliary depth data provided by RGBD cameras. We focus on four main issues in context-aware object detection and segmentation: 1) what are the effective context representations? 2) how can we work with limited and imperfect depth data? 3) how to design depth-aware features and integrate depth cues into conventional visual inference tasks? 4) how to make use of unlabeled data to relax the labeling requirements for training data? We discuss three object detection and segmentation scenarios based on varying amounts of available auxiliary information. In the first case, depth data are available for model training but not available for testing. We propose a structured Hough voting method for detecting objects with heavy occlusion in indoor environments, in which we extend the Hough hypothesis space to include both the object's location, and its visibility pattern. We design a new score function that accumulates votes for object detection and occlusion prediction. In addition, we explore the correlation between objects and their environment, building a depth-encoded object-context model based on RGBD data. In the second case, we address the problem of localizing glass objects with noisy and incomplete depth data. Our method integrates the intensity and depth information from a single view point, and builds a Markov Random Field that predicts glass boundary and region jointly. In addition, we propose a nonparametric, data-driven label transfer scheme for local glass boundary estimation. A weighted voting scheme based on a joint feature manifold is adopted to integrate depth and appearance cues, and we learn a distance metric on the depth-encoded feature manifold. In the third case, we make use of unlabeled data to relax the annotation requirements for object detection and segmentation, and propose a novel data-dependent margin distribution learning criterion for boosting, which utilizes the intrinsic geometric structure of datasets. One key aspect of this method is that it can seamlessly incorporate unlabeled data by including a graph Laplacian regularizer. We demonstrate the performance of our models and compare with baseline methods on several real-world object detection and segmentation tasks, including indoor object detection, glass object segmentation and foreground segmentation in video

Elementos locales en conjuntos de clasificadores diseñados por "Boosting"

Aunque los diseños bloque de Máquinas de Aprendizaje son en general una herramienta poderosa para resolver problemas de inferencia, en situaciones complicadas pueden resultar insuficientes. Para solventar esta limitación cabe considerar la combinacióon de diferentes máquinas (simples) de modo que se forme un conjunto capaz de resolver mejor el problema en cuestión, proporcionando, además, un diseño más sencillo y más fácilmente comprensible. Entre los conjuntos destacan, por sus sencillos principios conceptuales y sus contrastadas buenas prestaciones, los métodos de Boosting, y, especialmente, el algoritmo “Real AdaBoost” (RAB). A pesar de que las características mencionadas han llevado a que el empleo de los métodos de Boosting sea cada vez más frecuente, su diseño está limitado, por un lado, porque los aprendices que componen el conjunto se combinan linealmente, y, por otro lado, al uso de clasificadores base de tipo global o, de ser locales, con limitada capacidad expresiva. Pues bien: el objetivo de esta Tesis Doctoral es mejorar las prestaciones de los métodos de Boosting introduciendo elementos locales con estructuras de núcleos en los aprendices o en su fusión, con el objeto de paliar las citadas limitaciones. Así, en primer lugar, se presenta y aplica un esquema de fusión controlado por puertas similares a las empleadas en las Mezclas de Expertos. Este nuevo modelo de fusión utiliza una puerta entrenable compuesta por un cuerpo con estructuras de núcleos sencillos y un vector de pesos de salida que se ajusta paso a paso minimizando la función de coste del RAB, sin necesidad de realizar modificaciones en el modo de entrenar los aprendices. Los resultados obtenidos indican que estos esquemas permiten frecuentemente alcanzar mejores prestaciones con baja carga computacional en operación, si bien a cambio de un sensible incremento de carga computacional en diseño debido a la necesidad de determinar mediante validación cruzada los valores de los parámetros propios de la puerta. En segundo lugar, se introduce un nuevo procedimiento que permite el uso de Máquinas de Vectores Soporte (SVMs) como aprendices de conjuntos construidos mediante Boosting. Se diseñan estos aprendices aplicando un procedimiento de submuestreo en una SVM con Programación Lineal, lo que posibilita el uso de una matriz núcleo submuestreada por filas, con la consiguiente flexibilidad a la hora de controlar la diversidad y complejidad de este tipo de aprendices. Esta combinación de modificaciones de diseño ha dado como resultado conjuntos con estructuras de núcleos reutilizables por los diferentes aprendices, característica que ha permitido conseguir máquinas compactas de muy buenas prestaciones y con una carga computacional de operación similar a la de una SVM individual. El trabajo se cierra con una revisión de las aportaciones y sugerencias de líneas de investigación abiertas. --------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------Although the block design of learning machines is, in general, a powerful tool to solve inference problems, it can be insufficient in complex scenarios. In order to solve this limitation, it is necessary to consider combinations of different (simple) machines, that form an ensemble which is not only able to solve the problem at hand but also to provide a simpler and somewhat more understandable design. Among different ensemble building techniques, Boosting methods and, in particular, the “Real AdaBoost” (RAB) algorithm prevail due to their simple conceptual principles and their well-known good performance. Despite the above-mentioned characteristics have caused an increasing use of Boosting methods, their designs are limited. A first limitations comes from the linear combination of the ensemble learners, and, on the other hand, by the use of global base classifiers or, when including traditional local learners, by their limited expressive power. The objective of this Ph.D. Thesis is just to improve the performance of Boosting methods by introducing local elements with a kernel-based structure either in the learners or in their fusion, with the purpose of reducing the effect of the mentioned limitations. In this way, firstly, a method based on including fusion gates similar to those used in Mixtures of Experts, is presented and applied. This new fusion model employs a trainable gate consisting of a set of simple kernel structures and an output weight vector which is step-by-step adjusted so that the RAB cost function is minimized, without the need of modifying the learner training. Obtained results evidence that these schemes frequently achieve performance improvements with a low operation computational load, but with a significant computational burden increment in the design process due to the need of determining the gate parameters by a cross validation procedure. Secondly, a new procedure to allow the use of Support Vector Machines (SVM) as base learners of Boosting ensembles is presented. These learners are designed by applying a sub-sampling procedure in a Linear Programming SVM, making possible the use of a kernel matrix subsampled by rows and, therefore, providing flexibility to control the diversity and complexity of this kind of learners. These design modifications have provided ensembles with kernel structures which are reusable by the different learners. This relevant characteristic allows to achieve compact machines with accurate performances and a computational load similar to that of a single SVM. This document concludes with a review of the main contributions and some suggestions about new research lines arising from this work