Ensemble deep learning: A review

Ensemble learning combines several individual models to obtain better generalization performance. Currently, deep learning models with multilayer processing architecture is showing better performance as compared to the shallow or traditional classification models. Deep ensemble learning models combine the advantages of both the deep learning models as well as the ensemble learning such that the final model has better generalization performance. This paper reviews the state-of-art deep ensemble models and hence serves as an extensive summary for the researchers. The ensemble models are broadly categorised into ensemble models like bagging, boosting and stacking, negative correlation based deep ensemble models, explicit/implicit ensembles, homogeneous /heterogeneous ensemble, decision fusion strategies, unsupervised, semi-supervised, reinforcement learning and online/incremental, multilabel based deep ensemble models. Application of deep ensemble models in different domains is also briefly discussed. Finally, we conclude this paper with some future recommendations and research directions

Sparse Coding Based Ensemble Classifiers Combined With Active Learning Framework For Data Classification

Tez (Yüksek Lisans) -- İstanbul Teknik Üniversitesi, Fen Bilimleri Enstitüsü, 2016Thesis (M.Sc.) -- İstanbul Technical University, Instıtute of Science and Technology, 2016Günümüzde metin sınıflandırma, görüntü kategorizasyonu, ses ve müzik türü sınıflandırması gibi makine öğrenmesi konusunda farklı disiplinlerden pek çok alanda sınıflandırma algoritmalarına olan ihtiyaç bir hayli artmıştır. Bu amaçla yeni sınıflandırıcı modeller geliştirilmekte ve mevcut algoritmaları da iyileştirme çalışmaları çoğalarak devam etmektedir. Sinyalleri ya da elimizde bulunan her bir problem örneğini bir sözlüğün temel elemanlarının ayrık doğrusal kombinasyonları olarak temsil etmekte olan sözlük öğrenme algoritmasından da bu doğrultuda veri sınıflandırma ve kümeleme alanlarında çokça faydalanılmakta olup sinyal, görüntü, ses ve video işleme uygulamalarında kullanılmaktadır. İki aşamada gerçekleştirilen sözlük öğrenmesi modelinde ayrık kodlama ve sözlük güncelleme adımları uygulanmakta ve belirli bir yakınsama elde edene kadar bu süreç iteratif olarak devam etmektedir. Ana amaç, yeniden yapılandırma hatasını azaltarak en çok ayrık gösterimi veren sözlük yapısını elde etmektir. Birçok sınıflandırıcının modellendiği ve her birinden gelen kararların birleştirilerek tek bir çıktı ürettiği süreç topluluk öğrenme olarak bilinir. Literatürde makine öğrenmesi uygulamalarının çoğunda sınıflandırıcı topluluklar tek sınıflandırıcı yöntemlerinden daha iyi başarım gösterebilmektedir. Topluluk öğrenme algoritmaları hem örnek hem de öznitelik alt uzaylarında uygulanabilmektedir. Random subspace algoritması öznitelik uzayında ve bagging algoritması da örnek uzayında en çok uygulanan topluluk öğrenme yöntemlerindendir. Öte yandan veriye erişimin kolaylaşması ile birlikte çok büyük miktarda etiketsiz veriye erişim imkânı doğmuştur. Bu tür problemler için sunulan aktif öğrenme, etiketi bilinmeyen veriler içerisinden en çok bilgi verici örnekleri seçip uzmanlar tarafından etiketleyerek eğitim kümesi içine katan bir öğrenme yöntemidir. Aktif öğrenme yapısının kurulması aşamasında etiketsiz verilerin değerlendirilip içlerinden en bilgi verici olanlarının nasıl seçileceği önemli bir sorudur. En kolay yollardan biri, örnekleri sorgulayarak sınıflandırıcı modelin sınıf etiketi konusunda en az emin olduğu sinyallerin seçilmesidir ve bu yöntem belirsizlik örnekleme (uncertainty sampling) olarak bilinir. Belirsizlik örnekleme teknikleri içinde en popüler olanlarından biri düzensizlik hesabını temel alır. Bir dağılımda ne kadar fazla düzensizlik varsa, o veri için sınıf etiketi seçimi de o derecede kararsızlık içerir ve sorgulama da o kadar bilgi verici olur. Bu çalışmanın ilk aşamasında sözlük öğrenme modeli, sınıflandırıcı topluluklarından random subspace feature selection ile öznitelik alt uzayında ve bagging ile örnek alt uzayında birleştirilerek uygulanmış ve bu sınıflandırıcılar Random Subspace Dictionary Learning (RDL) ve Bagging Dictionary Learning (BDL) olarak xxii adlandırılmıştır. Deneysel sonuçlarda önerilen yöntemlerin sınıflandırma başarımları en iyi sınıflandırıcı yöntemlerden biri olan destek vektör makinesi (Support Vector Machines - SVM) ve topluluk öğrenme tabanlı kombinasyonları (Random Subspace Support Vector Machines (RSVM) ve Bagging Support Vector Machines (BSVM)) ile birlikte karşılaştırılmıştır. UCI makine öğrenmesi veri havuzundan ve OpenML' den alınan çeşitli alanlardan on bir farklı veri kümesi üzerinde elde edilen on kat çapraz sağlama deney sonuçlarına göre sözlük öğrenme tabanlı sınıflandırıcı toplulukları, özellikle de BDL algoritması, hem destek vektör makineleri hem de sınıflandırıcı topluluklarıyla birleştirilmiş modellerine göre daha başarılı sonuçlar ortaya koymuştur. Sınıflandırma başarımlarına bakıldığında, en başarılı yöntem olan BDL 11 veri kümesinin 4 tanesinde DL, RDL SVM, BSVM ve RSVM sınıflandırıcılarından üstün gelmekte, 2 tanesinde ise DL ve RDL ile en sonuçları elde etmektedir. Bu noktada örnek altuzaylarının rastgele seçilmesiyle oluşturulan sözlük modellerinin sınıflandırma başarımına olan pozitif etkisi gözlemlenmiştir. İkinci aşamada ise uygulanan yöntemlerin her biri aktif öğrenme yapısı içerisinde kullanılmış, elde bulunan her bir sınıf için bir sözlük öğrenilerek, her iterasyonda en bilgi verici etiketsiz örnekleri etiketleyerek eğitim kümesine ekleme işlemi uygulanmıştır. Test aşamasında her yeni örnek için sınıf etiketi sözlük topluluklarının çoğunluğuna bakılarak atanmıştır. İlk aşamada eldeki eğitim kümesinin %20'si alınarak hem sözlük tabanlı hem de destek vektör makinesi tabanlı sınıflandırıcı toplulukları modellenmiş, sonraki altı iterasyonda geriye kalan etiketsiz veriler içerisindeki en çok bilgi verici %10 örneğin düzensizlik hesabı dikkate alınarak seçilmesiyle eğitim kümesi güncellenmiştir. Böylelikle iterasyon sayısı arttıkça sınıflandırma başarımı da çoğunlukla artışa geçmiş, örneklerin akıllıca seçilmesiyle oluşturulan eğitim kümesi bu sonuçlarda etkili olmuştur. Test sonuçlarında her bir veri kümesi için elde edilen en başarılı sonuçlar dikkate alınırsa, rastgele öznitelik seçimiyle oluşturulan sınıflandırıcı topluluklarına bakıldığında önerilen ARDL yönteminin ARSVM yönteminden daha başarılı olduğu görülmüştür. Örneklerin rastgele seçilmesiyle oluşturulan sınıflandırıcı toplulukları kullanıldığında ise ABSVM yöntemi ABDL yönteminden daha üstün gelmiştir. Deney sonuçlarının elde edilmesinden sonra ilgilenilmesi gereken önemli bir nokta da uygulanan yöntemlerin sınıflandırma başarımları açısından birbirine denkliğini öne süren hipotezlerin anlamlılığının ölçülmesidir. Bu doğrultuda, Friedman test ve Wilcoxon signed rank test sonuçlarına bakılmıştır. Friedman anlamlılık testinden gelen çıktılara göre aktif öğrenme altında iterasyon bazında uygulanan metotlar için en iyi sonuçlar dikkate alındığında görülen odur ki sıfır hipotezi (H0) kabul edilmemelidir, başka bir deyişle uygulanan yöntemler gösterdikleri performans açısından eşdeğer değildirler. Aktif öğrenme algoritmalarının son iterasyonlarında elde edilen başarımlar için de Friedman ve Wilcoxon signed rank testleri uygulanmıştır. Her iki test sonucunda da model çiftlerinin eş sınıflandırma performansları sundukları kanısına varılmıştır. Öte yandan pasif öğrenme kısmında uygulanan yöntemler de Friedman testiyle incelendiğinde eşdeğer oldukları görülmüştür. Bunun ardından, hangi metot çiftlerinin kendi aralarında denk performans sunup sunmadıkları sorusuna çözüm bulmak amacıyla Wilcoxon signed rank test uygulanmıştır. Sonuçlara göre DL/RDL, xxiii DL/BDL ve SVM/BSVM metot çiftleri sınıflandırma performansı olarak eşdeğer değildirler, diğer yöntemler ise denk sayılabilir.Nowadays, along with the need for classification algorithms in various areas concerning machine learning such as text classification, image categorization, audio and music genre classification, new classifier models are developed and works for improving the existing ones increasingly go on. In this direction, as dictionary learning algorithm which represents signals or each problem instance at hand with sparse linear combinations of basis elements of a dictionary is also utilized in data classification and clustering, it is used in signal, image, audio and video processing applications. In the dictionary learning model, which sparse coding and dictionary update steps are practiced and this process continues until a predetermined convergence level is attained in an iterative fashion. The main purpose is to obtain the framework of a dictionary that provides the sparsest representation while decreasing the reconstruction error. The process where a number of classifiers are modeled and decisions from each one produce a single output by a combination rule is known as ensemble learning. In literature, ensemble learning algorithms is performed both in feature subspace and instance subspace. Random subspace feature selection and bagging are the mostly applied ensemble learning methods in feature subspace and in instance subspace respectively. On the other hand, possibility of access to huge amount of unlabeled data has been increased along with getting easy access to data. Active learning, which is proposed for this type of problems, is a learning method in which the most informative instances from the unlabeled data are chosen, then labeled by an oracle and after then added to the training set. At the stage of establishing the active learning framework, evaluation of the unlabelled data and how to select the most informative ones among them is an important question. One of the easiest ways is to select the signals where the classifier is least certain about their class labels in the query phase. This method is known as uncertainty sampling. One of the most popular maximal uncertainty sampling techniques is based on entropy. The more entropy in the distribution, the more uncertain the choice of class label for that data value, and the more informative that query would be. In the first stage of this study, dictionary learning is applied in combination with random subspace feature selection and bagging ensemble models. Then, comparisons of the experimental results with support vector machine, which is one of the best classifier models, and its ensemble combinations are maintained. According to ten-fold cross validation experimental results obtained on eleven datasets from various area of specialization taken from UCI machine learning xx repository and OpenML, dictionary learning based ensemble classifiers, especially BDL algorithm, present more successful classification performance than both of SVM and its classifier ensembles. Considering the experimental results, BDL outperforms other applied methods in 4 out of 11 datasets and in 2 datasets it performs the best with the other two methods DL and RDL. As a consequence, we can infer that randomly selecting instance subspaces while constructing dictionary models has a positive effect on the classification accuracy of the established methods. In the second stage, all the dictionary base proposed methods and support vector machine counterparts are combined with active learning framework in which the most informative unlabelled training instances are labeled and integrated into the labeled training set in each learning iteration. While predicting the class labels of the test examples, the decision is made applying majority voting. After examining the experimental results, it is evident that classification accuracy mostly increases as the number of iterations goes up by the selection of training instances intelligently. Regarding to the best results obtained for each dataset by applied models, while ARDL outperforms ARSVM's classification performance, ABSVM succeeds better results than ABDL. After obtaining the experimental results, an important part to handle is to measure the significance of the hypotheses which put forward the equivalency of the applied methods based on classification accuracies. In this direction, Friedman and Wilcoxon signed rank test results were obtained both for the ensemble learning part and methods under active learning framework. According to outcomes from the Friedman significance tests, ARDL, ARSVM, ABDL and ABSVM do not perform equivalently regarding to the best results obtained for each dataset. On the other hand, Friedman significance tests and Wilcoxon signed rank tests applied to the accuracy results in the last iteration of active learning models are resulted in similar classification performance in the predetermined confidence interval. In the last part, Friedman test is practiced among DL and SVM classifiers and their ensemble models. Because there is an equivalency between classification performance differences, Wilcoxon signed rank test is applied to see pairwise model differences. As a result, DL/RDL, DL/BDL and SVM/BSVM pairs have significant differences while the other model couples performs in the same manner.Yüksek LisansM.Sc

One-Class Classification: Taxonomy of Study and Review of Techniques

One-class classification (OCC) algorithms aim to build classification models when the negative class is either absent, poorly sampled or not well defined. This unique situation constrains the learning of efficient classifiers by defining class boundary just with the knowledge of positive class. The OCC problem has been considered and applied under many research themes, such as outlier/novelty detection and concept learning. In this paper we present a unified view of the general problem of OCC by presenting a taxonomy of study for OCC problems, which is based on the availability of training data, algorithms used and the application domains applied. We further delve into each of the categories of the proposed taxonomy and present a comprehensive literature review of the OCC algorithms, techniques and methodologies with a focus on their significance, limitations and applications. We conclude our paper by discussing some open research problems in the field of OCC and present our vision for future research.Comment: 24 pages + 11 pages of references, 8 figure

Multimodal Multipart Learning for Action Recognition in Depth Videos

The articulated and complex nature of human actions makes the task of action recognition difficult. One approach to handle this complexity is dividing it to the kinetics of body parts and analyzing the actions based on these partial descriptors. We propose a joint sparse regression based learning method which utilizes the structured sparsity to model each action as a combination of multimodal features from a sparse set of body parts. To represent dynamics and appearance of parts, we employ a heterogeneous set of depth and skeleton based features. The proper structure of multimodal multipart features are formulated into the learning framework via the proposed hierarchical mixed norm, to regularize the structured features of each part and to apply sparsity between them, in favor of a group feature selection. Our experimental results expose the effectiveness of the proposed learning method in which it outperforms other methods in all three tested datasets while saturating one of them by achieving perfect accuracy