Evaluation of the Factors Affecting Classification Performance in Class Imbalance Problem

In binary classification, when the distribution of numbers in the class is imbalanced, we are aimed to increase the accuracy of classification in classification methods. In our study, simulated data sets and actual data sets are used. In the simulation, the "BinNor" package in the R project, which produces both numerical and categorical data, was utilized. When simulation work is planned, three different effects are considered which may affect the classification performance. These are: sample size, correlation structure and class imbalance rates. Scenarios were created by considering these effects. Each scenario was repeated 1000 times and 10-fold cross-validation was applied. CART, SVM and RF methods have been used in the classification of data sets obtained from both simulation and actual data sets. SMOTE, SMOTEBoost and RUSBoost were used to decrease or completely remove the imbalance of the data before the classification methods were applied. Specificity, sensitivity, balanced accuracy and F-measure were used as performance measures. The simulation results: the imbalance rate increases from 10 to 30, the effect of the 3 algorithms on the classification methods is similar accuracy. Because the class imbalance has become balanced

Sınıf Dengesizliği Sorununu Çözmek İçin Kullanılan Algoritmaların Farklı Sınıflandırma Yöntemlerinde Performanslarının Karşılaştırılması

Class imbalance, for a given dataset, occurs when there are relatively small observations in one or more groups comparing to other groups. Analyzing imbalanced data sets via machine learning algorithms has become a common and remarkable research area in recent years. However, this problem leads to a decrease in the model performance. Besides that, selection of the model for classification, optimizing model parameters, validating the fitted model, underlying distribution and data structure may also affect model performance. Furthermore, several data balancing algorithms were proposed to overcome class imbalance problem such as SMOTE, SMOTEBoost, RUSBoost, MWMOTE, EasyEnsemble, SMOTEBagging and UnderBagging. In this study, we evaluated model performances using a comprehensive simulation study along with real data examples. We conducted a simulation study under different classification models, class imbalance algorithms, sample sizes, correlation structures and class imbalance ratios. Each scenario was repeated 1000 times and the fitted models were optimized using 5-folds cross-validation. Simulation study showed that the model performances increase with sample size and correlation among dependent and independent variables. When the correlation approaches zero and classes are highly imbalanced, RUSBoost outperforms other algorithms. As data become more balanced, the seven algorithms gave similar results independently from sample size and correlation structure. Overall simulation results, RUSBoost algorithm provided better result for all sample sizes and EasyEnsemble for small sample size the most of the simulation combinations.İÇİNDEKİLER Sayfa ONAY SAYFASI iii YAYIMLAMA VE FİKRİ MÜLKİYET HAKLARI BEYANI iv ETİK BEYAN TEŞEKKÜR vi ÖZET vii ABSTRACT viii İÇİNDEKİLER x SİMGELER VE KISALTMALAR xi ŞEKİLLER xii TABLOLAR xiii 1. GİRİŞ 1 1.1. Amaç 3 1.2. Tez organizasyonu 4 2. GENEL BİLGİLER 5 2.1. Veri Madenciliği 5 2.2. Makine Öğrenmesi 6 2.2.1 Danışmansız Öğrenme 6 2.2.2 Danışmanlı Öğrenme 6 2.3. Veri Madenciliği Yöntemleri 6 2.3.1 Tanımlayıcı Yöntemler 6 2.3.2 Kestirici Yöntemleri 7 2.4. Sınıflama Yöntemleri 7 2.4.1 Karar Ağaçları 7 2.4.2 RF (Random Forest) 11 2.4.3 DVM (Destek Vektör Makineleri-Support Vector Machine) 13 2.5. Sınıf Dengesizliği Problemi 15 2.5.1 Temel Kavramlar 16 2.5.2 Sınıf Dengesizliği Problemi İçin Kullanılan Algoritmalar 18 2.6. Sınıflama Yöntemleri İçin Performans Ölçüleri 24 2.6.1 Genel Doğruluk Oranı (GDO) 24 2.6.2 Duyarlılık (DUY) 25 2.6.3 Seçicilik (SEÇ) 25 2.6.4 Pozitif Kestirim Değeri (PKD) 25 2.6.5 Negatif Kestirim Değeri (NKD) 25 2.6.6 Eğri Altında Kalan Alan (EAA) 26 2.6.7 Düzeltilmiş Doğruluk Oranı (DDO) 26 2.6.8 F-ölçüsü 26 3. GEREÇ ve YÖNTEM 27 3.1. Benzetim Çalışması 27 3.2. Gerçek Veri Setleri 31 4. BULGULAR 33 4.1. Benzetim Çalışması Sonuçları 33 4.1.1 Düşük Düzey Korelasyona Ait Sonuçlar 33 4.1.2 Orta Düzey Korelasyona Ait Sonuçlar 44 4.1.3 Yüksek Düzey Korelasyona Ait Sonuçlar 54 4.1.4 Gerçek Korelasyona Ait Sonuçlar 64 4.2. Gerçek Veri Setlerine Ait Sonuçlar 74 5. TARTIŞMA 80 6. SONUÇ VE ÖNERİLER 81 7. KAYNAKLAR 84 8. ÖZGEÇMİŞVeri setlerinde sınıf dengesizliği problemi bir gruptaki gözlem sayısının diğer gruptaki gözlem sayısından küçük olması olarak tanımlanmaktadır. Dengesiz veri setlerini makine öğrenme yöntemleri ile analiz etmek son yıllarda yaygın ve dikkate değer bir araştırma alanı konumuna gelmiştir. Ancak bu problemden dolayı model performanslarında bir azalma olmaktadır. Bunun yanı sıra, verinin dağılımı ve verinin yapısı sınıflama için model seçimi, en uygun (optimum) model parametrelerinin elde edilmesi, modelin geçerliğinin etkileyebilmektedir. SMOTE, SMOTEBoost, RUSBoost, MWMOTE, EasyEnsemble, SMOTEBagging ve UnderBagging gibi algoritmalar sınıf dengesizliği probleminin etkisini azaltmak için önerilmiştir. Tez çalışmasında gerçek veri setleri ile birlikte kapsamlı bir benzetim çalışması ile elde edilen veri setleri kullanılarak sınıflama yöntemlerinin performanslarını değerlendirildi. Farklı sınıflama yöntemleri, farklı sınıf dengesizlik algoritmaları, farklı örneklem genişlikleri, farklı korelasyon yapıları ve farklı dengesizlik oranlarını kapsayacak bir benzetim çalışması gerçekleştirildi. Her senaryo 1000 kez tekrarlandı ve 5-kat çapraz geçerlik kullanılarak model doğruluğu sağlandı. Benzetim çalışmasındaki kurulan modellerin performanslarının, örneklem genişliği ve bağımlı-bağımsız değişkenler arasındaki ilişki ile arttığı görüldü. Korelasyon sıfıra yaklaştığında ve dengesizlik çok olduğunda, RUSBoost algoritması diğer algoritmalara göre sonuçlar üzerinde daha etkili bulundu. Veri setleri dengeli hale geldikçe yedi (7) algoritma örneklem genişliğinden ve korelasyon yapısından bağımsız olarak benzer sonuçlar verdi. Genel olarak benzetim çalışması sonucunda, RUSBoost tüm örneklem genişliklerinde, EasyEnsemble ise küçük örneklem genişliklerinde daha iyi sonuç verdi