Teknik Weighting untuk Mengatasi Ketidakseimbangan Kelas Pada Prediksi Churn Menggunakan XGBoost, LightGBM, dan CatBoost

Churn merupakan kondisi dimana seseorang berpindah dari satu layanan ke layanan yang lain. Churn pelanggan menjadi masalah yang meningkat cukup signifikan dan menjadi tantangan utama yang harus dihadapi banyak perusahaan perbankan karena memiki peran penting terhadap laba perusahaan.  Oleh sebab itu, diperlukan cara untuk memprediksi perilaku churn tepat waktu agar bisa menerapkan retensi pelanggan. Namun, Permasalahan yang dihadapi oleh model prediksi churn adalah ketidakseimbangan kelas sehingga membuat model klasifikasi menghasilkan kinerja yang buruk. Solusi yang paling sering digunakan untuk mengatasi masalah ketidakseimbangan kelas terbagi menjadi tiga pendekatan yaitu pendekatan level data, level algoritma dan  ensemble. Setiap pendekatan  mengalami beberapa masalah yang sulit diprediksi ketika digunakan untuk menangani masalah ketidakseimbangan kelas. Pada penelitian ini, peneliti melakukan eksperimen menggunakan metode ensemble berbasis boosting untuk melakukan prediksi churn pelanggan dan mencoba meningkatkan kinerjanya pada dataset yang tidak seimbang dengan parameter tuning menggunakan scale pos weight. Algoritma klasifikasi yang digunakan yaitu XGBoost (extreme gradient boosting), LightGBM (light gradient boosting machine) dan CatBoost. Hasil eksperimen akan membandingkan kinerja dari ketiga algoritma berbasis boosting tersebut dengan menyesuaikan bobot parameternya sebanyak tiga kali. Dari hasil pengujian, model CatBoost memperoleh nilai recall tertinggi sebesar 0.79. Sedangkan untuk nilai recall terendah adalah model CatBoost default dengan nilai 0.47. Bedasarkan hasil ekperimen dapat disimpulan bahwa model bekerja dengan cukup baik pada data yang tidak seimbang dengan memberikan mekanisme hyperparameter scale pos weightsehingga model dapat lebih fokus pada kelas minoritas yang sulit dideteksi. 

A performance comparison of oversampling methods for data generation in imbalanced learning tasks

Dissertation presented as the partial requirement for obtaining a Master's degree in Statistics and Information Management, specialization in Marketing Research e CRMClass Imbalance problem is one of the most fundamental challenges faced by the machine learning community. The imbalance refers to number of instances in the class of interest being relatively low, as compared to the rest of the data. Sampling is a common technique for dealing with this problem. A number of over - sampling approaches have been applied in an attempt to balance the classes. This study provides an overview of the issue of class imbalance and attempts to examine some common oversampling approaches for dealing with this problem. In order to illustrate the differences, an experiment is conducted using multiple simulated data sets for comparing the performance of these oversampling methods on different classifiers based on various evaluation criteria. In addition, the effect of different parameters, such as number of features and imbalance ratio, on the classifier performance is also evaluated

Improving resampling-based ensemble in Churn prediction

status: publishe