Perbandingan Kinerja Metode Problem Transformation-KNN dan Algorithm Adaptation-KNN pada Klasifikasi Multi-Label Pertanyaan Kotakode

Klasifikasi multi-label merupakan proses pengelompokan data ke dalam beberapa kelas berdasarkan kesamaan ciri atau karakteristik data. Pada klasifikasi multi-label setiap data dapat memiliki lebih dari satu kelas. Implementasi klasifikasi multi-label dapat dilakukan melalui dua metode pendekatan yaitu Problem Transformation dan Algorithm Adaptation. Penelitian topik klasifikasi multi-label teks telah dilakukan oleh para peneliti terdahulu. Akan tetapi, belum terdapat penelitian yang berfokus pada perbandingan Problem Transformation dan Algorithm Adaptation berdasarkan pertanyaan multi-label dengan tagar pertanyaan sebagai label atau kelas. Tujuan penelitian ini adalah melakukan klasifikasi multi-label pada data teks dan membandingkan hasil kinerja metode Problem Transformation dan Algorithm Adaptation dalam melakukan klasifikasi multi-label. Dataset yang digunakan adalah 450 data pertanyaan pada forum Q&A platform Kotakode. Metode Problem Transformation yang digunakan pada penelitian ini adalah Label Powerset, Binary Relevance, dan Classifier Chain dengan K-Nearest Neighbor sebagai algoritma klasifikasi. Sedangkan metode Algorithm Adaptation yang digunakan adalah Multi-Label K-Nearest Neighbor (ML-KNN). Grid Search Cross Validation digunakan pada penelitian ini untuk menemukan nilai hyperparameter k yang dapat memberikan hasil kinerja model terbaik. Hasil Penelitian menunjukkan bahwa metode Problem Transformation Label Powerset dengan K-Nearest Neighbor sebagai algoritma klasifikasi menghasilkan nilai akurasi, precision, recall, dan f1 score terbaik, yaitu 86%, 92%, 86%, dan 87%. Berdasarkan hasil tersebut, Metode Problem Transformation Label Powerset-KNN menghasilkan kinerja lebih baik dalam melakukan klasifikasi multi-label pertanyaan Kotakode dibandingkan dengan metode Algorithm Adaptation Multi-Label K-Nearest Neighbor

Prediksi Temuan Dengan Metode Transformasi Masalah: Pada Kasus Pemeriksaan Laporan Keuangan Wilayah Provinsi Kalimantan Tengah

Pemeriksaan Laporan Keuangan (LK) oleh Badan Pemeriksa Keuangan Republik Indonesia (BPK RI), salah satunya di wilayah Provinsi Kalimantan Tengah (Kalteng), memiliki beberapa kendala, diantaranya jangka waktu pemeriksaan yang singkat dengan tim pemeriksaan yang terbatas dan data pengelolaan keuangan yang sangat banyak. Sehingga informasi terkait akun yang diperkirakan terdapat temuan-temuan signifikan yang berdampak pada opini dapat menjadi alat bantu (tool) bagi pemeriksa dalam menentukan akun LK yang akan disampling untuk diperiksa lebih mendalam. Penelitian sebelumnya terkait pemeriksaan LK masih menggunakan klasifikasi label tunggal, seperti prediksi opini, identifikasi opini, dan deteksi opini. Penelitian ini menggunakan Metode Transformasi Masalah dari klasifikasi multi label. Dengan menggunakan 33 (tiga puluh tiga) atribut berupa rasio keuangan yang diambil dari Laporan Keuangan Pemerintah Daerah (LKPD) di wilayah Provinsi Kalteng Tahun Anggaran (TA) 2006 s.d. 2016, dan 7 (tujuh) label yaitu opini dan temuan berpengaruh opini (pengecualian) yang diambil dari Laporan Hasil Pemeriksaan atas LKPD di wilayah Provinsi Kalteng TA 2007 s.d. 2016. Penelitian ini menggunakan 3 (tiga) pengklasifikasi Metode Transformasi Masalah, yaitu Binary Relevance (BR), Classifier Chain (CC), dan Label Combination (LC), dikombinasikan dengan 4 (empat) pengklasifikasi dasar seperti J48, SMO, Random Forest (RF), dan Naive Bayes (NB). Performa pengklasifikasi dievaluasi menggunakan metode validasi silang 10 lipatan (10-folds cross-validation) pada 10 (sepuluh) skema dataset yang diperoleh dari 2 (dua) skema atribut yang dinormalisasi dengan 5 (lima) skema normalisasi. Hasil metrik evaluasi pengujian performa pengklasifikasi nilai terbaik yang diperoleh sebagai berikut: Hamming Loss adalah 0.194, One-Error adalah 0,270, Rank Loss adalah 0,166, dan Average Precision adalah 0,787. Diketahui bahwa kinerja yang cukup baik dihasilkan oleh penggunaan kombinasi pengklasifikasi BR-RF. Serta penggunaan skema atribut yang diambil dari sektor publik memberikan hasil lebih baik daripada modifikasi dari sektor swasta. ============================================================================================================ Financial Statements Audit by the Audit Board of the Republic of Indonesia (BPK RI), one of them in the Central Kalimantan Province, has several obstacles, including the short examination period with the limited examination team and a lot of financial management data. So, the information about predicted account contains significant findings that impact on opinion can be a tool for auditors in determining financial statements account to be sampled for more in-depth examination. Previous research related to financial statements audit mostly used single-label classification, such as opinion prediction, opinion identification, and opinion detection. This research use Problem Transformation Methods of multi-label classification. By using 33 (thirty-three) attributes which are financial ratios derived from financial statements in Central Kalimantan Province for the Year 2006 to 2016, and 7 (seven) labels namely opinion and findings impact on opinion (exceptions) taken from financial statements audit reports in Central Kalimantan Province for the Year 2007 to 2016. This research used 3 (three) classifiers of Problem Transformation Methods, namely Binary Relevance (BR), Classifier Chain (CC), and Label Combination (LC), combined with 4 (four) basic classifiers such as J48, SMO, Random Forest (RF), and Naive Bayes (NB). The classification performance is evaluated using 10-folds cross-validation methods on 10 (ten) dataset schemes obtained from 2 (two) attribute schemes normalized with 5 (five) normalization schemes. The evaluation metrics results of classifier performance testing obtained as follows: Hamming Loss is 0.194, One-Error is 0.270, Rank Loss is 0.166, and Average Precision is 0.787. It is known that good performance is generated by the use of a combination of BR-RF classifiers. And the use of attribute schemes taken from the public sector has better results than modifications from the private sector