KLASIFIKASI DEBITUR KARTU KREDIT DENGAN PEMILIHAN FITUR MENGGUNAKAN VOTING FEATURE INTERVALS 5 SRI RAHAYU NATASIA

Transkripsi

1 KLASIFIKASI DEBITUR KARTU KREDIT DENGAN PEMILIHAN FITUR MENGGUNAKAN VOTING FEATURE INTERVALS 5 SRI RAHAYU NATASIA DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2013

2

3 PERNYATAAN MENGENAI SKRIPSI DAN SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA* Dengan ini saya menyatakan bahwa skripsi berjudul Klasifikasi Debitur Kartu Kredit dengan Pemilihan Fitur Menggunakan Voting Feature Intervals 5 adalah benar karya saya dengan arahan dari pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir skripsi ini. Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor. Bogor, Januari 2013 Sri Rahayu Natasia NIM G

4 ABSTRAK SRI RAHAYU NATASIA. Klasifikasi Debitur Kartu Kredit dengan Pemilihan Fitur Menggunakan Voting Feature Intervals 5. Dibimbing oleh AZIZ KUSTIYO. Penyediaan kartu kredit bagi nasabah merupakan salah satu cara untuk memperoleh keuntungan dalam kegiatan perbankan yang berisiko menimbulkan kerugian jika nasabah sering melakukan tunggakan pembayaran. Oleh karena itu penting untuk mengetahui riwayat perbankan nasabah yang akan mengajukan permohonan kartu kredit. Riwayat perbankan digunakan sebagai input algoritma Voting Feature Intervals 5 (VFI5) dalam pembangunan model klasifikasi yang bertujuan untuk mengelompokkan calon debitur berdasarkan status kelancaran membayar utang. Data debitur yang digunakan dalam penelitian ini tergolong imbalanced data, sehingga diperlukan metrik pengukuran selain akurasi untuk menilai keberhasilan model. Data ini terdiri atas 14 fitur, tetapi tidak semua fitur tersebut memiliki informasi yang penting dalam pengelompokan debitur, sehingga dalam pembuatan model dilakukan pemilihan fitur yang berpengaruh terhadap tingkat akurasi. Pemilihan fitur dilakukan melalui 2 pendekatan, yaitu berdasarkan akurasi masing-masing fitur dan pemilihan fitur secara bertahap. Model terbaik diperoleh dari pemilihan fitur berdasarkan akurasi dengan akurasi sebesar 67.74% serta recall dan precision untuk kelas debitur bad adalah 46.88% dan 24.69%. Kata kunci: debitur kartu kredit, imbalanced data, klasifikasi, pemilihan fitur, Voting Feature Intervals 5 ABSTRACT SRI RAHAYU NATASIA. The Classification of Credit Card Debtor by Feature Selection Using Voting Feature Intervals 5. Supervised by AZIZ KUSTIYO. Provision of credit cards for customers is one of the ways to obtain profit in banking activities which cause risks of losses if the customer frequently delinquent the payments. Therefore, it is important to know the banking profile of the customer who will apply for a credit card. The banking profile data is used as input for Voting Feature Intervals 5 (VFI5) algorithm in the development of classification models that aim to classify potential debtor based on the payment status of the debtor. The debtor data used in this research is categorized as imbalanced data, hence it is necessary to have other performance measures beside accuracy; in this research we also used recall and precision. The input data consist of 14 features, however each features has different significance in classifying debtor. Therefore a feature selection process is conducted before the development of the model. The feature selection is conducted using two approaches: feature selection based on the accuracy of each feature and stepwise feature selection. The former method provides the better accuracy of 67.74%, and the values of recall and precision for the class of bad debtor are 46.88% and 24.69%, respectively. Keywords: classification, credit card debtor, feature selection, imbalanced data, Voting Feature Intervals 5

5 KLASIFIKASI DEBITUR KARTU KREDIT DENGAN PEMILIHAN FITUR MENGGUNAKAN VOTING FEATURE INTERVALS 5 SRI RAHAYU NATASIA Skripsi sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Departemen Ilmu Komputer DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2013

6

7 Judul Skripsi : Klasifikasi Debitur Kartu Kredit dengan Pemilihan Fitur Menggunakan Voting Feature Intervals 5 Nama : Sri Rahayu Natasia NIM : G Disetujui oleh Aziz Kustiyo, S.Si, M.Kom Pembimbing Diketahui oleh Dr. Ir. Agus Buono, M.Si, M.Kom Ketua Departemen Tanggal Lulus:

8 PRAKATA Segala puji bagi Allah subhanahu wata ala atas segala limpahan rahmat dan karunia-nya sehingga penulis mampu menyelesaikan skripsi yang berjudul Klasifikasi Debitur Kartu Kredit dengan Pemilihan Fitur Menggunakan Voting Feature Intervals 5 ini. Shalawat dan salam senantiasa tercurah limpah kepada Rasulullah, Nabi Muhammad shalallahu alaihi wasallam, serta keluarganya, sahabatnya, dan para pengikutnya yang tetap istiqomah hingga akhir zaman. Penulis juga menyampaikan terima kasih kepada seluruh pihak yang telah membantu dalam penelitian ini, yaitu: 1 Kedua orang tua penulis, Ayahanda Supriadi Anra, S.Pd, MM dan Ibunda Murniati S.Pd, serta saudara-saudara penulis, atas doa, kasih sayang, dan dukungan yang luar biasa. 2 Bapak Aziz Kustiyo, S.Si, M.Kom selaku dosen pembimbing yang telah banyak memberikan ide, saran, nasihat, dan dukungan, serta direpotkan dalam penyelesaian penelitian ini. 3 Bapak Dr. Irman Hermadi, S.Kom, MS dan Bapak Toto Haryanto, S.Kom, M.Si selaku dosen penguji. 4 Puspalia Ayudiar Setiawati yang telah berkenan memberikan data penelitian. 5 Revina Bayu Putri, Pebrya Narti, Sevriya Amban Suri, R.Putri Ayu Pramesti, Silvia Rahmi, dan Dean A. Ramadhan, yang selalu memberikan semangat, dukungan dan tempat bertukar pikiran bagi penulis. Semoga ukhuwah kita selalu terajut. 6 Rekan-rekan satu bimbingan, Erni, Ilvi, kak Corry, Septy, mba Sri, kak Asep, dan Bangkit atas diskusi-diskusi dan suka-duka selama pembimbingan. 7 Sahabat Ilkomerz angkatan V atas persahabatan yang hangat. 8 Sahabat di lingkaran cahaya, sahabat DKM Alghifari, sahabat KAMUS IPB, sahabat INF 44, sahabat di kostan B14, terima kasih karena telah hadir dalam kehidupan penulis. Penulis menyadari penelitian ini masih banyak kekurangan. Harapannya, semoga hasil penelitian ini dapat bermanfaat. Bogor, Januari 2013 Sri Rahayu Natasia

9 DAFTAR ISI DAFTAR TABEL vi DAFTAR GAMBAR vi DAFTAR LAMPIRAN vi PENDAHULUAN 1 Latar Belakang 1 Tujuan Penelitian 2 Manfaat Penelitian 2 Ruang Lingkup Penelitian 2 TINJAUAN PUSTAKA 2 Klasifikasi 2 Imbalanced Data 2 Best Subset Regression 3 Stepwise Regression 3 Voting Feature Intervals 5 (VFI5) 3 Confusion Matrix 5 METODE 7 Data 7 Praproses 7 Pengambilan Sampel 50 Kali 8 Pembuatan Model VFI5 9 Evaluasi Kinerja 9 Lingkungan Pengembangan 10 HASIL DAN PEMBAHASAN 10 Praproses 10 Pengambilan Sampel 50 Kali 11 Pemilihan Fitur berdasarkan Akurasi 11 Pemilihan Fitur secara Bertahap 12 Model 1 12 Model 2 15 Model 3 18

10 Perbandingan dengan Penelitian Sebelumnya 21 SIMPULAN DAN SARAN 22 Simpulan 22 Saran 23 DAFTAR PUSTAKA 23 LAMPIRAN 24 RIWAYAT HIDUP 33

11 DAFTAR TABEL 1 Confusion matrix dengan dua kelas data 6 2 Komposisi data latih dan uji di setiap kelas 11 3 Rata-rata akurasi untuk masing-masing fitur 11 4 Confusion matrix sampel ke-14 dan Confusion matrix sampel ke Nilai voting kesalahan prediksi instance uji ke-56 dan Akurasi Model Confusion matrix sampel ke Confusion matrix sampel ke Nilai voting kesalahan prediksi instance uji ke-6 dan ke-130 pada sampel ke Akurasi Model Confusion matrix sampel ke-12 dan Nilai voting kesalahan prediksi instance uji ke-4 dan 21 pada sampel Confusion matrix sampel ke Voting kesalahan prediksi pada sampel ke-30 untuk instance uji ke-30 dan Perbandingan metrik pengukuran dengan penelitian lain 22 DAFTAR GAMBAR 1 Pseudocode tahap pelatihan algoritme VFI5 (Demiröz 1997) 4 2 Pseudocode tahap klasifikasi algoritme VFI5 (Güvenir et al. 1998) 5 3 Diagram alur penelitian 8 4 Akurasi pengujian Model Perbandingan akurasi Model 1 dan Perbandingan F-measure pada Model 1 dan Perbandingan akurasi Model 1 dan Perbandingan F-measure Model 1 dan 3 19 DAFTAR LAMPIRAN 1 Daftar fitur 24 2 Pemilihan fitur secara bertahap 25 3 Diagram metrik hasil pengukuran Model Voting hasil pelatihan sampel ke-34 pada Model Metrik pengukuran Model Nilai voting hasil pelatihan sampel ke-39 Model Metrik pengukuran Model Nilai vote hasil pelatihan sampel ke-30 Model Diagram perbandingan metrik pengukuran pada Model 1, 2, dan 3 35

12

13 PENDAHULUAN Latar Belakang Penyediaan kartu kredit bagi nasabah merupakan salah satu cara untuk memperoleh keuntungan dalam kegiatan perbankan. Di sisi lain, kartu kredit dapat menimbulkan risiko kerugian jika nasabah sering melakukan tunggakan pembayaran. Oleh karena itu, perlu dilakukan penelusuran riwayat perbankan nasabah untuk mengetahui apakah calon debitur termasuk nasabah yang lancar (good) atau tidak (bad) dalam pembayaran kartu kredit. Riwayat perbankan nasabah ini dapat digunakan untuk membangun model klasifikasi dalam mengelompokkan calon debitur berdasarkan status kelancaran membayar utang. Penelitian mengenai klasifikasi debitur kartu kredit dilakukan oleh Setiawati (2011) menggunakan algoritme jaringan saraf tiruan Backpropagation. Berdasarkan data penelitian Setiawati (2011), terdapat perbedaan yang cukup besar antara debitur good dan bad, yaitu sebesar 4:1 sehingga dapat dikatakan terjadi ketidakseimbangan (imbalanced) antara dua kelas tersebut. Akibatnya, suatu algoritme klasifikasi dapat mencapai akurasi tinggi hanya dengan mengelompokkan kelas debitur bad yang merupakan minoritas ke dalam kelas good sehingga potensi kerugian tidak terdeteksi. Dari hasil penelitian tersebut diperoleh akurasi dari model terbaik sebesar 73.39% serta recall dan precision kelas bad sebesar 56.26% dan 36.90%. Data perbankan untuk mengetahui riwayat kredit nasabah memiliki banyak fitur. Kebanyakan dari fitur ini tidak memberikan informasi yang begitu penting dalam pengklasifikasian debitur sehingga dalam pembuatan model klasifikasi sebaiknya dipilih kembali. Berdasarkan information value fitur yang diperoleh dalam penelitian Setiawati (2011), secara umum keempat belas fitur yang digunakan memiliki tingkat prediksi yang rendah. Oleh karena itu, dalam penelitian ini akan dilakukan pemilihan fitur yang dapat mempengaruhi tingkat akurasi model. Penelitian ini menggunakan algoritme Voting Feature Intervals 5 (VFI5) sebagai algoritme untuk klasifikasi. VFI5 memiliki beberapa kelebihan, di antaranya yaitu waktu pelatihan dan klasifikasi yang singkat serta prediksi yang dihasilkan sangat akurat. Penelitian terkait imbalanced data dengan algoritme VFI5 sebagai metode klasifikasi dilakukan oleh Aritonang (2006). Pada penelitian ini dilakukan pendekatan dari level data untuk mengatasi masalah imbalanced data. Dataset yang digunakan merupakan data penyakit Hypothyroid dan Euthyroid yang masing-masing terdiri atas dua kelas, yaitu positif dan negatif. Perbandingan komposisi data di kedua kelas untuk masing-masing dataset adalah 1:10 untuk Euthyroid dan 1:20 untuk Hypothyroid. Akurasi yang dihasilkan oleh model terbaik pada data Euthyroid adalah 66.00% dengan recall dan precision kelas minoritas sebesar 69.57% dan 65.37%. Sementara untuk model terbaik pada data Hypothyroid diperoleh akurasi 88.73% dengan recall dan precision kelas minoritas masing-masing adalah 79.17% dan 97.77%.

14 2 Tujuan Penelitian Tujuan dari penelitian ini adalah untuk melakukan pemilihan fitur dan menerapkan algoritme Voting Feature Intervals 5 (VFI5) pada klasifikasi debitur kartu kredit serta mengukur tingkat akurasinya. Manfaat Penelitian Manfaat dari penelitian ini adalah mengetahui tingkat akurasi algoritme Voting Feature Intervals 5 (VFI5) dengan pemilihan fitur dalam permasalahan klasifikasi debitur kartu kredit. Serta diharapkan dapat terbangun suatu model untuk memprediksi calon debitur kartu kredit sehingga dapat meminimalkan potensi kerugian. Ruang Lingkup Penelitian Pada penelitian ini dilakukan pembatasan masalah pada: 1 Dataset yang digunakan adalah data penelitian Setiawati (2011), yaitu data debitur Bank X tahun Dataset ini terdiri atas dua kelas yaitu debitur good dan bad. 2 Klasifikasi menggunakan algoritme VFI5. 3 Pembobotan fitur pada algoritme diseragamkan yaitu satu. TINJAUAN PUSTAKA Klasifikasi Klasifikasi adalah proses menemukan sekumpulan model atau fungsi yang menggambarkan dan membedakan konsep atau kelas-kelas data, dengan tujuan agar model tersebut dapat digunakan untuk memprediksi kelas dari suatu objek atau data yang label kelasnya tidak diketahui (Han dan Kamber 2001). Pada klasifikasi dataset yang digunakan dibagi menjadi data latih dan data uji. Data latih digunakan untuk membangun model, sementara data uji digunakan untuk memvalidasi model yang telah dibangun. Akurasi model ditentukan oleh hasil pengujian terhadap data uji. Imbalanced Data Imbalanced data ditandai dengan distribusi data antar kelas yang tidak seimbang. Terdapat satu kelas yang memiliki lebih banyak sampel daripada kelas lainnya. Pada kasus yang jarang terjadi, aturan klasifikasi untuk memprediksi kelas minoritas cenderung langka, belum ditemukan, atau diabaikan. Akibatnya, sering terjadi kesalahan klasifikasi pada instance uji kelas minoritas. Di beberapa aplikasi, klasifikasi yang tepat dari kelas minor justru memiliki arti yang lebih

15 3 besar, contohnya pada kasus deteksi penipuan kartu kredit, deteksi penyakit langka, dan manajemen resiko (Sun et al. 2009). Pada masalah klasifikasi dengan dua kelas, tingkat imbalanced data dapat dilihat dari rasio distribusi jumlah instance pada kedua kelas. Rasio antara kedua kelas tersebut bisa sangat drastis, yaitu 1:100, 1:1000, bahkan lebih. Beberapa solusi telah dikembangkan untuk mengatasi masalah imbalanced data, seperti pendekatan dari level data dan pendekatan dari level algoritme. Masing-masing pendekatan memiliki kekurangan dan kelebihan. Misalnya pada pendekatan dari level data, keuntungannya ialah dapat diterapkan pada metode pembelajaran apapun. Best Subset Regression Best subset adalah sebuah metode yang digunakan untuk membantu memutuskan variabel prediktor yang akan dimasukkan ke dalam model regresi. Metode ini dilakukan dengan cara memeriksa semua kemungkinan model dari semua kombinasi prediktor yang mungkin. Misalnya, jika terdapat sejumlah p kandidat prediktor, jumlah model dari kombinasi prediktor yang dapat dibentuk adalah 2 p. Best subset menggunakan akurasi prediksi sebagai standar, harapannya adalah subset regression akan menghasilkan persamaan regresi yang lebih sederhana dan lebih akurat daripada persamaan berdasarkan semua variabel (Breiman 1995). Stepwise Regression Stepwise regression membentuk model dengan menambah atau mengurangi prediktor individual secara otomatis, satu langkah pada satu waktu, berdasarkan pada signifikansi statistik prediktor tersebut. Detail proses dapat dikendalikan, termasuk level signifikansi, dan apakah proses hanya melibatkan penambahan/pengurangan prediktor, atau keduanya (Frost 2012). Terdapat dua metode yang dapat digunakan dalam stepwise regression, yaitu: a Forward selection Forward selection dimulai tanpa ada prediktor di dalam model. Selanjutnya ditambahkan prediktor yang paling signifikan di setiap langkah. Penambahan dilakukan hingga tidak ada kandidat prediktor yang memenuhi syarat untuk masuk ke dalam model. b Backward selection Pada backward selection, semua prediktor terdapat di dalam model. Setiap langkah dilakukan penghapusan prediktor yang paling tidak berpengaruh terhadap model. Penghapusan prediktor berhenti ketika tidak ada prediktor yang memenuhi syarat untuk dihapus. Voting Feature Intervals 5 (VFI5) Voting Feature Intervals 5 (VFI5) merupakan algoritme klasifikasi yang dikembangkan oleh Demiröz dan Güvenir (Demiröz 1997). VFI5 adalah algoritme yang non-incremental dan bersifat supervised learning. Kelebihan dari algoritme

16 4 ini yaitu prediksi yang dihasilkan sangat akurat, waktu pelatihan dan klasifikasinya singkat, robust terhadap data pelatihan yang memiliki noise dan tidak diketahui nilai fiturnya, dapat menggunakan bobot fitur, dan menghasilkan model yang dapat dibaca manusia dari pengetahuan klasifikasi (Güvenir et al. 1998). train(trainingset) begin for each feature f for each class c EndPoints[f] = EndPoints[f] find_end_points(trainingset,f,c); Sort(EndPoints[f]); end if f is linear for each end point p in EndPoints[f] form a point interval from end point p form a range interval between p and the next endpoint p else /* f is nominal */ each distinct point in EndPoints[f] forms a point interval for each interval i on feature dimension f for each class c interval_class_count[f,i,c] = 0; count_instances(f, TrainingSet); for each interval i on feature dimension f for each class c interval_class_vote[f,i,c] = interval_class_count[f,i,c] / class_count[c] normalize interval_class_vote[f,i,c]; /* such that c interval_class_vote[f,i,c] = 1 */ Gambar 1 Pseudocode tahap pelatihan algoritme VFI5 (Demiröz 1997) Algoritme VFI5 terdiri atas dua tahap, yaitu tahap pelatihan dan klasifikasi. 1 Pelatihan Tahap awal proses pelatihan adalah mencari nilai end point dari setiap feature f pada setiap kelas c. End point pada feature linear, yaitu feature yang nilainya kontinu adalah nilai minimum dan maksimum dari setiap kelasnya. End point untuk feature nominal adalah semua nilai yang berbeda pada feature tersebut untuk setiap kelas. Nilai end point feature dari setiap kelas c digabungkan dan diurutkan untuk dijadikan selang interval feature tersebut. Ada dua jenis interval, yaitu point interval dan range interval. Point interval dibentuk dari setiap nilai yang berbeda dari end point. Range interval merupakan nilai di antara dua point interval yang berdekatan tetapi tidak termasuk point interval tersebut. Tahap selanjutnya menghitung jumlah instance pelatihan yang jatuh di interval i pada feature f di setiap kelas c yang direpresentasikan sebagai interval_class_count[f,i,c]. Untuk setiap instance pelatihan, dicari interval i tempat nilai feature f dari instance pelatihan e f tersebut jatuh. Jika e f jatuh pada point interval, maka jumlah instance pada interval i untuk feature f akan bertambah satu. Begitupun jika nilai e f jatuh pada range interval, jumlah instance pada interval i dari feature f tersebut akan ditambah satu.

17 5 Berikutnya, setelah jumlah instance setiap interval i pada feature f dari setiap kelas diperoleh, jumlah instance setiap feature dijumlahkan kembali untuk masing-masing kelas. Nilai vote diberikan kepada setiap feature f di kelas c, dengan nilai vote merupakan hasil dari jumlah instance pada interval i dibagi dengan jumlah instance pada kelas c. Algoritme VFI5 melakukan normalisasi nilai vote agar distribusi vote antar kelas tidak terlalu berbeda. Normalisasi ini dilakukan dengan membagi nilai vote interval i pada feature f dengan jumlah semua vote feature f di interval i untuk semua kelas c. Hasil normalisasi feature f pada semua kelas c berjumlah satu. Pseudocode untuk tahap pelatihan disajikan pada Gambar 1. 2 Klasifikasi Proses klasifikasi diawali dengan memberi nilai vote 0 untuk setiap kelas c. Langkah berikutnya adalah mencari interval i dimana nilai e f dari instance uji tersebut jatuh. Jika nilai feature dari instance uji tidak diketahui vote feature tersebut bernilai 0 untuk semua kelas dan tidak diikutsertakan dalam proses voting. Jika nilai feature f instance e diketahui, akan dicari interval tempat nilai tersebut jatuh. Setelah diperoleh intervalnya, nilai vote feature f diisi dengan nilai vote feature yang diperoleh pada saat pelatihan. Nilai vote yang diperoleh masing-masing kelas merupakan hasil penjumlahan setiap vote feature yang dikali dengan bobot feature. Kelas prediksi dari instance e merupakan kelas dengan nilai vote yang paling tinggi. Pseudocode algoritme untuk tahap klasifikasi disajikan pada Gambar 2. classify(e) /* e: example to be classified*/ begin for each class c vote[c] = 0 for each feature f for each class c feature_vote[f,c] = 0 /*vote of feature f for class c*/ if e f values is known i = find_interval(f, e f ) for each class c feature_vote[f,c] = interval_vote[f,i,c] vote [c] = vote[c] + feature_vote[f,c] * weight[f]; return the class c with highest vote[c]; end Gambar 2 Pseudocode tahap klasifikasi algoritme VFI5 (Güvenir et al. 1998) Confusion Matrix Pengukuran keberhasilan suatu algoritme klasifikasi dapat dilakukan dengan membuat confusion matrix dari setiap percobaan. Confusion matrix mengandung informasi tentang kelas data aktual dan kelas data hasil prediksi yang

18 6 direpresentasikan pada baris matriks. Kinerja algoritme klasifikasi biasanya dievaluasi berdasarkan data yang ada pada matriks. Tabel 1 menyajikan confusion matrix untuk data dengan dua kelas (Sun et al. 2009). Tabel 1 Confusion matrix dengan dua kelas data Aktual Data Kelas Positif Kelas Negatif Hasil Prediksi Kelas Positif TP FP Kelas Negatif FN TN Keterangan: - TP adalah jumlah instance kelas positif yang berhasil diprediksi benar sebagai kelas positif. - FN adalah jumlah instance kelas positif yang tidak berhasil diprediksi dengan benar karena masuk ke kelas negatif. - FP adalah jumlah instance kelas negatif yang tidak berhasil diprediksi benar sebagai kelas negatif karena dikelompokkan ke kelas positif. - TN adalah jumlah instance kelas negatif yang berhasil diprediksi benar sebagai kelas negatif. Evaluasi pada non-kelas independen gagal karena hasilnya hanya mencerminkan kinerja pembelajaran dari kelas mayoritas, dan semakin condong distribusi kelas efeknya akan semakin buruk. Oleh karena itu, dalam mengevaluasi imbalanced data fokus tertuju pada kelas individu (Weng dan Poon 2006). Beberapa pengukuran evaluasi untuk imbalanced data adalah precision, recall, F-measure, kurva Receiver Operating Characteristic (ROC), dan lain lain. Metrik yang akan dihitung berdasarkan data confusion matrix adalah: - Akurasi (AC) AC = TP + TN TP + FN + FP + TN - Recall atau true positive rate (TP) menunjukkan persentase kelas data positif yang berhasil diprediksi benar dari keseluruhan instance kelas positif. Recall = TP TP + FN - Precision (P) atau proporsi dari kelas data positif yang berhasil diprediksi dengan benar dari keseluruhan hasil prediksi kelas positif. P = TP TP + FP

19 7 - F-measure yaitu evaluasi metrik umum yang menggabungkan precision dan recall ke dalam satu nilai, biasanya dengan bobot yang sama pada kedua pengukuran. Nilai F-measure yang tinggi memastikan bahwa recall dan precision juga tinggi (Sun et al. 2009). F-measure = 2 x Recall x Precision Recall + Precision - True negatif rate menunjukkan persentase kelas data negatif yang berhasil diprediksi benar dari keseluruhan instance kelas negatif. TN rate = TN TN + FP - Negative predictive value merupakan proporsi kelas data negatif yang berhasil diprediksi benar dari keseluruhan hasil prediksi kelas negatif. NP value = TN TN + FN METODE Ilustrasi tahapan proses penelitian disajikan dalam diagram alur pada Gambar 3. Data Data yang digunakan dalam penelitian ini adalah data sekunder debitur Bank X tahun yang merupakan data penelitian Setiawati (2011) mengenai status kelancaran pembayaran utang kartu kredit. Dataset ini terdiri atas dua kelas, yaitu debitur good dan bad. Kelas good berarti debitur tersebut lancar dalam pembayaran, sedangkan bad berarti mengalami tunggakan lebih dari 90 hari (Setiawati 2011). Jumlah instance keseluruhan adalah 4413 dengan komposisi masing-masing kelas yaitu 3574 debitur good dan 839 debitur bad, yang tergolong imbalanced data. Terdapat 14 fitur pada dataset ini. Fitur-fitur tersebut ialah gender, usia, status pernikahan, pendidikan, tanggungan, status rumah, lama tinggal, pekerjaan, masa kerja, status pekerjaan, tipe perusahaan, pendapatan, banyaknya kartu kredit lain, dan persentase utang kartu kredit lain. Beberapa fitur memiliki missing value, contohnya fitur banyaknya kartu kredit lain dan persentase utang kartu kredit lain. Daftar fitur dan keterangannya disajikan dalam Lampiran 1. Praproses Pada tahap praproses, setiap kelas mengalami pengurangan jumlah instance. Instance yang tidak diketahui salah satu nilai fiturnya tidak digunakan dalam

20 8 pembuatan model. Selain itu, instance yang nilai fiturnya tidak valid juga tidak digunakan. Mulai Data Praproses Pengambilan Sampel 50 Kali Data Uji Data Latih Data Uji Pelatihan VFI5 dengan Semua Fitur Fitur Interval Model 1 Fitur Interval Pemilihan Fitur berdasarkan Akurasi Pemilihan Fitur secara Bertahap Model 2 Model 3 Klasifikasi Evaluasi Kinerja Selesai Gambar 3 Diagram alur penelitian Pengambilan Sampel 50 Kali Data yang telah dipraproses kemudian dipisahkan berdasarkan kelas debitur good dan debitur bad. Pada masing-masing kelas dilakukan pengambilan sampel sebanyak 50 kali. Satu kali pengambilan sampel terdiri atas data latih dan data uji. Persentase pembagian data latih dan data uji adalah 80% data latih dan 20% data uji. Selanjutnya hasil pengambilan sampel tersebut digunakan untuk membuat model.

21 9 Pembuatan Model VFI5 Data latih dan data uji yang diperoleh dari pengambilan sampel sebanyak 50 kali, selanjutnya digunakan untuk membuat tiga model VFI5. Tiga model tersebut yaitu: a Model 1 Model 1 merupakan model VFI5 yang menggunakan semua fitur. Tahapan pembuatan Model 1 yaitu sebagai berikut: 1 Melakukan pelatihan terhadap data latih yang menghasilkan fitur interval dan nilai vote untuk setiap fitur. 2 Proses klasifikasi terhadap data uji berdasarkan semua fitur. 3 Hitung akurasi Model 1. b Model 2 Model 2 adalah model VFI5 dengan pemilihan fitur berdasarkan akurasi. Prosedur pemilihan fitur berdasarkan akurasi mengadopsi metode best subset regression, dengan langkah-langkah seperti di bawah ini: 1 Menggunakan fitur interval dan nilai vote dari Model 1 untuk setiap fitur. 2 Proses klasifikasi dilakukan berdasarkan masing-masing fitur. 3 Hitung akurasi klasifikasi masing-masing fitur. 4 Fitur diambil jika akurasi > 50%. Setelah diperoleh fitur dengan akurasi > 50%, dilakukan klasifikasi terhadap data uji berdasarkan fitur-fitur tersebut. Terakhir, hitung akurasi Model 2. c Model 3 Model 3 yaitu model VFI5 dengan pemilihan fitur secara bertahap mengadopsi teknik stepwise regression, yaitu forward selection. Tahapan pembuatan Model 3 yaitu sebagai berikut: 1 Menggunakan fitur interval dan nilai vote dari Model 1 untuk setiap fitur. 2 Menentukan level signifikansi fitur untuk memasuki model, yaitu akurasi bernilai 50%. Sementara level signifikansi fitur untuk meninggalkan model yaitu lebih kecil dari akurasi pada iterasi sebelumnya. 3 Tentukan fitur yang paling berpengaruh, yaitu fitur dengan akurasi tertinggi. 4 Uji cobakan model dengan setiap kandidat fitur yang tersisa. Fitur yang terpilih pada tahap sebelumnya tetap berada dalam model dan diikutsertakan pada proses pemilihan. 5 Ulangi tahap 3 dan 4. Iterasi berhenti ketika akurasi lebih kecil daripada level signifikansi, yang merupakan akurasi dari iterasi sebelumnya. Setelah diperoleh fitur melalui proses di atas, langkah terakhir adalah evaluasi kinerja Model 3. Evaluasi Kinerja Kinerja dari algoritme VFI5 dalam mengklasifikasikan debitur kartu kredit dapat diketahui dengan mengukur akurasinya. Meskipun akurasi tidak terlalu berpengaruh terhadap imbalanced data, tetapi tetap digunakan untuk mengetahui kinerja model secara keseluruhan. Hasil percobaan yang dilakukan dari setiap

22 10 model digunakan untuk membuat confusion matrix. Selanjutnya dihitung recall, precision, dan F-measure dari kelas positif, yaitu kelas debitur bad. Lingkungan Pengembangan Aplikasi yang dibangun pada penelitian ini menggunakan kode program yang dikembangkan oleh Aritonang (2006). Kode program tersebut kemudian dimodifikasi sesuai data yang digunakan. Selanjutnya diimplementasikan menggunakan spesifikasi perangkat keras dan perangkat lunak sebagai berikut: Perangkat Keras: - Processor Intel Core TM i GHz - RAM kapasitas 2 GB - Harddisk kapasitas 500 GB Perangkat lunak: - Sistem Operasi Windows 7 Ultimate - Matlab Microsoft Excel HASIL DAN PEMBAHASAN Data yang digunakan pada penelitian ini merupakan data debitur kartu kredit mengenai status kelancaran membayar utang, yang tergolong ke dalam kasus imbalanced data. Terdapat dua kelas pada data ini, yaitu kelas debitur good dan bad. Praproses Jumlah instance masing-masing kelas berkurang setelah dilakukan praproses. Instance yang salah satu nilai fiturnya tidak diketahui, misalnya banyaknya kartu kredit lain, tidak digunakan dalam pembuatan model. Selain itu, instance yang nilai fiturnya tidak valid seperti 0 atau 1 pada fitur pendapatan, -1 pada fitur masa kerja dan lama tinggal juga tidak digunakan. Banyaknya instance yang tidak digunakan dalam pembuatan model adalah 526, sehingga total data yang tersisa adalah 3887 instances. Dari hasil pemisahan ini diketahui bahwa instance kelas debitur bad berkurang dari 839 menjadi 636 dan kelas debitur good dari 3574 menjadi 3251 instances.

23 11 Pengambilan Sampel 50 Kali Pengambilan sampel 50 kali dilakukan di setiap kelas sehingga terdapat 50 kombinasi data latih dan data uji dari masing-masing kelas. Setiap satu kali pengambilan diambil data latih dan data uji dengan persentase masing-masing 80% dan 20%. Komposisi data latih dan data uji ditampilkan pada Tabel 2. Tabel 2 Komposisi data latih dan uji di setiap kelas Data Good Bad Latih Uji Pemilihan Fitur berdasarkan Akurasi Fitur interval dan nilai vote yang diperoleh pada Model 1, digunakan dalam proses klasifikasi data uji dari 50 sampel. Klasifikasi dilakukan berdasarkan masing-masing fitur. Rata-rata akurasi dari masing-masing fitur ditampilkan pada Tabel 3. Tabel 3 Rata-rata akurasi untuk masing-masing fitur Fitur Akurasi Pendidikan 61.40% Gender 52.62% Status pernikahan 57.62% Tipe perusahaan 19.67% Status pekerjaan 35.95% Pekerjaan 23.66% Tanggungan 50.35% Pendapatan 16.93% Banyaknya kartu kredit lain 21.70% Persentase utang kartu kredit lain 29.80% Umur 20.76% Masa kerja 17.94% Lama tinggal 22.01% Status rumah 59.63% Berdasarkan akurasi rata-rata setiap fitur pada Tabel 3, diambil fitur dengan akurasi lebih besar dari 50%. Fitur yang terpilih yaitu pendidikan, gender, status pernikahan, tanggungan, dan status rumah. Fitur-fitur ini selanjutnya digunakan pada Model 2.

24 12 Pemilihan Fitur secara Bertahap Pemilihan fitur secara bertahap dimulai dengan menentukan fitur yang paling berpengaruh terhadap akurasi. Berdasarkan akurasi fitur yang diperoleh pada tahap pemilihan fitur menggunakan akurasi > 50%, fitur yang memiliki akurasi tertinggi adalah fitur pendidikan. Oleh karena itu, fitur ini digunakan sebagai fitur awal. Berikutnya fitur pendidikan dikombinasikan dengan 13 fitur lainnya dan diujikan terhadap 50 sampel Model 1. Pada iterasi pertama diperoleh akurasi tertinggi sebesar 63.04% yaitu gabungan fitur pendidikan dengan banyaknya kartu kredit lain. Nilai ini lebih besar dibandingkan dengan akurasi fitur pendidikan saja sehingga kombinasi fitur ini diambil dan diteruskan ke iterasi selanjutnya. Untuk iterasi kedua fitur awal adalah gabungan fitur pendidikan dan banyaknya kartu kredit lain, sementara kandidat fitur adalah 12 fitur sisanya. Proses pemilihan fitur bertahap untuk Model 3 disajikan pada Lampiran 2. Pada iterasi kedua, akurasi rata-rata dari kombinasi fitur pendidikan dan banyaknya kartu kredit lain dengan kandidat fitur lainnya tidak lebih besar daripada iterasi pertama, sehingga proses pemilihan fitur selesai di iterasi pertama. Fitur yang terpilih melalui proses ini hanya dua fitur yaitu pendidikan dan banyaknya kartu kredit lain. Model 1 Model 1 merupakan model VFI5 tanpa pemilihan fitur. Hasil pengujian Model 1 untuk 50 sampel ditampilkan pada Gambar 4. Gambar 4 Akurasi pengujian Model 1 Dari Gambar 4 terlihat bahwa akurasi tertinggi diperoleh pada sampel ke-14 dan ke-24, masing-masing sebesar 68.25% dan terendah pada sampel 8 yaitu 21.11%. Pada metrik pengukuran lainnya, recall mencapai nilai tertinggi pada sampel 48, yaitu 93.70%. Ini artinya hampir keseluruhan instance uji kelas debitur bad dapat diprediksi dengan benar. Meskipun hasil pengukuran recall

25 13 cukup baik, tetapi ketepatan algoritme VFI5 dalam memprediksi kelas debitur bad masih sangat rendah. Hal ini dibuktikan oleh precision yang rendah di setiap sampel percobaan. Metrik precision untuk 50 sampel bernilai kurang dari 25%. Diagram pengukuran metrik recall, TN rate, precision, NP value, dan F-measure untuk Model 1 dapat dilihat pada Lampiran 3. Tabel 4 Confusion matrix sampel ke-14 dan 24 Aktual Data Bad Prediksi Good Bad Good Tabel 4 merupakan confusion matrix untuk sampel dengan akurasi tertinggi pada Model 1. Berdasarkan Tabel 4 diketahui bahwa jumlah instance uji kelas debitur bad yang diprediksi sebagai kelas debitur good lebih besar dibandingkan dengan jumlah instance bad yang diprediksi benar. Sementara pada instance uji debitur good, jumlah instance prediksi benar lebih besar dibandingkan dengan jumlah instance yang salah prediksi, sehingga nilai TN rate kelas good yang dihasilkan cukup tinggi yaitu 74.92%. Sebaliknya, recall dan precision pada kelas debitur bad jauh lebih kecil, masing-masing yaitu 34.38% dan 21.26%. Tabel 5 Confusion matrix sampel ke-34 Aktual Data Bad Prediksi Good Bad Good Berdasarkan confusion matrix di Tabel 5 diketahui bahwa jumlah instance prediksi benar di kedua kelas cukup baik. Recall untuk kelas bad adalah 40.63% sedangkan TN rate untuk kelas good bernilai 70.15%. Sementara precision kelas bad dan NP value kelas good terpaut cukup jauh. Hal ini disebabkan oleh jumlah instance prediksi benar yang dibagi dengan jumlah instance keseluruhan di kelas tersebut mengalami ketidakseimbangan. Dari hasil pengukuran confusion matrix ini dapat dikatakan bahwa sampel ke-34 cukup baik dalam memprediksi debitur yang berpotensi menjadi debitur good dan bad. Kesalahan prediksi instance uji kelas debitur bad menjadi kelas debitur good terjadi karena jumlah vote yang diberikan terhadap kelas debitur good lebih tinggi dibandingkan jumlah vote kelas debitur bad. Misalnya pada instance uji ke- 56 di sampel 14, algoritme VFI5 memprediksi instance tersebut sebagai kelas debitur good, padahal kelas sebenarnya adalah bad. Sebaliknya, instance uji ke- 132 di sampel 34 diprediksi sebagai kelas bad. Hal ini terjadi karena peluang instance tersebut diprediksi sebagai kelas bad lebih tinggi dibandingkan dengan kelas good, sehingga instance uji tersebut diprediksi sebagai kelas bad. Nilai voting kesalahan prediksi untuk instance uji ke-56 dan 132 disajikan pada Tabel 6.

26 14 Tabel 6 Nilai voting kesalahan prediksi instance uji ke-56 dan 132 Data uji ke Kelas prediksi Kelas prediksi Fitur Bad Good Bad Good Pendidikan Gender Status pernikahan Tipe perusahaan Status pekerjaan Pekerjaan Tanggungan Pendapatan Banyaknya kartu kredit lain Persentase utang kartu kredit lain Umur Masa kerja Lama tinggal Status rumah Total Normalisasi Prediksi Good Bad Aktual Bad Good Mengacu pada nilai vote hasil pelatihan untuk sampel ke-34 di Lampiran 4, dapat diketahui bahwa debitur dengan pendidikan SMP/SMA dan S1/S2 cenderung diprediksi sebagai debitur good, sedangkan debitur dengan tingkat pendidikan akademi cenderung bad. Pada fitur gender, peluang wanita menjadi debitur good lebih tinggi dibandingkan dengan laki-laki. Sementara pada fitur status pernikahan, debitur yang berstatus lajang atau bercerai cenderung diprediksi sebagai debitur bad. Industri berat, jasa, dan transportasi merupakan tipe perusahaan yang cenderung dikelompokkan ke kelas bad. Begitupun dengan debitur yang bekerja sebagai wiraswasta yang juga cenderung diklasifikasikan sebagai debitur bad. Pada fitur yang sifatnya kontinu seperti tanggungan, pendapatan, banyaknya kartu kredit lain, persentase utang kartu kredit lain, umur, masa kerja, dan lama tinggal, nilai vote fitur pada selang interval menunjukkan kecenderungan yang sama. Debitur cenderung good ketika nilai fitur berada pada ujung kanan dan kiri selang interval. Sementara ketika berada di bagian tengah selang interval, debitur akan cenderung diprediksi sebagai kelas bad.

27 15 Model 2 Model 2 merupakan model VFI5 dengan pemilihan fitur berdasarkan akurasi. Hasil pengujian Model 2 dengan fitur berakurasi lebih besar dari 50% ditampilkan pada Tabel 7. Tabel 7 Akurasi Model 2 Sampel Akurasi Model 1 Akurasi Model % 71.81% % 71.30% % 70.14% % 23.29% % 19.82% % 12.47% % 71.69% % 71.30% % 70.66% % 71.69% % 71.43% % 72.71% % 70.79% % 71.17% % 71.17% Berdasarkan hasil pengukuran akurasi pada Tabel 7, sampel yang awalnya memiliki akurasi lebih besar atau sama dengan 50% rata-rata mengalami kenaikan akurasi 5%-15%. Sementara sampel yang akurasi awalnya dibawah 40% rata-rata mengalami penurunan 0%-5%. Tetapi secara umum dapat dikatakan bahwa akurasi meningkat setelah dilakukan pemilihan fitur. Perbandingan akurasi Model 1 dan 2 diperlihatkan pada Gambar 5. Gambar 5 Perbandingan akurasi Model 1 dan 2 Akurasi tertinggi Model 2 adalah 72.71% pada sampel 31 dan terendah pada sampel ke-9 yaitu 12.47%. Pada metrik pengukuran lainnya, recall mencapai nilai

28 16 tertinggi pada sampel ke-28 yaitu 89.76%. Artinya pada sampel ini, hampir 90% instance uji kelas bad dapat diprediksi dengan benar. Recall terendah terdapat pada sampel ke-5 yaitu 19.69%. Secara umum pengukuran terhadap recall mengalami penurunan, sedangkan TN rate kelas good mengalami kenaikan. Sementara metrik precision tidak menunjukkan perbedaan yang cukup signifikan. Gambaran recall dan precision ditunjukkan oleh pengukuran F-measure. F- measure pada Model 2 rata-rata mengalami penurunan dibandingkan dengan Model 1. Metrik hasil pengukuran Model 2 dapat dilihat pada Lampiran 5. Perbandingan F-measure Model 1 dan 2 diperlihatkan pada Gambar 6. Gambar 6 Perbandingan F-measure pada Model 1 dan 2 Tabel 8 menyajikan confusion matrix percobaan Model 2 untuk sampel dengan akurasi tertinggi. Berdasarkan confusion matrix tersebut dapat diketahui pengukuran recall dan TN rate masing-masing adalah 39.37% dan 79.23%. Dengan begitu dapat dikatakan bahwa sampel 31 pada Model 2 hanya mampu memprediksi dengan benar instance uji debitur bad kurang dari setengah jumlah instance uji bad keseluruhan. Sementara untuk kelas good, kemampuan algoritme VFI5 memprediksi dengan benar sudah cukup baik. Tabel 8 Confusion matrix sampel ke-31 Aktual Data Bad Prediksi Good Bad Good Berdasarkan confusion matrix pada Tabel 9 diketahui akurasi sampel adalah 67.74%. Meskipun akurasi sampel 39 tergolong rendah, tetapi hasil pengukuran metrik recall dan TN rate -nya cukup baik. Nilai recall dan TN rate masing-masing adalah 46.88% dan 71.85%. Artinya algoritme VFI5 pada sampel ini mampu memprediksi dengan benar hampir separuh instance uji kelas bad dan lebih dari separuh instance uji kelas good. Sementara pengukuran metrik precision dan NP value di kedua kelas masih terpaut jauh. Hal ini disebabkan oleh perbedaan jumlah instance uji yang tidak seimbang di kedua kelas.

29 17 Tabel 9 Confusion matrix sampel ke-39 Aktual Data Bad Prediksi Good Bad Good Meskipun recall dan TN rate di kedua kelas dapat dikatakan cukup baik pada sampel 39, jumlah instance yang salah prediksi tergolong masih tinggi. Kesalahan prediksi ini terjadi karena adanya fitur-fitur yang memberikan nilai vote lebih tinggi meskipun bukan terhadap kelas targetnya. Nilai vote yang diberikan bergantung pada vote yang diperoleh ketika pelatihan. Nilai vote fitur hasil pelatihan untuk sampel ke-39 dapat dilihat pada Lampiran 6. Contohnya instance uji 6 dan 130. Pada instance uji 6 dan 130, tiga dari lima fitur memberikan vote lebih tinggi kepada kelas bukan target. Jumlah vote kelas akhir yang diberikan lebih besar terhadap kelas bukan target sehingga kelas prediksi adalah kelas bukan target. Nilai voting kesalahan prediksi untuk instance uji ke-6 dan 130 ditampilkan pada Tabel 10. Tabel 10 Nilai voting kesalahan prediksi instance uji ke-6 dan ke-130 pada sampel ke-39 Fitur Data uji ke Kelas prediksi Kelas prediksi Bad Good Bad Good Pendidikan Gender Status pernikahan Tanggungan Status rumah Total Normalisasi Prediksi Good Bad Aktual Bad Good Lampiran 6 menunjukan nilai vote fitur yang diperoleh ketika pelatihan untuk sampel ke-39. Berdasarkan hasil vote tersebut, diketahui bahwa debitur dengan pendidikan SMP/SMA dan S1/S2 cenderung dikategorikan ke kelas good. Pada fitur gender, peluang laki-laki dikelompokkan ke kelas debitur good lebih

30 18 kecil dibandingkan dengan debitur bad, sehingga laki-laki cenderung temasuk kelas bad. Debitur yang telah menikah lebih cenderung dikelompokkan sebagai debitur good, sebaliknya lajang dan bercerai dikategorikan menjadi bad. Begitupun dengan jumlah tanggungan, debitur yang tidak memiliki tanggungan atau memiliki tanggungan lebih dari 5 orang lebih berpeluang sebagai debitur good. Fitur status rumah juga menunjukkan kecenderungan yang jelas, yaitu debitur yang memiliki rumah sendiri cenderung dikelompokkan ke kelas good. Dari nilai vote ini terlihat bahwa kecenderungan kelas untuk semua fitur pada Model 2 sama dengan Model 1. Hasil pengujian Model 2 menunjukkan peningkatan akurasi jika dibandingkan dengan Model 1. Hal ini dimungkinkan karena 5 fitur yang digunakan dapat menjadi pemisah yang baik dari kelas good dan bad sehingga mampu mempengaruhi tingkat akurasi. Model 3 Model 3 merupakan model VFI5 dengan pemilihan fitur secara bertahap. Berbeda dengan Model 2, pada model ini hanya menggunakan 2 fitur. Hasil pengukuran akurasi untuk beberapa sampel Model 3 ditampilkan pada Tabel 11. Tabel 11 Akurasi Model 3 Sampel Akurasi Akurasi Model 1 Model % 83.66% % 83.66% % 83.91% % 5.92% % 24.20% % % % 85.59% % 83.66% % 83.91% % 85.59% % 83.66% % 83.91% % 83.66% % 83.66% % 69.37% Pada percobaan Model 3, akurasi mengalami kenaikan cukup baik daripada model-model sebelumnya. Dari Tabel 11 terlihat bahwa umumnya sampel dengan akurasi lebih besar atau sama dengan 50% di Model 1 mengalami kenaikan hingga 34%. Sementara sampel dengan akurasi dibawah 45% lebih fluktuatif. Tetapi secara keseluruhan akurasi Model 3 mengalami kenaikan dibandingkan

31 19 dengan Model 1. Gambar 7 menunjukkan perbandingan akurasi pada Model 1 dan 3. Hasil metrik pengukuran Model 3 dapat dilihat pada Lampiran 7. Gambar 7 Perbandingan akurasi Model 1 dan 3 Akurasi tertinggi diperoleh pada sampel ke-12 dan 22 yaitu sebesar 85.59%. Sementara akurasi terendah berada di sampel ke-7 yaitu sebesar 5.92%. Recall yang cukup baik di Model 1 mengalami penurunan 2%-61% pada model ini. Kenaikan recall hanya terjadi di beberapa sampel dengan kenaikan sebesar 1%-17%. Precision rata-rata mengalami penurunan 0%-24%. Beberapa sampel mengalami kenaikan precision yang cukup signifikan, yaitu hingga 83%. Meskipun recall menurun, metrik precision-nya justru mengalami peningkatan. Ini terjadi karena jumlah instance good yang salah prediksi hanya sedikit bahkan tidak ada, sehingga tidak terlalu mempengaruhi precision. Hasil recall dan precision digunakan untuk mengukur metrik F-measure. Perbandingan F-measure Model 3 dan Model 1 ditampilkan pada Gambar 8. Gambar 8 Perbandingan F-measure Model 1 dan 3 Tabel 12 menunjukkan confusion matrix untuk sampel dengan akurasi tertinggi. Dari confusion matrix tersebut dapat dilihat bahwa jumlah instance uji bad yang berhasil diprediksi dengan benar hanya 15 instances. Hampir keseluruhan instance uji bad mengalami kesalahan prediksi, sehingga recall pada sampel ini hanya 11.81%. Sebaliknya, semua instance uji kelas good berhasil diprediksi benar sehingga TN rate bernilai 100%. Tabel 12 Confusion matrix sampel ke-12 dan 22 Aktual Data Bad Prediksi Good Bad Good 0 650

32 20 Kesalahan prediksi pada sampel 12 terjadi karena adanya beberapa fitur yang memberikan nilai vote lebih besar ke kelas good. Hal ini menyebabkan jumlah vote kelas good lebih tinggi dibandingkan dengan kelas bad sehingga instance uji diprediksi sebagai kelas good. Contoh nilai voting kesalahan prediksi untuk instance uji ke-4 dan 21 pada sampel 12 ditunjukkan pada Tabel 13. Pada Tabel 13 dapat dilihat bahwa untuk instance uji ke-4, kedua fitur mendapatkan nilai vote yang lebih besar di kelas good. Setelah nilai vote masing-masing fitur ini dijumlahkan dan dinormalisasi, diperoleh nilai tertinggi pada kelas good, sehingga instance uji ke-4 diprediksi sebagai kelas good. Begitupun dengan instance uji ke-21, fitur pendidikan memperoleh nilai vote yang lebih besar di kelas good. Dari hasil penjumlahan dan normalisasi total vote akhir masingmasing kelas diketahui bahwa peluang instance uji 21 diprediksi sebagai kelas good lebih besar daripada kelas bad. Tabel 13 Nilai voting kesalahan prediksi instance uji ke-4 dan 21 pada sampel 12 Fitur Data uji ke Kelas prediksi Kelas prediksi Bad Good Bad Good Pendidikan Banyaknya kartu kredit lain Total Normalisasi Prediksi Good Good Aktual Bad Bad Tabel 14 menunjukkan confusion matrix Model 3 untuk sampel dengan recall dan TN rate cukup baik. Dari keseluruhan instance uji kelas bad, hampir 39% berhasil diprediksi dengan benar. Sementara di kelas good juga menunjukkan TN rate yang cukup baik, yaitu sebesar 76.62%. Akurasi dari sampel 30 ini adalah 70.40%. Tabel 14 Confusion matrix sampel ke-30 Aktual Data Prediksi Bad Good Bad Good Kesalahan prediksi pada sampel 30 terjadi di kedua kelas. Jumlah instance yang salah prediksi ini bisa dikatakan cukup tinggi. Tetapi jika dibandingkan

33 21 dengan sampel lainnya pada Model 3, jumlah ini tergolong cukup baik. Kesalahan prediksi instance uji kelas bad terjadi karena adanya fitur yang mendapat nilai vote lebih besar untuk kelas good. Hal ini menyebabkan jumlah vote dan hasil normalisasi kelas good lebih besar dibandingkan dengan kelas bad sehingga instance uji bad diprediksi sebagai good. Begitupun sebaliknya pada instance uji good, peluang instance tersebut masuk ke kelas bad lebih besar dibandingkan dengan kelasnya sendiri sehingga diprediksi sebagai kelas bad. Contoh kesalahan prediksi pada sampel 30 untuk instance uji ke-30 dan 135 dapat dilihat pada Tabel 15. Tabel 15 Voting kesalahan prediksi pada sampel ke-30 untuk instance uji ke-30 dan 135 Fitur Data uji ke Kelas prediksi Kelas prediksi Bad Good Bad Good Pendidikan Banyaknya kartu kredit lain Total Normalisasi Prediksi Good Bad Aktual Bad Good Hasil voting pelatihan untuk sampel ke-30 diperlihatkan pada Lampiran 8. Sama seperti Model 1 dan 2, debitur yang memiliki jenjang pendidikan SMP/SMA dan S1/S2 cenderung dikelompokkan sebagai debitur good. Pada fitur banyaknya kartu kredit lain, debitur yang memiliki 1 kartu kredit lain dikategorikan sebagai debitur bad, sementara debitur yang memiliki 2 atau 3 kartu kredit lain justru termasuk kelas good. Berdasarkan pengujian yang telah dilakukan terhadap semua model, terlihat bahwa Model 3 menghasilkan akurasi yang lebih baik. Meskipun rata-rata akurasi semakin baik dengan pemilihan fitur, metrik pengukuran lainnya menunjukkan penurunan untuk kelas bad, sementara di kelas good menunjukkan peningkatan. Perbandingan metrik pengukuran pada ketiga model dilampirkan dalam Lampiran 9. Perbandingan dengan Penelitian Sebelumnya Akurasi yang diperoleh dari penelitian ini tidak memiliki perbedaan yang cukup besar dengan Setiawati (2011). Sementara jika dibandingkan dengan model terbaik untuk data Hypothyroid pada penelitian Aritonang (2006), terdapat

34 22 perbedaan yang cukup tinggi. Ini dikarenakan Aritonang (2006) menggunakan pendekatan dari level data untuk mengatasi masalah imbalanced data. Metrik pengukuran lainnya untuk ketiga model tidak sebaik yang dihasilkan pada model terbaik di penelitian Setiawati (2011). Begitupun jika dibandingkan dengan penelitian Aritonang (2006), recall, precision, dan F-measure menunjukkan perbedaan nilai yang cukup tinggi. Perbandingan metrik pengukuran pada penelitian Setiawati (2011), Aritonang (2006), dan penelitian ini diperlihatkan pada Tabel 16. Tabel 16 Perbandingan metrik pengukuran dengan penelitian lain Data Model Akurasi Recall Precision F-measure Euthyroid 1) Hypothyroid 2) Debitur VFI5 Model undersampling 66.00% 69.57% 65.37% 67.40% VFI5 Model undersampling 88.73% 79.17% 97.77% 87.49% Backpropagation 3) 73.39% 56.26% 36.90% 44.57% Model 1 4) 65.30% 40.63% 21.14% 27.81% Model 2 5) 67.74% 46.88% 24.69% 32.35% Model 3 6) 70.40% 38.58% 24.38% 29.88% Keterangan: 1), 2) Penelitian Aritonang (2006) 3) Penelitian Setiawati (2011) 4) Model 1: model VFI5 menggunakan semua fitur 5) Model 2: model VFI5 menggunakan fitur berakurasi > 50% 6) Model 3: model VFI5 hasil pemilihan fitur bertahap SIMPULAN DAN SARAN Simpulan Berdasarkan penelitian yang telah dilakukan dapat disimpulkan bahwa: 1 Model VFI5 menggunakan keseluruhan fitur, menghasilkan model terbaik dengan akurasi 65.30%, serta metrik recall, precision, dan F-measure-nya masing-masing adalah 40.63%, 21.14%, dan 27.81%. 2 Model VFI5 menggunakan pemilihan fitur berdasarkan akurasi, diperoleh model terbaik dengan akurasi 67.74%, serta metrik recall, precision, dan F- measure masing-masing yaitu 46.88%, 24.69%, dan 32.25%. 3 Model VFI5 dengan pemilihan fitur bertahap menghasilkan model terbaik dengan pengukuran akurasi, recall, precision, dan F-measure masingmasingnya adalah 70.40%, 38.58%, 24.38%, dan 29.88%. 4 Model terbaik dari keseluruhan model yang dibangun terdapat pada Model VFI5 dengan pemilihan fitur berdasarkan akurasi fitur.