PENERAPAN METODE NAÏVE BAYES CLASSIFIER DAN ALGORITMA ADABOOST UNTUK PREDIKSI PENYAKIT GINJAL KRONIK SKRIPSI Diajukan untuk memenuhi sebagian persyaratan mendapatkan gelar Strata Satu Program Studi Informatika Disusun Oleh: ADHI INDRA IRAWAN NIM. M0508023 PROGRAM STUDI INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2016
SKRIPSI PENERAPAN METODE NAÏVE BAYES CLASSIFIER DAN ALGORITMA ADABOOST UNTUK PREDIKSI PENYAKIT GINJAL KRONIK Disusun Oleh: ADHI INDRA IRAWAN NIM. M0508023 Diajukan untuk memenuhi sebagian persyaratan mendapatkan gelar Strata Satu Program Studi Informatika PROGRAM STUDI INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2016
SKRIPSI PENERAPAN METODE NAÏVE BAYES CLASSIFIER DAN ALGORITMA ADABOOST UNTUK PREDIKSI PENYAKIT GINJAL KRONIK Disusun Oleh: ADHI INDRA IRAWAN NIM. M0508023 Skripsi ini telah disetujui untuk dipertahankan di hadapan Dewan Penguji pada tanggal: Pembimbing I Pembimbing II Ristu Saptono, S.Si., M.T. NIP. 19790210 200212 1 001 Afrizal Doewes, S.Kom., M.Sc. NIP. 19850831 201212 1 004 i
SKRIPSI PENERAPAN METODE NAÏVE BAYES CLASSIFIER DAN ALGORITMA ADABOOST UNTUK PREDIKSI PENYAKIT GINJAL KRONIK HALAMAN PENGESAHAN Disusun oleh : ADHI INDRA IRAWAN M0508023 Telah dipertahankan di hadapan Dewan Penguji Pada tanggal : Susunan Dewan Penguji 1. Ristu Saptono, S.Si., M.T. NIP. 19790210 200212 1 001 2. Afrizal Doewes, S.Kom., M.Sc. NIP. 19850831 201212 1 004 3. Meiyanto Eko Sulistyo, S.T., M.Eng. NIP. 19770513 200912 1 004 4. Hasan Dwi Cahyono, S.Kom., M.Kom. NIP. 19820524 201404 1 001 ( ) ( ) ( ) ( ) Disahkan oleh Kepala Program Studi Informatika Drs. Bambang Harjito, M.App.Sc., Ph.D NIP. 19621130 199103 1 002 ii
MOTTO Wahai orang-orang yang beriman! Mohonlah pertolongan (kepada Allah) dengan sabar dan sholat. Sungguh, Allah beserta orang-orang yang sabar. (Q.S. Al Baqarah: 153) Bersemangatlah atas hal-hal yang bermanfaat bagimu. Minta tolonglah pada Allah, jangan engkau lemah. (HR. Muslim) "Baragsiapa bertakwa pada Allah, niscaya Dia akan mengadakan baginya jalan keluar." (Q.S. At-Tholaq: 2) iii
PERSEMBAHAN Kupersembahkan karya ini kepada : Bapakku t, Ibuku, dan Kedua Kakakku Semua rekan-rekan yang telah memberi dukungan terbaiknya kepada penulis iv
PENERAPAN METODE NAÏVE BAYES CLASSIFIER DAN ALGORITMA ADABOOST UNTUK PREDIKSI PENYAKIT GINJAL KRONIK ADHI INDRA IRAWAN Program Studi Informatika. Fakultas Matematika dan Ilmu Pengetahuan Alam. Universitas Sebelas Maret. ABSTRAK Permasalahan yang sering terjadi pada dataset mengenai kesehatan yaitu banyaknya atribut yang memiliki missing value. Metode Naïve Bayes dikenal mampu memberikan akurasi yang baik dibandingkan dengan metode lainnya dalam menghadapi missing value. Namun ketika hasil yang diperoleh masih belum bisa memuaskan maka digunakan boosting dengan AdaBoost untuk meningkatkan kinerjanya. Penelitian ini membahas penerapan metode Naïve Bayes dan AdaBoost dalam mengklasfikasikan penyakit ginjal kronik atau chronic kidney disease (CKD). Dari hasil dengan perhitungan confusion matrix didapatkan akurasi sebesar 0,95 dan F1-score sebesar 0,958 untuk metode Naïve Bayes. Sedangkan penggabungan dengan AdaBoost berhasil meningkatkan akurasi menjadi 0,98 dan F1-score sebesar 0,984. Ketika dilakukan penggantian missing value, metode Naïve Bayes mengalami penurunan akurasi menjadi 0,945 dan F1-score 0,954, sedangkan algoritma AdaBoost berhasil meningkatkan akurasi menjadi 0,9825 dan F1-score sebesar 0,986. Hal ini menunjukkan bahwa metode Naïve Bayes memiliki kemampuan yang baik dalam menghadapi missing value dan algoritma AdaBoost berhasil meningkatkan kinerja dengan meningkatkan akurasi. Kata Kunci: AdaBoost, CKD, Missing Value, Naïve Bayes v
IMPLEMENTATION OF NAÏVE BAYES CLASSIFIER METHOD AND ADABOOST ALGORITHM FOR PREDICTION OF CHRONIC KIDNEY DISEASE ADHI INDRA IRAWAN Department of Informatics. Faculty of Mathematics and Natural Science. Sebelas Maret University ABSTRACT Problems that often occur in the medical dataset are many attributes that have missing values. Naïve Bayes method is known to provide good accuracy compared to other methods in dealing with missing values. However, when the results obtained are still not satisfactory then boosting with AdaBoost is used to improve its performance. This study discusses the application of Naïve Bayes method and AdaBoost algorithm to classify chronic kidney disease (CKD). From the result obtained by calculating the confusion matrix, the Naïve Bayes method achieved the accuracy of 0.95 and F1-score of 0.958. While the combination of AdaBoost and Naïve Bayes managed to improve the accuracy of 0.98 and F1-score of 0.984. When the missing values are replaced, the accuracy of Naïve Bayes decreased to 0.945 and F1-score of 0.954, while AdaBoost successfully increased the accuracy to 0.9825 and F1- score of 0.986. This shows that the Naïve Bayes method has good ability in dealing with missing values and AdaBoost algorithm were managed to improve the Naïve Bayes performance by increasing the accuracy. Keywords: AdaBoost, CKD, Missing Value, Naïve Bayes vi
j KATA PENGANTAR Puji syukur penulis panjatkan kehadirat Allahkyang senantiasa memberikan nikmat dan karunia-nya sehingga penulis dapat menyelesaikan skripsi dengan judul Penerapan Metode Naïve Bayes Classifier dan Algoritma Adaboost untuk Prediksi Penyakit Ginjal Kronik, yang menjadi salah satu syarat wajib untuk memperoleh gelar Sarjana Informatika di Universitas Sebelas Maret (UNS) Surakarta. Semoga shalawat serta salam selalu tercurahkan pada suri teladan kita Rasulullah Muhammad n, beserta keluarga, para Sahabat, dan semua yang mengikuti kebaikan mereka. Penulis menyadari akan keterbatasan yang dimiliki, begitu banyak bimbingan, bantuan, serta motivasi yang diberikan dalam proses penyusunan skripsi ini. Oleh karena itu, ucapan terima kasih penulis sampaikan kepada : 1. Bapak Ristu Saptono, S.Si., M.T. selaku Dosen Pembimbing I yang penuh kesabaran membimbing, mengarahkan, dan memberi motivasi kepada penulis selama proses penyusunan skripsi ini, 2. Bapak Afrizal Doewes, S.Kom., M.Sc. selaku Dosen Pembimbing II yang penuh kesabaran membimbing, mengarahkan, dan memberi motivasi kepada penulis selama proses penyusunan skripsi ini, 3. Bapak Drs. Bambang Harjito, M.App.Sc., Ph.D selaku Kepala Program Studi S1 Informatika, 4. Bapak Dr. Wiranto, M.Cs. selaku Pembimbing Akademik yang telah banyak memberi bimbingan dan pengarahan selama penulis menempuh studi di Program Studi Informatika FMIPA UNS, 5. Bapak dan Ibu dosen serta karyawan di Program Studi Informatika FMIPA UNS yang telah mengajar penulis selama masa studi dan membantu dalam proses penyusunan skripsi ini, 6. Ibu, Bapak, dan kakakku, serta teman-teman yang telah memberikan dorongan baik moral maupun materi kepada penulis. 7. Roma, Irul, Adit, Dhike, Cici, Bagus, dan Rancang yang telah memberikan bantuan dan semangat sehingga penyusunan skripsi ini dapat terselesaikan. Penulis berharap semoga skripsi ini dapat bermanfaat bagi semua pihak yang berkepentingan. Surakarta, April 2016 Penulis vii
DAFTAR ISI HALAMAN PENGESAHAN... ii MOTTO... iii PERSEMBAHAN... iv ABSTRAK... v ABSTRACT... vi KATA PENGANTAR... vii DAFTAR ISI... viii DAFTAR GAMBAR... xi DAFTAR TABEL... xii DAFTAR LAMPIRAN... xiii BAB I PENDAHULUAN... 14 1. 1. Latar Belakang... 14 1. 2. Rumusan Masalah... 15 1. 3. Batasan Masalah... 15 1. 4. Tujuan Penelitian... 16 1. 5. Manfaat Penelitian... 16 1. 6. Sistematika Penulisan... 16 BAB II TINJAUAN PUSTAKA... 17 2. 1. Dasar Teori... 17 2. 1. 1 Data Mining... 17 2. 1. 2 Klasifikasi... 18 2. 1. 3 Naïve Bayes Classifier... 21 2. 1. 4 AdaBoost... 25 2. 1. 5 Penyakit Ginjal Kronik commit (Chronic to user Kidney Disease, CKD)... 31 viii
2. 2. Penelitian Terkait... 33 2. 3. Fokus Penelitian... 36 BAB III METODOLOGI PENELITIAN... 37 3. 1. Pengumpulan Data... 37 3. 1. 1 Dataset... 37 3. 2. Analisis dan Perancangan... 38 3. 2. 1 Proses Data Cleaning... 38 3. 2. 2 Proses Pelatihan dengan Naïve Bayes dan AdaBoost... 38 3. 2. 3 Cross Validation... 39 3. 3. Pengembangan Aplikasi... 40 3. 4. Pengujian dan Analisis Hasil... 40 BAB IV HASIL DAN PEMBAHASAN... 43 4. 1. Pengumpulan Data... 43 4. 1. 1 Dataset... 43 4. 2. Analisis dan Perancangan... 45 4. 2. 1 Proses Data Cleaning...45 4. 2. 2 Proses Pelatihan dengan Naïve Bayes dan AdaBoost...46 4. 2. 2. 1 Contoh Pelatihan AdaBoost dengan AdaBoost...46 4. 2. 3 Cross Validation...49 4. 3. Pengembangan Aplikasi... 49 4. 4. Pengujian dan Analisis Hasil... 50 4. 4. 1 Pengujian dengan Naïve Bayes dan AdaBoost dengan Dataset Ber- Missing value...50 4. 4. 1. 1 Pengujian dengan Naïve Bayes Classifier...50 4. 4. 1. 2 Pengujian dengan AdaBoost...51 4. 4. 2 Pengujian Naïve Bayes dan AdaBoost Menggunakan Dataset dengan Penggantian Missing value...52 4. 4. 2. 1 Pengujian Data dengan Naïve Bayes Classifier...52 4. 4. 2. 2 Pengujian Data dengan AdaBoost...53 4. 4. 3 Analisis Hasil Pengujian...54 ix
BAB V PENUTUP... 57 5. 1. Kesimpulan... 57 5. 2. Saran... 57 DAFTAR PUSTAKA... 58 LAMPIRAN... 61 x
DAFTAR GAMBAR Gambar 2.1. Ilustrasi Penjelasan Klasifikasi... 19 Gambar 2.2 Tahapan Proses Klasifikasi... 20 Gambar 3.1 Alur Metodologi Penelitian... 37 Gambar 3.2 Alur Kerja Sistem... 40 xi
DAFTAR TABEL Tabel 2.1 Contoh Training Set dari Basis Data CKD... 23 Tabel 2.2 Contoh Data Training... 27 Tabel 2.3 Threshold x 2... 27 Tabel 2.4 Threshold x 5... 27 Tabel 2.5 Threshold x 8... 28 Tabel 2.6 Inisialisasi Bobot Awal... 28 Tabel 2.7 Hasil Probabilitas t = 1 Pada x 2... 29 Tabel 2.8 Probabilitas t = 2 pada x 8... 30 Tabel 2.9 Probabilitas t = 3 pada x 5... 30 Tabel 2.10 Stadium dan Tindakan Terhadap CKD... 32 Tabel 2.11 Tabel Penelitian Terkait... 35 Tabel 3.2 Confusion Matrix... 41 Tabel 4.1 Parameter dan Nilai Dataset CKD... 43 Tabel 4.2 Pengisian Missing Value... 45 Tabel 4.3 Contoh Data Training CKD... 46 Tabel 4.4 Probabilitas Nilai Bobot Awal... 46 Tabel 4.5 Tabel Nilai Prediksi untuk h1(x)... 46 Tabel 4.6 Hasil Update Distribusi Probabilitas pada h1(x)... 47 Tabel 4.7 Tabel Nilai Prediksi untuk h2(x)... 48 Tabel 4.8 Update Probabilitas Distribusi h2(x)... 48 Tabel 4.9 Confusion Matrix Naïve Bayes Data Ber-missing Value... 50 Tabel 4.10 Confusion Matrix AdaBoost Optimalisasi Perulangan 10 kali... 51 Tabel 4.11 Confusion Matrix Naïve Bayes Dengan Penggantian Missing Value. 52 Tabel 4.12 Confusion Matrix AdaBoost Dengan Penggantian Missing Value... 53 Tabel 4.13 Rekapitulasi Hasil Pengujian... 56 Tabel A.1 Atribut dan Keterangan Dataset Penyakit Ginjal Kronik... 62 Tabel B.1 Data Penyakit Ginjal Kronik Bagian 1... 64 Tabel B.2 Data Penyakit Ginjal Kronik Bagian 2... 66 xii
DAFTAR LAMPIRAN LAMPIRAN A ATRIBUT DAN KETERANGAN DATASET CKD... 62 LAMPIRAN B DATA PENYAKIT GINJAL KRONIK... 64 xiii