LAPORAN TUGAS AKHIR PENENTUAN KELAYAKAN KREDIT BANK MENGGUNAKAN NAÏVE BAYES CLASSIFIER BERBASIS PARTICLE SWARM OPTIMIZATION.

Transkripsi

1 LAPORAN TUGAS AKHIR PENENTUAN KELAYAKAN KREDIT BANK MENGGUNAKAN NAÏVE BAYES CLASSIFIER BERBASIS PARTICLE SWARM OPTIMIZATION Disusun Oleh : Nama NIM Program Studi : Suamanda Ika Novichasari : A : Teknik Informatika FAKULTAS ILMU KOMPUTER UNIVERSITAS DIAN NUSWANTORO SEMARANG 2013

2 LAPORAN TUGAS AKHIR PENENTUAN KELAYAKAN KREDIT BANK MENGGUNAKAN NAÏVE BAYES CLASSIFIER BERBASIS PARTICLE SWARM OPTIMIZATION Laporan ini disusun guna memenuhi salah satu syarat untuk menyelesaikan program studi Teknik Informatika S-1 pada Fakultas Ilmu Komputer Universitas Dian Nuswantoro Disusun Oleh : Nama NIM Program Studi : Suamanda Ika Novichasari : A : Teknik Informatika FAKULTAS ILMU KOMPUTER UNIVERSITAS DIAN NUSWANTORO SEMARANG 2013

3 PERSETUJUAN LAPORAN TUGAS AKHIR Nama Pelaksana NIM Program Studi Fakultas Judul Tugas Akhir : Suamanda Ika Novichasari : A : Teknik Informatika : Ilmu Komputer : Penentuan Kelayakan Kredit Bank Menggunakan Naïve Bayes Classifier Berbasis Particle Swarm Optimization Tugas Akhir ini telah diperiksa dan disetujui, Semarang, 5 Juli 2013 Menyetujui : Pembimbing Mengetahui : Dekan Fakultas Ilmu Komputer Noor Ageng Setiyanto, M.Kom. Dr. Abdul Syukur ii

4 PENGESAHAN DEWAN PENGUJI Nama Pelaksana NIM Program Studi Fakultas Judul Tugas Akhir : Suamanda Ika Novichasari : A : Teknik Informatika : Ilmu Komputer : Penentuan Kelayakan Kredit Bank Menggunakan Naïve Bayes Classifier Berbasis Particle Swarm Optimization Tugas akhir ini telah diujikan dan dipertahankan dihadapan Dewan Penguji pada Sidang tugas akhir tanggal 5 Juli Menurut pandangan kami, tugas akhir ini memadai dari segi kualitas maupun kuantitas untuk tujuan penganugrahan gelar Sarjana Komputer (S.Kom.) Semarang, 5 Juli 2013 Dewan Penguji: Heru Lestiawan, M.Kom Anggota I Desi Purwanti K., M.Kom Anggota II Etika Kartikadarma, M.Kom Ketua Penguji iii

5 PERNYATAAN KEASLIAN TUGAS AKHIR Sebagai mahasiswa Universitas Dian Nuswantoro, yang bertanda tangan di bawah ini, saya: Nama : Suamanda Ika Novichasari NIM : A Menyatakan bahwa karya ilmiah saya yang berjudul: PENENTUAN KELAYAKAN KREDIT BANK MENGGUNAKAN NAÏVE BAYES CLASSIFIER BERBASIS PARTICLE SWARM OPTIMIZATION merupakan karya asli saya (kecuali cuplikan dan ringkasan yang masing-masing telah saya jelaskan sumbernya dan perangkat pendukung seperti web cam dll). Apabila di kemudian hari, karya saya disinyalir bukan merupakan karya asli saya, yang disertai dengan bukti-bukti yang cukup, maka saya bersedia untuk dibatalkan gelar saya beserta hak dan kewajiban yang melekat pada gelar tersebut. Demikian surat pernyataan ini saya buat dengan sebenarnya. Dibuat di : Semarang Pada tanggal : 5 Juli 2013 Yang menyatakan (Suamanda Ika Novichasari) iv

6 PERNYATAAN PERSETUJUAN PUBLIKASI KARYA ILMIAH UNTUK KEPENTINGAN AKADEMIS Sebagai mahasiswa Universitas Dian Nuswantoro, yang bertanda tangan di bawah ini, saya: Nama : Suamanda Ika Novichasari NIM : A demi mengembangkan Ilmu Pengetahuan, menyetujui untuk memberikan kepada Universitas Dian Nuswantoro Hak Bebas Royalti Non-Ekskusif (Non-exclusive Royalty-Free Right) atas karya ilmiah saya yang berjudul: PENENTUAN KELAYAKAN KREDIT BANK MENGGUNAKAN NAÏVE BAYES CLASSIFIER BERBASIS PARTICLE SWARM OPTIMIZATION beserta perangkat yang diperlukan (bila ada). Dengan Hak Bebas Royalti Non- Eksklusif ini Universitas Dian Nuswantoro berhak untuk menyimpan, mengcopy ulang (memperbanyak), menggunakan, mengelolanya dalam bentuk pangkalan data (database), mendistribusikannya dan menampilkan/mempublikasikannya di internet atau media lain untuk kepentingan akademis tanpa perlu meminta ijin dari saya selama tetap mencantumkan nama saya sebagai penulis/pencipta. Saya bersedia untuk menanggung secara pribadi, tanpa melibatkan pihak Universitas Dian Nuswantoro, segala bentuk tuntutan hukum yang timbul atas pelanggaran Hak Cipta dalam karya ilmiah saya ini. Demikian surat pernyataan ini saya buat dengan sebenarnya. Dibuat di : Semarang Pada tanggal : 5 Juli 2013 Yang menyatakan (Suamanda Ika Novichasari) v

7 UCAPAN TERIMAKASIH Alhamdulilah, puji syukur kehadirat Allah SWT atas kekuatan, rahmat dan hidayah-nya sehingga laporan tugas akhir dengan judul PENENTUAN KELAYAKAN KREDIT BANK MENGGUNAKAN NAÏVE BAYES CLASSIFIER BERBASIS PARTICLE SWARM OPTIMIZATION dapat terselesaikan tepat waktu. Terimakasih kepada : 1. Dr.Ir. Edi Noersasongko,M.Kom, selaku Rektor Universitas Dian Nuswantoro Semarang. 2. Dr. Abdul Syukur selaku Dekan Fasilkom. 3. Dr. Heru Agus Santoso,M.Kom, selaku Ka.Progdi Teknik Informatika. 4. Noor Ageng S., M.Kom, selaku pembimbing tugas akhir yang memberikan bimbingan yang berkaitan dengan penelitian penulis. 5. Ardhyta Luthfiarta, M.Kom.,M.Cs, yang memberikan masukan dan saran kepada penulis. 6. Dosen-dosen Fasilkom Universitas Dian Nuswantoro Semarang yang telah memberikan ilmu sehingga penulis dapat mengimplementasikan ilmu yang telah disampaikan. 7. Keluarga dan rekan-rekan mahasiswa Fasilkom Universitas Dian Nuswantoro yang telah memberikan dukungan material dan moral kepada penulis. Semoga Tuhan yang Maha Esa memberikan balasan yang lebih besar kepada beliau-beliau, dan pada akhirnya penulis berharap bahwa penulisan laporan tugas akhir ini dapat bermanfaat dan berguna sebagaimana fungsinya. Semarang, 5 Juli 2013 Penulis vi

8 ABSTRAK Keberhasilan kredit pada sebuah bank sangat berperan dalam menjaga kelangsungan hidup sebuah bank. Oleh karena itu sangat diperlukan pengukuran kelayakan kredit yang akurat untuk mengelompokkan nasabah dengan kredit baik dan kredit buruk. Berdasarkan kondisi tersebut teknik data mining yang tepat digunakan adalah klasifikasi. Salah satu teknik klasifikasi data mining adalah Naïve Bayes Classifier (NBC), namun hasil akurasinya masih kurang dibanding algoritma C4.5 dan neural network. NBC unggul jika diterapkan pada data ukuran besar, namun lemah pada seleksi atribut. Laporan tugas akhir ini menguraikan langkah-langkah penelitian yang menggunakan algoritma Particle Swarm Optimizatin (PSO) untuk membobot atribut guna meningkatkan nilai akurasi NBC. Desain penelitian menggunakan model proses CRISP-DM karena penyelesaian masalah dalam penelitian ini mengarah pada masalah strategi bisnis. Penelitian ini menggunakan data set publik German Credit Data. Proses validasi menggunakan tenfold-cross validation, sedangkan pengujian modelnya menggunakan confusion matrix dan kurva ROC. Hasilnya menunjukan akurasi NBC meningkat dari 73,70% menjadi 78,00% setelah dikombinasikan dengan PSO. Kata kunci : Kelayakan kredit, data mining, teknik klasifikasi data mining, NBC, NBC-PSO. xv + 54 halaman; 26 gambar; 11 tabel; 4 lampiran Daftar acuan: 25 ( ) vii

9 ABSTRACT The success of a bank credit plays an important role in maintaining the viability of a bank. Therefore, it is necessary that an accurate measurement of credit worthiness to classify the customers with good credit and bad credit. Under these conditions the exact data mining techniques used are classification. One of the classification techniques of data mining is the Naïve Bayes Classifier (NBC), but the result is still less accuracy than C4.5 and neural network algorithms. NBC superior when applied to the data large size, but weak on the selection attribute. This final report outlines the steps that research using Particle Swarm Optimization algorithm (PSO) for attribute weighting in order to improve the accuracy NBC. Research design using the CRISP-DM process model because problem solving in this study lead to the business strategy issues. This study uses a data set of public German Credit Data. Validation process using tenfold crossvalidation, while testing the model using confusion matrix and ROC curves. The result shows NBC increased accuracy of 73.70% to 78.00% after combined with PSO. Keyword : Credit worthiness, data mining, data mining classification techniques, NBC, NBC-PSO viii

10 DAFTAR ISI Halaman Halaman Sampul Dalam... i Halaman Persetujuan Laporan Tugas Akhir... ii Halaman Pengesahan Dewan Penguji... iii Halaman Pernyataan Keaslian Tugas Akhir... iv Halaman Pernyataan Persetujuan Publikasi Karya Ilmiah... v Halaman Ucapan Terimakasih... vi Halaman Abstrak... vii Halaman Daftar Isi... ix Halaman Daftar Tabel... xi Halaman Daftar Gambar... xii Halaman Daftar Lampiran... xiv Halaman Daftar Singkatan... xv BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian... 3 BAB II TINJAUAN PUSTAKA Tinjauan studi Landasan teori Kredit bank Data Mining CRIPS-DM Pembobotan atribut Discretize By Frequency Naïve Bayes Classifier (NBC) ix

11 2.2.7 Particle Swarm Optimization (PSO) Cross validation Confusion matrix Kurva ROC Kerangka pemikiran BAB III METODE PENELITIAN Desain penelitian Pengumpulan data Pengolahan Data (Data preparation) Pemodelan (Modelling) Validasi dan evaluasi Penyebaran (Deployment) Alat penelitian BAB IV HASIL DAN PEMBAHASAN Validasi dan Evaluasi Hasil percobaan dan pengujian metode NBC NBC-PSO BAB V PENUTUP Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN x

12 DAFTAR TABEL Halaman Tabel 2.1 State of the art.. 7 Tabel 2.2 Contoh confusion matrix.. 17 Tabel 3.1 Data set German kredit data setelah diubah ke bentuk Sheet bertipe xlsx 27 Tabel 3.2 Confusion matrik NBC 35 Tabel 3.3 Spesifikasi hardware 36 Tabel 4.1 Contoh hasil transformasi numerik ke nominal dari German Data.. 39 Tabel 4.2 Hasil akurasi dan AUC dari NBC 40 Tabel 4.3 Percobaan 1 menggunakan population size maximum number of generation Tabel 4.4 Percobaan 2 menggunakan population size 350 dan maximum number of generation Tabel 4.5 Hasil komparasi NBC dan NBC-PSO.. 43 Tabel 4.6 Hasil pembobotan atribut. 45 xi

13 DAFTAR GAMBAR Halaman Gambar 2.1 Siklus CRISP-DM Gambar 2.2 Ilustrasi tenfold cross validation Gambar 2.3 Confusion matrix untuk 2 model kelas Gambar 2.4 Kerangka pemikiran Gambar 3.1 Link public data set German data kredit Gambar 3.2 Data set dalam bentuk txt Gambar 3.3 Import data dari file txt kedalam excel Gambar 3.4 Jendela import file text Gambar 3.5 Langkah 1 dari import file text Gambar 3.6 Langkah 2 dari import file txt Gambar 3.7 Langkah 3 dari import file txt Gambar 3.8 Jendela import data Gambar 3.9 Tampilan data set pada excel sheets Gambar 3.10 Tampilan akhir data set pada excel sheets Gambar 3.11 Model yang di usulkan Gambar 3.12 Model NBC-PSO yang diusulkan Gambar 3.13 Penjelasan data training dan data testing Gambar 3.14 Contoh mencari P(A= A14 U= 1 ) Gambar 4.1 Desain model validasi NBC Gambar 4.2 Desain model validasi NBC berbasis PSO Gambar 4.3 Grafik hasil akurasi confusion matrix pada percobaan 1 dengan maximum number of generation 100 dan population size Gambar 4.4 Grafik hasil akurasi percobaan 2 dengan population size 350 dan maximum number of generation Gambar 4.5 Grafik hasil perbandingan akurasi dari NBC dan NBC-PSO Gambar 4.6 Grafik hasil perbandingan AUC dari NBC dan NBC-PSO Gambar 4.7 Grafik perbandingan waktu eksekusi dari NBC dan NBC- PSO xii

14 Gambar 4.8 Grafik hasil pembobotan atribut NBC-PSO xiii

15 DAFTAR LAMPIRAN Halaman Lampiran 1 Akurasi confusion matrix dari NBC Lampiran 2 Kurva ROC dari NBC Lampiran 3 Akurasi confusion matrik dari NBC-PSO Lampiran 4 Kurva ROC dari NBC-PSO 55 xiv

16 DAFTAR SINGKATAN UU = Undang-undang NBC = Naïve Bayes Classifier PSO = Particle Swarm Optimization TA = Tugas akhir DPSO = Diskrit Particle Swarm Optimization ROC = Receiver Operating Characteristic AUC = Area Under Curve SVM = Support Vector Machine CRIPS-DM = Cross-Industry Standart Proses for Data Mining TP = True Positives TN = True Negatives FP = False Positives FN = False Negatives xv

17 BAB I PENDAHULUAN 1.1 Latar Belakang Bank didefinisikan oleh Undang-undang Nomor 10 Tahun 1998 tentang Perubahan Atas UU Nomor 7 Tahun 1992 tentang Perbankan sebagai badan usaha yang menghimpun dana dari masyarakat dalam bentuk simpanan dan menyalurkannya kepada masyarakat dalam bentuk kredit dan atau bentuk-bentuk lainnya dalam rangka meningkatkan taraf hidup rakyat banyak. Kredit menurut UU Perbankan No. 10 tahun 1998 adalah penyediaan uang berdasarkan kesepakatan antara peminjam dan pemberi pinjaman yang mengharuskan peminjam melunasinya beserta bunganya dalam jangka waktu tertentu. Kredit dalam perbankan sangat mempengaruhi pembiayaan perekonomian nasional dan berfungsi sebagai penggerak pertumbuhan ekonomi [1]. Proses penilaian kredit bagi bank tidak dapat diremehkan, karena bagi bank sangat penting untuk membedakan antara UKM baik dan buruk dalam hal kredit melalui proses penilaian kredit tersebut [2]. Dalam kondisi keuangan yang sangat lemah dengan jumlah kredit bermasalah yang semakin besar, serta likuiditas yang semakin rendah dapat menyebabkan bank kesulitan untuk membiayai kegiatan usahanya [3]. Seperti yang tercantum pada harian suara merdeka yang terbit pada tanggal 18 Maret 2013 bahwa Lembaga Penjamin Simpanan (LPS) telah melakukan pencabutan izin usaha perbankan kepada 47 Bank Perkreditan Rakyat (BPR) dan 1 bank umum sejak tahun 2006 hingga 31 Desember 2012 [4]. Oleh karena itu analisa kelayakan kredit sangat penting dilakukan untuk mencegah jumlah kredit 1

18 2 bermasalah yang semakin besar guna menjaga kelangsungan hidup sebuah bank. Beberapa peneliti mengembangkan berbagai teknik untuk permasalahan kredit, diantaranya dengan analisa statistik (konvensional) [22], soft computing [23] dan data mining [8][11][12]. Dewasa ini pendekatan data mining lebih berkembang untuk mengatasi berbagai permasalahan termasuk permasalah kredit bank. Data mining adalah suatu proses yang bertujuan untuk menemukan pola secara otomatis atau semi otomatis dari data yang sudah ada di dalam basis data yang dimanfaatkan untuk menyelesaikan suatu masalah [5]. Data mining memiliki beberapa teknik, diantaranya klasifikasi dan clustering. Teknik klasifikasi adalah teknik pembelajaran yang digunakan untuk memprediksi nilai dari atribut kategori target [16]. Klasifikasi bertujuan untuk membagi objek yang ditugaskan hanya ke salah satu nomor kategori yang disebut kelas [15]. Clustering mengelompokkan objek atau data berdasarkan kemiripan antar data, sehingga anggota dalam satu kelompok memiliki banyak kemiripan dibandingkan dengan kelompok lain [6]. Untuk menyelesaikan masalah analisa resiko kredit data akan diklasifikasikan menjadi dua kelas, yaitu kredit baik dan kredit buruk. Sehingga tepat menggunakan teknik klasifikasi data mining. Metode yang paling populer digunakan untuk teknik klasifikasi adalah Decision Trees, Naïve Bayes Classifiers (NBC), Statistical analysis, dan lain lain [6]. Beberapa peneliti telah menganalisa kelayakan kredit dengan metode klasifikasi data mining, diantaranya adalah yang dilakukan oleh Scott A. Z, Kevin B. K dan Ann E. N menggunakan Bayesian Network dan NBC [8]. Henny Leidiyana pada tahun 2011 menggunakan algoritma C4.5, naïve bayes, dan neural network [11]. Dan Siti Marsipah pada tahun 2011 menggunakan algoritma C4.5 dan C4.5 berbasis Particle Swarm Optimization (PSO).

19 3 Dari hasil penelitian Henny Leidiyana [11] algoritma NBC untuk kelayakan kredit hasil akurasinya masih kurang dibanding menggunakan algoritma C4.5. Dalam C4.5 seluruh atribut diseleksi untuk kemudian dibagi menjadi himpunan bagian yang lebih kecil, namun jika data berukuran besar dengan banyak atribut maka model yang terbentuk menjadi rumit dan sulit dipahami, sehingga perlu dilakukan pemangkasan (pruning) yang dapat mengurangi akurasi. Sedangkan NBC lebih tepat diterapkan pada data yang besar [7]. Dapat menangani data yang tidak lengkap (missing value) serta kuat terhadap atribut yang tidak relevan dan noise pada data [6]. NBC akan bekerja lebih efektif jika dikombinasikan dengan beberapa prosedur pemilihan atribut [5] 1.2 Rumusan Masalah Dari latar belakang di atas, masalah pokok yang akan dicari pemecahannya adalah bagaimana PSO dapat meningkatkan akurasi NBC pada kasus kelayakan kredit bank. 1.3 Batasan Masalah Penelitian ini dibatasi pada peningkatan akurasi metode klasifikasi data mining yaitu algoritma NBC dikombinasikan dengan algoritma PSO untuk pembobotan atribut dalam penentuan kelayakan kredit. Kemudian mengevaluasi hasil akurasi. 1.4 Tujuan Penelitian Tujuan dari penelitian ini adalah menerapkan algoritma PSO yang digunakan untuk membobot atribut pada algoritma NBC, sehingga dapat meningkatan akurasi analisa kredit. 1.5 Manfaat Penelitian Manfaat dari hasil penelitian ini dapat digunakan sebagai Decission Suport System (DSS) oleh analis kredit dan lembaga keuangan dalam

20 4 penentuan kelayakan kredit. Juga memberikan kontribusi pada metode data mining dalam membandingkan atau mengkomparasikan beberapa algoritma klasifikasi data mining untuk kasus yang berbeda atau pada kasus yang sama namun dengan menggunakan algoritma yang berbeda.

21 BAB II TINJAUAN PUSTAKA Penelitian TA ini menggunakan beberapa referensi media sebagai landasan teori diantaranya buku, jurnal baik jurnal nasional maupun internasional serta prosiding sebagai referensi. 2.1 Tinjauan studi Beberapa jurnal dan artikel penelitian yang berhubungan dengan teknik klasifikasi algoritma data mining yang memiliki keterkaitan dalam topik penelitian yaitu : a. Particle Swarm for Attribute Selection in Bayesian Classification: An Application to Protein Function Prediction Penelitian ini mengukur kinerja Diskrit Particle Swarm Optimization (DPSO) dan PSO dalam seleksi atribut yang diterapkan pada Bayesian network dan Naïve Bayes. Hasil dari penelitian yang dilakukan oleh Elon S. Correa, Alex A. Freitas, dan Colin G. Johnson (2008) adalah dalam hal seleksi atribut pada satu data set DPSO lebih baik dari PSO dan pada 6 data set DPSO terbukti lebih efektif dan meningkatkan efisiensi komputasi dari classifier. Hasil lainnya adalah bahwa pendekatan Bayesian Network melebihi pendekatan dari Naïve Bayes pada semua percobaan [9]. b. Knowledge Discovery from Bio-medical Data Using a Hybrid PSO/Bayesian Classifier 5

22 6 Pada penelitian yang dilakukan oleh S.Devi, A.K. Jagadev, S.Dehuri, R.Mall (2009) ini menggunakan kombinasi antara Bayesian classifier dan PSO untuk menghilangkan atribut yang palsu dan yang tidak relevan dari data set bio-medis. Penelitian ini membuktikan bahwa fungsi diskriminan non-linier yang dikombinasikan dengan seleksi fitur PSO terbukti menjadi seleksi atribut terbaik tanpa menurunkan tingkat akurasinya [10]. c. Komparasi Algoritma Klasifikasi Data mining Dalam Penentuan Resiko Kredit Kepemilikan Kendaraan Bermotor Dilakukan oleh Henny Leidiyana pada tahun Dalam penelitian ini menggunakan algoritma C4.5, Naïve Bayes, dan Neural Network untuk penentuan kelayakan kredit motor. Kemudian dibandingkan untuk mengetahui metode mana yang paling akurat. Hasilnya dengan metode pengujian Cross Validation, Confusion Matrix dan Kurva ROC terbukti C4.5 memiliki akurasi tertinggi [11]. d. Algoritma Klasifikasi C4.5 Berbasis PSO Untuk Evaluasi Penentuan Kelayakan Pemberian Kredit Koperasi Syariah Banyak penelitian tentang penentuan kelayakan kredit yang menggunakan metode C4.5, namun akurasinya masih kurang akurat. Dalam penelitian yang dilakukan oleh Siti Masripah pada tahun 2011 membandingkan dua metode yaitu metode C4.5 dan metode C4.5 berbasis PSO. Hasilnya, terbukti metode C4.5 berbasis PSO lebih akurat dengan akurasi 94% dan Area Under Curve (AUC) sebesar 0,955 [12]. e. Penerapan PSO Untuk Seleksi Atribut Pada Metode Support Vector Machine Untuk Prediksi Penyakit Diabetes. Atribut dalam Metode SVM memiliki pengaruh penting dalam akurasi klasifikasi. Penelitian ini menerapkan metode PSO untuk seleksi atribut pada metode SVM. Hasil penelitian yang dilakukan oleh Frisma

23 7 Handayanna pada tahun 2012 yaitu terbukti PSO yang dterapkan untuk seleksi atribut pada metode SVM untuk prediksi penyakit dengan data set Pima Diabetes, dapat meningkatkan nilai akurasi dan AUC dibanding prediksi hanya dengan menggunakan metode SVM saja [13]. Tabel 2.1 State of the art No Peneliti Tahun Judul Metode Hasil Elon S. Correa, Alex A. Freitas, and Colin G. Johnson S. Devi, A. K. Jagadev, S. Dehuri, and R. Mall Henny Leidiyana Siti Masripah Particle Swarm for Attribute Selection in Bayesian Classification: An Application to Protein Function Prediction Knowledge Discovery from Bio-medical Data Using a Hybrid PSO/Bayesian Classifier Komparasi Algoritma Klasifikasi Data Mining untuk Penentuan Kelayakan Pembiayaan Konsumen Kredit Kendaraan Bermotor Algoritma Klasifikasi C4.5 berbasis PSO (Particle Swarm Optimization) untuk Evaluasi Penentuan Kelayakan Pemberian PSO, DPSO, Bayesian Network dan Naïve Bayes Bayesian Clasifier dan PSO C4.5, naïve bayes dan neural network C4.5 dan C4.5 optimasi dengan PSO seleksi atribut DPSO terbukti lebih efektif dan meningkatkan efisiensi komputasi dari classifier. pendekatan Bayesian Network melebihi pendekatan dari Naïve Bayes pada semua percobaan fungsi diskriminan non-linier yang dikombinasikan dengan seleksi fitur PSO terbukti menjadi seleksi atribut terbaik tanpa menurunkan tingkat akurasinya C4.5 nilai accuracy 91,89% dan AUC 0,958. Naïve bayes nilai accuracy 82,75% dan AUC 0,905. Neural network nilai accuracy 90,66% dan AUC 0,949. Nilai akurasi C4.5 senilai 88% sedangkan C4.5 berbasis PSO 94%. Nilai AUC C4.5 senilai 0,898 (Good Classification). Sedangkan C4.5 berbasis PSO senilai

24 8 Kredit Koperasi Syariah (Excellent Classification). No Peneliti Tahun Judul Metode Hasil 5 Frisma Handayanna 2012 Penerapan Particle Swarm Optimization Untuk Seleksi Atribut Pada Metode Support Vector Machine Untuk Prediksi Penyakit Diabetes SVM dan SVM berbasis PSO Nilai accuracy SVM adalah % dan nilai AUC adalah Nilai accuracy SVM berbasis PSO 77.36% dengan nilai AUC adalah Berdasarkan tinjauan studi diatas ada beberapa peneliti yang sudah menggunakan NBC dan PSO dalam berbagai kasus. Performa NBC terbukti menjadi lebih baik jika dikombinasikan dengan algoritma lain pada seleksi atribut. PSO yang diterapkan pada seleksi atribut terbukti berhasil meningkatkan akurasi pada SVM dan C4.5. Penelitian ini menggunakan PSO untuk menentukan fitur terbaik pada bobot atribut yang sesuai dan optimal pada NBC sehingga hasil prediksi lebih akurat. 2.2 Landasan teori Penulis meninjau beberapa buku dan jurnal sebagai landasan untuk menjelaskan berbagai hal yang berhubungan dengan topik penelitian Kredit bank Bank didefinisikan oleh Undang-undang Nomor 10 Tahun 1998 tentang Perubahan Atas UU Nomor 7 Tahun 1992 tentang Perbankan sebagai Bank adalah badan usaha yang menghimpun dana dari masyarakat dalam bentuk simpanan dan menyalurkannya kepada masyarakat dalam bentuk kredit dan atau bentuk-bentuk lainnya dalam rangka meningkatkan taraf hidup rakyat banyak.

25 9 Bank akan rugi jika tidak memanfaatkan dana yang sudah terhimpun dari masyarakat. Karena bank harus memberikan bunga kepada masyarakat. Pendapatan utama bank diharapkan berasal dari penyaluran kredit [3]. Kredit adalah penyediaan uang berdasarkan kesepakatan antara peminjam dan pemberi pinjaman yang mengharuskan peminjam melunasinya beserta bunganya dalam jangka waktu tertentu (UU Perbankan No. 10 tahun 1998). Hal-hal yang perlu diketahui oleh bank sebagai bahan pertimbangan sebelum menyalurkan dananya dalam bentuk kredit yaitu [3]: a. Perijinan dan legalitas, usaha dari calon nasabah harus sah secara yuridis. b. Karakter, meliputi : profesi, penampilan, lingkungan sosial, pengalaman dan perilaku masa lalu yang dapat mempengaruhi kemampuan nasabah untuk membayar kewajibannya. c. Pengalaman dan manajemen, pengalaman dan managemen usaha yang baik menjadikan nasabah mampu mengelola usahanya dengan baik sehingga berdampak memudahkan nasabah menyelesaikan kewajibannya kepada bank. d. Kemampuan teknis, meliputi hal-hal yang mendukung kelancaran usaha nasabah secara teknis. e. Pemasaran, keberhasilan nasabah dalam memasarkan produknya akan mengalami kesulitan untuk memenuhi kewajibannya kepada bank. f. Sosial, pendapat masyarakat yang negatif terhadap keberadaan kegiatan yang dibiayai oleh bank dapat mengganggu jalannya usaha nasabah yang juga dapat mengganggu kemampuan nasabah untuk membayar tagihan kepada bank.

26 10 g. Keuangan, laporan keuangan digunakan untuk mengetahui kesehatan usaha nasabah. h. Agunan, nasabah wajib menyerahkan berbagai bentuk anggunan sebagai jaminan Data Mining Data mining adalah suatu proses untuk menemukan hubungan baru dengan cara memilah-milah data yang sudah ada di dalam database menggunakan teknologi pengenalan pola dan statistik [14]. Data mining adalah proses menggali informasi atau pola dalam data berukuran besar yang sudah ada dalam database untuk keperluan tertentu. Salah satu teknik dari data mining adalah klasifikasi yang tujuannya membagi objek untuk ditugaskan hanya ke salah satu nomor kategori yang dsebut kelas [15]. Variable target dari klasifikasi adalah variable kategori [14]. Klasifikasi adalah suatu proses pencarian untuk memprediksi kelas dari suatu obyek yang belum diketahui kelasnya CRIPS-DM Cross-Industry Standart Proses for Data Mining (CRIPS-DM) dikembangkan pada tahun 1996 oleh analis dari beberapa industri. CRIPS-DM menyediakan standart proses data mining sebagai pemecahan masalah secara umum dari bisnis atau unit penelitian. CRIPS-DM memiliki siklus hidup yang terbagi dalam enam fase, yaitu [14] :

27 11 Bussines Understanding Data Understanding Deployment Data Preparation Evaluation Modeling Gambar 2.1 Siklus CRISP-DM [14]. a. Pemahaman Bisnis(Business Understanding) Merupakan tahap awal yaitu pemahaman penelitian, penentuan tujuan dan rumusan masalah data mining. b. Pemahaman Data(Data Understanding) Dalam tahap ini dilakukan pengumpulan data, mengenali lebih lanjut data yang akan digunakan. c. Pengolahan Data(Data Preparation) Tahap ini adalah pekerjaan berat yang perlu dilaksanakan secara intensif. Memilih kasus atau variable yang ingin dianalisis,

28 12 melakukan perubahan pada beberapa variable jika diperlukan sehingga data siap untuk dimodelkan. d. Pemodelan(Modeling) Memilih teknik pemodelan yang sesuai dan sesuaikan aturan model untuk hasil yang maksimal. Dapat kembali ke tahap pengolahan untuk menjadikan data ke dalam bentuk yang sesuai dengan model tertentu. e. Evaluasi (Evaluation) Mengevaluasi satu atau model yang digunakan dan menetapkan apakah terdapat model yang memenuhi tujuan pada tahap awal. Kemudian menentukan apakah ada permasalahan yang tidak dapat tertangani dengan baik serta mengambil keputusan hasil penelitian. f. Penyebaran (Deployment) Menggunakan model yang dihasilkan seperti pembuatan laporan atau penerapan proses data mining pada departemen lain Pembobotan atribut Tidak semua atribut memiliki peranan penting dalam akurasi. Pembobotan atribut adalah proses pemberian nilai pada setiap atribut dengan metode tertentu berdasarkan tingkat pengaruhnya terhadap nilai akurasi [5]. Pembobotan atribut pada penelitian ini menggunakan metode Particle Swarm Optimization (PSO) Discretize By Frequency Discretize adalah proses transformasi nilai pada atribut numerik menjadi nominal [15]. Terdapat 5 macam discretize dalam RapidMiner yaitu discretize by frequency, discretize by size,

29 13 discretize by binning, discretize by user specification, discretize by entropy. Penelitian ini menggunakan discretize by frequency yaitu transformasi atribut numerik menjadi atribut nominal oleh operator frekuensi yang menciptakan kelompok rentang terbaik sehingga jumlah nilai yang unik dalam kelompok rentang hampir sama Naïve Bayes Classifier (NBC) Disebut juga dengan Bayesian Classification adalah pengklasifikasian statistik yang didasarkan pada teorema bayes yang dapat digunakan untuk memprediksi probabilitas keanggotaan suatu kelas. Bayesian Classification terbukti memiliki akurasi dan kecepatan yang tinggi saat diaplikasikan ke dalam database yang besar [17]. Bentuk umum teorema bayes sebagai berikut : Dimana : X = data dengan kelas yang belum diketahui H = Hipotesa data X merupakan suatu kelas spesifik P(H X) = Probabilitas hipotesis H berdasarkan kondisi X (posterior probability) P(H) = probabilitas hipotesis H (prior probability) Naive bayes classifier mengestimasi peluang kelas bersyarat dengan mengasumsikan bahwa atribut adalah independen secara bersyarat yang diberikan dengan label kelas y. Asumsi independen bersyarat dapat dinyatakan dalam bentuk berikut [18]: P d X Y y P X i Y y i

30 14 dengan tiap set atribut X X, X, 2, terdiri dari d atribut. 1 X d [6]: Peluang bersyarat atribut kategorikal dinyatakan dalam bentuk Dimana A ij adalah jumlah contoh training dari kelas A i yang menerima nilai C j. Jika hasilnya adalah nol, maka menggunakan pendekatan yang dinyatakan dalam bentuk [24]: Dimana n adalah total dari jumlah record dari kelas C j. n c adalah jumlah contoh training dari kelas A i yang menerima nilai C j. n equiv adalah nilai konstan dari ukuran sampel yang equivalen. P adalah peluang estimasi prior, P=1/k dimana k adalah jumlah kelas dalam variable target. Peluang bersyarat atribut kontinu dinyatakan dalam bentuk [6]: Parameter ij dapat diestimasi berdasarkan sampel mean Ai untuk seluruh training record yang dimiliki kelas C j. Dengan cara sama, 2 2 ij dapat diestimasi dari sampel varian s Particle Swarm Optimization (PSO) training record tersebut. PSO adalah algoritma pencarian berbasis populasi yang diinisialisasi dengan populasi solusi acak dan digunakan untuk memecahkan masalah optimasi [20]. PSO adalah metode optimasi

31 15 heuristic global yang diperkenalkan oleh Dokter Kennedy dan Eberhart pada tahun 1995 berdasarkan penelitian terhadap perilaku kawanan burung dan ikan [19]. Setiap partikel dalam PSO juga dikaitkan dengan kecepatan partikel terbang melalui ruang pencarian dengan kecepatan yang dinamis disesuaikan untuk perilaku historis mereka. Oleh karena itu, partikel memiliki kecenderungan untuk terbang menuju daerah pencarian yang lebih baik dan lebih baik selama proses pencarian [20]. Rumus untuk menghitung perpindahan posisi dan kecepatan partikel yaitu [25]: Dimana : Vi (t) = kecepatan partikel i saat iterasi t X i (t) = posisi partikel i saat iterasi t c 1 dan c 2 = learning rates untuk kemampuan individu (cognitive) dan pengaruh sosial (group) r 1 dan r 2 = bilangan random yang berdistribusi uniformal dalam interval 0 dan 1 XPbest i = posisi terbaik partikel i XGbest = posisi terbaik global Cross validation Cross validation adalah teknik pengambilan sampel secara random yang menjamin setiap jumlah kemunculan data yang diamati dama dengan jumlah data training dan hanya sekali pada data testing

32 16 [16]. Dalam cross validation kita harus menetapkan jumlah partisi atau fold, standar yang biasa digunakan untuk memperoleh estimasi kesalahan terbaik adalah 10 kali partisi atau tenfold cross-validation [6]. Data dibagi secara random menjadi 10 bagian dengan perbandingan yang sama kemudian error rate dihitung bagian demi bagian, selanjutnya error rate secara keseluruhan diperoleh dari menghitung rata-rata error rate dari 10 bagian Gambar 2.2 Ilustrasi tenfold cross validation Confusion matrix Untuk melakukan evaluasi terhadap model klasifikasi berdasarkan perhitungan objek testing mana yang diprediksi benar dan tidak benar. Perhitungan ini ditabulasikan kedalam tabel yang disebut confusion matrix [6]. Confusion matrix merupakan data set hanya memiliki dua kelas, kelas yang satu sebagai positif dan kelas yang lain sebagai negatif. Terdiri dari empat sel yaitu True Positives (TP), False Positives (FP), True Negatives (TN) dan False Negatives (FN) [15].

33 17 Gambar 2.3 Confusion matrix untuk 2 model kelas [6] Untuk menghitung akurasi menggunakan rumus [6]: Tabel.2.2 Contoh confusion matrix Model NBC Kelas yang prediksi Kelas yang di amati Dari table di atas dapat dilakukan pengukuran akurasi model NBC sebagai berikut : Kurva ROC Kurva ROC menunjukan visualisasi dari akurasi model dan perbandingkan perbedaan antar model klasifikasi. ROC mengekspresikan confusion matrix [16]. ROC adalah grafik dua dimensi dengan false positives sebagai garis horizontal dan true positives untuk mengukur perbedaaan performasi metode yang digunakan. Kurva ROC adalah teknik untuk memvisualisasi dan menguji kinerja pengklasifikasian berdasarkan performanya [6]. Model klasifikasi yang lebih baik adalah yang mempunyai kurva ROC

34 18 lebih besar [16]. Performa keakurasian AUC dapat diklasifikasikan menjadi lima kelompok yaitu [6]: a = Sempurna b = Bagus c = Cukup d = Kurang e = Gagal Kerangka pemikiran Masalah (problem) dalam penelitian ini adalah algoritma NBC untuk kelayakan kredit kurang akurat. Untuk itu digunakan model (approach) algoritma PSO dalam seleksi atribut pada algoritma Naïve Bayes untuk meningkatkan akurasi. Desain penelitian menggunakan CRISP-DM dan RapidMiner digunakan untuk mengembangkan aplikasi model. Kemudian dilakukan pengujian terhadap kinerja dari algoritma NBC dan algoritma NBC berbasis PSO dengan menggunakan metode Cross Validation. Akurasi algoritma dukur dengan Confusion Matrix dan AUC diukur dengan kurva ROC. Dari hasil perbandingan nilai akurasi diketahui algoritma yang paling akurat.

35 19 Problem Algoritma Naive Bayes untuk kelayakan kredit kurang akurat Algoritma Naive Bayes Approach Algoritma Naive Bayes berbasis PSO pada seleksi atribut Implementation Data set German Data Desain Experimen CRISP-DM Development RapidMiner 5.3 Evaluation and Validation Cross Validation Confusion Matrix Kurva ROC Result Algoritma Naive Bayes berbasis PSO pada seleksi atribut lebih akurat dibanding Algoritma Naive Bayes tanpa PSO Gambar 2.4 Kerangka pemikiran

36 BAB III METODE PENELITIAN 3.1 Desain penelitian Metode yang digunakan dalam penelitian ini adalah model CRISP- DM, dengan langkah-langkah sebagai berikut : Pengumpulan data Pemahaman bisnis (Bussiness understanding) Keberhasilan kredit pada sebuah bank sangat berperan dalam menjaga kelangsungan hidup sebuah bank. Bank akan rugi jika tidak memanfaatkan dana yang sudah terhimpun dari masyarakat. Karena bank harus memberikan bunga kepada masyarakat. Pendapatan utama bank diharapkan berasal dari penyaluran kredit. Dalam kondisi keuangan yang sangat lemah dengan jumlah kredit bermasalah yang semakin besar, serta likuiditas yang semakin rendah dapat menyebabkan bank kesulitan untuk membiayai kegiatan usahanya [3]. Seperti yang tercantum pada harian suara merdeka yang terbit pada tanggal 18 Maret 2013 bahwa Lembaga Penjamin Simpanan (LPS) telah melakukan pencabutan izin usaha perbankan kepada 47 Bank Perkreditan Rakyat (BPR) dan 1 bank umum sejak tahun 2006 hingga 31 Desember 2012 [4]. Oleh karena itu analisa kelayakan kredit sangat penting dilakukan untuk mencegah jumlah kredit bermasalah yang semakin besar guna menjaga kelangsungan hidup sebuah bank. 20

37 Pemahaman data (Data understanding) Data yang digunakan pada penelitian ini berasal dari University of California, Irvine (UCI) Machine Learning dengan judul German Credit data. Data yang disediakan oleh Professor Dr. Hans Hofmann ini berjumlah 1000 record dan terdiri dari 20 atribut, dengan 7 atribut bertipe numerik dan 13 bertipe kategorikal. Data ini juga pernah digunakan sebagai data set penelitian oleh beberapa peneliti diantaranya adalah Jeroen Eggermont, Joost N. Kok dan Walter A. Kosters pada tahun 2004 dan Ke Wang, Shiyu Zhou, Ada Wai-Chee Fu dan Jeffrey Xu Yu pada tahun 2003 [21]. Gambar 3.1 Link public data set German data kredit Gambar 3.2 Data set dalam bentuk txt.

38 Pengolahan Data (Data preparation) Dalam tahap ini, data yang diperoleh dari UCI dalam bentuk text bertipe txt. untuk dapat digunakan pada RapidMiner, data tersebut harus diubah dalam bentuk sheet bertipe csv atau xls. Karena NBC tidak dapat menangani atribut numerik, maka dilakukan proses discretize by frequency sebelum melakukan pemodelan. Proses validasi menggunakan cross-validation, dengan sendirinya data akan dbagi menjadi dua, yaitu 1/10 digunakan sebagai data testing dan 9/10 untuk data training. Berikut langkah-langkah mengubah data set yang bertipe txt menjadi data set yang bertipe xlsx : 1. Buka Ms.Excel, pilih menu from text pada menu get external data seperti gambar 3.3 dibawah ini. Gambar 3.3 Import data dari file txt kedalam excel. 2. Pilih file data set yang akan dimasukkan kedalam Ms.Excel, kemudian klik Import.

39 23 Gambar 3.4 Jendela import file text 3. Klik tombol next. Gambar 3.5 Langkah 1 dari import file text

40 24 4. Klik space pada kolom delimiters, kemudian klik next. Gambar 3.6 Langkah 2 dari import file txt 5. Klik finish. Gambar 3.7 Langkah 3 dari import file txt.

41 25 6. Klik OK. Gambar 3.8 Jendela import data. Gambar 3.9 Tampilan data set pada excel sheets. 7. Kemudian sisipkan 1 baris untuk memasukkan nama dari masing-masing atribut.

42 Gambar 3.10 Tampilan akhir data set pada excel sheets 26

43 27 Tabel 3.1 Data set German Kredit Data setelah diubah ke bentuk Sheet bertipe xlsx. A B C D E F G H I J K L M N O P Q R S T U A11 6 A34 A A65 A75 4 A93 A101 4 A A143 A152 2 A173 1 A192 A201 1 A12 48 A32 A A61 A73 2 A92 A101 2 A A143 A152 1 A173 1 A191 A201 2 A12 12 A32 A A61 A72 3 A92 A101 1 A A143 A151 1 A173 1 A191 A201 2 A11 42 A32 A A61 A74 2 A93 A103 4 A A143 A153 1 A173 2 A191 A201 1 A11 24 A33 A A61 A73 3 A93 A101 4 A A143 A153 2 A173 2 A191 A201 2 A14 36 A32 A A65 A73 2 A93 A101 4 A A143 A153 1 A172 2 A192 A201 1 A11 24 A34 A A61 A75 4 A93 A101 4 A A143 A152 2 A172 1 A191 A201 2 A12 36 A32 A A61 A73 2 A93 A101 2 A A143 A151 1 A174 1 A192 A201 1 A14 24 A34 A A65 A75 4 A93 A101 4 A A143 A152 2 A173 1 A191 A201 2 Keterangan : A = status of existing checking account J = other debtors/guarantors S = telephone B = duration in mounth K = Present residence since T = foreign work C = credit history L = property U = credit status D = purpose M = age E = credit amount N = Other installment plans F = savings account O = Housing G = present employment since P = existing credits at this bank H = instalment of disposable income Q = job I = personal status n sex R = number of people being liable to provide maintenance for

44 Pemodelan (Modelling) Terdapat dua metode yang digunakan yaitu algoritma NBC dan algoritma NBC yang dikombinasikan dengan algoritma PSO pada seleksi atribut. Untuk membandingkan atau mengkomparasi dalam penelitian ini akan menggunakan framework RapidMiner versi 5.3 sehingga akan ditemukan algoritma mana yang paling akurat. German Credit Data (UCI) Preprocessing Atribut Wieghting PSO New Data Set Model Naïve bayes Training Data Training Data Trained Model Confusion Matrix Testing Data Testing Data Curva ROC Compare Accuracy Gambar 3.11 Model yang di usulkan Gambar 3.11 merupakan model keseluruhan dari penelitian ini yang terdiri dari model NBC dan model NBC-PSO. Model NBC-PSO yang lebih rinci dapat dilihat pada gambar 3.2 dibawah ini.

45 29 NBC no Start Transformasi numerik ke nominal Identifikasi populasi sampel Hitung P(C i ) untuk setiap kelas Inisialisasi posisi setiap partikel atribut ke-j yes jmax? Hitung P(X Ci), i=1,2 untuk setiap kelas no no PSO Evaluasi nilai fungsi tujuan setiap partikel; t=t+1 F(x i (t)) > Pbest? F(x i (t)) > Gbest? Update kecepatan dan posisi partikel yes Pbest = F(x i (t)); Xpbest i = x i (t) yes Gbest = F(x i (t)); X Gbest = x i (t) no P(X C 1 )> P(X C 2 )? no konvergen? Kesimpulan C 2 yes Kesimpulan C 1 yes Hitung atribut weight; j=j+1 Finish Gambar 3.12 Model NBC-PSO yang diusulkan Data dari atribut numerik diubah menjadi nominal, kemudian identifikasi populasi sampel dari data set. Hitung P(C i ) untuk setiap kelas, dalam kasus data set pada penelitian ini terdiri dari 2 kelas yaitu kredit baik yang dinyatakan dengan 1 dan kredit buruk yang dinyatakan dengan 2.

46 30 Inisialisasi posisi setiap partikel atribut ke-j merupakan awal dari tahap pembobotan atribut dengan PSO. Langkah selanjutnya adalah evaluasi nilai fungsi tujuan dari setiap partikel untuk mendapatkan posisi terbaik (Pbest) dan posisi global terbaik (Gbest), kemudian update kecepatan dan posisi partikel. Ulangi langkah evaluasi nilai fungsi tujuan sampai mencapai konvergen, kemudian Gbest = bobot atribut ke-j. Cek apakah nilai j sudah maksimal, jika belum ulangi langkah-langkah dari inisialisasi posisi setiap partikel atribut ke-j sampai menemukan bobot atribut ke-j. Ulangi langkah tersebut sampai nilai j sudah maksimal atau semua atribut sudah terbobot. Kemudian hitung P(X Ci), i=1,2 untuk setiap kelas atau atribut. Setelah itu bandingkan, jika P(X C 1 ) > P(X C 2 ) maka kesimpulannya adalah C 1 atau dalah kasus pada penelitian ini bearti kredit baik. Jika P(X C 1 ) < P(X C 2 ) maka kesimpulannya C 2 atau kredit buruk Model NBC Berikut perhitungan manual NBC dengan menggunakan data set pada table 3.1 jika data terakhir dijadikan data training: Gambar 3.13 Penjelasan data training dan data testing. a. Menghitung jumlah kelas dari klasifikasi yang terbentuk

47 31 P (U= 1 ) = jumlah nilai 1 pada kolom kelas U = 4/8 P (U= 2 ) = jumlah nilai 2 pada kolom kelas U = 4/8 b. Menghitung jumlah kasus yang sama dari kelas yang sama Gambar 3.14 Contoh mencari P(A= A14 U= 1 ) P (A= A14 U= 1 ) = 1/4 P (A= A14 U= 2 ) = 0, karena hasil 0 maka perlu melakukan pendekatan estimasi peluang seperti : P (B= 24 U= 1 ) = 0, karena hasil 0 maka perlu melakukan pendekatan estimasi peluang seperti : P (B= 24 U= 2 ) = 1/2 P (C= A34 U= 1 ) = 1/4 P (C= A34 U= 2 ) = 1/4 P (D= A43 U= 1 ) = 1/4 P (D= A43 U= 2 ) = 1/4 Variable E bersifat kontinu, maka menggunakan prediksi numerik seperti ;

48 P (F= A65 U= 1 ) = 1/2, P (F= A65 U= 2 ) = 0, karena hasil 0 maka perlu melakukan pendekatan estimasi peluang seperti : P (G= A75 U= 1 ) = 1/4 P (G= A75 U= 2 ) = 1/4 P (H= 4 U= 1 ) = 1/4 P (H= 4 U= 2 ) = 1/4 P (I= A93 U= 1 ) = 1 P (I= A93 U= 2 ) = 1/2 P (J= A101 U= 1 ) = 3/4 P (J= A101 U= 2 ) = 1 P (K= 4 U= 1 ) = 3/4 P (K= 4 U= 2 ) = 1/2 P (L= A122 U= 1 ) = 1/4 P (L= A122 U= 2 ) = 0, karena hasil 0 maka perlu melakukan pendekatan estimasi peluang seperti : Variable M bersifat kontinu, maka menggunakan prediksi numerik seperti ;

49 P (N= A143 U= 1 ) = 1 P (N= A143 U= 2 ) = 1 P (O= A152 U= 1 ) = 1/4 P (O= A152 U= 2 ) = 1/2 P (P= 2 U= 1 ) = 1/4 P (P= 2 U= 2 ) = 1/2 P (Q= A173 U= 1 ) = 1/2 P (Q= A173 U= 2 ) = 3/4 P (R= 1 U= 1 ) = 1/2 P (R= 1 U= 2 ) = 3/4 P (S= A191 U= 1 ) = 1/4 P (S= A191 U= 2 ) = 1 P (T= A201 U= 1 ) = 1 P (T= A201 U= 2 ) = 1 c. Kalikan semua hasil variable P(X U= 1 ) = ¼ x 0,033 x ¼ x ¼ x (2,838 x 10-7 ) x ½ x ¼ x ¼ x 1 x ¾ x ¾ x ¼ x 0,023 x 1 x ¼ x ¼ x ½ x ½ x ¼ x 1 = 5,78 x P(X U= 2 ) = 0,067 x ½ x ¼ x ¼ x 0,00014 x 0,1 x ¼ x ¼ x ½ x 1 x ½ x 0,05 x 0,016 x 1 x ½ x ½ x ¾ x ¾ x 1 x 1 = 5,15 x P(X U= 1 ) P (U= 1 ) = 5,78 x x 4/8 = 2,89 x P(X U= 2 ) P (U= 2 ) = 5,15 x x 4/8 = 2,575 x 10-14

50 34 d. Bandingkan hasil kelas P(X U= 1 ) P (U= 1 ) < P(X U= 2 ) P (U= 2 ) Kesimpulan : U = 2 (Sesuai dengan table 3.1) Model NBC berbasis PSO Langkah-langkah perhitungan weighting PSO pada NBC seperti dibawah ini, misalnya atribut B pada table 3.1 : a. Diketahui P(C 1 ) = P(U= 1 ) = 4/8 ; n = 4; X 1 = 6; X 2 = 42; X 1 = 36; X 1 = 36; F(X i (t)) = P(X C i ) Ʃ P(X ~C i ); b. Evaluasi nilai fungsi tujuan setiap partikel F 1 (0) = ¼ - 0 = 0,25 F 2 (0) = ¼ - 0 = 0,25 F 3 (0) = ½ - 0 = 0, 5 F 4 (0) = ½ - 0 = 0, 5 c. V 1 (0) = V 2 (0) = V 3 (0) = V 4 (0) = 0; XPbest 1 = 6; XPbest 2 = 42; XPbest 3 = 36; XPbest 4 = 36; Gbest= 0,5; XGbest = 36; c 1 = c 2 = 1; r 1 = 0,1 dan r 2 = 0,5. Hitung kecepatan dan perpindahan posisi partikel V 1 (1) = 0 + 0,1(6-6) + 0,5(36-6) = 15 V 2 (1) = 0 + 0,1(42-42) + 0,5(36-42) = -3 V 3 (1) = 0 + 0,1(6-6) + 0,5(36-36) = 0 V 4 (1) = 0 + 0,1(6-6) + 0,5(36-36) = 0 X 1 (1) = 6+15 = 21 X 2 (1) = 42+(-3) = 39 X 3 (1) = 36+0 = 36 X 4 (1) = 36+0 = 36 d. Evaluasi nilai fungsi tujuan sekarang pada partikel xj(1) F 1 (1) = F(21) = 0;

51 35 F2(1) = F(39) = 0; F3(1) = F(36) = 0,5; F4(1) = F(36) = 0,5; Nilai dari F dari iterasi sebelumnya tidak ada yang lebih baik sehingga Pbest untuk masing-masing partikel sama dengan nilai x-nya. Gbest = 0,5 ; XGbest = 36. e. Menghitung P(B= 24 U= 1 ) dengan penambahan bobot atribut B yaitu dari hasil Gbest = 0,5 f. Ulangi langkah a-e sampai semua atribut terbobot kemudian dilanjutkan langkah NBC dari penghitungan P(X C i ) sampai akhir Validasi dan evaluasi Dalam tahap ini dilakukan validasi dan pengukuran keakuratan hasil yang dicapai oleh model menggunakan beberapa teknik yang terdapat dalam framework RapidMiner versi 5.3 yaitu confusion matrix dan kurva ROC untuk pengukuran akurasi model, dan cross-validation untuk validasi. Tabel 3.2 Confusion matrik NBC NBC True range1 ( ) True range2 ( ) pred range1 ( ) pred range2 ( ) Dari table tersebut dapat dihitung akurasinya sebagai berikut :

52 Penyebaran (Deployment) Hasil penelitian ini adalah analisa yang mengarah ke Decission Suport System (DSS) untuk dapat digunakan oleh bank pada saat menentukan apakah nasabah yang mengajukan kredit disetujui atau tidak. 3.2 Alat penelitian Dalam penelitian ini penulis menggunakan spesifikasi software dan hardware sebagai alat bantu dalam penelitian yang tercantum pada table 3.3 dibawah ini. Tabel 3.3 Spesifikasi hardware Software Hardware Sistem operasi : Windows 7 Prosesor : Intel(R) Core(TM)2Duo Ultimate CPU 2.26Ghz Data mining : RapidMiner versi RAM : 2.00 GB

53 BAB IV HASIL DAN PEMBAHASAN 4.1 Validasi dan Evaluasi Tujuan utama penelitian ini adalah untuk mengetahui nilai akurasi dari algoritma NBC dan NBC berbasis PSO pada pembobotan atribut yang digunakan untuk menangani kelayakan kredit bank. Kemudian membandingkan kedua algoritma tersebut sehingga dapat diperoleh salah satu algoritma yang terbaik. Untuk menentukan akurasi dari setiap algoritma, penelitian ini menggunakan metode validasi tenfold cross-validation. Desain model NBC yang terdapat pada RapidMiner seperti gambar 4.1. Gambar 4.1 Desain model validasi NBC Retrieve berfungsi untuk memasukan data set ke dalam RapidMiner. Discretize untuk mengubah isi dari atribut numerik menjadi nominal, karena 37

54 38 NBC tidak dapat menangani atribut numerik. Model ini menggunakan Dizcretize by frequency yaitu transformasi atribut numerik menjadi atribut nominal oleh operator frekuensi yang menciptakan kelompok rentang terbaik sehingga jumlah nilai yang unik dalam kelompok rentang hampir sama. Validation menggunakan tenfold cross-validation. Didalam validation terdapat dua kolom, training dan testing. Didalam kolom training terdapat algoritma klasifikasi yang diterapkan yaitu Naive Bayes, sedangkan di dalam kolom testing terdapat Apply Model untuk menjalankan algoritma/model Naive Bayes dan Performance untuk mengukur performa dari model Naive Bayes tersebut. Sedangkan desain model NBC berbasis PSO pada pembobotan atribut pada Rapidminer dapat dilihat pada gambar 4.2 Gambar 4.2 Desain model validasi NBC berbasis PSO

55 39 Optimize Weights (PSO) untuk menerapkan algoritma PSO pada pembobotan atribut. Didalam Optimize Weights (PSO) terdapat Validation yang menggunakan tenfold cross-validation. Didalam validation terdapat dua kolom, training dan testing. Didalam kolom training terdapat algoritma klasifikasi yang diterapkan yaitu Naive Bayes, sedangkan di dalam kolom testing terdapat Apply Model untuk menjalankan algoritma/model Naive Bayes dan Performance untuk mengukur performa dari model Naive Bayes tersebut. 4.2 Hasil percobaan dan pengujian metode NBC range1 [- - 19] range2 [19 - NBC tidak dapat menangani atribut numerik, sehingga data atribut numerik di transformasi ke nominal dengan proses yang disebut discretize. Hasil dari discretize by frequency terlihat pada tabel 4.1. Kemudian hasil percobaan dengan algoritma NBC dapat dilihat pada table 4.2. Tabel 4.1 Contoh hasil transformasi numerik ke nominal dari German data. B E H K M P R U range1 [- range2 range2 range2 range2 range1 - [ [ [ [1.500 [ ] ] ] - ] - ] 1.500] ] range1 [- - 19] range2 [19 - ] range2 [19 - ] range2 [ ] range1 [ ] range2 [ ] range2 [ ] range1 [ ] range1 [ ] range1 [ ] range1 [ ] range1 [ ] range1 [ ] range2 [ ] range2 [ ] range1 [ ] range2 [ ] range2 [ ] range2 [ ] range1 [ ] range1 [ ] range1 [ ] range1 [ ] range1 [ ] range2 [ ] range2 [ ] range2 [ ] range1 [ ] range2 [ ] range1 [ ] range1 [ ] range1 [ ] Keterangan : B = duration in mounth

56 40 E = credit amount H = instalment of disposable income K = Present residence since M = Age P = existing credits at this bank R= number of people being liable to provide maintenance for U = credit status Masing-masing atribut dikelompokan menjadi 2 rentang. Atribut B terdiri dari range1 [- - 19] dan range2 [19 - ]. Atribut E terdiri dari range1 [ ] dan range2 [ ], dan seterusnya. Tabel 4.2 Hasil akurasi dan AUC dari NBC. NBC Accuracy Confusion matrix (%) 73,70 Accuracy AUC 0,774 Time (s) 1 Hasil di atas menunjukan algoritma NBC yang diterapkan pada data set german kredit data menghasilkan nilai akurasi confusion matrix sebesar 73,70% dan akurasi AUC 0,774 dalam selang waktu 1 detik NBC-PSO Pertama, dilakukan uji coba dengan memberi nilai pada parameter population size antara dan maximum number of generation 100 bernilai konstan. Population size adalah jumlah individual pada tiap generasi, sedangkan maximum number of generation adalah jumlah generasi maksimum untuk menghentikan jalannya algoritma. Terdapat 13 hasil dari percobaan tersebut seperti yang tercantum pada table 4.3 dibawah ini.

57 Percentage of Accuracy 41 Table 4.3 Percobaan 1 menggunakan population size maximum number of generation 100. Population size Accuracy Confusion Matrix AUC Time 10 77,30% 0,778 0:00: ,60% 0,774 0:03: ,50% 0,776 0:06: ,70% 0,782 0:11: ,30% 0,782 0:14: ,60% 0,771 0:17: ,70% 0,773 0:21: ,80% 0,771 0:26: ,80% 0,772 0:26: ,70% 0,777 0:36: ,80% 0,772 0:39: ,90% 0,776 0:46: % 77.80% 77.70% 77.60% 77.50% 77.40% 77.30% 77.20% 77.10% 77.00% 76.90% 76.80% 76.70% 76.60% 76.50% 77.30% 76.60% Accuracy Confusion matrix 77.80% 77.80% 77.70% 77.80% 77.70% 77.60% 77.50% 77.30% 77.00% 76.90% 76.70% Population size Gambar 4.3 Grafik hasil akurasi confusion matrix pada percobaan 1 dengan maximum number of generation 100 dan population size

58 42 Hasil nilai akurasi tertinggi pada percobaan dengan maximum number of generation bernilai 100 adalah 77,80 % yaitu pada saat population size bernilai 350, 400, dan 550. Pada table 4.3 terlihat bahwa dari 3 nilai population size yang menghasilkan nilai akurasi tertinggi, waktu eksekusi terendah terjadi pada saat population size bernilai 350. Maka terpilih nilai population size terbaik adalah 350 dengan hasil akurasi 77,80 % dan AUC 0,771. Selanjutnya dilakukan percobaan dengan population size bernilai tetap 350 dan maximum number of generation bernilai Table 4.4 Percobaan 2 menggunakan population size 350 dan maximum number of generation Maximum number of generation Accuracy AUC Time ,80% 0,771 0:26: ,80% 0,771 0:53: ,80% 0,770 1: 39: ,00% 0,778 2:06: ,00% 0,778 2:32: ,80% 0,771 2:58: ,00% 0,778 3:21: ,00% 0,778 3:46: ,00% 0,778 4:01: ,00% 0,778 4:24: ,00% 0,778 5:10: ,90% 0,774 5:38: ,90% 0,774 5:54: ,00% 0,778 6:34:36 Hasil akurasi tertinggi dengan population size bernilai 350 adalah 78,00 % yaitu terjadi pada saat maximum number of generation bernilai 500, 600, 800, 900, 1000, 1100, 1200, dan Pada tabel 4.4 terlihat bahwa dari beberapa nilai maximum number of generation yang menghasilkan akurasi tertinggi, waktu eksekusi

59 Percentage of Accuracy 43 terendah terjadi pada saat maximum number of generation bernilai % 78.00% 77.80% 77.60% Accuracy 78.00% 78.00% 78.00% 78.00% 77.90% 77.80% 77.80% 78.00% 78.00% 78.00% 78.00% 77.90% 77.80% 77.80% 77.80% 77.40% 77.20% 77.00% Maximum number of generation Gambar 4.4 Grafik hasil akurasi percobaan 2 dengan population size 350 dan maximum number of generation Gambar 4.4 menunjukkan hasil akurasi dari maximum number of generation 500 sampai 1500 sudah konvergen. Artinya hasil akurasi sudah maksimal, jika dilakukan percobaan lagi dengan maximum number of generation lebih dari 1500 maka akan terjadi overfiting (kelebihan iterasi) yang berdampak pada meningkatnya waktu eksekusi sedangkan hasil akurasi tidak meningkat. Dengan demikian diketahui bahwa algoritma NBC-PSO menghasilkan nilai akurasi terbaik pada saat population size bernilai 350 dan maximum number of generation bernilai 500 yaitu akurasi bernilai 78,00 % dan AUC 0,778 dengan waktu eksekusi 2 jam 6 menit 49 detik. Tabel 4.5 Hasil komparasi NBC dan NBC-PSO Perbandingan NBC NBC-PSO Akurasi confusion matrix (%) 73,70 78,00 Akurasi AUC 0,774 0,778 Waktu eksekusi 1 s 2 h. 6 m. 49 s

60 Tingkat Akurasi Tingkat Akurasi 44 Table 4.5 merupakan hasil akhir percobaan. Memperlihatkan perbandingan akurasi dan AUC antara algoritma NBC dan algoritma NBC-PSO % 78.00% 77.00% 76.00% 75.00% 74.00% 73.00% 72.00% 71.00% Perbandingan Akurasi NBC, 73.70% Akurasi (%) NBC-PSO, 78.00% Gambar 4.5 Grafik hasil perbandingan akurasi dari NBC dan NBC- PSO Grafik diatas menunjukan akurasi NBC-PSO 78,00%, angka tersebut lebih tinggi 4,30% dari NBC yang hanya 73,70%. Hal ini membuktikan PSO dapat meningkatkan akurasi NBC Perbandingan Area Under Curve (AUC) NBC, AUC NBC-PSO, Gambar 4.6 Grafik hasil perbandingan AUC dari NBC dan NBC- PSO

61 Waktu Eksekusi (s) 45 Grafik diatas menunjukkan AUC dari NBC 0,774. Sedangkan AUC dari NBC-PSO 0,004 lebih tinggi yaitu 0, Perbandingan Waktu Eksekusi NBC-PSO, NBC, Gambar 4.7 Grafik perbandingan waktu eksekusi dari NBC dan NBC-PSO Dalam grafik tersebut perbedaan waktu eksekusi sangat jelas terlihat. NBC hanya memerlukan waktu eksekusi 1 detik sedangkan NBC-PSO membutuhkan waktu 7609 detik. Pembobotan atribut diperlukan karena tidak semua atribut mempunyai pengaruh terhadap hasil akurasi. Hasil dari pembobotan atribut oleh PSO pada saat hasil akurasi terbaik dapat dilihat pada tabel 4.5. Table 4.6 Hasil pembobotan atribut Atribut Bobot status of existing checking account duration in mounth 1 credit history 1 Purpose 0 credit amount 0 savings account 1 present employment since 1 instalment of disposable income 1

62 46 Atribut Bobot personal status n sex 0 other debtors/guarantors 1 Present residence since 0 Property 1 Age 1 Other installment plans 0 Housing 0 existing credits at this bank 1 Job 0 number of people being liable to provide maintenance for 1 Telephone 1 foreign work 1 Terdapat 7 atribut yang bobotnya bernilai 0 atau tidak berpengaruh terhadap akurasi yaitu tujuan dari pengajuan kredit (purpose), jumlah kredit yang diajukan (credit amount), jenis kelamin (personal status of sec), lama waktu bertempat tinggal (present residence since), rencana angsuran lain (Other installment plans), status tempat tinggal (housing), dan pekerjaan (job). Beberapa atribut tersebut jika dihilangkan tidak mempengarui hasil akurasi. Bobot dari atribut yang bernilai 1 dangat mempengaruhi hasil akurasi. Terdapat 12 atribut yang bobotnya 1 yaitu jangka waktu kredit (Duration in mounth), sejarah kredit pribadi (credit history), uang yang disimpan (saving amount), lama menjadi karyawan (present employment since), pengasilan tambahan tak terduga (instalment of disposable income), pinjaman lain (other debtor); property, umur (age), masih ada tidaknya kredit dalam bank (existing credit at this bank), jumlah orang yang menjadi tanggungan (number of people being liable to provide maintenance for), telephone, status kepegawaian luar negeri atau domestik (foreign work).

63 Weight Atribut Gambar 4.8 Grafik hasil pembobotan atribut NBC-PSO

64 BAB V PENUTUP 5.1 Kesimpulan Pada penelitian ini dilakukan pemodelan menggunakan algoritma NBC dan NBC-PSO dengan menggunakan data nasabah bank yang akan mengajukan kredit. Fokus penelitian ini adalah penerapan algoritma PSO pada pembobotan atribut teknik klasifikasi data mining NBC. Validasi model menggunakan 10fold cross-validation dan evaluasi model menggunakan confusion matrix dan kurva ROC. Hasil penelitian menunjukan bahwa model NBC-PSO memiliki akurasi yang lebih baik dengan 78,00 % dibandingkan model NBC dengan akurasi 77,80 %. Namun waktu eksekusi NBC-PSO lebih lama dengan 2 jam 6 menit 49 detik, sedangkan NBC hanya 1 detik. Dari 20 atribut terdapat 7 atribut mempunyai bobot 0, 12 atribut mempunyai bobot 1 dan 1 atribut mempunyai bobot 0,519. Sehingga atribut yang berbobot 0 dapat dihilangkan karena tidak mempunyai pengaruh pada akurasi kelayakan kredit bank. Dengan demikian terbukti bahwa PSO yang diterapkan pada pembobotan atribut NBC meningkatkan nilai akurasi. Hal ini menjadikan NBC-PSO memberikan pemecahan untuk permasalahan kelayakan kredit bank lebih akurat. 5.2 Saran Proses penelitian ini mendapatkan banyak hambatan seperti terbatasnya data penelitian dan perangkat keras yang digunakan, untuk penelitian selanjutnya terdapat beberapa saran sebagai berikut : 48

65 49 1. Agar waktu eksekusi lebih cepat dapat menggunakan perangkat keras dengan spesifikasi hardware yang lebih baik seperti intel core i 7 dan RAM 4Gb. 2. Penelitian ini mengkomparasikan algoritma NBC dan NBC yang dikombinasikan dengan PSO untuk pembobotan atribut, untuk penelitian selanjutnya dapat dikembangkan dengan menggunakan algoritma klasifikasi lain seperti Decission Tree, Suport Vector Machine (SVM), Neural Network yang dikombinasikan dengan algoritma PSO atau algoritma optimasi lain seperti Ant Colony Optimization (ACO), Genetic Algorithm (GA), Adaboost, atau algoritma optimasi lainnya. 3. Penelitian ini menggunakan public data set German Data dari UCI Machine learning repository, untuk penelitian selanjutnya dapat dikembangkan dengan menggunakan data set lain untuk menguji kehandalan model yang diusulkan.

66 DAFTAR PUSTAKA [1] Utari D, G.A., Arimurti, T., dan Kurniati, I.K (2012). Pertumbuhan Kredit Optimal, Buletin Ekonomi Moneter dan Perbankan. Oktober [2] Guidici, P., and Figini, S (2009). Applied Data Mining for Business and Industry. 2 nd ed. United Kingdom: A John Wiley And Sons, Ltd., Publication. [3] Triandaru, S,. dan Budisantoso, T (2009). Bank dan Lembaga Keuangan Lain. Edisi kedua. Jakarta : Salemba Empat. [4] 731/LPS-Likuidasi-47-Bank, diakses tanggal 26 Maret [5] Witten, I. H., Frank, E., and Hall, M. A. (2011). Data Mining Practical Machine Learning Tools And Techniques. Burlington, Usa: Morgan Kaufmann Publishers. [6] Gorunescu, F. (2011). Data Mining Concepts,Models And Techniques. Verlag Berlin Heidelberg: Springer. [7] Wu, Xindong and Kumar, Vipin. (2009). The Top Ten Algorithms in Data Mining. Boca Raton: CRC Press. [8] Zonneveldt, S.A., Korb, K.B., and Nicholson, A.E. Bayesian network classifiers for the German credit data [9] Correa,E.S., Freitas, A.A., dan Johnson, C.G (2008). Particle Swarm for Attribute Selection in Bayesian Classification: An Application to Protein Function Prediction, Journal of Artificial Evolution and Applications. Volume Computing Laboratory and Center for Biomedical Informatics, University of Kent. [10] Devi, S., Jagadev, A.K., Dehuri, S., and R.Mall (2009). Knowledge Discovery from Bio-medical Data Using a Hybrid PSO/Bayesian Classifier, International Journal of Computing Science and Communication Technologies. VOL. 2, NO. 1, July

67 [11] Leidiyana, H (2012). Komparasi Algoritma Klasifikasi Data Mining Dalam Penentuan Resiko Kredit Kepemilikan Kendaraan Bermotor. Tesis Magister Ilmu Komputer. Sekolah Tinggi Managemen Informatika dan Komputer Nusa Mandiri. [12] Masripah, S (2011). Algoritma Klasifikasi C4.5 Berbasis Particle Swarm Optimization Untuk Evaluasi Penentuan Kelayakan Pemberian Kredit Koperasi Syariah. Tesis Magister Ilmu Komputer. Sekolah Tinggi Managemen Informatika dan Komputer Nusa Mandiri. [13] Handayanna, F (2012). Penerapan Particle Swarm Optimization Untuk Seleksi Atribut Pada Metode Support Vector Machine Untuk Prediksi Penyakit Diabetes. Tesis Magister Ilmu Komputer. Sekolah Tinggi Managemen Informatika dan Komputer Nusa Mandiri. [14] Larose, D. T. (2005).Discovering Knowledge in Data. New Jersey: John Willey & Sons, Inc. [15] Bramer, Max. (2007). Principles of Data Mining. London: Springer. [16] Vercellis, Carlo (2009). Business Intelligent: Data Mining and Optimization for Decision Making. Southern Gate, Chichester, West Sussex: John Willey & Sons, Ltd. [17] Kusrini,&Luthfi, E. T. (2009).Algoritma Data Mining. Yogyakarta: Andi Publishing. [18] Rachli, M (2007). Filtering Menggunakan Naïve Bayesian. Tugas akhir. Program Studi Teknik Elektro. Institut Teknologi Bandung, [19] J. Kennedy and R. C. Eberhart. Particle swarm optimization. In Proceedings of the 1995 IEEE International Conference on Neural Networks. IEEE Service Center, Piscataway, [20] Abraham, A., Grosan, C., & Ramos, V. (2006). Swarm Intelligence In Data Mining. Verlag Berlin Heidelberg: Springer. [21] di akses pada tanggal 26 Maret

68 [22] Puspitasari, M dan Singgih, M.L (2011). Analisa dan Perbaikan Sistem Evaluasi Kelayakan Pengambilan Kredit di Bank Syariah X, Prosiding Seminar Nasional Manajemen Teknologi XIII Program Studi MMT-ITS 5 Feb. Surabaya. [23] Undjila, H (2012). Penerapan Metode Profile Matching untuk Menentukan Kelayakan Pemberian Kredit Sepeda Motor. Skripsi Sarjana Komputer. Universitas Negeri Gorontalo. [24] Larose, D. T. (2006).Data Mining Methods and Models. New Jersey: John Willey & Sond, Inc. [25] Lin, J dan Yu, J (2009). Weighted Naïve Bayes classification algorithm based on particle swarm optimization. Yunnan University of Finance and Economics Yunnan Kunming, China. 52

69 LAMPIRAN Lampiran 1 Akurasi confusion matrix dari NBC Lampiran 2 Kurva ROC dari NBC 53

70 Lampiran 3 Akurasi confusion matrix dari NBC-PSO Lampiran 4 Kurva ROC dari NBC-PSO 54