Bab IV Eksperimen. 4.1 Dataset. 4.2 Kakas

Transkripsi

1 Bab IV Eksperimen 4.1 Dataset Eksperimen dilakukan dengan menggunakan 28 buah dataset yang diambil dari UCI dataset repository. LAMPIRAN B berisi mengenai properti dari 28 buah dataset yang digunakan dalam eksperimen. Properti-properti tersebut adalah jumlah instance, jumlah kelas, jumlah atribut nominal, jumlah atribut numerik, serta jumlah missing values. 4.2 Kakas Kakas yang digunakan untuk melakukan eksperimen adalah aplikasi yang dibangun dengan menggunakan NetBeans 5.0, JDK 1.5.0, dan WEKA Aplikasi ini dibangun dengan menggunakan library dari WEKA ditambah dengan implementasi delegating classifiers. Library yang berasal dari WEKA adalah sebagai berikut: 1. weka.classifiers.trees.j48 2. weka.classifiers.meta.adaboostm1 3. weka.classifieris.meta.bagging 4. weka.classifiers.evaluation 5. weka.attributeselection 6. weka.core 7. weka.estimators 8. weka.filters Aplikasi menerima masukan berupa arsip data latih, jenis classifier yang ingin dibentuk beserta parameter-parameter sesuai dengan jenis classifier-nya, dan nilai k- fold cross validation. Aplikasi akan memberikan keluaran berupa model dari classifier yang terbentuk dan hasil dari k-fold cross validation. IV-1

2 IV Skenario Eksperimen Masing-masing dari 28 buah dataset digunakan untuk membangun single classifier, multi-classifiers dengan menggunakan bagging dengan jumlah base classifier 10 dan 20 buah, multi-classifiers dengan menggunakan boosting dengan jumlah base classifier 10 dan 20 buah, serta delegating classifiers 1% dengan jumlah base classifier 20 buah dan delegating classifiers 2% dengan jumlah base classifier 10 buah. Dengan demikian, dari 28 buah dataset tersebut akan dihasilkan 196 buah classifier. Masing-masing dari 196 buah classifier yang dihasilkan akan diukur performansinya dengan cara menghitung rata-rata nilai AUC (Area Under ROC Curve) dari 20x5- folds cross validation yang dilakukan. ROC (Receiver Operating Curve) merupakan sebuah teknik yang digunakan untuk memvisualisasikan performansi dan memilih classifier berdasarkan performansinya. ROC merupakan sebuah grafik dua dimensi dimana nilai true positive menjadi sumbu Y dan nilai false positive menjadi sumbu X. ROC menggambarkan trade-off relatif antara true positive dan false positive. AUC merupakan daerah di bawah kurva ROC. Nilai AUC ekuivalen dengan probabilitas sebuah classifer akan memilih instance positif secara acak lebih tinggi daripada memilih instance negatif secara acak. Semakin besar area di bawah kurva ROC yang dimiliki oleh suatu classifier maka nilai AUC yang dimilikinya pun semakin besar dan performansinya pun semakin baik. [FAW04] Setiap 5- folds Cross Validation yang dilakukan akan menghasilkan nilai AUC untuk setiap kelas yang ada pada dataset. Rata-rata dari nilai AUC untuk setiap kelas akan menjadi nilai AUC sebuah 5- folds cross validation. Karena 5- folds cross validation dilakukan sebanyak 20 kali maka rata-rata nilai AUC dari 20 kali 5- folds cross validation inilah yang digunakan sebagai nilai akurasi dari sebuah classifier. Pengukuran nilai efisiensi didapat dari waktu yang dibutuhkan untuk melakukan pembelajaran dan 20x5-folds cross validation dari setiap classifier.

3 IV Hasil Eksperimen Tabel IV-1 Nilai rata-rata AUC untuk setiap classifier yang dihasilkan Dataset C4.5 Del2% Bag10 Boos10 Del1% Bag20 Boos20 Balance Scale Breast Cancer WDBC Breast Cancer WIS CMC Dermatology Hayes-Roth Heart-Disease o o House Cong. Voting o o Iris o o MONK's MONK's MONK's New Thyroid Segmentation Teach. A. Eval Tic-Tac-Toe Wine Recognition Spect Cars OptDigits Spam Thyroid Sick Eu Credit Approval Yeast Indian Diabetes Ionosphere Ecoli AutoImports o Mean Tabel IV-1 berisi nilai akurasi yang merupakan nilai AUC dari setiap classifier yang dihasilkan untuk masing-masing dataset. Kolom pertama berisi nama-nama dari dataset yang digunakan. Kolom kedua berisi nilai AUC untuk single classifier, kolom ketiga berisi nilai AUC untuk delegating classifiers 2% dengan 10 buah base classifier, kolom keempat berisi nilai AUC untuk bagging dengan 10 buah base

4 IV-4 classifier, kolom kelima berisi nilai AUC untuk boosting dengan 10 base classifier, kolom keenam berisi nilai AUC untuk delegating classifiers 1% dengan 10 buah base classifier, kolom ketujuh berisi nilai AUC untuk bagging dengan 20 base classifier, kolom kedelapan berisi nilai AUC untuk boosting dengan 20 base classifier. Nilai akurasi yang ditandai dengan ( ) menunjukkan bahwa akurasi classifier tersebut terjadi peningkatan yang signifikan secara statistik, sedangkan nilai akurasi yang ditandai dengan ( ) menunjukkan bahwa akurasi classifier tersebut terjadi penurunan yang signifikan secara statistik. Perbandingan nilai akurasi ini dilakukan terhadap akurasi C4.5 (single classifier) dengan menggunakan t-test 99% significance. Masingmasing nilai AUC yang dihasilkan pada setiap iterasi 5-folds cross validation dapat dilihat pada LAMPIRAN C. Gambar IV-1 merupakan grafik yang menunjukkan waktu untuk melakukan pembelajaran guna membentuk classifier. Sedangkan Gambar IV-2 merupakan grafik yang menunjukkan waktu yang dibutuhkan bagi masing-masing classifier untuk melakukan pengetesan yaitu melakukan 20x5-folds cross validation waktu (milidetik) jumlah instance C4.5 Del2% Bag10 Boos10 Del1% Bag20 Boos20 Gambar IV-1 Grafik waktu pembelajaran

5 IV waktu (milidetik) jumlah instance C4.5 Del2% Bag10 Boos10 Del1% Bag20 Boos20 Gambar IV-2 Grafik waktu 20x5-folds cross validation Waktu untuk melakukan pembelajaran dan 20x5-folds cross validation yang dibutuhkan oleh masing-masing dataset untuk setiap classifier dapat dilihat pada LAMPIRAN D. 4.5 Analisa Hasil Eksperimen Tabel IV-2 Jumlah classifier yang terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance C4.5 Del2% Bag10 Boos10 Del1% Bag20 Boos20 C Del2% Bag Boos Del1% Bag Boos Tabel IV-2 berisi jumlah classifier yang terdapat pada baris terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance dari classifier yang terdapat pada kolom. Dari tabel Tabel IV-2 dapat dilihat bahwa : dari 28 delegating classifiers terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance dari nilai akurasi single classifier.

6 IV-6 2. Seluruh 28 multi-classifiers yang menggunakan bagging terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance dari nilai akurasi single classifier dari 28 multi-classifiers yang menggunakan boosting dengan 10 dan 20 base significance dari nilai akurasi single classifier. 4. Hanya 9 dari 28 delegating classifiers 2% terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance dari nilai akurasi multi-classifiers yang menggunakan boosting. 5. Seluruh 28 multi-classifiers yang menggunakan bagging dengan 20 buah base significance dari nilai akurasi multi-classifiers yang menggunakan boosting. 6. Hanya 3 dari 28 buah single classifier terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance dari nilai akurasi multi-classifiers yang menggunakan boosting. 7. Hanya 1 dari 28 buah single classifier terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance dari nilai akurasi dari delegating classifiers 2% dari 28 buah multi-classifiers yang menggunakan bagging dengan 10 buah significance dari nilai akurasi delegating classifiers 2% dari 28 buah multi-classifiers yang menggunakan bagging dengan 10 buah significance dari nilai akurasi delegating classifiers 1% dari 28 buah multi-classifiers yang menggunakan bagging dengan 20 buah significance dari nilai akurasi delegating classifiers dari 28 buah multi-classifiers yang menggunakan boosting terjadi peningkatan akurasi yang signifikan berdasarkan t-test 99% significance dari nilai akurasi delegating classifiers 1% dari 28 buah multi-classifiers yang menggunakan boosting dengan 10 buah significance dari nilai akurasi delegating classifiers 2%.

7 IV dari 28 buah multi-classifiers yang menggunakan boosting dengan 20 buah significance dari nilai akurasi delegating classifiers 2%. 14. Seluruh 28 multi-classifiers yang menggunakan bagging dengan 10 buah base significance dari nilai akurasi multi-classifier yang menggunakan boosting dengan 10 buah base classifier. 15. Seluruh 27 multi-classifiers yang menggunakan bagging dengan 20 buah base significance dari nilai akurasi multi-classifier yang menggunakan boosting dengan 20 buah base classifier.