Metode Ensemble pada CART untuk Perbaikan Klasifikasi Kemiskinan di Kabupaten Jombang

Transkripsi

1 1 Metode Ensemble pada CART untuk Perbaikan Klasifikasi Kean di Kabupaten Jombang Muhammad Jamal Muttaqin, Bambang W. Otok, dan Santi Puteri Rahayu Jurusan Statistika, Fakultas MIPA, Institut Teknologi Sepuluh Nopember (ITS) Jl. Arief Rahman Hakim, Surabaya Abstrak CART (Classification and Regression Tree) merupakan salah satu metode klasifikasi nonparametrik yang populer digunakan di berbagai bidang. Metode tersebut dinilai mampu menghadapi berbagai kondisi data. Guna memperbaiki prediksi dari pohon klasifikasi CART, dikembangkan metode ensemble yang mengkombinasikan banyak pohon klasifikasi untuk menentukan prediksi klasifikasi. Dua metode ensemble yang terlebih dahulu populer adalah Bagging (bootstrap aggregating) dan Boosting sedangkan yang dikembangkan terbaru adalah Random Forest. Pada penelitian ini, ingin dibandingkan kinerja ketiga metode ensemble tersebut dalam memperbaiki akurasi klasifikasi dari CART. Sedangkan kasus yang digunakan dalam penelitian ini adalah klasifikasi kean di Kabupaten Jombang pada tingkatan rumah tangga. Data sampel keseluruhan berjumlah 1971 rumah tangga dengan kelas dan sangat dimana jumlah antara rumah tangga dan rumah tangga sangat tidak berimbang (imbalanced). Data sampel rumah tangga berjumlah 1353 sedangkan data sampel rumah tangga sangat berjumlah 618 dengan perbandingan 2,19:1. Hasil analisis menunjukkan bahwa akurasi semua metode klasifikasi bagus untuk kelas rumah tangga. Namun, akurasi klasifikasi kelas sangat oleh pohon klasifikasi CART bernilai sangat rendah yaitu 5,02%, sedangkan semua metode ensemble memberikan akurasi yang lebih baik. Akurasi Bagging CART dalam prediksi kelas sangat sebesar 19,26%, Boosting CART 75,89%, dan yang terbaik adalah Random Forest yaitu 94,66%. Adapun berdasarkan kecepatan akurasi klasifikasi metode ensemble untuk mencapai konvergen, Bagging CART merupakan metode terbaik. Kata Kunci CART, Ensemble, Bagging, Boosting, Random Forest, klasifikasi, kean I. PENDAHULUAN ART (Classification And Regression Trees) merupakan C salah satu metode klasifikasi nonparametrik berupa pohon keputusan. Metode ini telah digunakan dalam penyelesaian masalah di berbagai bidang seperti bidang kesehatan, marketing, sosial, finansial, dan lain sebagainya. Metode ini mampu menghadapi berbagai kondisi data dimana beberapa kelebihannya ialah mampu mengeksplorasi data berdimensi tinggi dengan komputasi yang efisien, dapat digunakan pada kombinasi data kontinu maupun kategorik, serta interpretasi yang mudah dilakukan [1]. Ensemble merupakan metode dengan ide melakukan kombinasi dari banyak classifier tunggal dimana hasil prediksi masing-masing classifier digabungkan menjadi prediksi akhir melalui proses voting mayoritas. Metode ensemble dikembangkan untuk meningkatkan akurasi prediksi klasifikasi [2]. Penelitian sebelumnya menunjukkan bahwa metode ensemble seringkali menghasilkan prediksi yang lebih akurat dibandingkan dengan classifier tunggal. Pada penelitian ini dilakukan analisis mengenai identifikasi penentuan status rumah tangga dengan pohon klasifikasi CART serta analisis metode ensemble dengan CART sebagai classifier pada kasus klasifikasi rumah tangga di Kabupaten Jombang. Bagging (bootstrap aggregating) dan Boosting merupakan metode ensemble yang relatif baru namun telah menjadi populer. Bagging dikembangkan oleh Breiman pada Tahun 1996 sedangkan Boosting dikembangkan Freund dan Schapire pada tahun yang sama. Jika dibandingkan dengan pohon klasifikasi tunggal, prediksi Bagging hampir selalu lebih akurat namun kadang tidak lebih akurat dibanding Boosting. Sedangkan pada Boosting, walaupun kadang lebih akurat dibanding Bagging, namun bisa juga kurang akurat dibandingkan pohon klasifikasi tunggal. Performa Boosting sangat tergantung pada karakteristik data sehingga akurasi klasifikasi sangat bervariasi [3]. Salah satu metode ensemble yang terbaru ialah Random Forest yang dikembangkan dari proses Bagging. Random Forest pertama kali dikenalkan oleh Breiman pada Tahun Kelebihan ensemble ini ialah lebih cepat dalam proses iterasi komputasi [4] dan [5]. Berbagai penelitian tentang kean dan kesejahteraan di Indonesia telah banyak dilakukan. [6] melakukan penelitian mengenai ukuran kesejahteraan keluarga untuk penargetan kean di beberapa daerah. Kesimpulan penelitian tersebut menunjukkan bahwa ukuran kesejahteraan keluarga berbedabeda untuk tiap daerah. Sedangkan penelitian mengenai klasifikasi kean dengan metode ensemble pernah dilakukan oleh [7] dan [8]. [7] melakukan penelitian tentang klasifikasi kesejahteraan rumah tangga di Provinsi Jawa Tengah dengan metode CART sebagai classifier yang disim-pulkan bahwa karakteristik utama rumah tangga ialah pekerjaan di bidang pertanian, rendahnya pendidikan, serta banyaknya anggota rumah tangga dengan akurasi klasifikasi CART sebesar 66,4%. Metode ensemble Arcing yang dilakukan dapat meningkatkan akurasi klasifikasi sebesar 12,7% menjadi

2 2 79,1%. Sedangkan [8] melakukan klasifikasi kean di Provinsi Jawa Timur dengan Boosting MARS yang disimpulkan bahwa karakteristik yang menentukan daerah ialah penggunaan jamban, rata-rata lama sekolah, sektor pekerjaan, dan angka melek huruf suatu daerah. Metode ensemble Boosting yang dilakukan dapat meningkatkan akurasi MARS yang semula sebesar 89,47% menjadi 97,37%. Pada penelitian ini, dilakukan penerapan CART pada status kean rumah tangga di Kabupaten Jombang. Selain itu, dilakukan juga analisis ensemble Bagging CART, Boosting CART, dan Random Forest untuk dibandingkan metode mana yang memiliki kinerja paling baik. II. TINJAUAN PUSTAKA A. Classification and Regression Trees (CART) CART merupakan salah satu metode Machine Learning yang dikembangkan oleh [9]. Metode pohon keputusan ini merupakan teknik klasifikasi dengan algoritma penyekatan rekursif biner dimana pemilahan dilakukan pada sekelompok data yang terkumpul dalam suatu ruang yang disebut simpul menjadi dua simpul anak. Setiap simpul anak kemudian dapat dipilah kembali menjadi dua simpul anak lagi, dan begitu seterusnya sampai memenuhi kriteria tertentu. Pemilah simpul ditentukan berdasarkan kriteria variabel yang paling mampu memilah sedemikian hingga simpul anak menjadi lebih homogen dibanding simpul awal. Kriteria pemilahan terbaik diukur dari Indeks Gini dimana formulanya dituliskan sebagai berikut: i( t) = p( j t) p( i t), i j i, j= 1 dimana p(j t) ialah proporsi kelas j pada simpul t dan p(i t) ialah proporsi kelas i pada simpul t. Evaluasi pemilahan digunakan goodness of split φ(s,t) dari pemilah s pada simpul t didefinisikan sebagai penurunan heterogenitas: φ (,) st = it () pit L ( L) pit R ( R) dimana i(t) = fungsi heterogenitas pada simpul t p L = proporsi pengamatan simpul kiri p R = proporsi pengamatan menuju simpul kanan i(t L ) = fungsi heterogenitas pada simpul anak kiri i(t R ) = fungsi heterogenitas pada simpul anak kanan. Pemilah yang menghasilkan φ(s,t) lebih tinggi merupakan pemilah terbaik karena mereduksi heterogenitas lebih tinggi. B. Metode Ensemble Metode ensemble dikembangkan dengan harapan dapat meningkatkan akurasi klasifikasi dari sebuah classifier tunggal. Ide dasarnya adalah dengan menggunakan banyak classifier dari metode yang sama dan kemudian meng-kombinasikannya melalui proses voting untuk memperoleh dugaan klasifikasi akhir [2]. C. Bagging Bagging merupakan akronim dari Bootstrap Aggregatting yang dikenalkan oleh [10] dengan tujuan mereduksi varians prediktor. Ide dasar metode ensemble ini adalah menggunakan resampling acak dengan pengembalian pada dataset awal sehingga diperoleh dataset baru untuk membangkitkan pohon klasifikasi dengan banyak versi yang kemudian dikombinasikan untuk memperoleh prediksi akhir. Kombinasi banyak versi pohon klasifikasi diharapkan dapat memperbaiki akurasi klasifikasi dari pohon klasifikasi tunggal. Voting Gambar 1. Ilustrasi Bagging CART D. Boosting Boosting merupakan sebuah keluarga ensemble yang meliputi banyak algoritma, dimana AdaBoost merupakan salah satu yang paling populer. Boosting secara umum berfokus untuk membuat sebuah deret pohon klasifikasi. Dataset yang digunakan pada setiap pohon klasifikasi bergantung pada pohon klasifikasi sebelumnya dan fokus pada data yang salah diprediksi. Data yang salah diprediksi akan diperbaiki terus menerus oleh pohon klasifikasi - pohon klasifikasi selanjutnya. [11] menyatakan bahwa Boosting merupakan salah satu metode ensemble yang paling baik. Berikut merupakan algoritma AdaBoost.M1 untuk klasifikasi biner: Input: Dataset D = {(x 1, y 1 ), (x 2, y 2 ),..., (x m, y m )} Algoritma Base Learning L; Jumlah replikasi R; Proses: (i) Inisialisasi bobot sampel data D 1 (i) = 1/m (ii) Untuk r = 1,..., R: a. Lakukan prediksi h r untuk dataset D yang telah diboboti D r : h r = L(D, D r ) b. Hitung bobot D r dari data yang salah diklasifikasikan ε r c. Hitung bobot voting 1 1 ε ln r αr = 2 ε r d. Perbaharui bobot sampel data Dr () i exp( αr), hr( xi) = yi Zr Dr + 1() i = Dr () i exp( αr), hr( xi) yi Zr dimana Z r merupakan faktor normalisasi agar m i= 1 D r+ 1 () i = 1 Prediksi 1 Prediksi 2 Prediksi R CART 1 CART 2 CART R (iii) selesai Output: Voting prediksi klasifikasi akhir: R H ( x) = sign αrhr( x) ( r= 1 ) Dataset 1 Dataset 2 Dataset R Ilustrasi AdaBoost.M1 ditunjukkan pada Gambar 2 sebagai berikut:

3 3 Voting Gambar 2. Boosting CART E. Random Forest [12] menyatakan bahwa Random Forest dikembangkan dengan ide bahwa perlu ada penambahan layer dari proses resampling acak pada Bagging. Selain data sampel yang diambil secara acak untuk membentuk pohon klasifikasi, pada Random Forest variabel prediktor juga diambil sebagian secara acak dan baru dipilih sebagai pemilah terbaik saat penentuan pemilah pohon. Berikut merupakan ilustrasi Random Forest. Voting Gambar 3. Random Forest Prediksi 1 Prediksi 2 Prediksi R Prediksi 1 Prediksi 2 Prediksi R CART 1 CART 2 Dataset 1 Dataset 2 CART R CART 1 (prediktor acak) CART 2 (prediktor acak) Dataset R F. Konsep Kean Kean menurut BPS adalah ketidakmampuan untuk memenuhi standar minimum kebutuhan dasar, baik makanan maupun bukan makanan [13]. Inti dari model pengukuran versi BPS adalah membandingkan tingkat konsumsi penduduk baik makanan maupun nonmakanan dengan garis kean yaitu jumlah rupiah untuk konsumsi per orang per bulan. CART R (prediktor acak) Dataset 1 Dataset 2 Dataset R [14] menjelaskan indikator kean yang digunakan BPS ada 14 variabel yaitu luas bangunan tempat tinggal, jenis lantai, jenis dinding, fasilitas Buang Air Besar, sumber air minum, sumber penerangan, jenis bahan bakar untuk memasak, frekuensi makan sehari, kemampuan membeli daging/ayam/ susu dalam seminggu, kemampuan membeli pakaian baru bagi setiap ART, kemampuan berobat ke puskesmas/poliklinik, lapangan pekerjaan kepala rumat tangga, pendidikan kepala rumah tangga, dan kepemilikan asset. Pada penelitian-penelitian yang telah dilakukan, [15] mengungkapkan bahwa sebagian besar rumah tangga tinggal di desa, bekerja di sektor pertanian, sifat pekerjaan adalah informal serta status pekerjaan sebagai pekerja keluarga yang tidak di bayar. Sedangkan [7] dalam penelitiannya menunjukkan bahwa faktor yang paling mempengaruhi kean adalah lapangan usaha kepala rumah tangga, pendidikan kepala rumah tangga, dan jumlah anggota rumah tangga. III. METODOLOGI PENELITIAN Data yang digunakan dalam penelitian ini adalah data sekunder. Data diperoleh dari hasil Survey Verifikasi Rumah Tangga Miskin Kabupaten Jombang Tahun Survey tersebut dirancang oleh Badan Perencanaan Pembangunan (Bappeda) Kabupaten Jombang untuk mengumpulkan data berkaitan tentang karakteristik rumah tangga di kabupaten tersebut. Data sampel keseluruhan berjumlah 1971 dimana jumlah antara rumah tangga dan rumah tangga sangat tidak berimbang (imbalanced). Data sampel rumah tangga berjumlah 1353 sedangkan data sampel rumah tangga sangat berjumlah 618 dimana perbandingannya 2,19 : 1. Tabel 1 merupakan variabel yang digunakan pada penelitian ini. Variabel Definisi Operasional Keterangan Tabel 1: Variabel Penelitian y Status kean rumah tangga 1: rumah tangga sangat -1: rumah tangga x1 Status penguasaan bangunan tempat tinggal a: milik sendiri c: bebas sewa b: kontrak/sewa d: rumah dinas e: rumah milik orangtua/saudara x2 Luas kavling termasuk bangunan (m 2 ) - x3 Luas lantai (m 2 ) - x4 Jenis atap terluas a: beton b: genteng c: kayu sirap d: seng e: asbes f: ijuk/rumbia x5 Jenis dinding terluas a: tembok c: bambu b: kayu d: lainnya x6 Jenis lantai terluas a: keramik/marmer/granit c: semen/bata merah e: bambu g: lainnya b: ubin/tegel/teraso d: kayu/papan f: tanah x7 Tempat buang air besar (jamban) a: milik sendiri b: milik bersama c: umum d: tidak ada x8 Tempat pembuangan air tinja a: septictank c: sungai/waduk e: tanah lapang/kebun b: kolam/sawah d: lubang tanah f: lainnya x9 Sumber penerangan utama a: listrik PLN meteran c: listrik non PLN b: listrik PLN bukan meteran (menumpang, dsb.) d: bukan listrik x10 Sumber air minum a: air dalam kemasan c: pompa e: mata air g: lainnya b: ledeng d: sumur f: air sungai x11 Bahan bakar memasak a: listrik c: minyak tanah e: kayu bakar b: gas/elpiji d: arang kayu/tempurung f: lainnya x12 Pengobatan a: RS/puskesmas/pustu c: praktik paramedic e: lainnya b: praktik dokter d: praktik pengobatan tradisional x13 Ijazah terakhir kepala keluarga a: tidak punya b: SD/setara c: SLTP/setara d: SLTA/setara e: perguruan tinggi x14 Penghasilan tiap bulan (Rp) -

4 4 Sebelum dilakukan analisis, terlebih dahulu dilakukan preprocessing data. Data missing berskala nominal dan ordinal akan diisi dengan nilai modus sedangkan data missing berskala rasio akan diisi dengan nilai mean. Pada analisis ensemble, replikasi yang dilakukan ialah sebanyak 20 kali. Analisis dilakukan dengan membandingkan kinerja klasifikasi Bagging CART, Boosting CART, dan Random Forest. Perbandingan akurasi klasifikasi dilakukan berdasarkan 1-APER 20 replikasi, sensitivity, specificity, G-means, dan luas AUC. 1-APER menunjukkan akurasi klasifikasi keseluruhan. Sensitivity menunjukkan akurasi klasifikasi untuk kelas sangat sedangkan specificity menunjukkan akurasi klasifikasi untuk kelas. Akurasi prediksi juga dapat diukur dari nilai G-means dimana biasa digunakan untuk mengukur permasalahan data imbalanced dengan formula sebagai berikut. G-means = sensitivity specificity Keseimbangan akurasi prediksi untuk tiap kelas juga dapat diukur dengan menghitung luasan di bawah kurva ROC. Adapun kurva ROC merupakan kurva yang menggambarkan koordinat antara sensitivity dan 1-specificity. Sedangkan perbandingan kecepatan akurasi klasifikasi untuk mencapai konvergen digunakan standar deviasi 1-APER. Statistik Press s Q juga digunakan untuk menguji signifikansi prediksi klasifikasi yang dibandingkan dengan nilai kritis yang diperoleh dari distribusi Chi-Square derajat bebas 1 pada tingkat signifikansi 0,01. IV. HASIL DAN PEMBAHASAN Output CART yang berupa pohon keputusan setelah diterapkan pada klasifikasi kean di Kabupaten Jombang ditunjukkan pada Gambar 4. Berdasarkan pohon klasifikasi tersebut diketahui bahwa dari 14 variabel, variabel yang digunakan sebagai pemilah pohon klasifikasi CART dan paling menentukan status kean rumah tangga secara berurutan adalah penghasilan kepala rumah tangga tiap bulan (x14), luas lantai bangunan tempat tinggal (x3), luas kavling termasuk bangunan (x2), dan sumber air minum (x10). x14< 2.125e Kepala rumah tangga memiliki penghasilan per-bulan kurang dari Rp Kepala rumah tangga memiliki penghasilan per-bulan lebih dari Rp ; luas lantai bangunan tempat tinggal lebih dari atau sama dengan 4,5m 2 ; sumber air minum selain pompa. 3. Kepala rumah tangga memiliki penghasilan per-bulan antara Rp sampai Rp ; luas lantai bangunan tempat tinggal lebih dari atau sama dengan 13,5m 2 ; sumber air minum pompa. 4. Kepala rumah tangga memiliki penghasilan per-bulan lebih dari Rp ; luas lantai bangunan tempat tinggal kurang dari 4,5m 2 ; luas kavling termasuk bangunan kurang dari 49m 2. Sedangkan kriteria rumah tangga sangat terbagi menjadi 3 simpul dengan karakteristik sebagai berikut: 1. Kepala rumah tangga memiliki penghasilan per-bulan lebih dari Rp ; luas lantai bangunan tempat tinggal lebih dari atau sama dengan 13,5m 2 ; sumber air minum pompa. 2. Kepala rumah tangga memiliki penghasilan per-bulan lebih dari Rp ; luas lantai bangunan tempat tinggal antara 4,5m 2 sampai 13,5m 2 ; sumber air minum pompa. 3. Kepala rumah tangga memiliki penghasilan per-bulan lebih dari Rp ; luas lantai bangunan tempat tinggal kurang dari 4,5m 2 ; luas kavling termasuk bangunan lebih dari 49m 2. Hasil perhitungan klasifikasi menunjukkan bahwa 1-APER pohon klasifikasi CART bernilai 0,6986 atau dengan kata lain, data sampel yang tepat diklasifikasikan secara keseluruhan sebanyak 69,86%. Lebih detil, akurasi klasifikasi perlu diperhatikan untuk tiap kelas, mengingat data yang digunakan bersifat imbalanced. Sensitivity pohon klasifikasi CART bernilai 0,0502 yang artinya hanya 5,02% data sampel rumah tangga sangat tepat diklasifikasikan sangat. Adapun specificity bernilai 0,9948 yang artinya sebanyak 99,48% rumah tangga tepat diklasifikasikan. Hasil akurasi klasifikasi tersebut menunjukkan bahwa CART hanya bagus dalam mengklasifikasikan rumah tangga. Sedangkan akurasi klasifikasi untuk kelas rumah tangga sangat sangat rendah. Selanjutnya, metode ensemble digunakan untuk memperbaiki akurasi klasifikasi CART. 432/141 x3>=4.5 Tabel 2. Ukuran Kinerja Metode Klasifikasi Akurasi CART Bagging Boosting Random Forest x10=abdefg x2< 49 1-APER 0,6986* 0,7438* (0,014) 0,9006* (0,069) 0,9812* (0,039) 770/363 x3>= /9 sanga 0/11 Sensitivity 0,0502 0,1926 0,7589 0,9466 Specificity 0,9948 0,9956 0,9653 0, /74 x14< 8.75e+05 sangat 3/9 Gambar 4. Pohon Klasifikasi Kean sangat 4/11 Berdasarkan Gambar 4, kriteria rumah tangga terbagi menjadi 4 simpul dengan karakteristik sebagai berikut: G-Means 0,2234 0,4378 0,8559 0,9715 Luas AUC 0,568 0,872 0,967 0,999 Keterangan:* Statistik Press s Q signifikan ( ) Standar deviasi Tabel 2 menunjukkan bahwa secara umum, metode ensemble dengan 20 pohon klasifikasi memiliki nilai 1-APER lebih besar dibanding CART. Hal tersebut berarti bahwa metode ensemble mampu meningkatkan akurasi klasifikasi CART

5 5 secara umum. Sedangkan akurasi metode ensemble juga lebih baik dalam memprediksi kelas sangat yang tampak dari nilai sensitivity yang lebih besar. Metode ensemble yang paling baik dalam prediksi kelas sangat ialah Random Forest dimana sensitivity bernilai 0,9466 atau tepat memprediksi kelas sangat sebesar 94,66%, jauh lebih baik dari akurasi pohon klasifikasi CART. Keseimbangan akurasi prediksi untuk tiap kelas dapat diukur dari nilai G-means. Aspek ini perlu diperhitungkan karena metode klasifikasi cenderung baik dalam memprediksi kelas dengan data sampel yang lebih banyak namun buruk dalam memprediksi kelas dengan data sampel sedikit. Berdasarkan Tabel 2 nampak bahwa pohon klasifikasi CART memiliki G-means bernilai 0,2234. Sedangkan semua metode ensemble dengan 20 pohon klasifikasi memiliki nilai G-means yang lebih besar dibanding CART yang artinya akurasi prediksi metode ensemble cenderung lebih seimbang dalam melakukan prediksi di tiap kelas. Adapun metode ensemble yang paling baik dalam memprediksi data sampel dilihat dari G-means ialah Random Forest dimana nilai G-means sebesar 0,9715. Gambar 5. Kurva ROC Metode Klasifikasi Kemampuan metode klasifikasi dalam melakukan prediksi pada data imbalanced juga dapat diketahui dari luasan di bawah kurva ROC (AUC). Semakin luas AUC, maka semakin baik metode klasifikasi dalam melakukan prediksi data imbalanced. Berdasarkan Tabel 2 dapat diketahui bahwa Luas AUC pohon klasifikasi CART sebesar 0,568. Adapun semua metode ensemble dengan 20 pohon klasifikasi yang diteliti memiliki luas AUC yang lebih besar. Sedangkan Random Forest merupakan metode ensemble yang memiliki luas AUC terbesar yaitu 0,999. Artinya, Random Forest lebih baik dalam memprediksi data imbalanced dimana lebih mampu untuk memprediksi kelas baik untuk kelas dengan data sampel banyak maupun sedikit. Kecepatan akurasi prediksi untuk mencapai konvergen diukur dari standar deviasi 1-APER. Ukuran ini merupakan indikator berapa pohon yang dibutuhkan untuk mencapai akurasi klasifikasi yang konvergen. Semakin kecil standar deviasi 1-APER, maka semakin cepat mencapai akurasi yang konvergen atau semakin sedikit pohon klasifikasi yang dibutuhkan untuk mencapai akurasi yang konvergen. Berdasarkan stabilitas akurasi prediksi, Bagging CART merupakan metode ensemble terbaik. Bagging CART memiliki standar deviasi 1-APER paling kecil yaitu sebesar 0,014. Artinya, Bagging CART lebih cepat mencapai akurasi prediksi yang konvergen atau membutuhkan jumlah pohon klasifikasi yang lebih sedikit untuk mencapai akurasi yang konvergen. Hal ini diperkuat dari Gambar 6. Pada gambar, nampak bahwa akurasi Bagging CART telah mencapai konvergen dengan 6 pohon klasifikasi, sedangkan Random Forest baru mencapai kovergen pada jumlah pohon 14 dan Boosting CART baru mencapai konvergen dengan 15 pohon klasifikasi. 1-APER Ensemble Bagging Boosting RF Jumlah Pohon Gambar 6. 1-APER Metode Ensemble V. KESIMPULAN Penerapan pohon klasifikasi CART untuk klasifikasi rumah tangga di Kabupaten Jombang menunjukkan bahwa variabel yang digunakan sebagai pemilah pohon klasifikasi CART dan paling menentukan status kean rumah tangga secara berurutan adalah penghasilan kepala rumah tangga tiap bulan (x14), luas lantai bangunan tempat tinggal (x3), luas kavling termasuk bangunan (x2), dan sumber air minum (x10). Berkaitan dengan akurasi klasifikasi, data sampel yang tepat diklasifikasikan secara keseluruhan sebesar 69,86%. Namun, akurasi prediksi pohon klasifikasi CART untuk kelas sangat hanya sebesar 5,02%. Secara umum, metode ensemble menghasilkan akurasi klasifikasi yang lebih baik dibandingkan dengan pohon klasifikasi CART. Bagging CART mampu meningkatkan 1- APER pohon klasifikasi CART sebesar 4,52%, Boosting CART sebesar 20,19%, dan Random Forest sebesar 28,26%. Adapun untuk peningkatan akurasi pada kelas sangat yang ditunjukkan oleh nilai sensitivity, Bagging CART mampu meningkatkan akurasi 14,24%, Boosting CART 70,87%, dan Random Forest 89,64%. Dibandingkan dengan metode ensemble lain, Random Forest lebih baik dalam akurasi prediksi klasifikasi dilihat dari 1-APER, sensitivity, specificity, G-means, dan luas AUC. Berkaitan dengan stabilitas akurasi prediksi, metode ensemble terbaik adalah Bagging CART yang artinya lebih cepat mencapai akurasi konvergen atau paling sedikit memerlukan pohon klasifikasi untuk mencapai akurasi prediksi yang konvergen.

6 6 DAFTAR PUSTAKA [1] Timofeev, (2004). Classification And Regression Trees (CART) Theory and Applications. Thesis Ph.D. Humboldt University, Berlin. [2] Wezel, M.V. dan Potharst, R., (2007). Improved Customer Choice Predictions using Ensemble Methods. European Journal of Operational Research, Vol. 181, hal [3] Opitz, D. dan Maclin, R., (1999). Popular Ensemble Methods: An Empirical Study. Journal of Artificial Intelligence Research, Vol. 11, hal [4] Chan, J.C.W. dan Paelinckx, D. (2008), Evaluation of Random Forest and Adaboost Tree-based Ensemble Classification and Spectral Band Selection for Ecotope Mapping using Airborne Hyperspectral Imagery, Remote Sensing of Environment, Vol. 112, hal [5] Gislason, P.O., Benediktsson, J.A., dan Sveinsson, J.R. (2006), Random Forest for Land Cover Classification, Pattern Recognition Letters, Vol. 27, hal [6] Suryadarma, D., Akhmad, H., dan Nina, T., (2005). Ukuran Obyektif Kesejahteraan Keluarga untuk Penargetan Kean: Hasil Uji Coba Sistem Pemantauan Kesejahteraan oleh Masyarakat di Indonesia. SMERU, Jakarta. [7] Aeni, E.Q., (2009). Pendekatan CART Arcing untuk Klasifikasi Kesejahteraan Rumah Tangga di Propinsi Jawa Tengah. Tesis Magister. Institut Teknologi Sepuluh Nopember, Surabaya. [8] Permatasari, E.O., (2013). Pendekatan Boosting Multivariate Adaptive Regression Spline (MARS) untuk Klasifikasi Kean di Propinsi Jawa Timur. Tesis Magister. Institut Teknologi Sepuluh Nopember, Surabaya. [9] Breiman, L., Friedman, J., Olshen, R., dan Stone, C., (1993). Classification and Regression Trees. Chapman Hall, New York - London. [10] Breiman, L., (1994). Bagging Predictors, Technical Report No University of California, California. [11] Cao, D.S, Xu, Q.S., Liang, Y.Z, Zhang, L.X, dan Li, H.D., (2010). The Boosting: A New Idea of Building Models. Chemometrics and Intelligent Laboratory Systems, Vol. 100, hal [12] Liaw, A. dan Wiener, M. (2002), Classification and Regression by Random Forest, R News, Vol. 2, hal [13] Cahyat, A. (2004), Bagaimana Kean diukur? Beberapa Model Penghitungan Kean di Indonesia, Governance Brief CIFOR, No.2, hal.1-8. [14] Kementrian Komunikasi dan Informatika RI. (2011), Program Penanggulangan Kean Kabinet Indonesia Bersatu II. Kementrian Komunikasi dan Informatika RI Direktorat Jenderal Informasi dan Komunikasi Publik. [15] Rusastra, I.W. dan Napitupulu, T.A., (2007). Karakteristik Wilayah dan Keluarga Miskin di Pedesaan: Basis Perumusan dan Intervensi Kebijakan. Pusat Analisis Sosial Ekonomi Pertanian, Bogor.