Data Mining Pengklasifikasian: Konsep Dasar, Pohon Keputusan, and Evaluasi Model. Pengklasifikasian: Definisi. Catatan Kuliah untuk Bab 4

Transkripsi

1 Data Mining Pengklasifikasian: Konsep Dasar, Pohon Keputusan, and Evaluasi Catatan Kuliah untuk Bab 4 Pengantar Data Mining oleh Tan, Steinbach, Kumar dialihbahasakan oleh Tim Pengajar Konsep Data Mining Universitas Gunadarma Pengklasifikasian: Definisi Diberikan koleksi dari records (training set ) Setiap record terdiri dari himpunan atribute, dimana salah satu attributes adalah suatu kelas. Cari suatu model untuk atribut kelas sebagai fungsi nilai dari atribut lainnya. Tujuan: record yang sebelumnya tak terlihat harus ditujukan sebagai kelas seakurat mungkin. Suatu himpunan test digunakan untuk menentukan keakurasian model. Biasanya, himpunan data yang diberikan dibagi ke dalam himpunan training dan himpunan test, dimana himpunan training digunakan untuk membentuk model dan himpunan set digunakan untuk memvalidasi model tersebut. Tan,Steinbach, Kumar Introduction to Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Ilustrasi Penugasan Pengklasifikasian Contoh Penugasan Pengklasifikasian 1 Large 125K 2 Medium 0K 3 Small 70K Learning algorithm Memprediksi tingkat keganasan suatu sel tumor (ganas atau tidak ganas) 4 Medium 120K 5 Large 95K 6 Medium 60K 7 Large 220K 8 Small 85K 9 Medium 75K Small 90K Training Set 11 Small 55K? 12 Medium 80K? 13 Large 1K? 14 Small 95K? 15 Large 67K? Induction Deduction Learn Apply Pengklasifikasian jenis legitimasi kartu kredit Pengklasifikasian struktur sekunder dari protein ( alpha-helix, beta-sheet, atau random coil) Pengkategorian jenis berita (berita keuangan, cuaca, hiburan, olahraga, dll) Test Set Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/2004 4

2 Teknik Pengklasifikasian Contoh Pohon Keputusan Metode berbasis Pohon Keputusan (Decision Trees) Metode berbasis Aturan (Rule-based Methods) Memory based reasoning Jaringan Syaraf (Neural Networks) Naïve Bayes dan Bayesian Belief Networks Support Vector Machines Tid Marital kategorik kategorikl 1 Single 125K 2 0K 3 Single 70K 4 120K 5 Divorced 95K 6 60K 7 Divorced 220K 8 Single 85K 9 75K Single 90K kontinu kelas Pembagian (splitting) Atribut Training Data : Pohon Keputusan Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Contoh Lain Pohon Keputusan Penugasan Pengklasifikasian pada Pohon Keputusan kategorik Tid Marital kategorik 1 Single 125K 2 0K 3 Single 70K kontinu kelas Single, Divorced 1 Large 125K 2 Medium 0K 3 Small 70K 4 Medium 120K 5 Large 95K 6 Medium 60K 7 Large 220K 8 Small 85K 9 Medium 75K Learn 4 120K Small 90K 5 Divorced 95K 6 60K 7 Divorced 220K 8 Single 85K 9 75K Single 90K Terdapat lebih dari satu pohon yang sesuai pada data yang sama (fits) the same data! 11 Small 55K? 12 Medium 80K? 13 Large 1K? 14 Small 95K? 15 Large 67K? Apply Pohon Keputusan Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/2004 8

3 penerapan pada penerapan pada Memulai dari akar pohon Marital Marital 80K? 80K? Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/2004 Penerapan pada Penerapan pada Marital Marital 80K? 80K? Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/

4 Penerapan pada Penerapan pada Marital Marital 80K? 80K? Assign to Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Penugasan Pengklasfikasian pada Pohon Keputusan Induksi Pohon Keputusan 1 Large 125K 2 Medium 0K 3 Small 70K 4 Medium 120K 5 Large 95K 6 Medium 60K 7 Large 220K 8 Small 85K 9 Medium 75K Small 90K Learn Algoritma yang berkaitan: Algoritma Hunt s CART ID3, C4.5 SLIQ,SPRINT 11 Small 55K? 12 Medium 80K? 13 Large 1K? 14 Small 95K? 15 Large 67K? Apply Pohon Keputusan Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/

5 Struktur Umum dari Algoritma Hunt Misal D t adalah himpunan dari record training yang mencapai titik/node t Posedur umum: Jika D t mengandung records yang dimiliki kelas yang sama y t, maka t adalah titik daun yang berlabel y t Jika D t adalah himpunan kosong, maka t adalah titik daun yang berlabel kelas, y d Jika D t mengandung record yang dimiliki lebih dari satu kelas, gunakan atribut test untuk membagi data menjadi himpunan-himpunan bagian yang lebih kecil. Secara rekursif terapkan prosedur untuk tiap himpunan bagian. Tid Marital 1 Single 125K 2 0K 3 Single 70K 4 120K Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Divorced 95K 6 60K 7 Divorced 220K 8 Single 85K 9 75K Single 90K? D t Algoritma Hunt Single, Divorced Marital Single, Divorced Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Marital < 80K >= 80K Tid Marital 1 Single 125K 2 0K 3 Single 70K 4 120K 5 Divorced 95K 6 60K 7 Divorced 220K 8 Single 85K 9 75K Single 90K Induksi Pohon Strategi algoritma Greedy. Bagi/pecah records berdasarkan pada attribute test yang mengoptimumkan kriteria tertentu. Subjek untuk didiskusikan Penentuan cara membagi record Bagaimana cara untuk menspesifikasikan kondisi attribute uji? Bagaimana cara menentukan pembagian record yang paling baik? Penentuan kapan memberhentikan pembagian (splitting) Cara menspesifikasikan Kondisi Uji? Tergantung pada tipe atribut minal Ordinal Kontinu Tergantung pada banyaknya cara pembagian (split) Pembagian 2-cara (2-way split) Pembagian banyak-cara (Multi-way split) Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/

6 Pembagian (Splitting) berdasarkan atas Atribut minal Multi-way split: Gunakan banyak partisi dengan nilai yang berbeda. CarType Family Luxury Sports Binary split: Bagi nilai menjadi dua himpunan bagian. Dibutuhkan untuk mencari pempartisian optimal. {Sports, Luxury} CarType {Family} OR {Family, Luxury} CarType {Sports} Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Pembagian (Splitting) berdasarkan atas Atribut Ordinal Multi-way split: Gunakan banyak partisi dengan nilai yang berbeda.. Size Binary split: Bagi nilai menjadi dua himpunan bagian. Dibutuhkan untuk mencari pempartisian optimal. {Small, Medium} Size Bagaimana dengan pembagian ini? Small Medium {Large} OR Large {Small, Large} {Medium, Large} Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Size Size {Medium} {Small} Pembagian (Splitting) berdasarkan atas Atribut Kontinu Pembagian (Splitting) berdasarkan atas Atribut Kontinu Cara penanganan Discretization dilakukan untuk membentuk atribut kategorikal ordinal Statis discretisasi hanya satu kali pada permulaan Dinamis jarak/selisih dapat ditemukan dengan pembuketan interval yang sama, pembuketan frekuensi yang sama (persentil), atau pengklusteran. Binary Decision: (A < v) or (A v) pertimbangkan semua kemungkinan pembagian dan cari pemotongan terbaik dapat melakukan perhitungan yang lebih intensif Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/

7 Cara menetukan pembagian terbaik (Best Split) Cara menentukan pembagian terbaik (Best Split) Sebelum Splitting: records dari kelas 0, records dari kelas 1 Pendekatan Greedy : Lebih disukai itik/node dengan distribusi kelas yang homogen Membutuhkan pengukuran titik tidak murni (impuritas): Kondisi test mana yang terbaik? n-homogen, Impuritas Derajat Tinggi Homogen, Impuritas Derajat Tinggi Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Cara menetukan pembagian terbaik (Best Split) Induksi Pohon Sebelum splitting: C0 C1 N00 N01 M0 Strategi algoritma Greedy. A? B? Bagi/pecah records berdasarkan pada attribute test yang mengoptimumkan kriteria tertentu. de N1 de N2 de N3 de N4 C0 N C0 N20 C0 N30 C0 N40 C1 N11 C1 N21 C1 N31 C1 N41 M1 M2 M3 M4 M12 M34 Gain = M0 M12 vs M0 M34 Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Subjek untuk didiskusikan Penentuan cara membagi record Bagaimana cara untuk menspesifikasikan kondisi attribute test? Bagaimana cara menentukan pembagian record yang paling baik? Penentuan kapan memberhentikan pembagian (splitting) Tan,Steinbach, Kumar Pengantar Data Mining 4/18/

8 Kriteria Penghentian untuk Induksi Pohon Hentikan ekspansi titik/node ketika semua record dimiliki oleh kelas yang sama Hentikan ekspansi titik/node ketika semua record mempunyai nilai atribut yang serupa Penghentian Awal (didiskusikan kemudian) Klasifikasi Berdasarkan Pohon Keputusan Keuntungan: Lebih murah dalam pembentukkanya Sangat cepat dalam mengklasifikasikan record yang tidak dikenal (unknown records) Mudah diartikan untuk pohon berukuran kecil Keakurasiannya dapat dibandingkan dengan teknik pengklasifikasian lainnya untuk banyak himpunan data sederhana Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Contoh: C4.5 Pembentukan depth-first yang sederhana. Menggunakan Information Gain Mengurutkan Atribut Kontinu pada tiap titik/node. Membutuhkan keseluruhan data untuk menyesuaikan dalam memory. Tidak cocok untuk Dataset berukuran Besar. Membutuhkan pengurutan out-of-core. Beberapa Kendala dari Pengklasifikasian Underfitting dan Overfitting Missing Values Costs of Classification Software dapat didownload di: Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/

9 Underfitting dan Overfitting (Contoh) Underfitting dan Overfitting Overfitting 500 circular and 500 triangular data points. Circular points: 0.5 sqrt(x 12 +x 22 ) 1 Triangular points: sqrt(x 12 +x 22 ) > 0.5 or sqrt(x 12 +x 22 ) < 1 Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Underfitting: Bila model terlalu sederhana, maka error himpunan training dan test errors adalah besar Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Overfitting terhadap ise Overfitting terhadap Contoh Ketidakcukupan Decision boundary is distorted by noise point Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Kekurangan pada titik-titik data pada bagian bawah diagran membuat kesulitan dalam memprediksi label kelas suatu daerah - Tidak cukupnya jumlah record training dalam suatu daerah menyebabkan pohon keputusan untuk memprediksi contoh tests menggunakan rcord trainining lainnya yang tidak relevan dengan penugasan pengklasifikasian Tan,Steinbach, Kumar Pengantar Data Mining 4/18/

10 Catatan untuk Overfitting Overfitting dalam pohon keputusan menghasilkan sesuatu yang lebih kompleks dari yang diperlukan Error Training tidak lagi menyajikan estimasi yang baik bagaimana suatu pohon dapat bekerja baik pada record yang tidak dikenal sebelumnya Membutuhkan cara baru untuk mengestimasi error Mengestimasi Error Generalisasi Error Re-substitusi: error on training (Σ e(t) ) Error Generalisasi: error on testing (Σ e (t)) Metode untuk mengestimasi error generalisasi: Pendekatan Optimistic: e (t) = e(t) Pendekatan Pessimistic: Untuk setiap titik/node daun: e (t) = (e(t)+0.5) Total errors: e (T) = e(t) + N 0.5 (N: Banyaknya titik/nodes daun) Untuk suatu pohon dengan 30 titik daun dan errors pada training (out of 00 instances): Training error = /00 = 1% Error Generalisasi= ( )/00 = 2.5% Reduced error pruning (REP): menggunakan validasi data set untuk mengestimasi error generalisasi Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Tan,Steinbach, Kumar Pengantar Data Mining 4/18/ Kendala & Permasalahan Lainnya Fragmentasi Data Strategi Pencarian Expressiveness Replikasi Pohon Tan,Steinbach, Kumar Pengantar Data Mining 4/18/