Classification (1) Classification (3) Classification (2) Contoh Classification. Classification (4)

Transkripsi

1 Knowledge Discovery in Databases (IS704) dan Data Mining (CS704) Kuliah #5: Classification (Bagian 1) Gunawan Jurusan Teknik Informatika Sekolah Tinggi Teknik Surabaya Revisi 14 Agustus 2007 Classification (1) Sebelum bicara terlalu jauh, adalah baik jika kita mencoba memperhatikan beberapa captured slides yang menarik untuk memahami hakikat dasar Machine Learning Sumber: The Pigeon Problem Jangan lupakan bahwa Data Mining adalah irisan dari salah satu subdisiplin Artificial Intelligence Machine Learning. 1 October 2007 Gunawan, Teknik Informatika STTS 2 Classification (2) Termasuk dalam Data Mining Task: Predictive Modeling. Diberikan himpunan examples (instances) yang telah dipreklasifikasi (dilabeli) sebelumnya, {p 1,t 1 }, {p 2,t 2 },... {p n,t n }, konstruksilah sebuah model yang dapat menyarikan pengetahuan dalam examples tersebut dan dapat digunakan untuk keperluan prediksi, yaitu memprediksi class/target dari instance yang belum dilabeli. p i adalah vektor input, sedangkan t i adalah target (class) terkait. Examples yang digunakan untuk membentuk model disebut sebagai training set. 1 October 2007 Gunawan, Teknik Informatika STTS 3 Classification (3) Ukuran sukses klasifikasi biasanya diukur dengan menguji data baru (fresh data) yang tidak digunakan sebagai training set, tetapi labelnya juga telah diketahui sebelumnya. Kemudian dihitung proporsi jumlah data/instance yang dapat diklasifikasi secara benar (akurasinya). Dikenal term-term seperti 80:20 atau 75:25 atau 70:30 yang menunjukkan perbandingan persentase (training set : testing set). 1 October 2007 Gunawan, Teknik Informatika STTS 4 Classification (4) Definisi yang lebih memperjelas peran classification dalam mining database: Diberikan sebuah database P = {p 1, p 2,..., p n } dari sejumlah tuples (atau items / records / examples / instances) dan himpunan class T = {t 1, t 2,..., t m }, classification problem adalah mendefinisikan suatu pemetaan f : P T yang mengarahkan p i ke dalam salah satu class t j. Walaupun terdapat model lainnya (mis. Naïve Bayes), model yang mendefinisikan pemetaan tersebut biasanya berupa varian dari: Classification rules Classification tree 1 October 2007 Gunawan, Teknik Informatika STTS 5 Contoh Classification Diberikan examples berikut: Bangunlah sebuah model yang dapat memprediksi class dari instance outlook=sunny, temperature=hot, humidity=low, dan windy=true. 1 October 2007 Gunawan, Teknik Informatika STTS 6 1

2 Masalah pada Jenis Atribut yang Diklasifikasi Terdapat 2 (dua) tipe utama atribut: Numerik nilai-nilainya adalah angka. Nominal nilai-nilainya termasuk dalam beberapa kemungkinan yang jumlahnya terbatas dan dispesifikasi sebelumnya. Termasuk pada Target Atributnya Input Attributes dan Target Atrribute, semua numerik: Cycle time (ns) Main memory (Kb) Cache (Kb) Channels Performance MYCT MMIN MMAX CACH CHMIN CHMAX PRP Solusi Tidak Sederhana Linear Regression: PRP = MYCT MMIN MMAX CACH CHMIN CHMAX 1 October 2007 Gunawan, Teknik Informatika STTS 7 1 October 2007 Gunawan, Teknik Informatika STTS 8 1R Diperkenalkan oleh R.C. Holte (1983). (*) Dikenal juga dengan 1-R Holte. 1R sendiri adalah kependekan dari 1-rule atau Infering Rudimentary Rule (?) Output algoritma 1R adalah one level decision tree yang dapat disajikan juga melalui sebuah classification rule sets. 1R tidak menekankan akurasi sempurna atau 100% benar pada rule sets yang dihasilkan. 1R tidak pernah dipertimbangkan sebagai salah satu pendekatan formal dalam Machine Learning atau Data Mining. Namun tetap harus diingat: Mengapa harus dipusingkan dengan sebuah decision tree yang kompleks, ketika sebuah rule sets sederhana dapat melakukannya? (*) Holte, R.C Very simple classification rules perform well on most commonly used datasets. Machine Learning, 11: October 2007 Gunawan, Teknik Informatika STTS 9 Algoritma 1R FOR EACH atribut FOR EACH value dari atribut ini, bentuk sebuah rule sets dengan cara Menghitung seberapa sering sebuah kelas dihasilkan dari pasangan atribut=value ini Dapatkan sebuah kelas yang paling banyak dihasilkan atribut dengan value ini Tambahkan sebuah rule IF atribut = value THEN kelas ke dalam rule sets Hitunglah tingkat kesalahan dari rules set ini Pilihlah sebuah rules set dengan tingkat kesalahan terkecil 1 October 2007 Gunawan, Teknik Informatika STTS 10 Weather Problem Datasets Outlook Temperature Humidity Windy Play Sunny Hot High Weak No Sunny Hot High Strong No Overcast Hot High Weak Yes Rain Mild High Weak Yes Rain Cool Normal Weak Yes Rain Cool Normal Strong No Overcast Cool Normal Strong Yes Sunny Mild High Weak No Sunny Cool Normal Weak Yes Rain Mild Normal Weak Yes Sunny Mild Normal Strong Yes Overcast Mild High Strong Yes Overcast Hot Normal Weak Yes Rain Mild High Strong No 1 October 2007 Gunawan, Teknik Informatika STTS 11 1R-Holte untuk Weather Problem Tanda * = Pilihan Random 1 October 2007 Gunawan, Teknik Informatika STTS 12 2

3 PRISM Diperkenalkan oleh J. Cendrowska (1987). (*) Termasuk kategori algoritma covering, berbeda dengan ID3 yang termasuk dalam kategori algoritma divide and conquer. Disebut dengan pendekatan covering, karena pada setiap st diidentifikasi rule yang mengcover sejumlah instances. Output algoritma PRISM adalah sejumlah classification rules. PRISM hanya menghasilkan rule-rule yang sempurna atau 100% benar. (*) Cendrowska, J. (1987). PRISM: an Algorithm for Inducing Modular Rules. International Journal of Man-Machine Studies, Vol. 27, No. 4, pp October 2007 Gunawan, Teknik Informatika STTS 13 Prinsip Algoritma Covering Space untuk semua instances/examples Yang dicover rules sejauh ini Rules yang akan ditambahkan kemudian Classification Rules untuk Masalah yang Sama: IF x<=1.2 THEN kelas=b IF x>1.2 AND y>2.6 THEN kelas=a IF x>1.2 AND y<=2.6 THEN kelas=b Bagaimana dengan Decision Treenya? 1 October 2007 Gunawan, Teknik Informatika STTS 14 Algoritma PRISM FOR EACH kelas c Inisialisasi E dengan instance set WHILE E mengandung instances dalam kelas C Bentuk sebuah rule dengan LHS kosong yang meprediksi kelas C UNTIL R sempurna (tak ada atribut yang dapat dipakai), lakukan FOR EACH atribut A yang tidak termasuk R,dan tiap nilai v, Pertimbangkan untuk menambah kondisi A=v pada LHS dari R Pilih A dan v untuk memaksimalkan akurasi p/t (tips: pilih kondisi dengan nilai P yang terbesar) Tambahkan A=v ke dalam R Hapuslah semua instance yang tercover oleh R dari E Catatan: p = positive examples dari suatu kelas t = total instances 1 October 2007 Gunawan, Teknik Informatika STTS 15 Contact Lens Dataset Berdasarkan kondisi apa seorang ahli optik akan menyarankan seseorang yang mengalami gangguan mata: menggunakan soft contact-lense, menggunakan hard contact-, atau justru tidak disarankan menggunakan contact-lense? Diperkenalkan juga oleh J. Cendrowska. Catatan terms: spectacle p = peruntukan kaca mata yang diketahui myope = rabun dekat hypermetrope = rabun jauh astigmatism = pandangan kabur, "lack of point focus.., an astigmatism refers to an irregular curvature of the cornea. presbyopic ( > +45 tahun) = batas usia lazimnya untuk mampu melihat obyek pada jarak jauh (45 tahun) pre-presbyopic ( < +45 tahun) = sebelum masa presbyopic Sumber term: WordNet 2.0, 1 October 2007 Gunawan, Teknik Informatika STTS 16 Contact Lens Dataset young myope no reduced none young myope no normal soft young myope yes reduced none young hypermetrope no reduced none young hypermetrope no normal soft young hypermetrope yes reduced none pre-presbyopic myope no reduced none pre-presbyopic myope no normal soft pre-presbyopic p p myope yes reduced none pre- pre-presbyopic hypermetrope no reduced none pre-presbyopic hypermetrope no normal soft pre-presbyopic hypermetrope yes reduced none pre- presbyopic myope no reduced none presbyopic myope no normal none presbyopic myope yes reduced none presbyopic hypermetrope no reduced none presbyopic hypermetrope no normal soft presbyopic hypermetrope yes reduced none 1 October 2007 Gunawan, Teknik Informatika STTS 17 PRISM untuk Contact Lens (#1) Dibentuk rule yang mengcover setiap class: hard,soft, dan none. Misalnya dimulai dari hard. IF? THEN recommended = hard Untuk kondisi pada LHS yang masih kosong terdapat 9 pilihan: = young 2/8 = pre-presbyopic 1/8 = presbyopic 1/8 spectacle = myope 3/12 spectacle = hypermetrope 1/12 astigmatism = no 0/12 astigmatism = yes 4/12 tear production = reduced 0/12 tear production = normal 4/12 dipilih bagian yang terbesar = 4/12, secara acak dipilih salah satu antara nomor 7 dan nomor 9 pada daftar di atas, misalnya nomor 7: IF astigmatism = yes THEN recommended = hard 1 October 2007 Gunawan, Teknik Informatika STTS 18 3

4 PRISM untuk Contact Lens (#2) Rule If astigmatism = yes then recommended = hard jelas tidak akurat. Lihat tabel berikut: young myope yes reduced none young hypermetrope yes reduced none pre-presbyopic myope yes reduced none pre-presbyopic pre-presbyopic hypermetrope yes reduced none pre- presbyopic myope yes reduced none presbyopic hypermetrope yes reduced none Tampak bahwa rule tersebut hanya mengcover 4 instance yang benar dari total 12 instances. Sehingga refinement perlu dilakukan untuk rule: IF astigmatism = yes AND? THEN recommended = hard 1 October 2007 Gunawan, Teknik Informatika STTS 19 PRISM untuk Contact Lens (#3) IF astigmatism = yes AND? THEN recommended = hard Untuk kondisi pada LHS yang masih kosong terdapat 7 pilihan: = young 2/4 = pre-presbyopic 1/4 = presbyopic 1/4 spectacle = myope 3/6 spectacle = hypermetrope 1/6 tear production = reduced 0/6 tear production = normal 4/6 dipilih bagian yang terbesar = 4/6, yaitu nomor 6: IF astigmatism = yes AND tear production = normal THEN recommended = hard Sebenarnya untuk sebuah class (misalnya hard), algoritma dapat dipaksa berhenti (misalnya disini pada kasus contact lens). Namun, bagaimana jika exact rule harus diperoleh, tanpa mempedulikan sekompleks apapun rulenya? 1 October 2007 Gunawan, Teknik Informatika STTS 20 PRISM untuk Contact Lens (#4) Rule IF astigmatism = yes AND tear production = normal THEN recommended = hard jelas masih belum akurat. Lihat tabel berikut: pre- pre- Tampak bahwa rule tersebut hanya mengcover 4 instance yang benar dari total 6 instances. Sehingga refinement perlu dilakukan kembali untuk rule: IF astigmatism = yes AND tear production = normal AND? THEN recommended = hard 1 October 2007 Gunawan, Teknik Informatika STTS 21 PRISM untuk Contact Lens (#5) IF astigmatism = yes AND tear production = normal AND? THEN recommended = hard Untuk kondisi pada LHS yang masih kosong terdapat 5 pilihan: = young 2/2 = pre-presbyopic 1/2 = presbyopic 1/2 spectacle = myope 3/3 spectacle = hypermetrope 1/3 Sehingga harus dipilih bagian yang terbesar, tetapi yang mana? 2/2 atau 3/3? Dalam hal ini sebaiknya dipilih yang mengcover lebih banyak instance, atau nomor 4, sehingga rule sejauh ini adalah: IF astigmatism = yes AND tear production = normal AND spectacle presciption = myope THEN recommended = hard 1 October 2007 Gunawan, Teknik Informatika STTS 22 PRISM untuk Contact Lens (#6) Karena rule IF astigmatism = yes AND tear production = normal AND spectacle = myope THEN recommended = hard sudah akurat. Lihat tabel berikut: spectacle astigmatism tear production reccomended pre- Tampak bahwa rule tersebut hanya mengcover 3 instance yang benar dari total 24 instances, dan baru 3 dari 4 instance untuk recommended = hard. Selanjutnya 3 instance pada tabel di atas dihapus dari total 24 instances, dan mencari rule lainnya dengan bentuk: IF? THEN recommended = hard 1 October 2007 Gunawan, Teknik Informatika STTS 23 PRISM untuk Contact Lens (#7) Dengan cara yang sama pada st sebelumnya, berturut-turut diperoleh: = young, adalah yang terbaik untuk condition pertama (mengcover 1 dari 7). Mengapa angka 7? astigmatism = yes, adalah yang terbaik untuk condition kedua (dipilih 1/3). Apakah pilihan ini karena tips? tear production = normal, adalah yang terbaik untuk condition ketiga (dipilih 1/1). Rule yang diperoleh adalah: IF = young AND antigmatism = yes AND tear production = normal THEN recommended = hard sudah akurat. Mengcover 1/1? Atau 3/3? Jadi seluruh kasus hard telah tercover, sehingga langkah-langkah berikutnya adalah untuk kasus soft dan none. 1 October 2007 Gunawan, Teknik Informatika STTS 24 4

5 PRISM untuk Contact Lens (#8) Koleksi Rule Lengkap pada Akhir Proses (9 Rule) If spectacle = myope and astigmatic = yes and tear production = normal then recommendation = hard If = young and astigmatic = yes and tear production = normal then recommendation = hard If = young and astigmatic = no and tear production = normal then recommendation = soft If = pre-presbyopic and astigmatic = no and tear production = normal then recommendation = soft If spectacle = hypermetrope and astigmatic = no and tear production = normal then recommendation = soft If tear production = reduced then recommendation If = presbyopic and spectacle = myope and astigmatic = no then recommendation If = pre-presbyopic and spectacle = hypermetrope and astigmatic = yes then recommendation If = presbyopic and spectacle = hypermetrope and astigmatic = yes then recommendation 1 October 2007 Gunawan, Teknik Informatika STTS 25 PRISM untuk Contact Lens (#9) akhirnya... AWAS!!! JANGAN DICOBA untuk mengatasi Gangguan Mata Anda yang sebenarnya. 1 October 2007 Gunawan, Teknik Informatika STTS 26 5