Diktat Kuliah Data Mining - Institut Informatika Indonesia Semester Genap 2006/ Maret 2007 Sub Materi: ID3: Induksi Decision Tree

Transkripsi

1 Diktat Kuliah Data Mining - Institut Informatika Indonesia Semester Genap 2006/ Maret 2007 Sub Materi: ID3: Induksi Decision Tree Ross Quinlan Ross Quinlan Pengembang algoritma ID3 pada akhir dekade 70-an 1, dalam upaya mewujudkan suatu sistem pakar yang mampu belajar dari kumpulan contoh. [CS 346 Spring 00] Quinlan memperbaiki algoritma ID3 menjadi C4.5 pada tahun 1993, yang hari ini banyak digunakan. [CS 346 Spring 00] Jauh hari sebelumnya, Hunt dan koleganya dari disiplin Pshychology menggunakan metode pencarian penuh pada decision tree untuk memodelkan belajar konsep pada manusia pada tahun 60-an. [CS 346 Spring 00] ID3 Singkatan: Iterative Dichotomiser 3 2 Induction of Decision "3" (Tree 3 Mungkin merupakan algoritma Machine Learning yang paling banyak digunakan dalam literatur-literatur science dan sistem software komersil. [Solheim96] ID3 dikenal memiliki tahap belajar yang cepat; time complexity yang rendah; dan ketelitian klasifikasi yang tinggi, termasuk untuk training examples yang memiliki noise. [Solheim96] Versi original ID3 hanya menangani nilai-nilai attribute yang sedikit dan diskret, tetapi modifikasi selanjutnya mampu menangani nilai attribute yang ordered dan continuous. [Solheim96] Variasi algoritma ID3 lainnya memiliki kemampuan untuk menangani noise. [Solheim96] Termasuk kategori Concept Learning, yang tujuannya mendeskripsikan "Konsep umum apakah yang digunakan?" (Lihat Gambar Tujuan dari ID3 adalah: mendapatkan decision tree yang terbaik. [CS 346 Spring 00] x1 x2 x3 : xn FUNGSI YANG TIDAK DIKETAHUI y = f (x1,x2,x3,..., xn Sistem belajar tersupervisi yang membentuk rule-rule untuk klasifikasi dalam bentuk sebuah decision tree. [Solheim96] 1 Machine Learning Course Notes ELEG Decision Trees. Menyebutkan Quinlan mengembangkan ID3 pada tahun Knowledge Acquisition for Expert Systems, Anna Hart, Kogan Page, 1989, p Helge Grenager Solheim, 4 Mei Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 1

2 Decision tree adalah salah satu bentuk "Classification Models". 4 [Ingargiola] Masalahnya adalah upaya untuk mendapatkan decision tree terbaik (baca: minimal yang konsisten dengan sekumpulan data yang telah disediakan termasuk dalam kategori algoritma NP-Hard (Completeness. [CS 346 Spring 00] Konstruksi decision tree dilakukan secara top-down, diawali dengan pertanyaan: "Attribute mana yang harus diperiksa pada root dari decision tree?" [Mitchell97] Decision tree dibentuk dengan mempartisi training examples. [Solheim96] Kekuatan ID3 yang terutama adalah pada fungsi heuristik information gain untuk memilih attribute terbaik yang akan digunakan [Solheim96] Konsep Entropy yang digunakan untuk mengukur "seberapa informatifnya" sebuah node (yang biasanya disebut seberapa baiknya, diperkenalkan oleh Claude Shannon dalam Information Theory. [Ingargiola] ID3 adalah algoritma greedy, sehingga pemilihan yang keliru pada sebuah atribut akan memberikan efek pada hasil akhirnya. [Solheim96] Dalam hal ini algoritma tidak pernah melakukan backtracking untuk merevisi keputusan pemilihan attribute yang telah dilakukan sebelumnya. [Mitchell97] Recursive Algorithm mewujudkan Greedy Heuristic Search: Hill-Climbing tanpa backtracking. [CS 346 Spring 00] Tidak menjamin menghasilkan decision tree yang selalu -- walaupun biasanya -- optimal. [CS 346 Spring 00] Beberapa Terms Examples (S, adalah training examples yang ditunjukkan oleh tabel di bawah ini: Day Outlook Temperature Humidity Wind PlayTennis D1 Sunny Hot High Weak No D2 Sunny Hot High Strong No D3 Overcast Hot High Weak D4 Rain Mild High Weak D5 Rain Cool Normal Weak D6 Rain Cool Normal Strong No D7 Overcast Cool Normal Strong D8 Sunny Mild High Weak No D9 Sunny Cool Normal Weak D10 Rain Mild Normal Weak D11 Sunny Mild Normal Strong D12 Overcast Mild High Strong D13 Overcast Hot Normal Weak D14 Rain Mild High Strong No Target attribute adalah PlayTennis yang memiliki value yes atau no, selama 14 minggu pada setiap Sabtu pagi. Attribute adalah Outlook, Temperature, Hunidity, dan Wind. 4 Building Classification Models: ID3 and C4.5, Ingargiola, Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 2

3 Algoritma PROCEDURE ID3(Examples, TargetAttribute, Attributes 5 Examples are the training examples. Target-attribute is the attribute whose value is to be predicted by the tree. Attributes is a list of other attributes that may be tested by the learned decision tree. Returns a decision tree that correctly classifies the given Examples. Create a Root node for the tree If all Examples are positive, Return the single-node tree Root, with label = + If all Examples are negative, Return the single-node tree Root, with label = - If Attributes is empty, Return the single-node tree Root, with label = most common value of Target_attribute in Examples Otherwise Begin A <--- the attribute from Attributes that best* classifies Examples The decision attribute for Root <--- A For each possible value, v i, of A, - Add a new tree branch below Root, corresponding to the test A = v i - Let Examples vi be the subset of Examples that have value v i for A - If Examples vi is empty Then below this new branch add a leaf node with label = most common value of Target_attribute in Examples Else below this new branch add the subtree Call ID3 (Examples, Target_attribute, Attributes - {A} End Return Root * The best attribute is the one with highes information gain, as defined in Equation: Gain(S, A =Entropy(S Σ S v Entropy(S S v v Values(A S adalah koleksi dari 14 contoh dengan 9 contoh positif dan 5 contoh negatif, ditulis dengan notasi [9+,5-]. Entropy dari S adalah: Entropy(S= Σ c p i log 2 p i i=1 Entropy([9+,5-] = - (9/14log 2 (9/14 - (5/14log 2 (5/14 = Catatan: Entropy(S=0, jika semua contoh pada S berada dalam kelas yang sama. Entropy(S=1, jika jumlah contoh positif dan jumlah contoh negatif dalam S adalah sama. 0<Entropy(S<1, jika jumlah contoh positif dan negatif dalam S tidak sama. Gain(S,A adalah Information Gain dari sebuah attribute A pada koleksi contoh S. 6 5 Machine Learning, Tom M. Mitchell, The McGraw-Hill Companies, Inc., International Edition, 1997, p Decision Tree, Dijelaskan bahwa terdapat sedikitnya 3 (tiga macam diversity, yaitu pengukuran yang digunakan untuk mengevaluasi splitter (pemisah value-value attribute yang paling potensial: 1. Min(P(c1,P(c2 Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 3

4 Values(Wind = Weak, Strong S Weak = [6+,2-] S Strong = [3+,3-] Gain(S,Wind = Entropy(S - (8/14Entropy(S Weak - (6/14Entropy(S Strong = (8/ (6/ = Values(Humidity = High, Normal S High = [3+,4-] S Normal = [6+,1-] Gain(S,Humidity = Entropy(S - (7/14Entropy(S High - (7/14Entropy(S Normal = (7/ (7/ = Values(Temperature = Hot, Mild, Cool S Hot = [2+,2-] S Mild = [4+,2-] S Cool = [3+,1-] Gain(S,Temperature = Entropy(S - (4/14Entropy(S Hot - (6/14Entropy(S Mild - (4/14Entropy(S Cool = (4/ (6/ (4/ = Values(Outlook = Sunny, Overcast, Rain S Sunny = [2+,3-] S Overcast = [4+,0-] S Rain = [3+,2-] Gain(S,Outlook = Entropy(S - (5/14Entropy(S Sunny - (4/14Entropy(S Overcast - (5/14Entropy(S Rain = (5/ (4/ (5/ = Jadi, information gain untuk 4 atribut yang ada adalah: Gain(S,Wind = Gain(S,Humidity = Gain(S,Temperature = Gain(S,Outlook = Dari perhitungan tersebut, tampak bahwa attribute Outlook akan menyediakan prediksi terbaik untuk target attribute PlayTennis. 2. 2P(c1P(c2 3. [P(c1logP(c1]+[P(c2logP(c2] (entropy/information. Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 4

5 [D1, D2,... D14] [9+,5-] Outlook Sunny Over cast Rain?? [D1, D2, D8, D9, D11] [2+,3-] [D3, D7, D12, D13] [4+,0-] [D4, D5, D6, D10, D14] [3+,2-] Untuk branch node Outlook=Sunny, S Sunny = [D1, D2, D8, D9, D11] Day Outlook Temperature Humidity Wind PlayTennis D1 Sunny Hot High Weak No D2 Sunny Hot High Strong No D8 Sunny Mild High Weak No D9 Sunny Cool Normal Weak D11 Sunny Mild Normal Strong Values(Temperature = Hot, Mild, Cool S Hot = [0+,2-] S Mild = [1+,1-] S Cool = [1+,0-] Gain(S Sunny, Temperature = Entropy(S Sunny - (2/5Entropy(S Hot - (2/5Entropy(S Mild - (1/5Entropy(S Cold = (2/ (2/ (1/ = Values(Humidity = High, Normal S High = [0+,3-] S Normal = [2+,0-] Gain(S Sunny, Humidity = Entropy(S Sunny - (3/5Entropy(S High - (2/5Entropy(S Normal = (3/ (2/ = Values(Wind = Weak, Strong S Weak = [1+,2-] S Strong = [1+,1-] Gain(S Sunny, Wind = Entropy(S Sunny - (3/5Entropy(S Weak - (2/5Entropy(S Strong = (3/ (2/ = Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 5

6 [D1, D2,... D14] [9+,5-] Outlook [D1, D2, D8, D9, D11] [2+,3-] Sunny Over cast Rain [D4, D5, D6, D10, D14] [3+,2-] Humidity? High [D3, D7, D12, D13] [4+,0-] Normal No [D1, D2, D8] [0+,3-] [D9, D11] [2+,0-] Untuk branch node Outlook=Rain, S Rain = [D4, D5, D6, D10, D14] Day Outlook Temperature Humidity Wind PlayTennis D4 Rain Mild High Weak D5 Rain Cool Normal Weak D6 Rain Cool Normal Strong No D10 Rain Mild Normal Weak D14 Rain Mild High Strong No Values(Temperature = Mild, Cool {Tidak ada lagi temperature=hot saat ini} S Mild = [2+,1-] S Cool = [1+,1-] Gain(S Rain, Temperature = Entropy(S Rain - (3/5Entropy(S Mild - (2/5Entropy(S Cold = (3/ (2/ = Values(Humidity = High, Normal S High = [1+,1-] S Normal = [2+,1-] Gain(S Rain, Humidity = Entropy(S Rain - (2/5Entropy(S High - (3/5Entropy(S Normal = (2/ (3/ = Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 6

7 Values(Wind = Weak, Strong S Weak = [3+,0-] S Strong = [0+,2-] Gain(S Rain, Wind = Entropy(S Rain - (3/5Entropy(S Weak - (2/5Entropy(S Strong = (3/ (2/ = [D1, D2,... D14] [9+,5-] Outlook [D1, D2, D8, D9, D11] [2+,3-] Sunny Over cast Rain [D4, D5, D6, D10, D14] [3+,2-] Humidity Wind High [D3, D7, D12, D13] [4+,0-] Normal Weak Strong No No [D1, D2, D8] [0+,3-] [D9, D11] [2+,0-] [D4, D5, D10] [3+,0-] [D6, D14] [0+,2-] Rule-Rule yang telah Dipelajari, dengan memperhatikan decision tree yang dihasilkan adalah: 7 IF Outlook = Sunny AND Humidity = High THEN PlayTennis = No IF Outlook = Sunny AND Humidity = Normal THEN PlayTennis = IF Outlook = Overcast THEN PlayTennis = IF Outlook = Rain AND Wind = Strong THEN PlayTennis = No IF Outlook = Rain AND Wind = Weak THEN PlayTennis = 7 Datamining and Machine Learning, Patricia Jean Riddle, Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 7

8 Studi Kasus Sederhana 8 Komite ujian untuk sebuah kuliah bertemu untuk mendiskusikan hasil ujian sejumlah mahasiswanya. Terdapat 3 (tiga kemungkinan hasil evaluasi, mahasiswa dapat lulus (P=Pass, diberi kesempatan mengulang (R=Resit, atau gagal (F=Fail. Beberapa pertemuan untuk memberikan hasil evaluasi sering kali memakan waktu yang lama. Sering pula membutuhkan penasihat ahli (pakar pendidikan yang telah memiliki pengalaman luas dari banyak pengambilan keputusan serupa. Para pakar ini diminta untuk merumuskan sebuah petunjuk (guidelines, dan mereka kemudian menyusun sekumpulan contoh dari berbagai kasus pengambilan keputusan. Target Attribute-nya adalah hasil evaluasi (Pass, Resit, dan Fail, sedangkan attributes-nya adalah: Nfails : Jumlah ujian yang gagal Nmarg : Jumlah ujian yang gagal, dengan nilai pada batas berhasil/gagal Att : Catatan kehadiran mahasiswa Ext : Ada/tidaknya kondisi yang meringankan, misalnya kondisi sakit yang menyebabkan kegagalan yang tak diinginkan. Ant : Hasil yang telah diantisipasi. Example Number NFails NMarg Att Ext Ant Result good no P P poor yes F P good yes F P good no F F poor no F F good no P F good yes P R poor no F R good yes P R poor yes P R good yes F R good no F R poor no F F Hasil induksi decision tree-nya ditunjukkan pada gambar 1. Setelah pemeriksaan lanjut model pengambilan keputusan ini, para ahli memutuskan untuk menambahkan sejumlah contoh lagi pada kumpulan kasus, sebab mereka merasa bahwa aturan-aturan untuk sekitar 2 atau 3 hasil yang gagal belumlah cukup. Mereka juga memutuskan untuk memodifikasi contoh untuk nomor 8. Perubahannya adalah sebagai berikut: Example Number NFails NMarg Att Ext Ant Result poor no F F good no P F good no F R good yes P R poor no F F Hasil induksi decision tree-nya setelah perubahan kumpulan contoh ditunjukkan pada gambar 2. Saat inilah para pakar merasa perlu untuk membuat perubahan pada decision tree-nya. Hasil akhirnya ditunjukkan pada gambar 3. Komentar para pakar atas kasus ini adalah: 8 Anna Hart, p Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 8

9 "Banyak anggota komite memperdebatkan tentang catatan kehadiran dan hasil evaluasi yang diharapkan. Hal ini tampaknya tidak terlalu penting dibanding faktor-faktor lainnya. Saya berpikir decision tree terakhir merupakan ringkasan akhir seluruh model pengambilan keputusan ini, dan merupakan perkiraan yang cukup baik untuk apa yang telah terjadi. Saya dapat memberi lebih banyak contoh lagi dalam kumpulan kasus, tetapi saya berpikir bahwa itu tidak menggambarkan situasi sesungguhnya. Aturan-aturan tersebut kelihatannya dingin, tetapi semua itu menunjukkan apa yang biasanya anda semua lakukan. Semua ini akan membuat Anda semua merasa lebih baik dalam mengambil keputusan." ooo Materi Kuliah Data Mining I3- Genap 2006/2007 halaman 9