IKI30320 Kuliah 19 3 Des Ruli Manurung. Learning. Agents. Inductive Learning. Decision Tree. Mengukur Kinerja Belajar.

Transkripsi

1 Outline IKI 30320: Sistem Cerdas : Machine 1 2 akultas Ilmu Komputer Universitas Indonesia Desember Agent yang 2 pendekatan membangun agent: Dirancang, diprogram, diberi knowledge oleh manusia Dirancang sehingga bisa belajar dari input (percept, pengalaman, dst.) Manfaat learning agent: Environment bisa berubah. Manusia (programmer?) itu malas, ceroboh, tidak maha tahu. Kita sudah melihat banyak jenis agent: Simple reflex agent (condition-action rules) Search agent (punya goal dan successor state function) Knowledge-based agent (membangun representasi simbolik dari percept) Utility-based agent (mengukur nilai utility sebuh state) Semua agent ini bisa dibangun dengan metode pembelajaran yang tepat! Contoh: agent supir taksi. Bagaimana dia belajar?

2 Arsitektur Agent Jenis Metode Performance standard feedback learning goals Critic element changes knowledge Sensors Performance element Environment Supervised learning Agent belajar fungsi yang memetakan input ke output Pada tahap training, learning algorithm menerima sekumpulan input beserta output yang diharapkan. Sample ini dipakai untuk estimasi fungsinya. Problem generator experiments Agent Effectors Jenis Metode Jenis Metode Unsupervised learning Sebuah learning algorithm menerima sekumpulan data, dan harus menemukan pola-pola di dalamanya. Misalnya: Sebuah agent taxi menerima data mengenai laju lalin sepanjang hari. Mungkin ia bisa belajar periode morning rush hour, evening rush hour Reinforcement learning Sebuah agent menerima input data dan harus mengambil tindakan. Agent lalu menerima reinforcement signal (mis. good, bad) sebagai akibat tindakan. algorithm memodifikasi agent function untuk memaksimalkan signal good.

3 Consistency vs. Simplicity Induction Prinsip dasar dari supervised learning adalah belajar dari pengalaman. Prosedur inductive learning: Asumsi ada fungsi f : input x, output f (x). Sebuah pair (x, f (x)) disebut example/sample dari f. Ambil himpunan training example dan hasilkan fungsi hipotesa h yang mengaproksimasi f. Pure inductive inference: tak ada prior knowledge ttg. f Sebuah hipotesa yang consistent bisa menjelaskan semua training example. Ada banyak consistent hypothesis untuk sebuah training set. Ockham s Razor: pilih yang paling simple! Secara intuitif: generalisasi terhadap example baru. Biasanya ada trade-off antara consistency dan simplicity. ungsi h yang bagus bisa memprediksi example yang belum dilihat (unseen) pada saat belajar. Contoh curve-fitting Metode Ilmiah = f(x) Metode ilmiah empiris bisa dilihat sebagai proses inductive learning: 1 Lakukan ujicoba, kumpulkan data 2 Rumuskan hipotesis yang konsisten dengan data 3 Hipotesis ini memprediksi nilai data baru 4 Lakukan ujicoba untuk memeriksa kebenaran prediksi 5 ambahkan ke data yang kita miliki x 6 Jika hipotesis tidak lagi konsisten, rumuskan ulang!

4 Induction sebagai Search Sebuah prosedur induktif mendefinisikan space: possible hypotheses Mis. untuk curve-fitting, space = fungsi polynomial dgn. degree n: f (x) = k 0 + k 1 x + k 2 x k n x n Search space terlalu kecil: f (x) yang kita cari tidak ada (unrealisable) Search space terlalu besar: Makin sulit ditelusuri Makin banyak hipotesa yang konsisten dengan training example Proses learning yang menghasilkan decision tree. Hypothesis space mengandung himpunan n input variable dan 1 output variable. ipe variable bisa: boolean, diskrit, kontinyu Sebuah example tdd himpunan nilai input variable dan 1 output variable Jika output variable kontinyu regression task Jika output variable diskrit classification task Contoh: Menunggu di Restoran Contoh: raining Examples Kita ingin mempelajari pola pikir seseorang (SR): rela menunggu untuk dapat meja di restoran Input variable (di antaranya): Alt (boolean): adakah restoran alternatif? Bar (boolean): apakah restoran memiliki bar? Patrons (diskrit): ada berapa pengunjungnya? ype (diskrit): apa jenis makanannya? Output variable: Variable boolean: WillWait Ex. Attributes arget Alt Bar ri Hun Pat Price Rain Res ype Est WillWait X 1 Some $$$ rench 0 10 X 2 ull $ hai X 3 Some $ Burger 0 10 X 4 ull $ hai X 5 ull $$$ rench >60 X 6 Some $$ Italian 0 10 X 7 None $ Burger 0 10 X 8 Some $$ hai 0 10 X 9 ull $ Burger >60 X 10 ull $$$ Italian X 11 None $ hai 0 10 X 12 ull $ Burger Example di-classify menjadi positive () atau negative () Cari metode yang dapat merumuskan fungsi hipotesa yang menjawab nilai WillWait untuk semua kemungkinan nilai input variable.

5 s s: Expresiveness Sebuah representasi untuk kemungkinan hipotesa: Anggap sbg. sebuah if..then yang besar! Leaf node memberikan jawaban output variable Mis.: inilah decision tree untuk fungsi yang benar : None Some ull WaitEstimate? > Alternate? Reservation? ri/sat? Hungry? Alternate? Sebuah decision tree dapat menyatakan sembarang fungsi dari nilai input (attributes) Mis. untuk n variable boolean, buat tree dari truth table-nya: A B A xor B B A B ree ini memiliki satu path root leaf untuk setiap baris truth table. Kesimpulan: buat satu path untuk setiap training example. Ini namanya hafal mati! (Generalisasi? Prediksi contoh baru??) Bar? Raining? Ingat Ockham s Razor: Cari decision tree yang paling simple tapi consistent dengan data Algoritma DL Memilih Variable ujuan: cari tree terkecil yang konsisten dengan training examples Algoritma DL function DL(examples, attributes, default) returns a decision tree if examples is empty then return default else if all examples have same classification then return classification else if attributes is empty then return MODE(examples) else best CHOOSE-ARIBUE(attributes, examples) tree a new decision tree with root test best for each value v i of best do examples i {elements of examples with best = v i } subtree DL(examples i, attributes best, MODE(examples)) add a branch to tree with label v i and subtree subtree return tree Sebuah input variable yang ideal akan memilah example yang ada menjadi semua positif atau semua negatif. Berdasarkan prinsip ini, sebuah variable bisa lebih baik dari variable lain. Contoh: mana yang lebih baik? None Some ull ype? rench Italian hai Burger Secara rekursif: cari input variable yang paling menjelaskan training example, tambahkan node-nya.

6 Information heory Memilih Variable dengan Information Gain I( 0.5, 0.5 ) = 1bit I( 1.0, 0.0 ) = 0bit Pilih variable yang paling banyak mengandung informasi mengenai nilai output variable. Gunakan Information heory (Shannon & Weaver, 1949) Satuan informasi: 1 bit = informasi yang terkandung jawaban terhadap pertanyaan ya/tidak. Dkl. output variable boolean dgn. prior distribution 0.5, 0.5. Kandungan informasi jika prior-nya P 1,..., P n : I( P 1,..., P n ) = P n i = 1 P i log 2 P i Disebut entropy dari prior P 1,..., P n. Information gain Selisih informasi yang dibutuhkan sebelum dan sesudah nilai sebuah atribut diketahui. None Some ull ype? rench Italian hai Burger Gain(Patrons) 0.541bit Gain(ype) 0bit Pilih Patrons! Hasil DL Menguji Hipotesa ree yang dihasilkan algoritme DL untuk 12 example: None Some ull Hungry? Yes No ype? rench Italian hai Burger ri/sat? Lebih kecil/simple daripada tree yang sebenarnya! Hipotesa yang lebih kompleks (mis. Bar, Rain) tidak perlu (berdasarkan training example!) Bagaimana mengukur keberhasilan algoritme DL dkk.? Uji kebenaran hipotesa menjawab example baru (generalisasi). Bagi data menjadi 2: training set dan testing set: Jalankan learning pada training set Evaluasi keberhasilan pada testing set Pendekatan lain: cross-validation: Bagi data menjadi n potongan rain n kali, setiap kali sisakan potongan yang berbeda untuk testing

7 Curve Bentuk Curve Knowledge = Power Semakin banyak data, semakin bagus hasil machine learning. curve % prediksi benar pada test set sbg. fungsi dari ukuran training set. Contoh, pada data restoran: 1 Proportion correct on test set curve juga tergantung masalah yang dipelajari: Realizable: ungsi target f (x) bisa dinyatakan Non-realizable: ungsi target f (x) tidak bisa dinyatakan (kurang atribut?) Redundant: Banyak atribut noise yang tidak berguna, menyesatkan (overfitting)! % correct 1 realizable redundant nonrealizable raining set size # of examples bermanfaat untuk: Unknown environment Lazy designers Supervised learning menggunakan prinsip induksi: dari sehimpunan data, estimasi sebuah hipotesa rade-off antara consistency dan simplicity Algoritme menggunakan Information Gain Metode machine learning diuji dengan tahap training dan testing IKI32310 (Machine )