IKI30320 Kuliah 8 26 Sep Ruli Manurung. Game playing. Strategi optimal. Bekerja cepat Cutoff Tree pruning. State of the art.

Transkripsi

1 Outline IKI 3030: Sistem Cerdas : (Deterministic) Game Playing Fakultas Ilmu Komputer Universitas Indonesia September Masalah menghadapi lawan Jenis-jenis game State space search biasa: agent berinteraksi dengan environment (biasanya static & deterministic). Terkadang environment berisi agent lain: cooperative, competitive Melawan agent musuh : adversarial search game Latar belakang: game theory (matematika, ekonomi) perfect information imperfect information deterministic chess, checkers, go, othello stochastic monopoly, backgammon bridge, poker, nuclear war Dalam sejarah AI, game yang biasanya jadi bahan riset: Deterministic Perfect information pemain Zero-sum game

2 Game sebagai search Contoh game tree MA () State: konfigurasi papan dan info pemain yang akan berjalan Successor function: mengembalikan list pasangan (move, state) Terminal test: menentukan apakah permainan sudah selesai (terminal state) Utility function: penilaian numerik terhadap terminal state. Mis: menang (+), seri (0), kalah (-). (O) MA () (O) O O O O O O Ke-4 hal ini mendefinisikan sebuah game tree. TERAL O O O O O O O O O O Utility 0 + Solusi dalam sebuah game Solusi game pemain: Algoritma Minimax Andaikan sebuah permainan antara pemain: MA (agent) dan MA jalan dulu, lalu, dst. sampai game selesai langkah = ply (MA jalan, jalan) Kalau search biasa, cari path sehingga mencapai terminal state di mana MA menang Tapi langkah di luar kendali si agent MA! Solusi berupa contingent strategy untuk setiap kemungkinan langkah IMAVALUE(n)= UTILITY(n) max s Successor(n) IMAVALUE(s) min s Successor(n) IMAVALUE(s) jika n terminal jika n node MA jike n node Ini strategi, atau perfect play: memberikan hasil terbaik melawan musuh yang diasumsikan. MA 3 A A A 3 3 A A 3 A A A 3 A 3 A 33 A A

3 Game dengan 3 (atau lebih) pemain Algoritma Minimax to move A B Intinya sama dengan minimax: setiap pemain berlaku Nilai setiap node berupa vektor dengan n nilai Mis: untuk 3 pemain A, B, C < v A, v B, v C > Pada terminal state: nilai utility untuk setiap pemain Ternyata dengan mengikuti strategi ini bisa muncul alliansi, mis: A & B sama-sama lemah, lawan C. (,, 6) (,, 6) (, 5, ) Definisi algoritma ini rekursif, dengan base case pada terminal state Untuk menghitung IMAVALUE pada initial state, harus depth-first search seluruh game tree! Complete? Ya, kalau game tree-nya finite Optimal? Ya, asumsi lawan musuh juga. (Kalau tidak? Lebih!) Time complexity? O(b m ) Space complexity? O(bm) (atau O(m) dgn. backtracking) C A (,, 6) ( 6,, ) (, 5, ) ( 5, 4, 5) (,, 6) ( 4,, 3) ( 6,, ) ( 7, 4, ) ( 5,, ) (, 5, ) (7, 7, ) ( 5, 4, 5) Teori sih OK. Untuk catur: b 35, m 00 pencarian strategi berdasarkan Minimax tidak feasible! Keterbatasan sumber daya Evaluation function Biasanya dalam suatu permainan ada batasan waktu Andaikan ada agent bermain catur yang diberi 00 detik untuk berpikir tiap langkah. Biasanya, evaluation function berupa kombinasi linier dari fitur-fitur sebuah state: Eval(s) = w f (s) + w f (s) + + w nf n(s) = P n i= w if i (s) Mis. untuk catur: w =, f = jumlah pion putih - jumlah pion hitam w = 3, f = jumlah gajah putih - jumlah gajah hitam Mis. bisa memroses 0 4 node/detik 0 6 node/langkah Kita bisa melakukan aproksimasi sbb.: : batasi depth yang diproses ( IDS), bisa juga quiescence search Evaluation function: prediksi dari nilai utility function (tidak perlu sampai ke terminal state) Black to move White slightly better White to move Black winning

4 Perhatikan: nilai persisnya tidak penting Melakukan search dengan cutoff MA Jika Eval diubah secara monotonik, hasil strategi tidak berubah Evaluation function pada game yang deterministic adalah fungsi ordinal (urutan/prioritas) IMACUTOFF persis sama IMAVALUE, kecuali: Jika node n, cutoff EVAL(n) Untuk contoh catur: b m = 0 6, b = 35 m = 4 4-ply lookahead pemain manusia pemula 8-ply lookahead pemain manusia master, catur komputer rata-rata -ply lookahead Deep Blue, Garry Kasparov,. Pruning (memangkas) game tree Contoh α β pruning Kinerja IMA masih bisa diperbaiki dengan pruning (memangkas) game tree. Prinsipnya: node (subtree) yang tidak mungkin mempengaruhi hasil akhir tidak perlu ditelusuri. Pruning demikian dilakukan oleh algoritma alpha-beta pruning MA IMAVALUE(root) = max(min(3,,8), min(,x,y), min(4,5,)) = max(3, min(,x,y), ) = 3

5 Prinsip dasar α β pruning Sifat alpha-beta pruning Pruning dengan α MA MA α adalah nilai terbesar (terbaik untuk MA) sementara yang sudah diketahui. Jika nilai V < α, MA tidak pernah akan memilihnya V bisa dipangkas. Pruning dengan β β adalah nilai terkecil (terbaik untuk ) sementara yang sudah Alpha-beta pruning tidak mempengaruhi hasil akhir algoritma minimax Urutan penelusuran nilai mempengaruhi kinerja coba pilih nilai yang terbaik dulu Dengan urutan yang ideal O(b m/ ) depth bisa x lipat Untuk catur, lookahead 8-ply tingkat pemain master V diketahui. Jika nilai V > β, tidak pernah akan memilihnya V bisa dipangkas. Hasil riset game yang deterministic Checkers: 994, Chinook mengalahkan juara dunia selama 40 tahun, Marion Tinsley. Menggunakan database endgame untuk perfect play semua kemungkinan state dengan maks 8 keping (443 miliar state). Catur: 997, Deep Blue mengalahkan juara dunia Gary Kasparov dalam pertarungan 6-ronde. Bisa memroses 00 juta node/detik, evaluation function canggih, dan metode lain sehingga lookahead 40-ply. Othello: Juara (manusia) menolak melawan komputer yang terlalu jago. Go: Juara (manusia) menolak melawan komputer yang terlalu jelek. Dalam go, b > 300. Adversarial search adalah masalah search problem melawan agent musuh game Perfect play: strategi yang memberikan hasil terbaik, asumsi lawan musuh. Algoritma IMA: secara teoritis memberikan perfect play. Dalam kenyataannya terlalu mahal computational cost-nya Aproksimasi dengan IMACUTOFF: lihat m langkah ke depan, perkiraan utility dengan evaluation function Pruning (memangkas) tree dengan alpha-beta pruning Baca bab buku Russell & Norvig (ada algoritma Minimax, Alpha-Beta)