Penerapan Algoritma Monte Carlo Tree Search Pada Permainan Komputer Maze Treasure

Transkripsi

1 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer e-issn: X Vol. 1, No. 12, Desember 2017, hlm Penerapan Algoritma Monte Carlo Tree Search Pada Permainan Komputer Maze Treasure Nazzun Hanif Ahsani 1, Eriq Muh. Adams Jonemaro 2, Candra Dewi 3 Program Studi Teknik Informatika, 1 nazzunhanif@gmail.com, 2 eriq.adams@ub.ac.id, 3 dewi_candra@ub.ac.id Abstrak Pada penelitian terdahulu, algoritma Monte Carlo Tree Search (MCTS) terbukti telah sukses diterapkan pada permainan turn-based GO. Pada penerapan tersebut, MCTS telah menghasilkan skor tertinggi dibanding dengan skor-skor sebelumnya. Penerapan MCTS juga dilakukan pada permainan realtime Ms. Pac-man dimana dihasilkan skor yang memuaskan dibanding dengan skor tertinggi sebelumnya. Melihat kesuksesan penerapan MCTS tersebut, pada penelitian disini dilakukan penerapan MCTS pada agen enemy dalam permainan Maze Treasure. Pengujian dilakukan untuk mengetahui menvalidasi behavior dan performa agen dalam permainan. Untuk validasi behavior dilakukan dengan cara melihat tingkat completeness. Tingkat completeness tersebut diuji dengan cara membandingkan skor yang didapatkan agen dan skor yang tersedia. Hasil dari pengujian validasi behavior menunjukkan bahwa tingkat completeness dari 25 map simulasi adalah 100%, dimana completeness tiap map bernilai benar semua. Untuk pengujian performa dilakukan dengan membandingkan besar frames per second (FPS) pada tiap map simulasi. Hasil menunjukkan bahwa rata-rata performa terbaik ada pada map ukuran 16x12 grid sebesar FPS. Peningkatan ukuran map labirin akan menyebabkan penurunan terhadap performa. Penggunaan MCTS pada ukuran map diatas 52x39 grid akan menyebabkan permainan tidak layak dimainkan, dimana minimum FPS untuk permainan yang layak dimainkan sebesar 30 FPS. Kata kunci: monte carlo tree search, FPS, maze Abstract In a previous study, the Monte Carlo Tree Search (MCTS) algorithm proved to have been successfully applied to turn-based GO games. In the application, MCTS has produced the highest score compared with previous scores. The application of MCTS is also performed on Ms. Pacman realtime games, where the resulting score is satisfactory compared to the previous highest score. Seeing the success of the application of MCTS, in this research applied MCTS to the enemy agent in the game Maze Treasure. Testing is done to find out how to validate the behavior and performance of agents in the game. For behavior validation is done by looking at the level of completeness. The completeness level is tested by comparing the scores obtained by the agent and the scores available. The result of the behavior validation test shows that the completeness level of 25 simulation maps is 100%, where the completeness value of each map is true. For performance testing is done by comparing the frames per second (FPS) in each simulation map. The results show that the best average performance is on the 16x12 grid with value FPS. An increament in the size of the labyrinth will cause a decrease in performance. The use of MCTS on the size of the above 52x39 grid map will cause the game not well to be played, which is the minimum FPS for games that are worth for playing is 30 FPS. Keywords: monte carlo tree search, FPS, maze 1. PENDAHULUAN Permainan komputer saat ini memiliki berbagai macam gameplay yang membuat variasi kesenangan bermain game semakin beragam. Namun, pada gameplay dengan model permainan real-time, kesenangan yang dihasilkan tidak akan maksimal apabila tidak didukung dengan penerapan behaviors agen cerdas/non Player Characters (NPC). Permainan akan terasa kurang menyenangkan apabila NPC yang ada di dalamnya berperilaku tidak semestinya/bodoh. Prilaku agen yang Fakultas Ilmu Komputer Universitas Brawijaya 1660

2 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 1661 tampak bodoh bisa berupa pergerakan yang mudah ditebak atau bahkan pergerakan yang acak. Pergerakan agen yang seperti itu akan membuat permainan terasa kurang menyenangkan. Sebaliknya, agen yang telah terpasang kecerdasan tersendiri dan sesuai dengan tujuan permainan, akan meningkatkan kesenangan pemain. Kesenangan yang lebih akan didapatkan apabila NPC memiliki variasi behavior yang berbeda-beda, serta respon yang sesuai dengan perubahan strategi pemain (Umarov, 2012). Algoritma Monte Carlo Tree Search (MCTS) merupakan salah satu algoritma yang digunakan sebagai penghasil keputusan dari agen cerdas.. Algoritma MCTS mulai banyak diminati oleh para peneliti semenjak sukses diterapkannya pada permainan Go (Alhejali, 2013). Semenjak suksesnya penerapan MCTS pada permainan GO tersebut, juga menjadikan MCTS sebagai salah satu metode favorit dalam pengembangan Artificial Intellegence (AI) agen.. Setelah sukses penerapan MCTS pada permaian GO yang merupakan permainan turnbased, MCTS juga mulai diterapkan pada permainan realtime. Penerapan MCTS pada permainan realtime merupakan tantangan baru mengingat besar sumber daya yang digunakan untuk melakukan komputasi pada MCTS. Berbeda dengan turn-based, permainan realtime mengharuskan sistem untuk menghasilkan keluaran dalam waktu yang sangat singkat. Walaupun demikian, MCTS juga menghasilkan hasil yang memuaskan pada beberapa penelitian yang menerapkan MCTS pada permainan realtime. Penelitian sebelumnya (Pepels, 2014), juga sudah menerapkan MCTS pada permainan real-time Ms Pac-Man yang melibatkan agen ghost dan pac-man. Pada penelitian tersebut, agen cerdas memiliki aksi untuk memilih rute terbaik dengan memaksimalkan skor kemenangan tertinggi. Penelitian tersebut menghasilkan kesimpulan bahwa penerapan MCTS pada permainan real-time MS Pac-Man menghasilkan skor yang tinggi, dan bahkan lebih tinggi dibanding dengan skor-skor sebelumnya yang menggunakan algoritma berbeda. Permainan Maze Treasure adalah permainan realtime dengan environment berupa labirin. Di dalam permainan ini terdapat agen pemain dan agen enemy yang mana kedua agen tersebut memiliki tujuan sama, yakni mengumpulkan skor sebanyak-banyaknya. Permainan ini memiliki kemiripan dengan permaian Pac-man dimana environment berupa labirin dan pemain diharuskan untuk mengumpulkan skor. Perbedaannya adalah labirin yang digunakan dalam permainan Maze Treasure hanya memiliki tepat 1 rute untuk menuju ke suatu titik dari titik tertentu dan kedua agen harus mendapatkan skor sebaik mungkin. Dengan aktifitas agen yang sama dan environtment yang bermiripan, maka dimungkinkan pula diterapkan algoritma dari agen Ms Pac-Man untuk menghasilkan agen cerdas yang baik pada permainan Maze Treasure. Seperti yang telah diketahui dalam penelitian terdahulu, untuk penerapan agen cerdas Ms Pac-Man, MCTS telah menghasilkan hasil yang baik dalam kompetisi agen cerdas MS Pac-Man dan bahkan menghasilkan record score tertinggi saat itu (Ikehata, 2011). Oleh karena itu pada penelitian disini akan dibahas mengenai penerapan algoritma Monte Carlo Tree Search dalam permainan Maze Treasure. 2. LANDASAN KEPUSTAKAAN 2.1 Decision making pada agen game Decision making berkaitan proses pemilihan aksi yang akan dilakukan oleh agen. Sebelum bisa memilih aksi tertentu, agen memerlukan informasi-informasi yang biasa disebut dengan knowledge. Knowledge di dalam decision making bertindak sebagai input dan aksi merupakan output yang diperoleh (Millington, 2009). Adapun rupa knowledge tersebut dibagi menjadi 2 macam, yaitu external knowledge dan internal knowledge (Millington, 2009). External knowledge merupakan informasi yang diperoleh diluar dari objek agen dalam permainan, misalnya kondisi environtment, halangan, maupun jumlah item. Sedangkan internal knowledge berkaitan dengan informasi yang ada di dalam diri agen, misalnya health point dan skill. 2.2 Permainan maze Permainan maze merupakan permainan dengan environment utama berupa labirin. Adapun labirin tersebut tersusun dari banyak percabangan jalur yang mengharuskan pemain untuk mengambil jalur yang tepat untuk menuju suatu titik tertentu. Dalam pembuatan

3 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 1662 environment maze, ada banyak algoritma yang bisa digunakan, seperti Depth First Search (DFS), Prim s, dan Recursive Definiton Algorithm. 2.3 Frames per second (FPS) Frames per second merupakan jumlah frame yang dapat diproses tiap detiknya. Adapun frame berisi komputasi dari semua proses yang ada di dalam aplikasi. Pada permainan komputer, semua proses komputasi harus dilakukan dalam 1 frame (Rabin, 2009). Dalam permainan yant terterara keterangan 60 FPS atau 30 FPS memiliki arti bahwa permainan tersebut harus memproses semua komputasi dalam waktu 16 ms atau 33 ms. 2.4 Monte Carlo Tree Search Monte Carlo Tree Search (MCTS) merupakan salah satu algoritma search tree yang digunakan untuk mengambil keputusan berdasarkan sampel yang acak dalam suatu ruang sampel (Browne, 2012). Proses pemilihan sampel tersebut melalui 2 cara, yaitu eksplorasi dan eksploitasi. Melalui eksplorasi, sampel yang diambil merupakan sampel yang belum pernah digunakan sebelumnya, sedangkan eksploitasi adalah memilih dari sampel-sampel yang sebelumnya pernah digunakan. Penerapan MCTS telah terbukti sukses pada agen cerdas komputer dengan tipe permainan seperti puzzle, card, dan board (Pepels, 2014). Kesuksesan MCTS tersebut umumnya terdapat pada penerapan permainan bertipe turn-based. Namun, pada penelitian lain, MCTS juga sukses diterapkan pada permainan realtime, yakni pada permainan Ms. Pac-man. Penerapan MCTS pada permainan Ms Pac-man telah menghasilkan skor yang lebih tinggi dibandingkan dengan skor-skor yang ada pada kompetisi sebelumnya (Ikehata, 2011). MCTS memiliki 4 tahap utama dalam penerapannya. Tahapan tersebut antara lain selection, exploration, play-out, dan backpropagation Selection Tahap selection merupakan proses pemilihan node yang ada di dalam tree hingga mencapai node leaf. Proses pememilihan tersebut bisa dilakukan melalui pemilihan acak maupun dengan menggunakan algoritma seleksi lainnya, seperti Upper Confident Bound Tree Search (UCT). Adapun persamaan UCT ditunjukkan pada Persamaan (1). X i = v i + C ln n p n i (1) Dimana v i merupakan rata-rata skor yang didapat, C adalah konstanta eksplorasi, n p adalah jumlah pengunjungan pada node parent. Dan n i adalah jumlah pengunjungan pada node saat ini Exploration Tahap exploration adalah tahapan untuk memilih node child yang belum pernah dikunjungi. Pada tahap selection, node child akan di seleksi apabila semua node telah dikunjungi dengan minimal pengunjungan adalah 1. Namun apabila terdapat node child yang belum dikunjungi, maka node tersebut akan menjadi pilihan dan dilanjutkan pada tahap selanjutnya Play-out Pada tahap play-out, node terpilih yang telah diproses pada tahap sebelumnya, akan dilakukan proses simulasi. Proses simulasi untuk tiap game yang berbeda akan menghasilkan proses yang berbeda-beda juga. Umumnya proses simulasi dilakukan dengan mengambil pergerakan acak yang dilakukan secara berulang-ulang Backpropagation Pada tahap ini, akan dilakukan update skor mulai dari node yang telah dipilih pada tahap selection atau eksplorasi, menuju ke parent hingga mencapai node root kembali. 2.5 Maze Treasure Permainan ini terdiri dari 2 aktor, yaitu aktor pemain dan aktor enemy. Masing-masing aktor memiliki tujuan yang sama, yaitu mengumpulkan skor sebanyak-banyaknya. Tiap aktor juga memiliki kontrol pergerakan yang sama, yaitu bergerak ke arah depan, belakang, kanan dan kiri. Untuk mendapatkan skor, aktor diharuskan untuk mengambil sebaran treasure dan rare treasure yang tersebar secara acak. Adapun untuk enemy ada tambahan skor yaitu apabila enemy berhasil membunuh aktor pemain. 3. METODOLOGI Pada tahap ini akan dijelaskan mengenai

4 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 1663 tahapan selama proses penulisan dilakukan. Adapun tahapan-tahapan tersebut ditunjukkan pada Gambar 1. Studi Literatur Perancangan simulasi dan algoritma Monte Carlo Tree Search Implementasi simulasi dan algoritma Monte Carlo Tree Search Pengujian dan analisis Penutup Gambar 1. Metodologi penelitian Penerapan MCTS pada permaian Maze Treasure menggunakan 3 kriteria skor, yaitu treasure, rare tresure, dan survive. Treasure dan rare treasure merupakan item-item yang tersebar di dalam jalur labirin sedangkan survive adalah status dari aktor pemain. Apabila dalam jalur terdapat treasure atau rare treasure, maka masing-masing kriteria skor tersebut bernilai 1, kalau tidak ditemukan, maka akan bernilai 0. Survive akan bernilai 1 apabila di dalam jalur terdapat aktor permain dan bernilai 0 bila sebaliknya. Ketiga kriteria skor tersebut nantinya akan di rata-rata untuk mendapatkan nilai tunggal yang dijadikan sebagai skor dalam MCTS. aktor yang bergerak menggunakan algoritma MCTS. Untuk masing-masing aktor memiliki kontrol pergerakan yang sama. Adapun untuk aktor enemy terdapat satu kemampuan yang dapat digunakan untuk membunuh aktor. Kemampuan tersebut berupa menembakkan sebuah peluruh ke arah aktor pemain. Untuk menembakkan peluru tersebut, enemy diharuskan untuk menghadap ke arah aktor pemain dan beraada pada jarak tembak. 4.2 Perancangan skor Untuk aktor pemain, skor dapat diproleh melalui pengambilan treasure dan rare treasure yang tersebar di dalam labirin. Sedangkan untuk aktor enemy, skor diperoleh selain dari pengambilan treasure dan rare tresure, juga didapat dari kriteria survive aktor pemain. Masing-masing kriteria skor memiliki nilai poin yang berbeda. Untuk tresure memiliki nilai sebesar 1 poin, rare treasure memiliki nilai sebesar 10, dan untuk survive memiliki nilai sebesar 2. Pada kriteria survive, akan dihitung poinnya apabila enemy berhasil membunuh aktor pemain. Untuk skor yang digunakan pada metode MCTS yang dipasang pada agen enemy, ada 3 kriteria yang digunakan, yaitu treasure, rare treasure, dan survive. masing-masing nilai akan berniali 1 apabila treasure didapatkan, rare treasure didapatkan, dan aktor pemain berhasil dibunuh. 4.3 Perancangan map simulasi Map simulasi yang digunakan berupa labirin. Selama pengujian, map simulasi yang digunakan sudah ditetapkan. Sedangkan selama permainan biasa, map yang digunakan adalah map acak. Tiap map simulasi yang digunakan sudah memiliki ukuran yang pasti. Adapun untuk contoh map simulasi pada labirin ditunjukkan pada Gambar PERANCANGAN 4.1 Perancangan aktor Aktor pada permainan dibedakan menjadi 2, yaitu aktor yang digerakkan oleh pemain dan

5 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 1664 Gambar 2. Rancangan map simulasi 4.4 Perancangan node MCTS Node MCTS adalah node-node yang digunakan dalam pembuatan tree pada algoritma MCTS di dalam permainan Maze Treasure. Adapun node-node yang digunakan di dalam labirin ditunjukkan pada Gambar 3. ditunjukkan pada Gambar 4. Pada Gambar 4 ditnjukkan bahwa keempat tahapan MCTS dilakukan perulangan sebanyak n kali. Adapun pada tahap pertama dilakukan proses selection yang digunakan untuk memilih node MCTS yang akan digunakan pada tahap simulasi. Apabila pada tahap ini ditemukan ada node MCTS yang belum pernah dikunjungi, maka proses akan berlanjut ke tahap 2, yaitu tahap eksplorasi. setelah node berhasil ditemukan, baik itu beasal dari tahap selection ataupun tahap eksplorasi, selanjutnya akan masuk ke tahap play-out dan melakukan simualasi simulasi sebanyak n2. Setelah tahap play-out selesai, akan masuk ke tahap terkahir, yaitu tahap backpropagation. Gambar 3. Rancangan node MCTS Pada Gambar 3 ditunjukkan sekumpulan angka-angka yang menunjukkan bahwa nodenode tersebut adalah node MCTS. Adapun kriteria yang digunakan untuk menjadi grid yang ada di dalam labirin menjadi node MCTS. Kriteria tersebut antara lain, grid dengan tepat 1 tentangga atau 3 tetangga, serta grid dengan tepat 2 tetangga namun membentuk belokan untuk menuju ke grid tetangga. 4.5 Perancangan algoritma MCTS Penerapan algoritma MCTS meliputi 4 tahapan utama yang digunakan sehingga bisa mendapatkan hasil keputusan. Tahapan-tahapn tersebut antara lain selection, eksploration, play-out, dan backpropagation. Adapun untuk diagram alur untuk mendapatkan hasil keputusan berdasarkan keempat tahapan Gambar 4. Diagram alir MCTS 5. IMPLEMENTASI Berikut adalah spesifikasi dari perangkat keras dan perangkat lunak yang digunakan selama proses implementasi metode MCTS pada permainan Maze Treasure. Untuk spesifikasi perangkat keras ditunjukkan pada Tabel 1. Komponen Processor Memory Hardisk Graphic Card Tabel 1. Spesifikasi perangkat keras Spesifikasi Intel(R) Pentium(R) CPU 2.13GHz 2.93GB RAM 366GB Intel(R) HD Graphics Untuk spesifikasi perangkat lunak yag

6 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 1665 digunakan dalam perapan dan pengujian ditunjukkan pada Tabel 2. Tabel 2. Spesifikasi perangkat lunak Komponen Spesifikasi Operating Windows 7 Ultimate SP1 32-bit System Program C# Language Software Unity 5 Development Kit Software Editor Monodevelop 4 Adapun tampilan dari hasil implementasi metode MCTS pada permainan Maze Treasure ditunjukkan pada Gambar 5. Gambar 5. Hasil implementasi Maze Treasure Pada Gambar 5, untuk aktor pamain berada pada ujung kiri atas. Aktor enemy berada di tengah labirin, di bagian yang diberi tanda area yang dikelilingi oleh caya. Treasure ditunjukkan berupa peti yang berwarna coklat dan rare treasure ditunjukkan berupa peti dengan warna putih. Adapun untuk kotak berwarna hitam, menunjukkan node MCTS yang digunakan. 6. PENGUJIAN Pengujian dilakukan pada 25 map yang berbeda dimana dari 25 map tersebut terdiri dari 5 ukuran labirin yang berbeda-beda. Ukuran labirin tersebut diantaranya adalah 16x12 grid, 24x18 grid, 30x22 grid, 40x30 grid, dan 52x39 grid. Ada dua pengujian yang digunakan pada penelitian disini, yaitu pengujian validasi behavior dan performa agen cerdas. Untuk pengujian validasi behavior dilakukan dengan cara melihat tingkat completeness apakah skor selalu bisa dihabiskan oleh enemy atau tidak. Untuk pengujian performa dilakukan dengan menguji besar frames per second (fps) yang dihasilkan oleh agen dalam memproses MCTS. adapun hasil dari pengujian validasi behavior ditunjukkan pada Tabel 3. Uku ran 16x 12 24x 18 30x 22 40x 30 52x 39 Tabel 3. Hasil pengujian validasi behavior Skor yang didapat Total Total No skor skor. Rare Su Trea yang yang M Trea rvi didap diingin ap sure sure ve Com plete ness at kan Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Ya Pada Tabel 3. Ditunjukkan bahwa pada kolom Total skor yang didapatkan dan kolom Total yang diinginkan menghasilkan nilai yang sama. Kolom Skor terpenuhi akan bernilai benar apabila pada Kolom skor yang didapatkan dan kolom Total yang diinginkan memiliki nilai yang sama. Dan karena semua baris menujukkan bahwa kolom Skor terpenuhi memiliki nilai Ya semua, maka hal ini mengindikasikan bahwa penerapan MCTS pada permainan Maze Treasure berhasil dilalakukan. Adapun untuk pengujian performa agen dengan parameter besar frame per second yang dihasilkan pada proses MCTS ditunjukkan pada Tabel 4. Tabel 4. Hasil pengujian performa agen Frame per second (fps) No. Grid Grid Grid Grid Grid Map (16x12) (24x18) (30x22) (40x30) (52x39)

7 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 1666 Ratarata Pada Tabel 4, ditunjukkan bahwa performa terbaik berada pada labirin dengan ukuran 16x12, yaitu pada map 2 dengan nilai fps. Adapun performa terburuk berada pada labirin dengan ukuran 40x30 pada map 4 dengan nilai fps. Berdasarkan rata-rata fps yang dihasilkan dari masing-masing ukuran labirin, menunjukkan bahwa semakin besar ukuran labirin yang digunakan, akan menurunkan performa dari permainan tersebut. 7. KESIMPULAN Berdasarkan hasil pengujian yang telah dilakukan untuk mengetahui validasi behavior, efisiensi, dan stabilitas kinerja agen cerdas, didapatkan kesimpulan sebagai berikut. 1. Penerapan metode Monte Carlo Tree Search berhasil dilakukan pada agen cerdas enemy dalam permainan Maze Treasure. Hasil pengujian menunjukkan dari 25 map yang disediakan yang terdiri dari 5 ukuran yang berbeda, didapatkan bahwa semua simulasi yang dilakukan menunjukkan agen enemy berhasil untuk mendapatkan semua skor yang tersedia di dalam masing-masing map. 2. Agen cerdas enemy dengan menggunakan metode MCTS dengan rata-rata performa terbaik terdapat pada labirin dengan ukuran 16x12 grid. Adapun untuk tiap penambahan ukuran labirin yang digunakan dalam pengujian agen, menunjukkan bahwa dengan semakin meningkatkya ukuran labirin, maka akan menurunkan performa kinerja agen yang diukur berdasarkan frame per second (FPS) yang dihasilkan. 8. DAFTAR PUSTAKA Alhejali, A.M. & Lucas, S.M Using genetic programming to evolve heuristics for a Monte Carlo Tree Search Ms Pac- Man agent. In Computational Intelligence in Games (CIG), Canada, Agustus 2013 IEEE Conference on (pp. 1-8). Browne, C.B., Powley, E., Whitehouse, D., Lucas, S.M., Cowling, P.I., Rohlfshagen, P., Tavener, S., Perez, D., Samothrakis, S. & Colton, S A survey of monte carlo tree search methods. IEEE Transactions on Computational Intelligence and AI in games, 4(1), pp Buckland M AI techniques for game programming. 1st ed. Premier press. Galvan-Lopez, E., Li, R., Patsakis, C., Clarke, S. & Cahill, V Heuristic-Based Multi-Agent Monte Carlo Tree Search. In Information, Intelligence, Systems and Applications, IISA 2014, The 5th International Conference, Greece, 7-9 Juli 2014 on (pp ). Ikehata, N. & Ito, T Monte-carlo tree search in ms. pac-man. In Computational Intelligence and Games (CIG), 2011 IEEE Conference, South Korea, 31 Agustus 3 September on (pp ). Kozlova, A., Brown, J.A. & Reading, E Examination of representational expression in maze generation algorithms. In Computational Intelligence and Games (CIG), Taiwan, 31 Agustus 2 September 2015 IEEE Conference on (pp ). Li, X., Hou, L. & Wu, L UCT algorithm in Amazons human-computer games. In Control and Decision Conference (2014 CCDC), China, 31 Mei 2 Juni 2017 The 26th Chinese (pp ). Millington, I. & Funge, J Artificial intellegence for games. 2nd ed. San Francisco: Morgan Kaufmann Publishers Inc. Nguyen, K.Q. & Thawonmas, R Monte carlo tree search for collaboration control of ghosts in ms. pac-man. IEEE Transactions on Computational Intelligence and AI in Games, 5(1), pp Pepels, T., Winands, M.H. & Lanctot, M Real-time monte carlo tree search in ms pac-man. IEEE Transactions on Computational Intelligence and AI in games, 6(3), pp Rabin, S Introduction to game development. 2nd ed. Nelson Education. Umarov, I. & Mozgovoy, M Believable and effective AI agents in virtual worlds: Current state and future perspectives. International Journal of Gaming and Computer-Mediated Simulations (IJGCMS), 4(2), pp

8 Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer 1667 Yoshida, S., Ishihara, M., Miyazaki, T., Nakagawa, Y., Harada, T. & Thawonmas, R Application of Monte-Carlo tree search in a fighting game AI. In Consumer Electronics, 2016 IEEE 5th Global Conference on (pp. 1-2). Zuo, G. & Wu, C A heuristic Monte Carlo tree search method for surakarta chess. In Control and Decision Conference (CCDC), 2016 Chinese (pp )