BAB 4 IMPLEMENTASI DAN EVALUASI

Transkripsi

1 93 BAB 4 IMPLEMENTASI DAN EVALUASI 4.1 Spesifikasi Sistem Sistem-sistem pendukung yang dibutuhkan untuk menjalankan aplikasi yang telah dibuat terbagi menjadi 2, yaitu kelompok perangkat keras dan kelompok piranti lunak Spesifikasi Kebutuhan Perangkat Keras Spesifikasi perangkat keras yang digunakan untuk menggunakan sistem ini adalah sebagai berikut: No. Jenis Minimum Recommended 1. Processor Pentium IV 1,5 GHz Pentium IV 3 GHz 2. Memory 128 MB 512 MB 3. VGA Card None GeForce 2 MX 4. Harddisk 10 GB 40 GB Tabel 4.1 Spesifikasi K ebutuhan Perangkat Keras Spesifikasi Kebutuhan Piranti Lunak Aplikasi yang diberikan akan dikemas dalam bentuk Package sehingga pengguna hanya perlu melakukan instalasi program yang diberikan. Berikut adalah spesifikasi piranti lunak yang dapat mendukung jalannya aplikasi: Microsoft Windows 2000/2003/NT/XP/Vista Operating System Microsoft Internet Explorer 4.0 Browser

2 Pengoperasian Aplikasi Untuk melakukan pengoperasian aplikasi Zingy, cukup dengan mencari logo Zingy yang berupa huruf Z dan double-click logo tersebut. Form awal yang akan ditampilkan adalah sebagai berikut: Gambar 4.1 Pemilihan Kamus Form ini digunakan untuk memilih kamus yang digunakan. Penjelasan mengenai pilihan kamus yang ada tertera pada samping kanan jenis kamus. Setelah memilih salah satu dari kamus tersebut, maka aplikasi akan melakukan proses inisialisasi dan memerlukan beberapa detik (kurang dari 10 detik). Tampilan inisialisasi adalah sebagai berikut:

3 95 Gambar 4.2 Form Loading Program Setelah aplikasi selesai melakukan inisialisasi, maka form tampilan utama akan ditampilkan. Tampilan utama Zingy: Gambar 4.3 Form Utama ZINGY

4 96 1. Untuk memulai permainan Scrabble Zingy, klik menu File pada menu utama. Maka akan muncul menu: New Solo Play ( Analyzer Mode) Permainan dilakukan untuk 1 orang saja, hanya untuk analisa. 2 Player (vs Fast Computer) Permainan dilakukan oleh user dan computer yang waktu proses berpikirnya paling cepat. 2 Player (vs Valuated Movement) Permainan dilakukan oleh user dan computer yang evaluasinya paling baik. 2 Player (vs N-Ply Simulation) Permainan dilakukan oleh user dan computer yang jalannya ditentukan setelah melakukan simulasi sebanyak n (2-5) langkah ke depan. 2 Player (Computer vs Computer) Permainan dilakukan oleh computer dan computer. Kemampuan dari computer dapat di set berdasarkan keinginan user (Highest Score, Considering Tiles Left, N- Ply [2..5]). Tampilan setting untuk submenu ini adalah sebagai berikut:

5 97 Gambar 4.4 Form Komputer vs Komputer Show Bonus Square Label : Untuk menunjukkan label bonus pada kotak premium di board Scrabble. Tampilannya menjadi seperti ini: Gambar 4.5 Form Utama dengan Bonus Square Label

6 98 Change Player s Name : Untuk mengganti nama user, akan muncul message box untuk mengisi nama user yang divalidasikan panjang karakter minimal 1 huruf dan maksimal 10 huruf. Exit : Untuk keluar dari aplikasi Zingy dan kembali ke Windows user. 2. Untuk mengubah kamus yang digunakan sebagai referensi Zingy, cukup memilih menu Dictionary yang isinya: Change Dictionary : Untuk mengganti kamus yang digunakan oleh Zingy. Synchronise Plaintext as Dictionary : Mengubah kamus yang awalnya hanya berupa text menjadi DAG. 3. Untuk melihat langkah-langkah apa saja yang dapat dilakukan dan untuk melakukan langkahnya, dapat memilih menu Move yang isinya: Generate All Choices : Untuk melihat langkah-langkah apa saja yang dapat dilakukan dengan rack yang ada. Informasi yang ada berupa kata apa yang dapat dibentuk, dimana diletakkannya, serta jumlah milai yang didapat berdasarkan rack yang ada. Tampilannya adalah seperti berikut:

7 99 Gambar 4.6 Tampilan Generate All Move Valuated Move : Untuk melihat semua langkah-langkah yang dapat dilakukan dengan rack yang ada namun diurutkan setlah dievaluasi. Tampilannya sebagai berikut:

8 100 Ga mbar 4.7 Tampilan Generate Valuated Move Commit Movement : Untuk mengkonfirmasi langkah yang telah ditaruh pada board. Setelah dikonfirmasi maka rack secara otomatis akan mengenerate tiles pada rack sehingga tampilannya menjadi sebagai berikut:

9 101 Gambar 4.8 Tiles dipasang diatas papan Commit Top-Scored Move : Untuk mengkonfirmasi langkah dengan score tertinggi.

10 102 G ambar 4.9 Pemilihan Top Scored Move Commit Top-Valuated Move : Untuk mengkonfirmasi langkah dengan nilai evaluasi terbaik.

11 103 G ambar 4.10 Pemilihan Top Valuated Move 4. Untuk melakukan simulasi dalam aplikasi Zingy, dapat memilih menu Simulasi yang isinya: Show Process (2-5 Plies) : Untuk melihat simulasi yang dilakukan sebayak n (2-5) langkah ke depan. Hide Show : Untuk melakukan simulasi sebanyak n langkah ke depan namun tanpa diperlihatkan. Iteration Number (3-10) : Untuk melihat simulasi pada iterasi ke n. 5. Untuk melihat informasi lain mengenai aplikasi Zingy, dapat memilih menu Help yang isinya: About : Untuk melihat informasi mengenai pembuat Zingy.

12 104 Helpful Hints : Untuk memperoleh bantuan yang dapat menolong user dalam mengoperasikan aplikasi Zingy ini. Rules of Scrabble : Untuk melihat aturan dalam permainan Scrabble. What is TWL : Untuk menampilkan message box yang berisi mengenai penjelasan TWL. What is SOWPODS : Untuk menampilkan message box yang berisi mengenai penjelasan SOWPODS. 6. Fitur lainnya dari aplikasi Zingy adalah tombol Cancel Move, Exchange Tiles, Next Movement. Cancel Move : Untuk mengembalikan tiles yang ditaruh pada board sebelum dikonfirmasi kembali ke rack. Exchange Tiles : Untuk mengganti tiles pada rack yang dimiliki. Apabila dilakukan pada solo play, user dapat mengganti seluruh tiles menjadi yang diinginkan, akan muncul message box untuk mengisi tiles apa yang diinginkan. Apabila melawan computer, user hanya dapat menukar tiles pada racknya saja, namun tidak dapat memilih tiles yang diinginkan. Next Movement : Apabila permainan dilakukan pada mode computer vs computer, maka tombol yang tersedia hanyalah tombol ini. Tombol ini untuk melanjutkan langkah computer dalam permainan. Tampilannya adalah sebagai berikut:

13 105 Gambar 4.11 Next Movement pada AI vs AI 7. Pada tampilan di bagian kanan dari aplikasi Zingy juga menampilkan fitur berupa menu tab sebagai berikut: History : Untuk melihat langkah apa saj yang diambil pemain dari awal hingga saat itu. Langkah yang ditampilkan berupa letak, kata yang dibentuk dan nilai yang diperoleh oleh pemain. Tampilannya adalah seperti ini:

14 106 Gambar 4.12 Tampilan dengan History terisi Choices : Untuk menampilkan langkah-langkah yang dapat dibentuk dan juga untuk mengkonfirmasi langkah yang dapt dilakukan baik berdasarkan nilai tertinggi ataupun nilai evaluasi yang terbaik. Tampilannya sama seperti poin 3 karena pada menu tab ini tersedia tombol-tombol yaitu : Generate All Moves, Valuated Move, Commit Top Score dan Commit Top Valuated.

15 107 Gambar 4.13 Tampilan Generate Choices Pada menu Choices ini, kita juga dapat melihat evaluasi dari langkah yang kita ambil. Dengan menekan kolom move suatu langkah dari tabel yang disediakan, maka akan ditampilkan suatu evaluasi dari mentor ZINGY. Berikut contoh dari evaluasi tersebut:

16 108 Gambar 4.14 Evaluasi langkah/mentor pada ZINGY Dictionary : User dapat memilih menu tab ini untuk mencari informasi mengenai kata-kata dalam bahasa Inggris sesuai referensi yang digunakan Zingy. Pada menu tab ini ada beberapa tabel yang dapat digunakan oleh user yaitu: - Dictionary Used : User dapat memilih referensi yang digunakan oleh Zingy, pada Zingy terdapat 4 buah referensi: SOWPODS, TWL98, TWL06, CUSTOM. - Anagram Input : User dapat menuliskan kata yang ingin dicari kombinasinya namun valid terhadap referensi yang digunakan Zingy.

17 109 - Anagram Result : Tempat Zingy memperlihatkan kombinasi apa saja yang valid dari input yang dimasukkan user. - Search Word : User dapat mengisi kata apa saja, Zingy akan memberitahu kata tersebut valid atau tidak valid terhadap referensi yang digunakan. - Search Definition : User dapat mengisi kata yang ingin diketahui artinya oleh user, Zingy akan memberikan informasi mengenai kata yang diinput user. Tampilan menu tab Choices ini sebagai berikut: Gambar 4.15 Tampilan tab Dictionary

18 Evaluasi Kuesioner Metode pertama yang digunakan untuk melakukan evaluasi atau pengujian terhadap aplikasi yang dihasilkan adalah dengan memberikan kuesioner kepada para responden. Metode kuesioner digunakan karena dalam menguji kehandalan (Expert) da n interaktifitas suatu program, para penggunalah yang menentukannya. Sebuah aplikasi AI dapat dikatakan sangat superior jika ia dapat mengalahkan semua lawan manusia yang ditemuinya. Interaktifitas dan kegunaan pun harus dilihat dari sisi pengguna yang ditunjukkan dengan respon positif atau tidaknya dukungan yang diberikan. Dalam penentuan responden yang akan menguji keseluruhan aplikasi ini, kami membatas ruang lingkupnya hanya sampai kepada para pengguna yang sedikit banyak telah mengetahui peraturan permainan Scrabble. Ini dilakukan bertujuan untuk memperakurat hasil terutama dalam bagian kehandalan aplikasi. Saran yang diberikan pun akan menjadi lebih mengenai sasaran karena kekurangan program akan langsung diterima dari para pengguna dan pemain Scrabble itu sendiri. Dalam perancangan kuesioner yang akan diberikan pada para responden, hal-hal yang dibahas adalah sebagai berikut: Kehandalan aplikasi Kemudahan dalam antar mukanya Waktu proses Efektifitas AI sebagai sarana berlatih

19 111 Perbandingan terhadap aplikasi serupa Motivasi pengguna setelah menggunakannya Fitur tambahan yang mungkin diberikan Untuk mengambil jumlah sampel dari kuesioner ini, kami menggunakan rumus yang dikembangkan oleh Isaac dan Michael untuk tingkat kesalahan 1%. Rumus untuk menghitung ukuran sampel (s) dari populasi (N) yang diketahui jumlahnya adalah sebagai berikut: s = λ 2. N. P. Q d 2 (N 1) + λ 2. P. Q λ 2 dengan dk = 1, taraf kesalahan 1% P = Q = 0,5 d = 0,05 Populasi pemain Scrabble yang cukup handal yang berada di Jakarta adalah sekitar 33 orang. Maka dari itu, untuk memperoleh tingkat kesalahan 1% dibutuhkan sampel sebanyak 30 responden. Dari hasil para responden tersebut, data yang dikumpulkan dapat disajikan dalam bentuk tabel rata-rata sehingga mudah dipahami. No. Hal Hasil Rata-rata Skala 1. Responden yang berhasil menang Tidak ada - Semua 2. Skill dari AI yang dihasilkan 9, Terendah - Tertinggi 3. User Friendliness 7, Tersulit - Termudah 4. Waktu proses 8, Terlama - Tercepat 5. Efektifitas sebagai sarana berlatih 9, Terendah - Tertinggi 6. Aplikasi Serupa Tidak ada - Sering 7. Motivasi setelah menggunakannya 7, Terendah - Tertinggi Tabel 4.2 Penyajian data evaluasi dengan responden berjumlah 30 orang

20 112 Adapula kekurangan aplikasi bagi responden yang diwakili dengan pemberian saran-saran dapat disimpulkan kepada peningkatan antar muka sehingga menjadi suatu software permainan yang memiliki desain-desain animasi dan suara yang baik.

21 Pembandingan Program Metode kedua yang kami gunakan untuk mengukur kehandalan dari program kami adalah dengan melakukan simulasi pertandingan dengan program lain yang telah terbukti kehandalannya. Program yang kami gunakan sebagai lawan dari program kami antara lain: Scrabble 2005 Edition UBISOFT, MATTEL Scrabble Complete Infogrames Interactives HASBRO Ketiga program tersebut adalah program Scrabble yang telah beredar di pasaran dan memperoleh popularitas tertinggi diantara semua permainan Scrabble. Adapun perbedaan mendasar dari kedua program tersebut yang unik atau berbeda satu sama lain adalah kamus yang digunakan. Kamus yang digunakan dalam Scrabble 2005 Edition adalah kamus internasional, sedangkan kamus yang digunakan dalam Scrabble Complete adalah kamus yang berasal dari Amerika. Kedua kamus ini disediakan oleh program kami sehingga tidak ada masalah dalam penyesuaian kamusnya. Jumlah pertandingan yang digunakan untuk mengukur program kami adalah menggunakan sistem pertandingan internasional untuk menentukan endurance (ketahanan) dari 2 orang pemain. Jumlah pertandingan yang digunakan adalah 13 permainan. Untuk pengujian terhadap program Scrabble 2005 Edition, kami menghentikan pengukuran pada pertandingan ke-10 karena telah terlihat konvergensi dari hasil yang didapat. Berikut adalah paparan hasil dari pertandingan dengan program-program lain

22 114 ZINGY Scrabble Master Artificial Intelligence Melawan Scrabble 2005 Edition UBISOFT, MATTEL Parameter: Kamus: SOWPODS (kamus internasional, 216,553 kata) Jumlah pertandingan: 10 Tipe permainan Scrabble 2005 Editio n: Terr y A Gre at Champio n, A Machine! (rating: 2453) Tipe permainan ZINGY: AI dengan simulasi 3-ply Hasil Pertandingan: Representasi dala m tabel: ZINGY Scrabble Master Artificial Intelligence Terry A Great Champio n, A Machine! (ra ting: 2453) No. Bingo Move B lank Scor e No. Bingo Move Blank S core Winner ZINGY ZINGY ZINGY , ZINGY ZINGY ,5-287 ZINGY ZINGY , ZINGY ZINGY , ZINGY Total Total Rata-rata Rata-r ata Tabel 4. 3 Hasil pengukur an ZINGY dengan Scrab ble 2005 Edition

23 115 Representasi dalam Diagram batang (berdasarkan Score masing-masing permainan): ZINGY TERRY st 2nd 3rd 4th 5th 6th 7th 8th 9th 10th game Gambar 4.16 Diagram batang Score ZINGY - TERRY Representasi dalam Diagram batang (berdasarkan jumlah bingo yang dibuat setiap permainan): ZINGY TERRY st 2nd 3rd 4th 5th 6th 7th 8th game 9th 10th Gambar 4.17 Diagram batang Bingo ZINGY TERRY

24 116 ZINGY Scrabble Master Artificial Intelligence Melawan SCRABBLE COMPLETE Infogrames Interactives HASBRO Parameter: Kamus: OSPD3 (Official Scrabble Player Dictionary, kamus North American, 168,266 kata) Jumlah pertandingan: 13 Tipe perm ainan Scrabble 2005 Edition: MAVEN The Champion (rating: 2100) Tipe permainan ZINGY: AI dengan simulasi 3-ply Hasil pertandingan: Representasi dalam tabel: ZINGY Scrabble Master Artificial Intelligence MAVEN The Champion (rating: 2100) No. Bingo Move Blank Score No. Bingo Move Blank Score Winner ZINGY ZINGY ZINGY ZINGY MAVEN ZINGY ZINGY ZINGY ZINGY MAVEN ZINGY ZINGY ZINGY Total Total Rata-rata Rata-rata Tabel 4.4 Tabel pengukuran ZINGY dengan Scrabble Complete

25 117 Representasi dalam Diagram batang 600 (berdasarkan Score masing-masing permainan): ZINGY MAVEN st 3rd 5th 7th 9th 11th 13th Gambar 4.18 Diagram batang Score ZINGY - MAVEN Representasi dalam Diagram batang (berdasarkan jumlah bingo yang dibuat setiap permainan): ZINGY MAVEN st 3rd 5th 7th 9th 11th 13th Ga mbar 4.19 Diagram batang Bingo ZINGY - MAVEN

26 Hasil Evaluasi Berdasarkan evaluasi menggunakan kedua cara diatas, maka kita dapat mengambil keputusan bahwa program yang kita kembangkan telah mencapai hasil yang sangat memuaskan. Dari pengukuran berdasarkan kuesioner, keseluruhan responden tidak berhasil mengalahkan aplikasi yang kami kembangkan. Hal ini dapat merujuk kepada dua hal: Program yang kami kembangkan sangat handal sehingga tidak dapat dikalahkan oleh manusia. Responden tidak memiliki kemampuan Scrabble yang bertaraf dunia. Hasil dari pengujian yang lebih dalam, yaitu dengan melakukan simulasi pertandingan terhadap program lain, memperjelas masalah yang didapat dari responden mengenai kehandalan aplikasi. Dari hasil pengujian terhadap program lain, aplikasi yang kami kembangkan menunjukkan hasil yang sangat memuaskan dan diluar dugaan sebelumnya. Dengan hasil ini, aplikasi yang kami kembangkan dapat dikatakan tak terkalahkan. Berdasarkan hasil kuesioner juga didapat keefektifan aplikasi yang dikembangkan sebagai sarana untuk mengembangkan kemampuan bermain Scrabble.

27 Kelebihan dan Kekurangan Sistem Setelah analisis pengujian sistem dilakukan maka kelebihan dan kekurangan sistem yang ditemukan adalah sebagai berikut : Kelebihan Sistem o Aplikasi dapat menyarankan dan memperlihatkan langkah-langkah yang terbaik yang dapat diambil pemain berdasarkan nilai tertinggi atau evaluasi terbaik. o Aplikasi ini dapat memberikan informasi mengenai beberapa hal yang cukup berguna mengenai scrabble baik referensi yang digunakan atau kata-kata yang valid/invalid. o Aplikasi ini melakukan proses berpikir yang cukup cepat dalam menentukan langkah yang dilakukan computer. Untuk rack tanpa tile blank, dibutuhkan waktu tidak sampai 1 detik, sedangkan untuk rack dengan tile blank, waktu yang dibutuhkan dapat mencapai 5-10 detik. o Penggunaan simulasi dalam pencarian langkah terbaik. Semua program scrabble yang ada saat ini tidak didesain sebagai analysis tool sehingga tidak menyertakan simulasi. Heuristik mereka hanya berdasarkan langkah dengan nilai tertinggi. o Fitur terlengkap yang diberikan oleh sebuah program scrabble. Program kami mengikutsertakan fasilitas Anagramming dan pencarian arti kata beserta permainan yang dapat diatur sesuai dengan keinginan penggunanya. Fasilitas-fasiltas ini belum pernah ada pada program scrabble sejenis.

28 120 o Tampilan program yang tidak memakan seluruh layar (Full Screen). Tampilan layar yang didesain sebesar setengah layar memudahkan pengguna untuk berpindah dari satu program ke program lainnya sehingga ketika menggunakannya, pengguna tidak harus fokus ke hanya satu hal saja Kekurangan Sistem o Apabila di rack terdapat tile blank, waktu yang digunakan untuk menentukan langkahnya akan sangat lama. o Aplikasi ini hanya sebagai simulasi saja, tidak dapat dibandingkan dengan turnamen scrabble sebenarnya yang pemainnya adalah manusia yang memiliki kreatifitas yang tidak dapat diimplementasikan pada aplikasi kecerdasan buatan manapun. o Kerja processor yang tinggi mengakibatkan cepat panasnya notebook atau portable devices lainnya. o Belum disediakannya fasilitas untuk menyimpan setting dari pengguna yang dapat dikembangkan setiap pengguna membuka program.