BAB VI PENGUJIAN SISTEM

Transkripsi

1 BAB VI PENGUJIAN SISTEM Bab ini berisi penjelasan mengenai pengujian yang dilakukan terhadap sistem pengenal tulisan tangan huruf Katakana menggunakan metode Induct/RDR (KaRe) yang telah dibangun. Pengujian ditujukan untuk memeriksa kesesuaian antara sistem yang telah dibangun dengan tujuan awal pengembangan sistem. Bab ini juga akan menjelaskan mengenai analisis terhadap hasil pengujian sistem. VI.1 Persiapan Pengujian Subbab ini menjelaskan mengenai persiapan yang diperlukan sebelum melakukan pengujian terhadap sistem. Persiapan yang diperlukan meliputi lingkungan pengujian, tujuan pengujian, bahan pengujian, skenario dan kriteria pengujian, dan metode pengukuran. VI.1.1 Lingkungan Pengujian Lingkungan pengujian meliputi lingkungan perangkat keras dan lingkungan perangkat lunak yang digunakan sama dengan lingkungan yang digunakan pada implementasi. VI.1.2 Tujuan Pengujian Tujuan dilakukannya pengujian sistem adalah: 1. Memeriksa kesesuaian antara implementasi sistem dengan hasil analisis dan perancangan dan apakah sistem dapat menjalankan fungsinya. 2. Membandingkan akurasi penerapan algoritma praproses terhadap huruf dengan praproses secara manual. 3. Mengetahui akurasi penerapan algoritma Induct/RDR untuk memproses data huruf dalam representasi struktural berupa segmen dan faktor-faktor yang dapat memperngaruhi besarnya nilai akurasi. 4. Membandingkan akurasi KaRe dengan akurasi sistem [AMI99] VI-1

2 VI-2 VI.1.3 Bahan Pengujian Bahan pengujian yang digunakan adalah: 1. Data penulisan huruf Jepang secara on-line dari [NAK97] berjumlah 10 file data dengan format nama file adalah MDB00YY.txt dengan YY adalah angka bernilai antara 01 sampai dengan Data segmentasi huruf Jepang secara manual pada 46 (empat puluh enam) silabel dasar huruf Katakana. VI.1.4 Skenario dan Kriteria Pengujian Pengujian pada pelaksanaan Tugas Akhir ini dibagi menjadi tiga bagian: 1. Pengujian implementasi kelas untuk memenuhi tujuan pengujian poin 1. Skenario dan kriteria pengujian ini dapat dilihat pada Lampiran. Pengujian terhadap fungsionalitas sistem dilakukan dengan memeriksa apakah seluruh fitur dalam sistem dapat bekerja dengan baik atau tidak. Rincian pengujian ini dapat dilihat pada Lampiran. 2. Pengujian perbandingan akurasi penerapan algoritma praproses dengan praproses secara manual untuk memenuhi tujuan pengujian poin 2. Pada pengujian ini dilakukan dua jenis perbandingan, yaitu: a. Perbandingan terhadap hasil ekstraksi fitur oleh sistem, dengan ekstraksi fitur secara manual. Ekstraksi fitur secara manual dilakukan berdasarkan pada urutan ideal penulisan huruf Katakana dan fitur ideal yang diperoleh. Pengekstraksian fitur secara manual menggunakan teori yang sama bahwa sebuah segmen didapat dengan memutuskan sebuah stroke pada segmentation point. Pengekstraksian fitur ideal dilakukan terhadap data ideal, yaitu font yang disediakan komputer. Dalam pengujian ini digunakan font MS PMincho. Penjelasan mengenai pengujian ini dapat dilihat pada Lampiran. b. perbandingan terhadap feature segmen yang dihasilkan oleh sistem, yaitu jenis segmen, posisi relatif antar segmen, dan perpotongan antar segmen. Penjelasan mengenai pengujian ini dapat dilihat pada Lampiran. 3. Pengujian akurasi pengetahuan Induct/RDR untuk memenuhi tujuan pengujian poin 3. Pengujian ini dilakukan dengan kelas WEKA yang mengimplementasi algoritma

3 VI-3 Induct/RDR, yaitu Ridor. Pengujian dilakukan dengan menggunakan skema pengujian yang disediakan oleh sistem, yaitu skema use training set (menggunakan seluruh data untuk pelatihan) dan skema 10-fold-cross-validation. Pengujian dilakukan dengan menggunakan bahan pengujian poin 1. Pengujian dilakukan terhadap masing-masing file, gabungan beberapa file, dan gabungan semua file. Nilai akurasi dinyatakan dalam persen dengan nilai akurasi maksimum adalah 100% yaitu jika semua data (100% data) diklasifikasikan dengan benar. Pengujian ini juga meliputi pengujian terhadap pengetahuan yang dihasilkan dengan menggunakan beberapa sampel yang diambil dari hasil praproses. Pengujian ini untuk membandingkan solusi yang diharapkan oleh data dengan solusi yang dihasilkan oleh sistem. 4. Pengujian akurasi pengetahuan KaRe dengan sistem [AMI99]. Pengujian ini dilakukan dengan membandingkan hal-hal mengenai kedua sistem dan akurasi akhir yang diperoleh untuk memenuhi tujuan pengujian pada poin 4. VI.2 Pelaksanaan Pengujian Subbab ini akan menjelaskan hasil pelaksanaan pengujian berdasarkan skenario pada subbab sebelumnya. Penjelasan mengenai pelaksanaan pengujian ini terdiri atas hasil pengujian, analisis hasil, dan kesimpulan pengujian. VI.2.1 Hasil Pengujian Pelaksanaan pengujian dilakukan berdasarkan penjelasan pada persiapan pengujian, untuk mengukur keberhasilan implementasi kelas, implementasi algoritma segmentasi, dan tingkat akurasi algoritma Induct/RDR terhadap permasalahan pengenalan tulisan tangan huruf Jepang. Hasil pengujian implementasi kelas dapat dilihat pada Lampiran E. Hasil pengujian implementasi algoritma praproses dapat dilihat pada Lampiran G dan Lampiran H. Hasil pengujian tingkat akurasi algoritma Induct/RDR pada permasalahan terpilih dapat dilihat pada lampiran I. VI.2.2 Analisis Hasil Pengujian Subbab ini akan menjelaskan analisis dari hasil pengujian pada poin pengujian 2, 3, dan 4.

4 VI-4 VI Analisis Hasil Pengujian Implementasi Algoritma Praproses Hasil perbandingan algoritma praproses dapat dilihat pada Lampiran. Perbandingan hasil penerapan algoritma segmentasi ini dilakukan terhadap subset huruf Katakana, yaitu 46 (empat puluh enam) huruf yang merupakan bentuk dasar silabel Katakana pada gambar huruf Katakana pada subbab III.2.3. Perbandingan tidak dilakukan terhadap subset Dakuon, Handakuon, dan Yoon. Proses segmentasi manual dilakukan terhadap huruf dalam bentuk ideal, yaitu bukan huruf hasil penulisan tangan. Oleh karena itu, bentuk huruf ideal ini sama sekali tidak mengandung guratan-guratan yang tidak perlu. Bentuk huruf ideal yang dipilih adalah font MS PMincho. Font ini dipilih karena bentuknya yang termasuk dalam jenis huruf Serif. Huruf Serif mempunyai bentuk seperti kail di ujung-ujung huruf. Bentuk kail ini dijumpai pada penulisan huruf-huruf Katakana. Sehingga, dengan menggunakan font ini, perbandingan yang dilakukan dianggap cukup sepadan. Namun demikian, bentuk seperti kail di ujung-ujung huruf dalam font MS PMincho ini tidak dianggap sebagai sebuah segmen. Proses segmentasi dengan menggunakan algoritma segmentasi yang dirancang, dilakukan terhadap huruf dari sebuah file data yang dipilih secara acak (tanpa kriteria). Untuk bahan perbandingan, diambil satu sampel image untuk setiap huruf dari hasil proses segmentasi sistem. Perbandingan dilakukan terhadap dua aspek, yaitu jumlah segmen dan jenis segmen sesuai dengan urutannya. Hasil perbandingan dari tiap aspek adalah sebagai berikut: 1. Jumlah segmen Berdasarkan jumlah segmen, proses segmentasi oleh sistem menghasilkan jumlah segmen maksimal adalah 5 (lima) buah segmen, yaitu pada huruf ネ (Ne). Proses segmentasi ideal menghasilkan jumlah segmen maksimum 5 (lima) buah segmen, yaitu pada huruf ホ (Ho) dan ネ (Ne). Huruf hasil proses segmentasi KaRe yang mempunyai jumlah segmen yang sama dengan jumlah segmentasi secara manual adalah 38 huruf (82,60%). Hasil pengujian ini dapat dilihat pada Lampiran F. 2. Jenis segmen benar sesuai urutan yang tepat Perbandingan dilakukan pada urutan yang bersesuaian, yaitu keluaran sistem urutan pertama, dibandingkan dengan keluaran proses manual urutan pertama, demikian seterusnya. Yang menjadi patokan perbandingan adalah keluaran sistem yang ideal. Jika jumlah segmen keluaran sistem yang dihasilkan lebih besar daripada jumlah segmen ideal, maka kelebihan segmen sistem yang dihasilkan tidak diperhitungkan.

5 VI-5 Sebaliknya jika segmen keluaran sistem lebih sedikut daripada jumlah segmen ideal, maka kekurangan dari sistem dianggap sebagai ketidaksesuain. Hasil pengujian ini dapat dilihat pada Lampiran F. Nilai rata-rata akurasi urutan dan jenis segmen ini adalah 69,35%. Ringkasan hasil pengujian dapat dilihat pada Tabel VI-1. Tabel VI-1 Akurasi pengujian praproses pada kesesuaian jenis dan urutan segmen Akurasi (%) Jumlah data Σdata 46 Nilai akurasi dihitung dengan cara berikut: Akurasi = n segmen_tepat_benar / n segmen_ideal x 100% Segmen_tepat_benar adalah segmen yang mempunyai jenis dan urutan yang sama dengan jumlah dan jenis segmen ideal. Akurasi tertinggi dimiliki oleh 41,30% data yang memiliki urutan dan jenis segmen sama dengan praproses manual. Sedangkan 58,70% data memiliki urutan dan jenis segmen tidak tepat sama atau tidak sama, dengan perincian: 15 (lima belas) data yang memiliki akurasi 50% sampai dengan 99%, artinya urutan dan jenis segmen hasil praproses sistem yang sama dengan praproses manual lebih banyak daripada urutan dan jenis segmen yang tidak sama. 8 (delapan) data memiliki akurasi 1%-49% artinya data tersebut memiliki urutan dan jenis segmen berbeda lebih banyak daripada urutan dan jenis segmen yang sama. Gambar VI-1.menunjukkan distribusi nilai akurasi terhadap jumlah data. Grafik menunjukkan bahwa distribusi tidak bersifat eksponensial.

6 VI-6 Gambar VI-1 Distribusi Akurasi terhadap Jumlah Data 3. Pengujian posisi relatif antar segmen. Hasil pengujian ini dapat dilihat pada Lampiran G. Nilai akurasi rata-rata yang dihasilkan adalah 68,61%. Distribusi data terhadap akurasi dapat dilihat pada Tabel VI-2 dan Gambar VI-2. Tabel VI-2 Distribusi Data Terhadap Akurasi Berdasarkan Posisi Relatif antar Segmen Akurasi (%) Jumlah data Σdata 46

7 VI-7 Gambar VI-2 Distribusi Data Terhadap Akurasi Berdasarkan Posisi Relatif antar Segmen Dari hasil pengujian, diketahui bahwa 52,17% data mempunyai posisi relatif antar segmen keluaran sistem sama dengan keluaran ideal. Sisanya, yaitu 47,83% data mempunyai posisi relatif antar segmen keluaran sistem yang tidak persis sama dengan keluaran ideal. 4. Pengujian perpotongan antar segmen. Hasil pengujian ini dapat dilihat pada lampiran pengujian algoritma praproses bagian III. Distribusi akurasi terhadap jumlah data dapat dilihat pada Tabel VI-3 dan Gambar VI-3. Tabel VI-3 Distribusi Data Terhadap Akurasi Berdasarkan Perpotongan Antar Segmen Akurasi (%) Jumlah data Σdata 46

8 VI-8 Gambar VI-3 Distribusi Data Terhadap Akurasi Berdasarkan Perpotongan Antar Segmen Dari hasil pengujian, terdapat delapan data dengan akurasi 0% (tidak ada perpotongan antar segmen yang tepat), tiga data dengan akurasi 1% sampai dengan 49% (jumlah perpotongan tepat kurang dari jumlah perpotongan tidak tepat), 13 (tiga belas) data dengan akurasi 50% sampai dengan 99% (jumlah perpotongan tepat lebih besar atau sama dengan jumlah perpotongan tidak tepat), dan 23 (duapuluh tiga) data dengan nilai akurasi 100% (semua jenis perpotongan tepat). Sehingga, terdapat 50% data yang mempunyai perpotongan antar segmen keluaran sistem yang sama dengan keluaran ideal dan 50% data yang mempunyai perpotongan antar segmen keluaran sistem tidak persis sama dengan keluaran ideal. Nilai rata-rata akurasi pengujian ini adalah 67,43%. Untuk keempat jenis pengujian algoritma praproses, nilai rata-rata akurasi dapat dihitung sebagai berikut: 82,60%+69,35% + 68,61%. + 67,43% 4 = 71,99% Jika ditinjau dari jumlah segmen dan jenis segmen yang dihasilkan dalam urutan yang bersesuaian dengan keluaran ideal, nilai akurasi algoritma segmentasi dapat dikatakan cukup baik. Adanya ketidaksesuaian baik dari jumlah segmen maupun dari jenis segmen yang dihasilkan disebabkan oleh beberapa hal, di antaranya: 1. Perbedaaan penulisan ideal dengan penulisan sesungguhnya oleh responden. 2. Adanya beberapa kecenderungan yang mempengaruhi, yaitu:

9 VI-9 a. Kecenderungan untuk menjadikan dua guratan terpisah menjadi dua guratan yang tersambung. b. Kecenderungan untuk menambahkan bentuk seperti kait di setiap akhir penulisan sebuah guratan. c. Kecenderungan untuk menuliskan garis lurus sebagai garis miring, dan sebaliknya. Hal ini banyak dijumpai pada data. 3. Nilai rata-rata akurasi terendah terdapat pada pengujian perpotongan antar segment. Hal ini dapat diartikan bahwa pada data, perpotongan antar segmen yang tepat tidak terlalu diperhatikan oleh responden penulis. Contohnya, pada huruf ム (Mu), jika seharusnya segmen kedua dan ketiga ditulis sebagai perpotongan, untuk alasan kepraktisan maka segmen kedua dan ketiga ditulis sebagai segmen yang successive (ditulis berurutan). 4. Responden juga cenderung menuliskan segmen Right-Horizontal sebagai Down- Backslash (segmen pertama huruf ア (A)). Namun demikian nilai akurasi untuk urutan dan jenis segmen merupakan nilai tertinggi di antara tiga jenis pengujian praproses yang berbasis nilai ketepatan dan kebenaran. Meskipun pada contoh file yang digunakan untuk pengujian, terdapat urutan penulisan yang terbalik sehingga jenis segmen yang dihasilkan pun tidak sesuai. Contohnya pada huruf メ (Me) yang seharusnya dituliskan sebagai Down-Slash dan Down-Backslash, namun dituliskan oleh responden dengan urutan terbalik. 5. Dengan nilai rata-rata akurasi sebesar 71,99% maka diperoleh kesimpulan sementara bahwa algoritma praproses yang digunakan cukup mampu untuk menghasilkan feature yang mendekati fitur yang ideal. VI Analisis Hasil Pengujian Akurasi Pengetahuan Induct/RDR pada KaRe Pengujian ini dilakukan dengan metode 10-fold-cross-validation, dengan menggunakan implementasi Induct/RDR pada WEKA, yaitu Ridor. Data yang digunakan berasal dari 10 (sepuluh) data titik koordinat tulisan tangan huruf Jepang. Pengujian ini bertujuan untuk mengetahui kemampuan Induct/RDR dalam membangun pengetahuan dari data penulisan tangan huruf Katakana yang direpresentasikan dalam komponen struktural penyusunnya, yaitu segmen dan relasinya. Selain itu, pengujian ini bertujuan untuk mengetahui pengaruh jumlah data terhadap jumlah rule dan tingkat akurasi yang dihasilkan. Nilai akhir akurasi pengujian sistem ini akan dibandingkan dengan nilai akhir akurasi penelitian [AMI99] yang

10 VI-10 menggunakan Induct/RDR untuk pengenalan tulisan tangan huruf Latin yang dicetak (bukan dituliskan pada TabletPC). Percobaan akan dilakukan sebanyak lima kali. Percobaan pertama menggunakan satu buah file data. Percobaan kedua menggabungkan dua buah file data. Percobaan ketiga menggabungkan lima buah file data. Percobaan keempat menggabungkan sepuluh file data. Setiap file data berisi ±662 buah sampel image huruf Katakana dari sampel image karakter Jepang, dengan ±88 (delapan puluh delapan) karakter Katakana (distinct). Hasil pengujian dapat dilihat pada Tabel VI-4 & Tabel VI-5. Tabel VI-4 Hasil pelatihan dengan berbagai macam ukuran data Jumlah Jumlah Pelatihan Nilai data rule Jumlah data yang benar diklasifikasikan Jumlah data yang salah diklasifikasikan akurasi pelatihan ,01% ,81% ,52% ,25% Tabel VI-5 Hasil pengujian 10-fold-cross-validation dengan data yang sama dengan pengujian pelatihan Jumlah Jumlah Pengujian 10-fold cross-validation Nilai data rule Jumlah data yang Jumlah data yang akurasi benar diklasifikasikan salah diklasifikasikan ,27% ,05% ,65% ,41% Pelatihan menghasilkan akurasi yang lebih besar pada data yang sama dibandingkan pengujian dengan cross-validation. Cross-validation melakukan partisi random yang berbeda untuk setiap iterasi sebanyak k-fold yang digunakan. Nilai akurasi ini dapat diperbaiki dengan memperbanyak jumlah data, seperti pada percobaan ketiga dan keempat. Penambahan data

11 VI-11 yang akan akan memberikan pengaruh yang signifikan terhadap akurasi sistem adalah penambahan data dalam jumlah yang cukup besar. Selain itu, pada beberapa percobaan yang telah dilakukan sebelumnya, urutan data sangat mempengaruhi nilai akurasi pada pengujian sistem. Penambahan jumlah data dapat berpengaruh pada kenaikan akurasi sistem. Namun demikian, dengan bertambahnya jumlah data, maka bertambah pula ukuran pengetahuan yang dihasilkan. Ini merupakan salah satu kelemahan RDR karena melakukan pembangunan pengetahuan berbasis kasus. Di samping kelemahan ini, RDR memiliki kelebihan yaitu waktu pemrosesan yang cukup cepat untuk ukuran data yang besar. Waktu pemrosesan ini adalah waktu pembangunan pengetahuan dari data. Untuk memeriksa kebenaran pengetahuan yang telah dibangun, maka diambil sampel pengetahuan yang telah dibangun. Sampel pengetahuan ini dapat dilihat pada Gambar VI-4. character = ー (2666.0/2410.0) Except (side_seg0-seg1 = SOUTH) => character = ス (587.0/0.0) [287.0/0.0] Except (isect_seg0-seg1 = NO-INTERSECT) => character = ン (330.0/0.0) [165.0/0.0] Except (Seg1 = R-HOR) and (Seg0 = R-HOR) => character = キ (132.0/0.0) [68.0/0.0] Gambar VI-4 Sampel pengetahuan yang berhasil dibangun Pengecekan kebenaran pengetahuan dapat dilihat pada Tabel VI-6. Tabel VI-6 Pengecekan kebenaran pengetahuan Induct/RDR Huruf Feature yang muncul Solusi KaRe Evaluasi ス Seg2_1 South ス Benar ン キ Seg2_1 South Isect2_1 No-Intersect Seg2_1 South Isect2_1 No-Intersect Seg1 Right-Horizontal Seg2 Right-Horizontal ン キ Benar Benar Dari potongan pengetahuan yang diambil sebagai contoh pengujian, dapat dilihat bahwa pengetahuan dapat memberikan akurasi 100%. Dengan demikian, dapat dikatakan bahwa pengetahuan RDR yang dibangun terhadap data tulisan tangan ini cukup valid. VI Analisis Hasil Perbandingan Pengujian KaRe dengan Sistem [AMI99] Hasil pengujian KaRe dapat dilihat pada tabel-tabel di subbab sebelumnya. Tabel VI-7 menunjukkan hasil pelatihan dan pengujian pada sistem [AMI99].

12 VI-12 Tabel VI-7 Akurasi sistem [AMI99] Jumlah data Jumlah rule Akurasi Jumlah data Akurasi latih pelatihan uji pengujian ,6% 84 83,9% ,9% ,0% ,3% ,1% ,1% ,2% Untuk membandingkan kedua implementasi Induct/RDR pada permasalahan pengenalan tulisan tangan, berikut ini diberikan aspek-aspek pembeda yang berpengaruh pada perbedaan akurasi yang dihasilkan. Tabel VI-8 Perbandingan sistem [AMI99] dengan KaRe Aspek pembeda [AMI99] KaRe Objek penelitian Huruf Latin tulisan tangan yang dicetak Data penulisan on-line huruf Jepang Jumlah data Jumlah segmen kategori 30 8 Basis segmentasi Ukuran segmen Sudut inklinasi Akurasi pada pengujian tertinggi 90,2% 66,41% Berdasarkan tabel di atas, diketahui bahwa jumlah kategori segmen yang digunakan pada KaRe jauh lebih sedikit, yaitu kurang dari sepertiga jumlah kategori segmen yang digunakan pada [AMI99]. Aspek ini dapat menjadi salah satu penyebab jauhnya nilai akurasi antara dua sistem. Dengan kategori segmen yang lebih banyak, segmen yang serupa akan terpisahkan ke kategori yang berbeda. VI.2.3 Kesimpulan Pengujian Berdasarkan penjelasan hasil pengujian di atas, dapat disimpulkan beberapa hal berikut: 1. Sistem yang dibangun dapat menjalankan fungsinya dengan baik dan sesuai dengan analisis dan perancangan sistem. 2. Algoritma praproses yang dirancang dapat merepresentasikan huruf Katakana dengan baik, dengan nilai akurasi mencapai 71,99%. Akurasi dipengaruhi oleh faktor-faktor

13 VI-13 penulisan dan kecenderungan responden penulis. Selain itu, kualitas data juga memberikan pengaruh yang cukup besar, yaitu adanya noise (derau). 3. Algoritma Induct/RDR memberikan akurasi tertinggi 66,41%, jika representasi huruf Katakana diperbaiki, yaitu dengan meminimalisir kehadiran-kehadiran segmen yang tidak seharusnya ada. Hal ini menunjukkan bahwa proses segmentasi yang dapat mengekstraksi lebih banyak informasi dari huruf Katakana dapat membantu sistem dalam melakukan pembangunan pengetahuan yang baik. 4. Akurasi sistem yang dibangun lebih rendah dibandingkan dengan akurasi sistem pada penelitian [AMI99]. Perbedaan ini kemungkinan disebabkan oleh faktor-faktor seperti data asal dan teknik pemrosesan data.