BAB 4 PENGUJIAN DAN EVALUASI 4.1 Pengujian Pengujian tanda tangan dilakukan dengan cara meminta masing masing user untuk melakukan 60 tanda tangan. Lalu kami akan menyeleksi tanda tangan mereka dengan menggunakan 15 tanda tangan yang berasal dari 1 user yang masing masing tanda tangan tersebut terdiri dari 10 tanda tangan asli dan 5 tanda tangan palsu lalu kami akan mencoba membuat tiruan tanda tangan mereka sebanyak 5 tanda tangan, sehingga akan terdapat 10 tanda tangan asli, dan 10 tanda tangan palsu (Özgündüz, Emre et al, 2005). Input tanda tangan palsu yang kami gunakan merupakan input tanda tangan yang sulit dibedakan dengan tanda tangan asli jika menggunakan mata manusia, dikarenakan tanda tangan palsu yang kami gunakan memiliki tingkat kemiripan yang cukup tinggi. Pada bagian input data baru telah tercatat matriks ke 12 data asli dan palsu, yang masing masing terdiri dari 6 tanda tangan asli dan 6 tanda tangan palsu. Matriks tanda tangan tersebut tersimpan dalam bentuk text file. Lalu kami menggunakan sisanya yaitu 4 tanda tangan asli dan 4 tanda tangan palsu yang berjumlah 8 tanda tangan sebagai data yang akan digunakan untuk diuji, apakah sistem kami berkerja sesuai dengan yang diinginkan. Setelah menggunakan proses learning yang terdapat pada Input Data Baru maka dimulai pengujian pada bagian pretesting. Pada bagian pretesting ini kami menggunakan cara pengklusteran FCM dengan memasukkan input tanda tangan baru 93
94 sebagai matriks baris ke 13 dan mengujinya dengan ke 12 matrix yang telah tersedia yang dapat dipanggil dari text file yang telah disimpan sebelumnya. Kami mencoba menguji tanda tangan dengan menggunakan fitur ekstrak yang berbeda untuk mengecek fitur ekstrak manakah yang terbaik untuk mengekstraksi tanda tangan. Fitur yang pertama menggunakan 26 fitur dengan 24 masking seluas 3 x 3 ditambah dengan width dan height dari tanda tangan, fitur yang kedua menggunakan 34 fitur yang menggunakan masking 24SE seluas 3 x 3 dan 8 arah pixel connection serta width dan height dari tanda tangan fitur, terakhir dengan menggunakan 20 fitur masking dengan 18SE seluas 5 x 5 dan width serta height dari tanda tangan. Hasil pengujian akan dihitung untuk mendapatkan nilai tingkat kesalahan atau error Rate dan nilai keberhasilan. Berikut rumus menghitung error Rate dan nilai keberhasilan: Error Rate = (Jumlah tanda tangan yang diuji salah / Jumlah semua tanda tangan)*100% Nilai Keakuratan = 100% - ((total error Rate data training + total error Rate data uji)/2) Pengujian ini sendiri menggunakan spesifikasi perangkat keras yang menggunakan proses Intel Core Duo 2.2GHz, Memory DDR2 2GB, Hardisk 160 GB, Kartu Grafis GeForce 8600MGA 256Mb. Sedangkan spesifikasi perangkat lunak yang digunakan adalah Sistem Operasi Microsoft Windows Vista Home Premium dan MATLAB 7.1.0.264 (R14) Service Pack 3.
95 4.1.1 Prosedur Pengujian Prosedur pengujian yang dilakukan berguna untuk mengetahui bagaimana kinerja sistem yang sebenernya. Untuk memberikan contoh implementasi maka akan diberikan sample beberapa jenis tanda tangan. Langkah langkah dalam melakukan prosedur pengujian adalah sebagai berikut : Pertama kali membuka program ini maka akan tampak menu intro. Hal yang perlu dilakukan adalah dengan mengklik tanda ENTER. Setelah mengklik tanda ENTER. Gambar 4.1 Menu Intro
96 Setelah mengklik tanda ENTER maka kita akan masuk ke menu index. Di sini terdapat tiga pilihan tombol yaitu, pertama pretesting, tombol input data baru, dan terakhir tombol exit. Karena kita baru menjalan program ini untuk pertama kali, maka untuk memulai learning yang pertama adalah dengan memilih pilihan input data baru. Gambar 4.2 Menu Index Setelah kita masuk ke menu menambah daftar baru akan tampak menu inputan. Pertama tama kita akan memasukan nama file untuk menyimpan input data yang akan didapat, misalnya nama file tersebut adalah input. Setelah nama file kita masukkan, kita akan dapat memasukkan data tanda tangannya. Di sini kita diharuskan untuk memasukkan 6 ( enam ) tanda tangan asli dan 6 ( enam ) tanda tangan palsu. Yang totalnya 12 ( dua belas
97 ) tanda tangan. Dan menurut ketentuan kami, input pertama harus tanda tangan asli sedang sisanya dimasukkan secara acak. Cara memasukkan image tanda tangannya adalah dengan menekan tombol browse yang akan diterima adalah image tanda tangan yang berbentuk.bmp dan.gif. Ketika kita telah memasukkan semua image tanda tangan tersebut, maka layar akan tampak seperti contoh. Gambar 4.3 Menu Input Data Baru Setelah kita memasukkan data baru maka selanjutnya dapat menekan process image, setelah itu maka image tanda tangan tersebut akan dilakukan ekstraksi fitur, dimana fitur ekstraksi itu meliputi maksing dan height witdh ratio. Hasil fitur ekstraksi itu merupakan input data untuk fcm. Setelah di proses maka image tersebut akan terlihat seperti gambar.
98 Gambar 4.4 Setelah Pemoresesan Image Setelah image di proses maka selanjutnya kita akan melakukan analis, dengan menekan tombol analyze. Dengan menekan tombol analyze maka kita akan menjalan kan FCM yang pertama. FCM ini berguna untuk validasi, apakah benar ada 6 ( enam ) asli dan 6 ( enam ) tanda tangan palsu. Setelah di analyze dan gagal maka kita akan diharuskan untuk kembali mengulang memasukkan data, tetapi jika sukses maka langkah yang selanjutnya maka kita menekan tombol save. Ketika tombol save ditekan maka aplikasi ini akan men save input data atau hasil ekstraksi fitur tiap image ke dalam file sesuai dengan nama yang kita tentukan diatas.
99 Gambar 4.5 Warning Message Apabila Input Salah Sekarang saatnya kita mulai masuk ke bagian pretesting. Pada bagian pretesting ini, dari bagian input data baru setelah data di save, maka kita tekan tombol back to menu. Lalu baru masuk ke bagian pretesting. Bagian pretesting dapat dilihat seperti gambar berikut.
100 Gambar 4.6 Menu Pretesting Pada bagian pretesting ini, kita memasukkan input data yang telah di save, kemudian kita masukkan tanda tangan yang telah di save. Seperti image di bawah ini.
101 Gambar 4.7 Setelah Data Siap Lalu tekan proses image. Setelah itu akan tampil image yang akan telah di preprocessing. Kemudian tekan tombol analyze.
102 Gambar 4.8 Hasil Proses Image Preprocessing Setelah tombol analyze ditekan maka aplikasi ini akan mengambil data yang tersimpan pada file. Kemudian data yang tersimpan itu akan dibentuk ke dalam matrix 12 x 26 ( 12 tanda tangan, 26 fitur ). Lalu data tanda tangan yang akan di tes itu akan dimasukkan ke dalam array ke 13. dan dilakukan FCM sekali lagi. Lalu akan terdeteksi apakah tanda tangan itu palsu ataukah asli ketika tanda tangan yang terdapat pada array ke 13 masuk ke bagian kluster yang asli atau palsu. Setelah di tekan analyze maka akan muncul warning dialog seperti pada gambar.
103 Gambar 4.9 Hasil Akhir Pretesting Setelah program tidak ingin digunakan lagi maka tinggal menekan kembali ke menu, lalu tekan tombol exit.
104 4.2 Evaluasi Evaluasi dilakukan dalam tiga tahapan, yaitu menggunakan tiga rangkain fitur yang berbeda yang dikluster menggunakan FCM dan akan dibandingkan hasilnya mana yang lebih akurat. 4.2.1 Evaluasi pada 20 Fitur Pada Autentikasi tanda tangan menggunakan 20 fitur kami menggunakan fitur masking 5 x 5 yang berjumlah 18 Structuring elemen, lalu kami juga mencatat fitur height dan witdh-nya. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C Means. Kami menemukan error sebesar 56.25% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 71.875% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Tabel 4.1 Hasil Pengujian Data Training Pada 20 Fitur Status 20 fitur 1 Palsu Palsu 2 Palsu Palsu 3 Palsu Palsu 0700713152 4 Palsu Palsu 5 Palsu Palsu 6 Palsu Palsu 8 Asli Asli 9 Asli Asli
105 12 Asli Asli 0700713152 13 Asli Asli 14 Asli Asli 17 Asli Asli Error 0 Error Rate 0 %. Status 20 fitur 1 Asli Asli 2 Asli Asli 3 Asli Asli 4 Asli Asli 7 Asli Asli 0800759450 13 Asli Asli 8 Palsu Palsu 9 Palsu Palsu 10 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 20 Palsu Palsu Error 0 Error Rate 0 %
106 Status 20 fitur 1 Asli Asli 2 Asli Asli 4 Asli Asli 5 Asli Asli 6 Asli Asli 0800762514 12 Asli Asli 9 Palsu Palsu 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 17 Palsu Palsu Error 0 Error Rate 0 % 0800764122 Status 20 fitur 1 Asli Asli 2 Asli Asli 3 Asli Asli 4 Asli Asli
107 5 Asli Asli 6 Asli Asli 12 Palsu Palsu 0800764122 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 17 Palsu Palsu Error 0 Error Rate 0 % Total Error 0 Total Error Rate 0% Tabel 4.2 Hasil Pengujian Data Uji Dengan 20 Fitur Status 20 fitur 7 Palsu Palsu 10 Palsu Asli 11 Palsu Asli 0700713152 15 Asli Asli 16 Palsu Asli 18 Asli Palsu 0700713152 19 Asli Palsu
108 20 Asli Palsu Error 6 Error Rate 75% Status 20 fitur 5 Palsu Asli 6 Asli Palsu 11 Palsu Asli 12 Palsu Asli 0800759450 14 Asli Asli 17 Asli Asli 18 Asli Asli 19 Palsu Asli Error 5 Error Rate 62,5% Status 20 fitur 3 Palsu Asli 7 Asli Palsu 0800762514 8 Asli Asli 10 Asli Palsu 11 Palsu Asli
109 18 Palsu Palsu 0800762514 19 Palsu Palsu 20 Asli Palsu Error 5 Error Rate 62,5% Status 20 fitur 7 Palsu Asli 8 Asli Asli 9 Asli Asli 0800764122 10 Asli Asli 11 Asli Asli 18 Palsu Palsu 19 Palsu Palsu 20 Palsu Asli Error 2 Error Rate 25% Total Error 18 Total Error Rate 56.25% Nilai Keakuratan 71.875%
110 4.2.2 Evaluasi pada 26 Fitur Pada Autentikasi tanda tangan menggunakan 26 fitur kami menggunakan fitur masking 3 x 3 yang berjumlah 24 Structuring element, lalu kami juga mencatat fitur height dan witdh-nya. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C Means. Kami menemukan Error sebesar 28.125% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 85.9375% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Keakurasiannya cukup tinggi, dengan menggunakan 24 Structuring Element 3 x 3 dan fitur witdh dan height sehingga menghasilkan hasil yang cukup memuaskan tapi kurang dapat diterima karena belum terlalu aman. Tabel 4.3 Hasil Pengujian Data Training Pada 26 Fitur Status 26 fitur 1 Palsu Palsu 2 Palsu Palsu 3 Palsu Palsu 4 Palsu Palsu 0700713152 5 Palsu Palsu 6 Palsu Palsu 8 Asli Asli 9 Asli Asli 12 Asli Asli 13 Asli Asli
111 14 Asli Asli 0700713152 17 Asli Asli Error 0 Error Rate 0 %. Status 26 fitur 1 Asli Asli 2 Asli Asli 3 Asli Asli 4 Asli Asli 7 Asli Asli 0800759450 13 Asli Asli 8 Palsu Palsu 9 Palsu Palsu 10 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 20 Palsu Palsu Error 0 Error Rate 0 %
112 Status 26 fitur 1 Asli Asli 2 Asli Asli 4 Asli Asli 5 Asli Asli 0800762514 6 Asli Asli 12 Asli Asli 9 Palsu Palsu 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 17 Palsu Palsu Error 0 Error Rate 0 % 0800764122 Status 26 fitur 1 Asli Asli 2 Asli Asli 3 Asli Asli 4 Asli Asli
113 5 Asli Asli 6 Asli Asli 12 Palsu Palsu 0800764122 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 17 Palsu Palsu Error 0 Error Rate 0 % Total Error 0 Total Error Rate 0 % Tabel 4.4 Hasil Pengujian Data Uji Dengan 26 Fitur Status 26 fitur 7 Palsu Palsu 10 Palsu Asli 11 Palsu Asli 0700713152 15 Asli Asli 16 Palsu Asli 18 Asli Asli 19 Asli Palsu
114 0700713152 20 Asli Asli Error 4 Error Rate 50% Status 26 fitur 5 Palsu Palsu 6 Asli Asli 11 Palsu Asli 0800759450 12 Palsu Palsu 14 Asli Asli 17 Asli Asli 18 Asli Asli 19 Palsu Asli Error 2 Error Rate 25% Status 26 fitur 3 Palsu Palsu 7 Asli Asli 0800762514 8 Asli Palsu 10 Asli Asli 11 Palsu Asli
115 18 Palsu Palsu 0800762514 19 Palsu Palsu 20 Asli Asli Error 2 Error Rate 25% Status 26 fitur 7 Palsu Asli 8 Asli Asli 9 Asli Asli 0800764122 10 Asli Asli 11 Asli Asli 18 Palsu Palsu 19 Palsu Palsu 20 Palsu Palsu Error 1 Error Rate 12.5% Total Error 9 Total Error Rate 28.125% Nilai Keakuratan 85.9375%
116 4.2.3 Evaluasi pada 34 Fitur Pada Autentikasi tanda tangan menggunakan 34 fitur kami menggunakan fitur masking 3 x 3 yang berjumlah 24 Structuring element, lalu kami juga mencatat fitur height dan witdh-nya dan ditambah dengan fitur global yaitu pixel connection yang berjumlah 8 buah. Lalu data tersebut dicatat dan digunakan untuk input ke Fuzzy C Means. Kami menemukan error sebesar 18.75% atau dengan kata lain tingkat kesuksesan pengenalan tanda tangan sebesar 90.625% dikenali. Angka ini didapat dengan menggunakan rumus nilai keakuratan. Pada bagian ini kami mencoba menambahkan fitur Pixel Connection pada 26 fitur diatas untuk meningkatkan keakurasian pengenalan tanda tangan. Tabel 4.5 Hasil Pengujian Data Training Pada 34 Fitur Status 34 fitur 1 Palsu Palsu 2 Palsu Palsu 3 Palsu Palsu 4 Palsu Palsu 0700713152 5 Palsu Palsu 6 Palsu Palsu 8 Asli Asli 9 Asli Asli 12 Asli Asli
117 13 Asli Asli 0700713152 14 Asli Asli 17 Asli Asli Error 0 Error Rate 0 %. Status 34 fitur 1 Asli Asli 2 Asli Asli 3 Asli Asli 4 Asli Asli 7 Asli Asli 0800759450 13 Asli Asli 8 Palsu Palsu 9 Palsu Palsu 10 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 20 Palsu Palsu Error 0 Error Rate 0 %
118 Status 34 fitur 1 Asli Asli 2 Asli Asli 4 Asli Asli 5 Asli Asli 6 Asli Asli 0800762514 12 Asli Asli 9 Palsu Palsu 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 17 Palsu Palsu Error 0 Error Rate 0 % 0800764122 Status 34 fitur 1 Asli Asli 2 Asli Asli 3 Asli Asli 4 Asli Asli
119 5 Asli Asli 6 Asli Asli 12 Palsu Palsu 0800764122 13 Palsu Palsu 14 Palsu Palsu 15 Palsu Palsu 16 Palsu Palsu 17 Palsu Palsu Error 0 Error Rate 0 % Total Error 0 Total Error Rate 0% Tabel 4.6 Hasil Pengujian Data Uji Dengan 34 Fitur Status 34 fitur 7 Palsu Palsu 10 Palsu Palsu 0700713152 11 Palsu Palsu 15 Asli Palsu 16 Palsu Palsu 18 Asli Asli 19 Asli Palsu
120 0700713152 20 Asli Asli Error 2 Error Rate 25% Status 34 fitur 5 Palsu Palsu 6 Asli Asli 11 Palsu Asli 0800759450 12 Palsu Palsu 14 Asli Asli 17 Asli Asli 18 Asli Asli 19 Palsu Palsu Error 1 Error Rate 12.5% Status 34 fitur 3 Palsu Palsu 7 Asli Asli 0800762514 8 Asli Palsu 10 Asli Asli 11 Palsu Asli
121 18 Palsu Palsu 0800762514 19 Palsu Palsu 20 Asli Asli Error 2 Error Rate 25% Status 34 fitur 7 Palsu Asli 8 Asli Asli 9 Asli Asli 0800764122 10 Asli Asli 11 Asli Asli 18 Palsu Palsu 19 Palsu Palsu 20 Palsu Palsu Error 1 Error Rate 12.5% Total Error 6 Total Error Rate 18.75% Nilai Keakuratan 90.625%
122 4.3 Perbandingan pendeketan Fitur yang digunakan Dari hasil evaluasi yang telah dilakukan, secara umum FCM dapat mengelompokkan tanda tangan asli dan palsu dengan baik. Hasil kekakurasian yang didapat tergantung dari image, lalu fitur yang digunakan, semakin banyak fitur yang digunakan maka hasil yang diperoleh semakin akurat, disebabkan karena ruang lingkup dipersempit sehingga nilai yang didapat lebih spesifik dan menghasilkan data yang akurat / aman. Tetapi dengan menambahkan fitur maka kemungkinan tanda tangan asli terkenali sebagai palsu akan meningkat cukup tinggi. Diambil dari evaluasi, yang memenuhi tujuan penelitian untuk meningkatkan keamanan dalam bertransaksi maka kami memilih fitur yang memiliki nilai keakuratan paling tinggi, yaitu autentikasi tanda tangan dengan 34 fitur yang memiliki nilai keakuratan 90.625%.