PENGUJIAN ALGORITMA LEVENSHTEIN DISTANCE DAN ALGORITMA TERM FREQUENCY INVERSE DOCUMENT FREQUNECY (TF-IDF) UNTUK PENILAIAN JAWABAN ESAI

Transkripsi

1

2 PENGUJIAN ALGORITMA LEVENSHTEIN DISTANCE DAN ALGORITMA TERM FREQUENCY INVERSE DOCUMENT FREQUNECY (TF-IDF) UNTUK PENILAIAN JAWABAN ESAI Supandi Nangili 1, Abd.Aziz Bouty 2 Tajuddin Abdillah 3 1 Mahasiswa Fakultas Teknik, Universitas Negeri Gorontalo nangili911@gmail.com 2 Dosen Fakultas Teknik, Universitas Negeri Gorontalo abd.azizbouty@ung.ac.id 3 Dosen Fakultas Teknik, Universitas Negeri Gorontalo tajuddin@ung.ac.id ABSTRAK Algoritma Levenshtein Distance dan algoritma TF-IDF adalah algoritma yang gunakan untuk penilaian jawaban esai. Namun,kedua algoritma ini belum dilakukan pengujian dalam penerapannya.tujuan penelitian adalah melakukan pengujian terhadap algoritma Levenshtein Distance dan algoritma TF-IDF dalam menentukan nilai jawaban esai.metode penelitian yang digunakan pada penelitian ini yaitu metode penelitian eksperimen dengan empat tahapan penelitian yaitu: pengumpulan data, desain sistem, implementasi dan analisis pengujian.aplikasi yang dibuat dalam melakukan penilaian jawaban esai dapat menampilkan hasil pengujian setiap algoritma penilaian. Analisis pengujian yaitu menghitung persentase nilai error perhitungan algoritma Levenshtein Distance dan algoritma TF-IDF dengan perhitungan paling sedikit mempunyai nilai persentase error. Dari hasil analisis algoritma TF-IDF menghasilkan nilai persentase error paling sedikit yaitu 30,7418% dibandingkan dengan nilai persentase error algoritma Levenshtein Distance yaitu 65,76693%. Hasil ini menggunakan uji sampel terhadap 10 mahasiswa dengan memberikan empat contoh soal. Kata Kunci: Penilaian Esai, Algoritma Levenshtein Distance, Algoritma TF- IDF ABSTRACT Levenshtein DistanceAlgorithmand TF-IDF algorithmare algorithms are used to essay test assessment. However, those algorithms are not yet tested in their implementation. The research aimed at testing the Levenshtein Distance algorithm and TF-IDF algorithm in determining the score of the answer of essay test. The research applied experimental method with fourstagesof the research:data collection, system design, implementationandtestinganalysis. The application that has been made in assessing the answer of essay test can display the test result of each algorithm assessment. Testing analysis was by measuring the percentage of error score of Levenshtein Distance algorithm and TF-IDF algorithm measurement. The result shows that TF-IDF algorithm has the lowest score of error percentage which is 30,741% if it is compared with error percentage score percentage score of Levenshtein Distance Algorithm as 65,7669%. The result is gained through samples test to 10 students by giving four examples of test. Keywords: Assessment of Essay Test, Levenshtein Distance Algorithm, TF-IDF Algorithm

3 1. PENDAHULUAN Pemanfaatan teknologi dan komputasi dalam bidang pendidikan sudah tidak menjadi hal yang baru lagi. Berbagai macam sistem yang dibuat untuk membantu kinerja para pengguna sehingga lebih mudah untuk melakukan pekerjaan. Salah satu bantuan sistem yang dipergunakan adalah penilai jawaban otomatis. Dengan adanya sistem ini dapat membantu dalam menilai kemampuan seseorang untuk menjawab soal yang telah disediakan. Algoritma yang digunakan dalam melakukan penilaian terhadap jawaban esai yaitu algoritma Levenshtein Distance menggunakan perhitungan editdistance kemudian mencari nilai similarity, seperti pada penelitian yang dilakukan oleh Nafik (2012). Selain Algoritma Levenstein Distance, ada pula algoritma Term Frequency Inverse document Frequency (TF-IDF) yang digunakan untuk melakukan penilaian jawaban esai seperti dilakukan oleh Adam Asshidiq (2014) Penilaian Ujian Bertipe Uraian (essay) Menggunakan Metode Kemiripan Teks (Text Similarity) dalam penelitiannya yaitu menggunakan Algoritma TF-IDF. Algoritma Levenshtein Distance dan TF-IDF ini dianggap dapat memberikan nilai terhadap jawaban esai. Namun, apakah hasil uji Algoritma LevenshteinDistance memperoleh persentase error yang sama atau berbeda dibandingkan dengan Algoritma TF-IDF?. Berdasarkan penjelasan tersebut maka, dapat dirumuskan permasalahan yakni bagaimana hasil pengujian algoritma Levenshtein Distance dan algoritma TF- IDF dalam penilaian jawaban esai?. Setelah dirumuskan permasalah ini selanjutnya tujuan penelitian yaitu melakukan pengujian terhadap algoritma Levenshtein Distance dan algoritma TF-IDF dalam penerapannya untuk menentukan nilai jawaban esai. Sehingga manfaat yang dari penelitian adalah memberikan pengetahuan dan wawasan terhadap penggunaan algoritma Levenshtein Distance dan TF- IDF dalam penilaian jawaban esai, dan juga memberikan referensi terhadap penelitian lain dalam pembuatan sistem penilaian jawaban esai. 2. TINJAUAN PUSTAKA 2.1 Temu Kembali Informasi Temu kembali informasi (Information Retrieval) informasi merupakan proses pencarian informasi yang didasarkan pada suatu query yang diharapkan dapat memenuhi keinginan user dari kumpulan dokumen yang ada. Sebuah query merupakan suatu keywords dan dokumen yang mengandung keywords merupakan dokumen yang dicari dalam Sistem Temu Kembali Informasi (Infromation Retrieval System - IRS). Seperti yang dijelaskan oleh Mandala (dalam Zafikri, 2008), sistem temu kembali informasi ( Infromation Retrieval System) digunakan untuk menemukan kembali (retrieve) informasi-informasi yang relevan terhadap kebutuhan pengguna dari suatu kumpulan informasi. 2.2 Term Frequency/ Inverse document Frequency (TF/IDF) Algoritma TF/IDF merupakan suatu cara untuk memberikan bobot hubungan suatu kata ( Term) terhadap dokumen. Frekuensi kemunculan kata di dalam dokumen yang diberikan menunjukan seberapa penting kata tersebut di dalam dokumen. Sehingga bobot hubungan antara sebuah kata dan sebuah dokumen akan tinggi apabila frekuensi kata tinggi di dalam dan frekuensi keseluruhan dokumen yang mengandung kata tersebut akan rendah pada kumpulan dokumen (Fakhreza, 2011). Rumus umum untuk Tf-Idf : Wij= tƒij * Idƒ Wij = tƒij * log(n/n). (1) Keterangan : W ij = bobot kata/term t j terhadap dokumen d i tf ij = jumlah kemunculan kata/term t j di dalam d i N= jumlah semua dokumen yang ada dalam database

4 n= jumlah dokumen yang mengandung kata/term t j Berdasarkan rumus diatas, berapapun besarnya nilaiu tfij, apabila N = n maka akan didapatkan hasil 0 (nol) untuk perhitungan Idf. Untuk itu dapat ditambahkan nilai 1 (satu) pada sisi Idf, sehingga perhitungan bobotnya menjadi sebagai berikut : Wij = tƒij * (log(n/n)+1) (2) 2.3 Algoritma Levenshtein Distance Levenshtein Distance merupakan algoritma untuk menghitung kemiripan antar string berdasarkan total biaya terkecil dari transformasi salah satu string menjadi kata lain dengan menggunakan edit-rules, yaitu penambahan karakter insertion, penggantian karakter subtituion, dan penghapusan karakter deletion (Deddy Winarsono, 2009). Untuk lebih jelasnya perhatikan matrik ilustrasi pencarian Levenshtein Distance antara dua string berikut yaitu penjara dan jarak. Jika kita melihat sekilas, kedua string penjara dan jarak memiliki jarak 4 (empat). Berarti untuk mengubah string jarak menjadi penjara diperlukan 4 operasi yaitu : 1. Menyisipkan karakter p jarak = pjarak 2. Menyisipkan karakter e pjarak = pejarak 3. Menyisipkan karakter n pejarak = penjarak 4. Menghapus kerakter k penjarak = penjara Tabel 1Tabel Matrik Levenshtein Distance p e n j a r a j a r a k Dari proses pencarian nilai distancenya, didapat bahwa jumlah modifikasi minimum yang dilakukan untuk mengubah string jarak menjadi string penjara adalah sebanyak 4 operasi. Setelah mendapatkan biaya edit distancenya maka untuk menghitung Levenshtein Distance berikut : dengan rumus string similarity Nilai kemiripan (similarity score) diasumsikan pada rentang 0 (nol) hinggal 1 (satu), yang artinya nilai 1 adalah nilai maksimum yang menunjukan bahwa dua kata adalah sama identik. Pendekatan yang digunakan oleh peneliti mampu mengukur nilai kemiripan antar dua string berdasarkan pada susunan karakter. 3. METODE PENELITIAN Pada penelitian ini, objek yang menjadi sasaran peniliti adalah soal-soal dan jawaban dari mata kuliah sistem temu kembali informasi. Metode yang digunakan pada penelitian ini adalah metode penelitian eksperimen. Menurut Wiersma (2013) eksperimen sebagai suatu situasi penelitian yang sekurang-kurangnya satu variable bebas, yang disebut sebagai variable eksperimental, sengaja dimanipulasi oleh peneliti. Adapun tahapan penelitian dapat dilihat pada gambar 3.1 : Mulai Pengumpulan Data Desain Sistem Implementasi Analisi Pengujian Selesai Gambar 1Tahapan Penelitian 4. HASIL DAN PEMBAHASAN 1. Hasil a. Pengumpulan Data Peneliti melakukan perhitungan penilaian terhadap salah satu soal dan jawaban esai kemudian menghitung nilai kesamaan jawaban esai menggunakan sistem penilain Algoritma Levenshtein Distance dan TF-IDF. Sebelum melakukan

5 proses penilian jawaban dengan kedua algoritma tersebut terlebih dahulu melakukan preprocessing. Setelah melakukan preprocessing selajutnya melakukan proses penilaian dengan algoritma Levenshtein Distance dan algoritma TF-IDF. Adapun contoh soal yang digunakan sebagai berikut dengan bobot soal Soal :Jelaskan pengertian temu kembali informasi! - Kunci : Temu kembali informasi adalah sebuah media layanan bagi pengguna untuk memperoleh informasi atau sumber informasi yang dibutuhkan oleh pengguna - Mahasiswa: Temu kembali informasi adalah sistem penyedia layanan untuk mencari dan mendapatkan informasi. A. PreprocessingAlgoritma untuk kunci jawaban dan jawaban mahasiswa Gambar 2 Tahapan Preprocessing Berikut hasil Preprosesing : Tabel 1 Hasil Casefolding Teks Casefolding Kunci temu kembali informasi adalah sebuah media layanan bagi pengguna untuk memperoleh informasi atau sumber informasi yang dibutuhkan oleh pengguna. temu kembali informasi adalah sistem penyedia layanan untuk mencari dan mendapatkan informasi. Tabel 2 Hasil Tokenizing dan Filtering Teks Tokenizing temu;kembali;informasi;adalah ;sebuah;media;layanan;bagi;pe Kunci ngguna;untuk;memperoleh;inf ormasi;atau;sumber;informasi; yang;dibutuhkan;oleh;penggun a. temu;kembali;informasi;adalah ;sistem;penyedia;layanan;untu Teks Kunci k;mencari;dan;mendapatkan;in formasi. Filtering temu;kembali;informasi;seb uah;media;layanan;bagi;pen gguna;memperoleh;informa si;sumber;informasi;dibutuh kan;oleh;pengguna. temu;kembali;informasi;sist em;penyedia;layanan;menca ri;mendapatkan;informasi. Tabel 3Hasil Stemming Teks Stemming Kunci temu;kembali;informasi;buah; media;layan;bagi;guna;oleh;in formasi;sumber;informasi;but uh;oleh;guna. temu;kembali;informasi;siste m;sedia;layan;cari;dapat;infor masi. B. Perhitungan Algoritma Levenshtein Setelah melakukan Preprosesing tahap selanjutnya yaitu pencocokan string antara jawaban mahasiswa dengan kunci jawaban menggunakan algoritma Levenshtein Distance. Berikut flowchart ilustrasi pencocokan string menggunakan algoritma Levenshtein Distance.

6 Gambar 3 Flowchart Levenhstein Distance Proses penilaian menggunakan rumus Levenshtein Distance yaitu untuk mencari nilai similarity antara kedua string. Mencari nilai similarity yaitu dengan mengumpulkan informasi-informasi nilai yang menjadi rumus perhitungan nilai jawaban dan kunci jawaban. Berikut tabel informasi nilai. Tabel 4Informasi Nilai String String1 String2 Nilai = {1 42} * Jadi total nilai akhir perhitungan antara jawaban dan kunci jawaban menggunakan algoritma Levenshtein Distance dengan Bobot soal (80) adalah Kunci Dosen Hasil Preprosesing temukembaliinform asibuahmedialayan bagigunaolehinfor masisumberinforma sibutuholehguna temukembaliinform asisistemsedialayan caridapatinformasi Frekuensi dosen Frekuensi Mahasiswa Mahasiswa Term Panjan g String C. Perhitungan Algoritma TF-IDF Dalam melakukan proses penilaian terhadap jawaban, algoritma TF-IDF melakuan beberapa proses sebelum akhirnya menemukan nilai terhadap jawaban. Adapun langkah-langkah yang dilakukan yaitu : a. Menghitung Term jawaban dan kunci jawaban Tabel 5 Perhitungan tem TF TF Mahasis Dosen wa temu 1 temu 1 temu 1 1 kembali 1 kembali 1 kembali 1 1 informasi 3 informasi 2 informasi 3 2 buah 1 sistem 1 sistem 0 1 media 1 sedia 1 sedia 0 1 layan 1 layan 1 layan 1 1 bagi 1 cari 1 cari 0 1 guna 2 dapat 1 dapat 0 1 oleh 2 buah 1 0 sumber 1 media 1 0 butuh 1 bagi 1 0 guna 2 0 oleh 2 0 sumber 1 0 butuh 1 0 b. Menghitung bobot term Setelah melakukan perhitungan term frequency (tf), maka tahap selanjtunya adalah perhitungan bobot pada masingmasing term.rumus idf adalah idf ) dimana N adalah jumlah dokumen sedangkan df adalah banyaknya dokumen yang mengandung suatu term tertentu. perhitungan bobot menggunakan persamaan rumus tf-idf yang seperti ini : Rumus ini digunakan apabila N df, sedangkan apabila N = df akan menyebabkan nilai idf menjadi nol (0) maka harus di tambah (+) dengan 1. Sehingga menjadi : Tabel 6Perhitungan Bobot antara term Term Frekuensi Dosen Frekuensi Mahasiswa df idf Bobot Dosen Bobot Mahsiswa Bobot Nilai temu kembali informasi sistem sedia layan cari dapat buah media bagi guna oleh sumber butuh c. Konversi data kedalam vector Setelah menghitung bobot antar term, langkah berikutnya adalah mengkonversi data tersebut ke dalam suatu bentuk model ruang vector (vector space model). Salah satu bentuk konversi ini adalah dengan menghitung panjang vector untuk masing masing dokumen. Berikut adalah tabel hasil perhitungan panjang vector untuk masingmasing term dalam dokumen kunci jawaban dan jawaban.

7 Tabel 7 Perhitungan panjang vector term Bobot Bobot Pj. Vektor Pj. Vektor Bobot Term Mahasisw Nilai Dosen Dosen Mahasiswa a temu kembali informasi sistem sedia layan cari dapat buah media bagi guna oleh sumber butuh SUM SQRT Langkah terakhir adalah menghitung kemiripan dokumen ( matching documents). Matching document adalah tahap dimana akan dilakukan perhitungan tingkat kemiripan ( similarity) antara dokumen kunci jawaban dan dokumen jawaban. Perhitungannya menggunakan metode Cosine Similarity. Rumus yang digunakan adalah sebagai berikut : Untuk nilai akhir mahasiswa didapat dari hasil perkalian nilai similarity dengan bobot soal yaitu Nilai akhir = CosineSimilarity * Bobot nilai = * 80= Sehingga, penilaian jawaban menggunakan algoritma TF-IDF memperoleh nilai dengan bobot soal 80. Hasil pengumpulan data menunjukkan bahwa nilai algoritma Levenhstein Distanceyaitu dan algoritma TF-IDF yaitu dengan menghitung salah satu contoh soal dan jawabannya serta memberikan bobot nilai dari perhitungan ini yaitu 80. b. Desain Sistem a. Diagram Konteks Berkut ini adalah Gambaran diagram konteks. Gambar 4 Diagram Konteks d. Penilaian Berdasarkan rumus diatas, maka jumlah nilai bobot yaitu 4, sedangkan = akar dari jumlah panjag vector kunci sebesar = dan adalah = = akar dari jumlah panjang vector jawaban sebesar sehingga nilai similarity-nya adalah =

8 c. Implementasi Dalam implementasi ini akan dilihat hasil rancangan yang dibuat berdasarkan coding aplikasi yang dapat dilihat dalam hasil interface berikut ini : 1. Tampilan Login Pada form login ini dapat digunakan oleh 3 pengguna, Admin, dosen dan mahasiswa serta login masing-masing sesuai akun yang diperoleh oleh pengguna. Gambar 11Tampilan menu dosen soal 4. Tampilan Menu Ujian Mahasiswa Pada tampilan menu ujian ini mahasiswa dapat menjawab soal apabila sesuai dengan waktu yang telah ditentukan. Jika setelah menjawab soal klik tombol krim jawaban. Berikut tampilan menu ujian mahasiswa : Gambar 12 Menu Ujian Mahasiswa Gambar 9 Tampilan menu login 5. Tampilan Hasil Ujian Pada tampilan menu hasil ujian, mahasiswa dapat melihat nilai hasil ujian. Hasil ujian ini menampilkan hasil perhitungan Algoritma. Gambar 13 Hasil Ujian 2. Tampilan Menu Dosen Ujian Ini adalah tampilan untuk membuat Ujian. Ujian dibuat berdasarkan jadwal yang diinginkan. Gambar 10Tampilan menu dosen 3. Tampilan dosen Soal Pada tampilan dosen dapat menginputkan soal yang akan dibuat pada ujian. Oleh karena ujian telah dibuat maka selanjutnya pembuatan soal. d. Analisis Pengujian Pada tahap analisis pengujian ini, setiap algoritma Levenshtein Distance dan algoritma TF-IDF akan dilakukan pengujian berdasarkan persentase error algoritma.untuk dapat menghitung persentase error maka skenario yang digunakan yaitu dengan menggunakan sampel 10 mahasiswa dan memberikan 4 contoh soal yang harus dijawab. Penilaian jawaban tanpa menggunakan algoritma diperoleh dari penilaian dosen yang bersangkutan dalam hal ini mata kuliah yang menjadi objek penelitian Rumus yang digunakan untuk mencari persentase error dengan cara ; nilai maksimal jawaban dikurangi hasil bagi antara nilai algoritma dengan nilai tanpa algoritma kemudian dikalikan 100%. Berikut adalah rumus persentase error:

9 NA NTA No = Nilai Algoritma = Nilai Tanpa Algoritma Nilai Persentase error adalah 0-100%. Apabila perhitungan persentase error diatas dari 100% maka persentase error tersebut dianggap bernilai 100%. Namum apabila nilai tanpa algoritma bernilai 0, maka untuk memperoleh persentase error bernilai 0, nilai algoritma juga harus bernilai 0. Jika persentase error tidak bernilai 0, maka persentase error dianggap bernilai 100%. Berikut hasil penilaian tanpa menggunakan algoritma Tabel 8 Hasil Penilaian Tanpa Algoritma No Nama Mahasiswa Nilai Tanpa Algoritma Berdasarkan Soal Mahasiswa Mahasiswa Mahasiswa Mahasiswa Mahasiswa Mahasiswa Mahasiswa Mahasiswa Mahasiswa Mahasiswa Hasil analisis pengujian algoritma Levenshtein Distance Hasil persentase error algoritma dapat dilihat pada table berikut. Tabel 9Persentase Error Penilaian Algoritma Levenshtein Distance Nilai Tanpa Algoritma Nilai Lev. Distanc. Soal Ke - Presentase Error % Total Eror % ,18 8,861 10, ,7 65, , ,59 4,81 12,727 6,522 82,05 51,9 57,58 73,91 66, ,44 8,608 8,5 9,273 70,37 56, , ,35 7,848 17,727 9,13 63,25 60,76 40,91 63,48 57, ,034 5,57 8, ,04 59,83 72,15 13,64 56,52 50, ,838 6,329 8,6364 6,522 65,81 68,35 71, , ,615 11,9 10,455 6,522 76,92 40,51 65,15 73,91 64, ,148 4,557 8,571 9,167 59,26 77,22 65,71 69,44 67, ,402 9,873 9, ,74 52,99 50,63 61, , ,641 5,316 5,9091 9,565 71,79 73,42 76, ,39406 Rerata Error Algoritma Levensgtein Distance % = 65,76693 Berdasarkan hasil analisis pengujian untuk perhitungan persentase nilai error algoritma Levenshtein Distancememperoleh nilai error rata-rata 65,76693%. Hasil ini menunjukkan bahwa setiap penilaian jawaban esai menggunakan algoritma Levenshtein Distancememperolehnilai yang rata-rata rendah dengan nilai tanpa menggunakan algoritma. 2. Hasil analisis pengujian algoritma TF-IDF Hasil persentase error algoritma TF- IDF dapat dilihat pada table berikut : Tabel 10Persentase Error Penilaian Algoritma TF-IDF No Nilai Tanpa Algoritma Nilai TF-IDF Soal Ke - Presentase Error % Total Eror % ,7 18,598 25,157 24, ,012 16, , ,6 16,407 24,833 23,831 22,2 0 17,22 4,677 11, ,008 12,586 18, ,96 49, , ,12 17,921 28,108 16,165 14,38 10,39 6,305 35,34 16, ,04 18,402 22,995 24,476 9,824 7, ,41 9, ,33 17,893 22,55 14,095 28,37 10,54 24, , ,69 19,136 24,833 18,825 36,53 4,318 17,22 24,7 20, ,52 15,542 23,824 17,415 12,4 22,29 4,706 41,95 20, ,02 19,151 17,789 22,031 9,924 4,245 28, , ,49 17,472 23,971 23,723 17,57 12,64 4, ,58016 Rerata Error Algoritma TF-IDF % = 30,7418 Berdasarkan hasil analisis pengujian untuk perhitungan persentase nilai error algoritma TF-IDFmemperoleh nilai error rata-rata %. Hasil ini menunjukkan bahwa setiap penilaian jawaban esai menggunakan algoritma TF- IDF memperolehnilai yang rata-rata sama dengan nilai tanpa menggunakan algoritma. 2. Pembahasan Berdasarkan hasil penelitian yang dilakukan, algoritma Levenshtein Distance dan TF-IDF dapat diterapkan pada sistem penilaian jawaban esai. Ini dibuktikan dengan hasil yang diperoleh berdasarkan perhitungan masing-masing algoritma dengan terlebih dahulu melakukan preprosesing terhadap jawaban dan kunci jawaban. Hasil yang diperoleh masingmasing algoritma berbeda karena cara kerja algoritma itu sendiri. Algoritma TF-IDF mendapatkan nilai yang lebih tinggi yaitu karena melakukan perhitungan atau penilaian berdasarkan jumlah kemunculan kata. Semakin banyak kata yang muncul dalam dokumen, maka tinggkat kemiripan semakin tinggi. Berbeda

10 dengan algoritma Levenshtein Distance. Algoritma ini mendapatkan nilai yaitu dengan melakukan perhitungan atau penilaian berdasarkan keterbedaan huruf antara jawaban dan kunci jawaban. Semakin banyak perubahan atau perbedaan huruf antar dokumen maka tingkat kemiripan semakin rendah. Sebaliknya, apabila semakin sedikit perubahan atau perbedaan huruf antar dokumen maka tingkat kemiripan semakin tinggi. Setelah mendapatkan hasil dari setiap algoritma, selanjutnya melakukan pengujian setiap algoritma berdasarkan persetanse error dari setiap algoritma. Pada hasil analisis pengujian menunjukkan bahwa nilai persentase error algoritma TF- IDF lebih sedikit yaitu 30,7418% dan persentase error algoritma Levenshtein Distance yakni 65,76693%. Tabel 11 Hasil pengujian persentase error algoritma Error Algoritma No Algoritma % 1 Levenshtein Distance 65, TF-IDF 30,7418 Berdasarkan data pada tabel diatas dapat diketahui bahwa algoritma TF-IDF setelah dilakukan pengujian berdasarkan persentase error memperoleh nilai yaitu 30,7418%. Untuk algoritma Levenhstein Distance setelah dilakukan pengujian berdasarkan persentase error memperoleh nilai 65,76693% yang diujicobakan pada penilaian jawaban esai dengan sampel 10 mahasiswa, serta menggunakan 4 contoh soal (Nangili, 2014). 5. KESIMPULAN DAN SARAN 1. Kesimpulan Berdasarkan hasil penelitian perbandingan algoritma Levenshtein dan TF-IDF untuk penilaian jawaban esai, maka dapat disimpulkan : a. Algoritma Lenveshtein Distance dan TF- IDF dapat digunakan untuk melakukan penilaian jawaban esai. b. Hasil yang diperoleh dari perhitungan contoh soal dan jawaban esai sebelum diimplementasi dalam program sama hasilnya setelah diimplementasikan dalam program yaitu algoritma TF-IDF mendapatkan nilai dari bobot soal 80 dan algoritma Levenshtein Distance dengan bobot yang sama pada tahap pengumpulan data. c. Hasil analisis pengujian algoritma TF- IDF memperoleh nilai persentase error dengan jumlah 30,7418% dari 10 sampel mahasiswa dengan 4 contoh soal yang membuktikan bahwa algoritma ini baik untuk diterapkan dalam penilaian jawaban esai karena memperoleh nilai perhitungan algoritma rata-rata sama dengan nilai tanpa menggunakan algoritma. d. Hasil analisis pengujian algoritma Levenshtein Distance memperoleh persentase error dengan jumlah 65,76693% dari 10 sampel mahasiswa dengan 4 contoh soal. Algoritma ini juga bias diterapakan pada penilaian jawaban esai akan tetapi rata-rata nilai perhitungan algoritma yang diperoleh lebih rendah dengan nilai tanpa algoritma. e. Algoritma TF-IDF dapat menghitung similarity tanpa melihat struktur ataupun susunan dari beberapa kata, sementara algoritma Levenshtein Distance dapat menghitung similarity berdasarkan urutan huruf atau karakter dalam sebuah string. f. Kata-kata di dalam kunci jawaban sangat berpengaruh terhadap pemilihan kata yang dianggap sebagai keyword, sehingga mempengaruhi penilaian sistem. 2. Saran Pada penelitian ini masih terdapat kekurangan oleh karena itu peneliti mengharapkan agar hasil penelitian ini dapat dikembangkan lebih lanjut, adapun saran yang dapat diberikan untuk penelitian lebih selanjutnya antara lain: a. Dalam penelitian ini, teks kunci jawaban diusahakan menggunakan katakata yang relevan dan tidak mengandung kata-kata bias yang dianggap sebagai jawaban benar agar kata-kata tersebut menjadi kata kunci yang baik.

11 b. Penelitian ini dapat dikembangkan dengan membuat persamaan untuk katakata yang memiliki makna sama, menambahkan autocorrect untuk kesalahan penulisan jawaban, membedakan kalimat baik aktif maupun pasif, serta mengitung persamaan kata berdasarkan strukur kalimat. c. Lebih lanjut, aplikasi yang telah dibuat agar supaya ditambahkan sebuah bank soal yang memungkinkan untuk penyimpanan berbagai macam soal dan jawaban agar pembuat soal tidak lagi mencari-cari soal yang akan dibuat. Zafikri, A Implementasi Metode Term Frequency Inverse Document Frequency (TF -IDF) pada Sistem Temu Kembali Informasi, Medan : Universitas Sumatra Utara. REFERENSI Adam S Penilaian Ujian Bertipe Uraian ( essay) menggunakan Metode Kemiripan Teks ( Text Similarity). [Skripsi] diterbitkan. Surakarta : Universitas Sebelas Maret. Deddy W Sistem Penilaian Otomatis Kemiripan Kalimat Menggunakan Syntactic-Semantic Similarity Pada Sistem E-Learning, Jurnal Ilmiah Kursor,(Online),Vol.5,No.2,( kursor.trunojoyo.ac.id/wpcontent/u ploads/2012/02/vol5_no2_p1.pd f, diakses 20 Maret 2014). Emzir Metodologi Penelitian Kuantitatif dan Kualitatif (Edisi Revisi). Jakarta : Rajawali Pers. Muhamad Z. N Sistem Penilaian Otomatis Esai Menggunakan Algortima Levenshtein Distance, Jurnal Komputer. (Online),( download/article/file/dr , diakses 14 Februari 2014) Nangii S Pengujian Algoritma Levenshtein Distance dan Algoritma Term Frequency Inverse Document Frequency (TF-IDF) untuk Peniaian Esai. [Skripsi] tidak diterbitkan. Gorontalo : Universitas Negeri Gorontalo.