SISTEM PENILAIAN OTOMATIS JAWABAN ESSAY MENGGUNAKAN METODE COSINE MEASURE PADA SISTEM E-LEARNING ABSTRAK

Transkripsi

1 Judul : Sistem Penilaian Otomatis Jawaban Essay Menggunakan Metode Cosine Measure Pada Sistem E-Learning Oleh : Lukman Hakim NIM : Fakultas : Teknik Jurusan : Teknik Informatika SISTEM PENILAIAN OTOMATIS JAWABAN ESSAY MENGGUNAKAN METODE COSINE MEASURE PADA SISTEM E-LEARNING ABSTRAK Pengajar biasanya melakukan penilaian jawaban essay secara manual dari sejumlah besar peserta didik dalam setiap periode evaluasi tertentu seperti evaluasi pertengahan semester dan akhir semester. Penilaian manual ini membutuhkan banyak waktu, tenaga, dan biaya. Disamping itu jawaban essay memiliki model jawaban secara bebas dalam bahasa alami sehingga kesulitan dalam mengekstrak logika dan memahami obyektifitas dari masing-masing jawaban essay. Oleh karena itu, diperlukan suatu sistem penilaian otomatis menggunakan metode cosine measure. Metode ini dibantu oleh thesaurus Wordnet untuk mempertimbangkan aspek kesamaan kata (synonym). Keduanya digunakan untuk mengetahui tingkat kemiripan antara jawaban pengajar dengan jawaban dari masing-masing peserta didik. Uji coba dilakukan terhadap data sintesis berupa data kuisioner jawaban essay siswa dalam bahasa inggris pada mata pelajaran tertentu. Skenario pengujian melibatkan Wordnet dan tanpa Wordnet untuk mengetahui nilai precision dan recall. Kata kunci: Penilaian, Cosine Measure, Wordnet. 1

2 AUTOMATED ESSAY SCORING SYSTEM USING COSINE MEASURE METHOD IN E-LEARNING SYSTEM Abstract Key word : Assessment, Cosine Measure, Wordnet. Teachers usually make an assessment essay answers manually from a large number of learners in any given evaluation period as the evaluation of mid-semester and final semester. Assessment of this manual requires a lot of time, effort, and cost. Besides it has a model answer essay answers freely in natural language so that the difficulty in extracting the logic and understand the objectivity of each essay answer. Therefore, required an automatic scoring system using the cosine measure. This method is assisted by a thesaurus WordNet to take into account the similarity of words (Synonym). Both are used to determine the level of similarity between the teacher answers with the answers from each student. Trials conducted on the synthesis of data in the form of data questionnaire answers student essay in English on the subject. Test scenarios involving Wordnet and without wordnet to know the value of precision and recall. 2

3 PENDAHULUAN 1.1 Latar Belakang Ujian dapat dilakukan secara online mulai dari menjawab soal ujian hingga proses penilaian. Pengajar biasanya melakukan penilai jawaban essay secara manual dari sejumlah besar peserta didik dalam setiap periode evalusi tertentu seperti evaluasi pertengahan semester dan akhir semester. Penilaian manual ini membutuhkan banyak waktu, tenaga, dan biaya. Disamping itu jawaban essay memiliki model jawaban secara bebas dalam bahasa alami sehingga kesulitan dalam mengekstrak logika dan memahami obyektifitas dari masing-masing jawaban essay. Semakin banyak jumlah jawaban essay yang dikoreksi maka kualitas penilaian yang diberikan semakin menurun sehingga penilaiannya kurang objektif dan efektif. Sistem temu kembali informasi memberikan alternatif metode similarity seperti metode cosine measure, jaccard measure dan probabilistik. Cosine measure dipilih sebagai metode penyelesaian penilaian essay karena kompatibilitasnya dengan library apache lucene dan wordnet. Apache lucene merupakan library indexing dan searching jawaban pengajar dan jawaban para peserta didik. Wordnet merupakan theasurus bahasa inggris yang mampu mendapatkan relasi kesamaan kata (synonym). Relasi synonym ini penting untuk dipertimbangkan agar setiap kata yang memiliki arti yang sama tetapi berbeda kata tidak dianggap kata yang berbeda. Berdasarkan uraian permasalahan dan metode penyelesaiannya maka penelitian ini mengusulkan suatu sistem penilaian Otomatis jawaban essay menggunakan metode cosine measure pada sistem e-learning. Sistem ini digunakan untuk menilai ujian dalam bentuk jawaban essay. Pengujian sistem ini dilakukan pada penilaian jawaban essay mata pelajaran tertentu di tingkat Sekolah Menengah Kejuruan (SMK). 1.2 Perumusan Masalah 1. Bagaimana proses pengukuran tingkat kemiripan jawaban essay pada sistem e-learning menggunakan cosine measure. 2. Bagaimana penerapan sistem penilaian otomatis ke dalam sistem e-learning SMK. 3. Bagaimana mengetahui kinerja sistem penilaian otomatis 2

4 berdasarkan nilai precision dan recall dari skenario pengujian melibatkan Wordnet dan tanpa Wordnet 1.3 Batasan Masalah 1. Jawaban essay yang dinilai dalam sistem ini menggunakan bahasa inggris. 2. Data uji coba yang digunakan adalah data hasil ujian essay secara online pada mata pelajaran Bahasa Inggris di Jurusan Rekayasa Perangkat Lunak SMKN 1 Tanggul 3. Tipe jawaban essay yang dinilai dalam sistem ini bersifat definitive (uraian tentang definisi atau pengertian dari suatu objek tertentu). 4. Aplikasi e-learning yang digunakan adalah moodle. 2. Mengintegrasikan sistem penilaian otomatis jawaban essay pada sistem e-learning. 3. Mengetahui kinerja sistem penilaian otomatis berdasarkan nilai precision dan recall dari skenario pengujian melibatkan Wordnet dan tanpa Wordnet. Manfaat dari penelitian ini sebagai berikut. 1. Membantu pengajar dalam memberikan penilaian jawaban essay siswa secara objektif dan efektif. 2. Mengurangi waktu, tenaga serta biaya yang harus dikeluarkan pengajar dalam melakukan penilaian. 1.4 Tujuan dan Manfaat Penelitian Tujuan dari penelitian ini sebagai berikut. 1. Membangun suatu sistem penilaian otomatis jawaban essay pada sistem e-learning dengan mengimplementasikan pengukuran cosine measure. 3

5 METODE PENELITIAN 2.1 Metodologi Pada penelitian ini, langkah-langkah yang dilakukan sebagai berikut. 1. Studi Literatur Tahap ini untuk mendapatkan informasi dari literatur dan analisis tentang sistem temu kembali informasi, metode cosine measure serta model-model pembobotan yang digunakan pada penelitian sebelumnya. Disamping itu dipelajari juga penerapan metode cosine measure pada model vector space, dan thesaurus WordNet. Hasil studi literatur diuraikan secara rinci dalam bab Rancangan dan Arsitektur Sistem Tahap ini membuat rancangan dan arsitektur sistem penilaian essay otomatis. Rancangan ini berisi gambaran sistem, langkah dan proses implementasinya. Hasil tahap ini diuraikan secara rinci dalam bab Implementasi Tahap ini menerjemahkan rancangan menjadi kode program berupa kakas bantu untuk penyelesaian masalah. Kakas bantu ini menerapkan arsitektur sistem penilaian otomatis. 4. Evaluasi dan Uji Coba Tahap ini untuk mengetahui kinerja dari penggunaan metode cosine measure yang diajukan. Uji coba dilakukan terhadap e-learning moodle. Berbagai skenario pengujian dilakukan untuk mendapatkan perbandingan metrik recall dan precision. 2.2 Rancangan dan Arsitektur Sistem Jawaban Siswa Kunci Jawaban Guru (text) (text) Input Database Moodle Text preprocessin Membandingkan Jawaban Dengan Kunci Database Jawaban (Similarity) Sinonim Proses Penilaian Output Nilai Akhir 4

6 Gambar 3.1 Desain Arsitektur Sistem Penilaian Otomatis Jawaban Essay. 3.3 Tahapan penilaian Praproses Dalam penelitian ini dilakukan praproses meliputi tokenisasi, stopword removal dan stemming. Proses tokenisasi melakukan pemotongan kalimat menjadi kata (term). Kemudian kata-kata yang dihasilkan dibandingkan dengan daftar stoplist untuk menghilangkan kata atau tanda baca yang tidak relevan. Proses ini disebut stopword removal sehingga kata yang tidak relevan sebagai kata kunci akan dihilangkan. Selanjutnta akan dilakukan proses Stemming untuk membentuk kata dasar. Proses ini ditunjukkan dalam Gambar 3.2. Gambar 3.2 Blok Diagram Praproses Proses Similarity Setelah dokumen menjalani proses tokenisasi, remove removal, dan stemming, maka akan didapatkan daftar kata dari dokumen tersebut. Digunakan perhitungan dimana normalisasinya dilakukan pada saat pembobotan. Langkahlangkahnya adalah sebagai berikut : Metode Term Frequency (tf) Membuat daftar kata dari dokkumen dan menghitung frekuensi kemunculannya. key_answer Tokenisasi Stopword Stemming answer Removal 5

7 Tabel 3.1. Daftar frekuensi kata (term frequency) lain, akan didapatkan hasilnya seperti tabel 2. Tabel 3.2. Hasil perhitungan idf documents term Tf Dok_1 T1 1 T2 2 T3 3 Dok_2 T2 3 T3 2 T4 1 term Tf T1 1,301 T2 1 T3 1 T4 1, Metode TF IDF Metode Invers Document Frequency (idf) Perhitungan idf mengacu pada persamaan 3, sehingga berdasarkan daftar kata pada tabel 1 dapat dihitung idf untuk tiap kata-nya, sebagai berikut : Pembobotan dengan metode tf idf, dilakukan dengan mengalikan hasil pembobotan antara metode tf dengan idf seperti persamaan 6. Sehingga akan didapat bobot masing-masing term seperti pada tabel 3.3. Hubungan term TI pada Dok_1 dan Dok_2 : = log (2/1) + 1 = 0, = 1,301 Sehingga dengan cara yang sama untuk semua kata yang 6

8 Tabel 3.3. Perhitungan bobot tf idf documents term tf * idf Dok_1 T1 1,301 T2 2 T3 3 Dok_2 T2 3 T3 2 T4 1,301 Sehingga tingkat similarity antara dokumen 1 dengan Perhitungan tingkat similarity dengan Cosine Measure Berdasarkan persamaan 9 yang telah dirumuskan sebelumnya, maka tingkat kemiripan antar dokumen bisa didapatkan dengan membandingkan antara kedua dokumen yang bersesuaian dengan menggunakan persamaan sebagai berikut [salton, 1988]: similarity( ) = dokumen 2 sebesar 0, Dengan demikian tinggal ditentukan batas nilai similarity yang akan digunakan sebagai parameter penentuan bahwa sebuah dokumen dikatakan memiliki isi yang setara dengan dokumen yang lain Data Pengujian Precision dan Recall Soal 1 : Explain what is meant information technology? Jawaban Kunci : Information technology is a general term describes any technology that help people. Jawaban Siswa01 : Information techonology is a general term. Score :

9 Jawaban Siswa02 : Term General a is technology Information. Score : 0.50 Jawaban Siswa03 : Information techonology is a general term. Score 0.50 Jawaban Siswa04 : Term information general a is tecnologyany describes people help. Score : 0.80 Jawaban Siswa05 : Information technology is a general term that describes technology people. Score : 0.80 Langkah selanjutnya mencari nilai ambang batas/ threshold dari ketiga nilai Siswa. Threshold : ( ) / 3 = 0.62 Menurut threshold yang didapatkan, hasilnya bisa dilihat di Tabel 4.3. Tabel 3.4 Kategori kebenaran berdasarkan nilai Threshold Benar Salah Untuk mengetahui tingkat akurasi nilai tersebut membutuhkan beberapa pengujian salah satunya precision dan recall. Penjabaran Rumus : Precision = Jumlah nilai benar relevan, Terambil retrieve / (Jumlah nilai benar relevan, Terambil retrieve + Jumlah Nilai Tidak Benar not relevan, terambil retrieve ) Recall = Jumlah nilai benar relevan, Terambil retrieve / (Jumlah nilai benar relevan, Terambil retrieve + jumlah nilai benar relevan, tidak terambil not retrieve ) Pengujian ini membutuhkan bantuan seorang pakar dalam hal ini guru untuk melakukan penilaian secara manual. Hasil dari perhitungan manual pakar bisa di lihat di Tabel 3.5. Tabel 3.5 Tingkat akurasi berdasarkan pengujian precision dan recall 8

10 Relevan Not Relevan Retrieve 1 1 Not 2 1 Retrieve Precision Recall Gambar 3.4 Proses Perhitungan 3.4 Desain Sistem Use Case Input Nilai Gambar 3.5 Input Nilai Gambar 3.3 Use case diagram Baca DB Activity Diagram Proses perhitungan Jawaban Pelajar Load DB Jawaban Kunci Gambar 3.6 Baca DB 9

11 3.4.4 Sequence Diagram Collaboration Diagram Gambar 3.9 Collaboration Diagram Gambar 3.7 Sequence Diagram State Chart Gambar 3.8 State Chart 10

12 3.4.7 Class Diagram Gambar 3.10 Kelas Diagram 11

13 HASIL DAN PEMBAHASAN 4 Database MySQL Server 5 Web Server XAMPP Bab ini akan membahas tentang hasil evaluasi uji coba. Pembahasan terdiri dari lingkungan uji coba, skenario yang melibatkan wordnet dan tanpa wordnet untuk mengetahui nilai precision dan recall dan evaluasi hasil uji coba untuk mengetahui tingkat kemiripan antara jawaban pengajar dengan jawaban dari masing-masing peserta didik Lingkungan Uji Coba Lingkungan uji coba pada penelitian ini meliputi perangkat keras dan perangkat lunak dengan spesifikasinya ditunjukkan dalam Tabel 4 dan 5 sebagai berikut : Tabel 4.1 Spesifikasi Perangkat Keras No Nama Spesifikasi 1 Processor Intel Core 2 Duo 2 Memori 2.00 GB 3 Harddisk 350 GB 4 Merk Satellite C600 Toshiba Tabel 4.2. Spesifikasi Perangkat Lunak No Nama Spesifikasi 1 Sistem Operasi Windows 7 Ultimate 32 bit OS 2 GUI JDK 6.18, Java Development NetBeans Library Apache Lucene 3.0, RitaWordnet 4.2. Skenario Uji Coba Pada penelitian ini digunakan dua jenis data yaitu 5 jawaban kunci (pengajar) dan 40 jawaban siswa untuk masing-masing jawaban kunci dari pengajar sehingga total jawaban siswa adalah 200. Kedua jenis data tersebut berasal dari database e-learning moodle. Data ini dilakukan praproses (tokenisasi, stopword removal,stemming), pembobotan tf - idf dan pengukuran derajat kemiripan cosine. Pengujian ini melibatkan aspek kesamaan kata (synonym) dan juga tanpa synonym untuk mengetahui besarnya pengaruh dari synonym. Nilai ambang batas (threshold) diambil dari rata-rata scoring untuk menunjukkan nilai yang memiliki kebenaran lebih tinggi atau tidak. Threshold ini dilakukan untuk mengetahui nilai precision dan recall Evaluasi Hasil Uji Coba Nilai Cosine Tanpa Wordnet 12

14 Tabel 4.3. Soal 1 dengan 40 jawaban Siswa Tanpa Wordnet Soal 1 S N S N S N S 4 N 0 Gambar 4.2.Grafik Soal 2 dengan 40 Jawaban Siswa Tanpa Wordnet Gambar 4.1. Grafik Soal 1 dengan 40 Jawaban Siswa Tanpa Wordnet Tabel 4.4. Soal 2 dengan 40 jawaban Siswa Tanpa Wordnet Soal 2 S N S N S N S 4 N 0 Tabel 4.5. Soal 3 dengan 40 jawaban Siswa Tanpa Wordnet Soal 3 S N S N S N S 4 N 0 Gambar 4.3. Grafik Soal 3 dengan 40 Jawaban Siswa Tanpa Wordnet 13

15 Tabel 4.6. Soal 4 dengan 40 jawaban Siswa Tanpa Wordnet Soal 4 S N S N S N S 4 N 0 Gambar 4.4. Grafik Soal 4 dengan 40 Jawaban Siswa Tanpa Wordnet Tabel 4.7. Soal 5 dengan 40 jawaban Siswa Tanpa Wordnet Soal 5 S N S N S N S 4 N 0 Gambar 4.5 Grafik Soal 5 dengan 40 Wordnet Jawaban Siswa Tanpa Wordnet Nilai Cosine Menggunakan Tabel 4.8. Soal 1 dengan 40 jawaban Siswa Menggunakan Wordnet Soal 1 S N S N S N S 4 N 0 Gambar 4.6. Grafik Soal 1 dengan 40 Jawaban Siswa Menggunakan Wordnet 14

16 Tabel 4.9. Soal 2 dengan 40 jawaban Siswa Menggunakan Wordnet Soal 2 S N S N S N S 4 N 0 Gambar 4.8 Grafik Soal 3 dengan 40 Jawaban Siswa Menggunakan Wordnet Gambar 4.7. Grafik Soal 2 dengan 40 Jawaban Siswa Menggunakan Wordnet Tabel Soal 3 dengan 40 jawaban Siswa Menggunakan Wordnet Soal 3 S N S N S N S 4 N 0 Tabel Soal 4 dengan 40 jawaban Siswa Menggunakan Wordnet Soal 4 S N S N S N S 4 N 0 Gambar 4.9. Grafik Soal 4 dengan 40 Jawaban Siswa Menggunakan Wordnet 15

17 Tabel Soal 5 dengan 40 jawaban Siswa Menggunakan Wordnet Soal 5 S N S N S N S 4 N 0 Tabel Menyatakan bahwa penilaian jawaban essay dengan memperhatikan aspek kesamaan kata atau synonym dapat meningkatkan nilai precision secara keseluruhan sebesar dan recall sebesar dari pada tidak memperhatikan synonym. Peningkatan ini sebenarnya tidak terjadi pada semua soal. Sebagai contoh soal no 3 dan no 5 terjadi penurunan, akan tetapi secara keseluruhan terjadi peningkatan. Gambar Grafik Soal 5 dengan 40 Jawaban Siswa Menggunakan Wordnet Tabel Perbandingan Precision dan Recall dengan atau tanpa Wordnet Tabel Perbandingan Precision dan Recall dengan atau tanpa Wordnet Gambar Grafik Precision Hasil Perbandingan Gambar Grafik Recall Hasil Perbandingan 16

18 4.3.4 Penginputan Nilai ke Database Moodle Berikut hasil dari penginputan nilai ke database moodle : Gambar Hasil Nilai di e-learning Moodle 17

19 KESIMPULAN DAN SARAN 5.1. Kesimpulan Penelitian ini membangun sistem penilaian jawaban essay pada sistem e- Learning menggunakan metode cosine measure untuk mendapatkan nilai skor jawaban kunci masing-masing soal dengan jawaban siswa dari masing-masing soal. Proses penilaian dimulai dari mengambil jawaban kunci dan jawaban siswa dari database e-learning moodle, dan dilakukan pembelajaran (training) untuk menghasilkan nilai skor yang akan diupdate ke dalam database e-learning moodle. Berdasarkan pengujian yang dilakukan dapat disimpulkan bahwa penilaian jawaban essay dengan memperhatikan aspek kesamaan kata atau synonym dapat meningkatkan nilai precision secara keseluruhan sebesar dan recall sebesar dari pada tidak memperhatikan synonym. Fakta ini menunjukkan pengaruh penggunaan aspek synonym dalam sistem penilaian. Semakin tinggi nilai Precision dan Recall maka semakin akurat tingkat akurasi dari hasil skor yang dihasilkan. Menurut hasil precision dan recall nilai skor uang dihasilkan masih jauh dari sempurna precision : 50 % dan recall : % karena proses yang dilakukan mencari nilai kemiripan berdasarkan kata (term), belum mampu mencari nilai berdasarkan struktur kalimat Saran Berikut ini adalah beberapa saran yang diajukan untuk perbaikan dan pengembangan lebih lanjut. 1. Pengembangan sistem dapat mengenali kata-kata antonim yang sebenarnya memiliki makna sama seperti always late dan never on time 2. Sistem ini juga dapat mempertimbangkan unsur POS (part of speech) pada struktur kalimat seperti Noun, Verb, Adjective, dan Adverb sebagaimana pada pemrosesan bahasa alami (Natural Language Processing). 18

20 DAFTAR PUSTAKA Sulistyo, W., (2008), Auto Matching Antar Dokumen Dengan Metode Cosine Measure, ITS : Surabaya. Fuat, R., (2010), Sistem Penilaian Esai Otomatis Pada E-Learning Dengan Metode Cosine Measure, ITS : Surabaya. Suharso, W., (2012), Sistem Penambang Term Indikator Berbobot Pada Pembelajaran Pengklasifikasian Kebutuhan Non-Fungsional, Jurnal MMT-ITS, Surabaya. Porter, M.F.(2001), Snowball: A language for Stemming Algorithms, Computer Laboratory, Cambridge (England). Porter, M.(1980), An algorithm for suffix stripping, Program 13(3), 130{137} Gerard Salton, Christopher Buckley(1998), Term-Weighting Approaches In Automatic Text Retrieval, Information Processing & Management Vol. 24, No. 5, pp , Manu Kunchady (2006), Text Mining Application Programming, Thomson Learning Inc, ISBN , Rolly Intan, Andrew Difeng (2006), HARD : Subject-base Search Engine menggunakan TF-IDF dan Jaccard s Coefficient, Jurnal Teknik Informatika Universitas Kristen Petra, Kaplan, R.M. (1995), A Methode for Tokenizing Text, Palo Alto Research Center (Festschrift In The Honor Of Prof. Kimmo Koskenniemi s 60 th Anniversary). Winarsono, D.S., (2009), Sistem Penilaian Otomatis Kemiripan Kalimat Menggunakan Syntactic Semantic Similarity pada Sistem E- Learning, Program Magister, Teknik Informatika, Institut Teknologi Sepuluh Nopember Surabaya. 19