PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN METODE KEMIRIPAN TEKS (TEXT SIMILARITY) SKRIPSI

Transkripsi

1 PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN METODE KEMIRIPAN TEKS (TEXT SIMILARITY) SKRIPSI Disusun Oleh : ADAM ASSHIDIQ M JURUSAN INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET 2014 i

2 PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN METODE KEMIRIPAN TEKS (TEXT SIMILARITY) Oleh : ADAM ASSHIDIQ M SKRIPSI Ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar Sarjana Informatika JURUSAN INFORMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET 2014 ii

3 iii

4 iv

5 MOTTO Bacalah dengan nama Tuhanmu yang menciptakan. Dia telah menciptakan manusia dari segunmpal darah. Bacalah, dan Tuhanmulah Yang Maha Pemurah. Yang mengajar dengan Qalam. Dialah yang mengajar manusia segala yang belum diketahui (Q.S Al- Alaq 1-5) Harga Kebaikan manusia adalah diukur menurut apa yang telah dilaksanakan / diperbuatnya (Ali Bin Abi Thalib) Apabila Anda berbuat kebaikan kepada orang lain, maka Anda telah berbuat kebaikan terhadap diri sendiri (Benyamin Franklin) If you do nothing, you get Nothing. But if you do something, you will get everything (Adam Asshidiq) v

6 PERSEMBAHAN Aku persembahkan Skripsi ini untuk : 1. Abah, Mamah, dan adikku tercinta 2. Jurusan Informatika UNS 3. Sahabat-sahabatku di bumi Cirebon 4. Teman-teman seperjuangan angkatan 2009 vi

7 KATA PENGANTAR Puji dan Syukur Penulis sampaikan kehadirat Allah SWT yang senantiasa memberikan rahmat, nikmat, serta hidayah-nya sehingga Penulis dapat menyelesaikan skripsi ini dengan baik. Shalawat serta salam semoga selalu terlimpah bagi baginda Rasul, Nabi Muhammad SAW, para sahabat, dan umatnya hingga akhir zaman. Skripsi ini berjudul Penilaian Ujian Bertipe Uraian (Essay) Menggunakan Metode Kemiripan Teks (Text Similarity). Skripsi ini disusun sebagai salah satu syarat dalam meraih gelar Sarjana Informatika di Universitas Sebelas Maret (UNS) Surakarta. Penulis juga mengucapkan terima kasih kepada semua pihak yang membantu memberikan bantuan, masukkan, dukungan, serta motivasi kepada Penulis selama proses penyusunan skripsi ini. Terkhusus, Penulis sampaikan rasa terima kasih Penulis kepada : 1. Ibu Umi Salamah, M.Kom, selaku ketua Jurusan Informatika UNS. 2. Bapak Didiek Sri Wiyono, S.T., M.T., selaku Pembimbing Akademik yang selalu membantu dan memotivasi Penulis selama masa perkuliahan di Informatika UNS. 3. Bapak Ristu Saptono, S.Si, M.T., selaku dosen pembimbing I dan Bapak Meiyanto Eko Sulistyo S.T., M.Eng., selaku dosen pembimbing II yang penuh kesabaran membimbing, mengarahkan, dan memotivasi Penulis untuk menyelesaikan skripsi. 4. Bapak dan Ibu Dosen serta Karyawan Jurusan Informatika FMIPA UNS yang telah mengajari Penulis berbagai macam hal selama masa perkuliahan di Informatika UNS. 5. Keluarga tercinta, Abah, Mamah, dan Liza, yang telah memberikan dorongan motivasi serta mendoakan Penulis agar dapat menyelesaikan studi di Universitas Sebelas Maret. 6. Teman-teman seperjuangan, khususnya angkatan 2009, yang selalu setia menemani dengan dukungan dan semangatnya. 7. Sahabat-sahabat saya di bumi Cirebon yang selalu mendukung Penulis secara moril. Penulis pun berharap semoga skripsi ini dapat bermanfaat bagi semua pihak yang berkepentingan. Surakarta, Januari 2014 Penulis vii

8 ASSESSMENT ESSAY EXAM USING TEXT SIMILARITY METHOD ADAM ASSHIDIQ Informatics Departement, Mathematics and Science Faculty, Sebelas Maret University. ABSTRACT Exam is one way to measure the performance of students in the learning process. Type of test that is often tested on each student's learning activities are the type of test description (essay). This study focuses on the manufacture of automatic assessment to test extensions of type descriptions using text similarity. This method has several stages such as text mining, text preprocessing with stemming process using Nazief Adriani algorithms, text transforming, then judgment tf - idf method, and cosine similarity. The results of this study is the final value assessment system uses text similarity does not differ significantly from the results of expert assessment. It is proved by testing using paired T test with degrees of freedom ( α ) of 5 %, where the value t table > t hitung ( > ) as well as the significance value > degrees of freedom ( 0.71 > 0.05). However, there are several different types of questions that the result is significant because there is a unique character which is recorded in the database as well as the answers to the key does not contain the appropriate keywords to the relevance of the correct answer. Keywords : essay test, automatic assessment, text similarity, keywords. viii

9 PENILAIAN UJIAN BERTIPE URAIAN (ESSAY) MENGGUNAKAN METODE KEMIRIPAN TEKS (TEXT SIMILARITY) ADAM ASSHIDIQ Jurusan Informatika, Fakultas MIPA, Universitas Sebelas Maret Surakarta. ABSTRAKSI Ujian adalah salah satu cara untuk mengukur performa siswa dalam proses belajar. Jenis ujian yang sering diujikan pada setiap kegiatan belajar siswa adalah tipe ujian uraian (essay). Penelitian ini berfokus pada pembuatan ekstensi penilaian otomatis untuk ujian bertipe uraian dengan menggunakan metode text similarity. Metode ini mempunyai beberapa tahapan seperti text mining, text preprocessing dengan proses stemming menggunakan algoritma Nazief-Adriani, text transforming, lalu penilaiannya menggunakan metode tf-idf, serta cosine similarity. Hasil penelitian ini adalah nilai akhir hasil penilaian menggunakan sistem text similarity tidak berbeda signifikan dengan hasil penilaian dari pakar. Hal ini dibuktikan dengan pengujian menggunakan uji T berpasangan dengan derajat kebebasan (α) sebesar 5%, dimana nilai t tabel > t hitung (2.045 > ) serta nilai signifikansi > derajat kebebasan (0.71 > 0.05). Namun, terdapat beberapa tipe soal yang hasilnya berbeda signifikan dikarenakan terdapat karakter unik yang terekam di dalam database serta jawaban pada kunci tidak mengandung keywords yang sesuai dengan relevansi jawaban yang benar. Kata Kunci : ujian essay, penilaian otomatis, text similarity, keywords. ix

10 DAFTAR ISI HALAMAN JUDUL... i HALAMAN PERSETUJUAN... iii HALAMAN PENGESAHAN... iv HALAMAN MOTTO... v HALAMAN PERSEMBAHAN... vi KATA PENGANTAR... vii ABSTRACT... viii ABSTRAKSI... ix DAFTAR ISI... x DAFTAR TABEL... xiii DAFTAR GAMBAR... xiv BAB I. PENDAHULUAN Latar Belakang Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Sistematika Penulisan... 3 BAB II. TINJAUAN PUSTAKA Dasar Teori Kuis Online Learning Management System (LMS) Moodle Text Mining Text Preprocessing... 7 x

11 Text Transforming Pattern Discovery Term Frequency (tf) Inverse Document Frequency (idf) Vector Space Model Matching Document Metode Nazief-Andriani Penelitian Terkait Rencana Penelitian BAB III. METODOLOGI PENELITIAN Pengumpulan Data Pemodelan Ujian Essay Konstruksi Ujian Essay dengan Text Similarity Modifikasi Moodle dengan Fitur Ujian Essay Pengujian BAB IV. PEMBAHASAN Pembuatan stemming menggunakan Algoritma Nazief-Andriani Perancangan Sistem Spesifikasi Perangkat Implementasi dan Pengujian Perhitungan metode Text Similarity Text Preprocessing Text Transforming Pattern Discovery Pengujian Hasil Pengujian BAB V. PENUTUP Kesimpulan Saran DAFTAR PUSTAKA xi

12 LAMPIRAN I LAMPIRAN II LAMPIRAN III LAMPIRAN IV xii

13 DAFTAR TABEL Tabel 2.1. Kombinasi Awalan-Akhiran yang tidak diizinkan Tabel 2.2. Pemenggalan Awalan Stemmer Nazief dan Andriani Tabel 2.3. Cara Menentukan Tipe Awalan Untuk awalan te Tabel 2.4. Jenis Awalan Berdasarkan Tipe Awalannya Tabel 2.5. Matriks Pembahasan Literatur Tabel 4.1. Dokumen hasil proses tokenizing Tabel 4.2. Dokumen sebelum proses filtering dan stemming Tabel 4.3. Dokumen setelah proses filtering dan stemming Tabel 4.4. Perhitungan banyak frekuensi term dalam kunci jawban dan jawaban siswa Tabel 4.5. Perhitungan bobot antar term Tabel 4.6. Perhitungan panjang vektor antar term Tabel 4.7. Hasil Penilaian Sistem dan Penilaian Pakar terhadap beberapa siswa pada lima soal pertama Tabel 4.8. Hasil uji-t nilai akhir penilaian pakar dengan penilaian sistem Tabel 4.9. Hasil uji-t penilaian pakar dengan penilaian sistem untuk setiap soal xiii

14 DAFTAR GAMBAR Gambar 2.1. Ilustrasi Algoritma Pembobotan tf-idf... 9 Gambar 2.2. Contoh model ruang vektor dengan dua dokumen D 1 dan D 2, serta query Q (Mandala, 2006) Gambar 2.3. Matriks Representasi VSM (Mandala, 2006) Gambar 3.1. Diagram Metodologi Penelitian Gambar 4.1. Alur Algoritma Nazief-Andriani (Ledi Agusta, 2009) Gambar 4.2. Alur Sistem Penilaian xiv