MENENTUKAN NILAI TES ESAI ONLINE MENGGUNAKAN ALGORITMA LATENT SEMANTIC ANALYSIS (LSA) DENGAN PEMBOBOTAN TERM FREQUENCY/ INVERSE DOCUMENT FREQUENCY SKRIPSI FAKHREZA AKBAR 071401014 PROGRAM STUDI S1 ILMU KOMPUTER DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2011
MENENTUKAN NILAI TES ESAI ONLINE MENGGUNAKAN ALGORITMA LATENT SEMANTIC ANALYSIS (LSA) DENGAN PEMBOBOTAN TERM FREQUENCY/INVERSE DOCUMENT FREQUENCY (TF/IDF) SKRIPSI Diajukan untuk melengkapi tugas dan memenuhi syarat mencapai gelar Sarjana Komputer FAKHREZA AKBAR 071401014 PROGRAM STUDI S1 ILMU KOMPUTER DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SUMATERA UTARA MEDAN 2011
ii PERSETUJUAN Judul : MENENTUKAN NILAI TES ESAI ONLINE MENGGUNAKAN ALGORITMA LATENT SEMANTIC ANALYSIS (LSA) DENGAN PEMBOBOTAN TERM FREQUENCY/ INVERSE DOCUMENT FREQUENCY (TF/IDF) Kategori : SKRIPSI Nama : FAKHREZA AKBAR Nomor Induk Mahasiswa : 071401014 Program Studi : S1 ILMU KOMPUTER Departemen Fakultas : ILMU KOMPUTER : MATEMATIKA DAN ILMU PENGETAHUAN ALAM (FMIPA) UNIVERSITAS SUMATERA UTARA Komisi Pembimbing : Diluluskan di Medan, 15 Agustus 2011 Pembimbing 2 Pembimbing 1 Ade Candra, S.T., M. Kom Dr. Poltak Sihombing, M.Kom NIP 197909042009121002 NIP 196203171991031001 Diketahui/Disetujui oleh Program Studi S1 Ilmu Komputer Ketua, Dr. Poltak Sihombing, M.Kom NIP 196203171991031001
iii PERNYATAAN MENENTUKAN NILAI TES ESAI ONLINE MENGGUNAKAN ALGORITMA LATENT SEMANTIC ANALYSIS (LSA) DENGAN PEMBOBOTAN TERM FREQUENCY/INVERSE DOCUMENT FREQUENCY (TF/IDF). SKRIPSI Saya mengakui bahwa skripsi ini adalah hasil kerja saya sendiri, kecuali beberapa kutipan dan ringkasan yang masing-masing disebutkan sumbernya. Medan, 1 Juli 2011 FAKHREZA AKBAR 071401014
iv PENGHARGAAN Alhamdulillah. Puji dan syukur penulis ucapkan kepada Allah SWT atas limpahan rahmat dan karunia-nya sehingga penulis dapat menyelesaikan skripsi ini. Shalawat dan salam kepada Rasulullah Muhammad SAW. Ucapan terima kasih penulis sampaikan kepada Bapak Dr. Poltak Sihombing, M.Kom selaku pembimbing pertama dan Ketua Departemen Ilmu Komputer serta Bapak Ade Candra, ST, M.Kom selaku pembimbing kedua yang telah banyak meluangkan waktunya dalam memberikan masukan-masukan kepada penulis. Ucapan terima kasih juga ditujukan kepada Bapak Prof.Dr.Iryanto, M.Si dan Ibu Maya Silvi Lydia, B.Sc., M.Sc yang telah bersedia menjadi dosen penguji. Ucapan terima kasih juga ditujukan kepada Bapak Mohammad Andri Budiman, S.T., M.Comp.Sc.,M.E.M dan Ibu Dian Rachmawati, S.Si, M.Kom yang telah bersedia mengisi kuesioner penelitian ini, Dekan dan Pembantu Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam, semua dosen pada Departemen Ilmu Komputer FMIPA USU, dan pegawai di Ilmu Komputer FMIPA USU. Tidak lupa penulis mengucapkan terima kasih kepada kedua orang tua tercinta Ayahanda Drs. Syafrizal dan Ibunda Widyawati atas semua yang telah diperjuangkan. Skripsi ini dapat selesai karena dan untuk mereka orang-orang tercinta. Penulis juga ingin mengucapkan terima kasih kepada saudara kandung, yaitu Fakhri Bhaskara dan Fariz Andhika atas perhatian, semangat dan keceriaan yang telah diberikan, rekanrekan kuliah khususnya Joko Irwansyah atas bantuan yang amat berarti untuk kelancaran skripsi ini. Sekali lagi penulis mengucapkan terima kasih kepada semua pihak yang membantu dalam penyelesaian skripsi ini yang tidak dapat disebutkan satu persatu.
v ABSTRAK Perkembangan komputer dewasa ini telah memacu tiap aktivitas untuk dapat diaplikasikan ke dalam sistem komputer. Tujuan dari hal tersebut adalah untuk menggantikan fungsi sistem manual yang terjadi dalam kehidupan sehari-hari. Salah satu aktivitas yang dapat diaplikasikan dalam sistem komputer adalah sistem pemeriksaan tes esai di ruang lingkup akademik seperti universitas. Tes esai merupakan sekumpulan pertanyaan atau perintah yang diberikan untuk mengukur tingkat pemahaman seseorang terhadap suatu materi. Fungsi dilakukan pemeriksaan tes esai adalah untuk dapat merepresentasikan tingkat pemahaman tersebut dalam bentuk angka, dalam hal ini disebut nilai. Namun sampai saat ini, sistem pemeriksaan tes esai masih dilakukan secara manual, sehingga dinilai kurang efektif dan efisien karena memerlukan waktu yang lama untuk memeriksa seluruh jawaban. Selain itu, pemeriksaan jawaban sangat dipengaruhi oleh subjektivitas si pemeriksa, seperti tingkat pengetahuan dan suasana hati, sehingga akan ada kemungkinan perbedaan hasil penilaian jawaban jika diperiksa oleh pemeriksa yang berbeda. Beberapa algoritma telah dikembangkan untuk menyelesaikan permasalahan ini, contohnya algoritma term frequency/inverse document frequency(tf/idf) dan latent semantic analysis(lsa). Dalam hal ini penulis menggabungkan algoritma tersebut, yaitu algoritma TF/IDF-LSA dan dapat diimplementasikan di ruang lingkup akademik seperti universitas. Maka dari itu, penelitian membuat suatu aplikasi berbasis web dengan bahasa pemrograman PHP menggunakan algoritma TF/IDF-LSA dengan tujuan untuk membantu pengguna, yaitu dosen dan mahasiswa dalam hal pemeriksaan jawaban tes esai serta untuk meminimalisir subjektivitas pemeriksa. Kata Kunci : pengambilan informasi, tes esai, latent semantic analysis, term frequency, inverse document frequency
vi DETERMINING THE MARK OF ONLINE ESSAY TEST USING LATENT SEMANTIC ANALYSIS (LSA) ALGORITHM WITH WEIGHTING OF TERM FREQUENCY/INVERSE DOCUMENT FREQUENCY (TF/IDF) ABSTRACT Nowadays, the development of computer technology spur every activity to be applied into computer system. Its purpose is to replace the function of manual system that happened in the whole life. One of activity that can be applied into computer system is examination system of essay test in academic state such as university. Essay test is a group of questions or commands that been given to measure human s comprehension level of a subject. The purpose of examination system of essay test is to represent comprehension level in nominal form called score. However until now, examination system of essay test still done manually, so that it considered less effective and efficient because it will spent a whole time to check all the answer. Besides that, the examination was affected by corrector s subjectivity, such as knowledge level and mood, so that it will make a different chance of score if it was checked by different person. Some algorithm has been developed to solve it, they are term frequency/inverse document frequency and latent semantic analysis algorithm. In this case, writer combines both of them, it s called TF/IDF-LSA algorithm and can be implemented in academic state such as university. Therefore, this research make a web based application using PHP programming language and TF/IDF-LSA algorithm so that it can help user, such as lecturer and student in examination of essay test to minimalize corrector s subjectivity. Keywords : information retrieval, essay test, latent semantic analysis, term frequency, inverse document frequency
vii DAFTAR ISI Halaman Persetujuan Pernyataan Penghargaan Abstrak Abstract Daftar Isi Daftar Tabel Daftar Gambar ii iii iv v vi vii x xii Bab 1 Pendahuluan 1.1 Latar Belakang Masalah 1 1.2 Rumusan Masalah 2 1.3 Batasan Masalah 2 1.4 Tujuan Penelitian 3 1.5 Manfaat Penelitian 3 1.6 Metodologi Penelitian 3 1.7 Sistematika Penulisan 4 Bab 2 Tinjauan Pustaka 2.1 Tes 6 2.2 Tes Esai 6 2.3 Information Retrieval (IR) 7 2.4 Term Frequency/Inverse Document Frequency (TF/IDF) 8 2.5 Algoritma Latent Semantic Analysis (LSA) 9 Bab 3 Analisis dan Perancangan Sistem 3.1 Perancangan Directory Server 16 3.2 Perancangan Soal, Kunci Jawaban, dan Jawaban Tes Esai 17 3.3 Perancangan Algoritma Tes Esai 21 3.3.1 Algoritma TF/IDF 21 3.3.2 Algoritma LSA 26 3.3.3 Algoritma TF/IDF-LSA 29 3.4 Perancangan Skema Sistem 32 3.4.1 Data Flow Diagram (DFD) 32 3.4.1.1 DFD Level 0 32 3.4.1.2 DFD Level 1 34 3.4.1.3 DFD Level 2 36 3.4.1.3.1 Proses Admin 36
viii 3.4.1.3.2 Proses Dosen 39 3.4.1.3.3 Proses Mahasiswa 42 3.5 Kamus Data 44 3.6 Perancangan Interface 48 3.6.1 Halaman Utama 48 3.6.2 Halaman Login Dosen 49 3.6.3 Halaman Login Mahasiswa 50 3.6.4 Halaman Login Admin 51 3.6.5 Halaman Menu Dosen 52 3.6.6 Halaman Buat Soal Baru 52 3.6.7 Halaman Input Data Soal 53 3.6.8 Halaman Update Soal 53 3.6.9 Halaman Lihat Soal 54 3.6.10 Halaman Edit Soal 54 3.6.11 Halaman Menu Mahasiswa 55 3.6.12 Halaman Daftar Ujian 56 3.6.13 Halaman Pilihan Soal Ujian 56 3.6.14 Halaman Login Ujian 57 3.6.15 Halaman Jawab Ujian 58 3.6.16 Halaman Menu Admin 58 3.6.17 Halaman Input Data Dosen 59 3.6.18 Halaman Input Data Mahasiswa 60 3.6.19 Halaman Input Data Sifat Ujian 60 3.6.20 Halaman Input Data Kelas Ujian 61 3.6.21 Halaman Input Data Kata Umum 61 3.6.22 Halaman Ubah Password 62 Bab 4 Implementasi Program 4.1 Spesifikasi Perangkat Keras dan Perangkat Lunak 63 4.1.1 Perangkat Keras 63 4.1.2 Perangkat Lunak 64 4.2 Hasil dan Pembahasan 64 4.2.1 Hasil I Penelitian 64 4.2.1.1 Algoritma TF/IDF 65 4.2.1.2 Algoritma LSA 66 4.2.1.3 Algoritma TF/IDF LSA 66 4.2.2 Hasil II Penelitian 67 4.2.2.1 Algoritma TF/IDF 68 4.2.2.2 Algoritma LSA 68 4.2.2.3 Algoritma TF/IDF LSA 69 4.2.3 Hasil III Penelitian 70 4.2.3.1 Algoritma TF/IDF 71 4.2.3.2 Algoritma LSA 72 4.2.3.3 Algoritma TF/IDF LSA 72 4.2.4 Hasil IV Penelitian 73 4.2.4.1 Algoritma TF/IDF 73 4.2.4.2 Algoritma LSA 74 4.2.4.3 Algoritma TF/IDF LSA 75
ix 4.3 Penggunaan Program 76 4.3.1 Halaman Utama 76 4.3.1 Halaman Login Dosen 77 4.3.1 Halaman Menu Dosen 78 4.3.1 Halaman Buat Soal 79 4.3.1 Halaman Update Soal 79 4.3.1 Halaman Lihat Info 80 4.3.1 Halaman Hitung Nilai 80 4.3.1 Halaman Lihat Nilai 81 4.3.1 Halaman Ubah Password 82 4.3.1 Halaman Logout 82 Bab 5 Kesimpulan dan Saran 5.1 Kesimpulan 83 5.2 Saran 83 Daftar Pustaka Lampiran
x DAFTAR TABEL Halaman 3.1 Tabel Sampel Query 21 3.2 Tabel Perhitungan TF dan IDF 22 3.3 Tabel Perhitungan TF/IDF 22 3.4 Tabel Hasil Perkalian skalar Tiap D terhadap Q 23 3.5 Tabel Hasil Perkalian Vektor Q dan D 23 3.6 Tabel Hasil Perhitungan CoSim dan Nilai TF/IDF 24 3.7 Tabel Hasil Perhitungan CoSim dan Nilai LSA 28 3.8 Tabel Hasil Perhitungan CoSim dan Nilai TF/IDF-LSA 31 3.9 Kamus Data Tabel Dosen 44 3.10 Kamus Data Tabel Default tb_tipe 45 3.11 Kamus Data Tabel Tipe User 45 3.12 Kamus Data Tabel Data Ujian 45 3.13 Kamus Data Tabel Sifat Ujian 46 3.14 Kamus Data Tabel Kelas Ujian 46 3.15 Kamus Data Tabel Kata Umum 46 3.16 Kamus Data Tabel Mahasiswa 47 3.17 Kamus Data Tabel Hasil 47 4.1 Perbandingan Nilai Hasil I Menggunakan TF/IDF 65 4.2 Tabel Persentase Ralat Hasil I Menggunakan TF/IDF 65 4.3 Perbandingan Nilai Hasil I Menggunakan LSA 66 4.4 Tabel Persentase Ralat Hasil I Menggunakan LSA 66 4.5 Perbandingan Nilai Hasil I Menggunakan TF/IDF - LSA 66 4.6 Tabel Persentase Ralat Hasil I Menggunakan TF/IDF LSA 67 4.7 Tabel Perbandingan Persentase Ralat Tiap Algoritma pada Hasil I 67 4.8 Perbandingan Nilai Hasil II Menggunakan TF/IDF 68 4.9 Tabel Persentase Ralat Hasil II Menggunakan TF/IDF 68 4.10 Perbandingan Nilai Hasil II Menggunakan LSA 68 4.11 Tabel Persentase Ralat Hasil II Menggunakan LSA 69 4.12 Perbandingan Nilai Hasil II Menggunakan TF/IDF - LSA 69 4.13 Tabel Persentase Ralat Hasil II Menggunakan TF/IDF LSA 69 4.14 Tabel Perbandingan Persentase Ralat Tiap Algoritma pada Hasil II 70 4.15 Perbandingan Nilai Hasil II Menggunakan TF/IDF 71 4.16 Tabel Persentase Ralat Hasil II Menggunakan TF/IDF 71 4.17 Perbandingan Nilai Hasil II Menggunakan LSA 71 4.18 Tabel Persentase Ralat Hasil II Menggunakan LSA 72 4.19 Perbandingan Nilai Hasil II Menggunakan TF/IDF - LSA 72 4.20 Tabel Persentase Ralat Hasil II Menggunakan TF/IDF LSA 72 4.21 Tabel Perbandingan Persentase Ralat Tiap Algoritma pada Hasil II 73 4.22 Perbandingan Nilai Hasil II Menggunakan TF/IDF 73 4.23 Tabel Persentase Ralat Hasil II Menggunakan TF/IDF 74 4.24 Perbandingan Nilai Hasil II Menggunakan LSA 74 4.25 Tabel Persentase Ralat Hasil II Menggunakan LSA 74
xi 4.26 Perbandingan Nilai Hasil II Menggunakan TF/IDF - LSA 75 4.27 Tabel Persentase Ralat Hasil II Menggunakan TF/IDF LSA 75 4.28 Tabel Perbandingan Persentase Ralat Tiap Algoritma pada Hasil II 75
xii DAFTAR GAMBAR Halaman 3.1 Flowchart TF/IDF 25 3.2 Flowchart LSA 28 3.3 Flowchart TF/IDF LSA 31 3.4 DFD Level 0 32 3.5 DFD Level 1 34 3.6 DFD Level 2 pada Proses Admin 36 3.7 DFD Level 2 pada Proses Dosen 39 3.8 DFD Level 2 pada Proses Mahasiswa 42 3.9 Rancangan Halaman Utama 48 3.10 Rancangan Halaman Login Dosen 49 3.11 Rancangan Halaman Login Mahasiswa 50 3.12 Rancangan Halaman Login Admin 51 3.13 Rancangan Halaman Menu Dosen 52 3.14 Rancangan Halaman Buat Soal Baru 52 3.15 Rancangan Halaman Input Data Soal 53 3.16 Rancangan Halaman Update Soal 53 3.17 Rancangan Halaman Lihat Soal 54 3.18 Rancangan Halaman Edit Soal 54 3.19 Rancangan Halaman Menu Mahasiswa 55 3.20 Rancangan Halaman Daftar Ujian 56 3.21 Rancangan Halaman Pilihan Soal Ujian 56 3.22 Rancangan Halaman Login Ujian 57 3.23 Rancangan Halaman Jawab Ujian 58 3.24 Rancangan Halaman Menu Mahasiswa 58 3.25 Rancangan Halaman Input Data Dosen 59 3.26 Rancangan Halaman Input Data Mahasiswa 60 3.27 Rancangan Halaman Input Data Sifat Ujian 60 3.28 Rancangan Halaman Input Data Kelas Ujian 61 3.29 Rancangan Halaman Input Data Kata Umum 61 3.30 Rancangan Halaman Ubah Password 62 4.1 Halaman Utama 76 4.2 Halaman Login Dosen 77 4.3 Notifikasi Login Gagal 77 4.4 Halaman Menu Dosen 78 4.5 Halaman Buat Soal 78 4.6 Halaman Update Soal 79 4.7 Halaman Lihat Info 79 4.8 Halaman Hitung Nilai 80 4.9 Halaman Lihat Nilai 81 4.10 Halaman Lihat Nilai Tiap Mahasiswa 81 4.11 Halaman Ubah Password 82