BAB IV EKSPERIMEN. 4.1 Tujuan Eksperimen. 4.2 Lingkungan Eksperimen

Transkripsi

1 BAB IV EKSPERIMEN 4.1 Tujuan Eksperimen Terdapat beberapa hal yang menjadi tujuan eksperimen, yaitu: 1. Membandingkan performansi hasil eksperimen dengan hasil penelitian [LI05a], menggunakan dataset dan skenario yang sama. Dengan demikian dapat diketahui apakah implementasi SVM untuk ekstraksi informasi sudah benar. 2. Menganalisis performansi hasil eksperimen jika implementasi SVM untuk ekstraksi informasi digunakan pada dataset berbahasa campuran, yaitu Bahasa Inggris dan Bahasa Indonesia-Inggris. Adapun analisis yang dilakukan mencakup: - Performansi hasil eksperimen terhadap dataset berbahasa campuran - Pengujian parameter terbaik untuk dataset berbahasa campuran - Perbandingan algoritma klasifikasi SVM dengan algoritma klasifikasi lain, yaitu Naïve Bayes dan KNN - Aplikasi model ekstraksi hasil pembelajaran terhadap dokumen teks baru 4.2 Lingkungan Eksperimen Berikut ini adalah lingkungan perangkat keras dan perangkat lunak tempat eksperimen dilakukan: 1. Microsoft Windows XP SP2 2. Processor Intel Pentium 4, 3.00 Ghz 3. RAM 1.5 GB 4. Harddisk 80 GB 5. Java Runtime Environment 5.0 IV-1

2 IV Hasil Eksperimen Perbandingan Performansi dengan Paper Acuan [LI05a] Dataset yang digunakan adalah job postings corpus, dataset yang sama dengan yang digunakan pada [LI05a]. Penjelasan dataset dapat dilihat pada bagian Sedangkan skenario eksperimen adalah sebagai berikut: Fitur-fitur NLP - Orthography - Tokenkind - Lemma - Lookup - Entity Context window size 3 Pembobotan Reciprocal weighting Multi class SVM One-against-all SVM Kernel Linear Parameter uneven margin τ = 0. 4 thresholdprobabilityboundary 0.4 thresholdprobabilityentity 0.25 Skema eksperimen Dibagi 2 secara random (holdout test), kemudian dijalankan sebanyak 10 iterasi Total jumlah instance atau token di dalam dataset adalah sebanyak token. Dengan menggunakan fitur-fitur NLP yang disebutkan sebelumnya, maka jumlah atribut untuk dataset ini adalah atribut. Karena menggunakan window size = 3, maka jumlah seluruh dimensi vektor fitur adalah = Detil hasil eksperimen per iterasi/run dapat dilihat pada Lampiran E. Pada Tabel IV-1 dapat dilihat hasil rata-rata untuk 10 runs, diperoleh setelah program dijalankan selama 6 jam 18 menit 52 detik. Berikut ini adalah penjelasan kolom yang terdapat di dalam Tabel IV-1: - field berisi tipe-tipe pengisi slot yang didefinisikan di dalam job postings corpus. - correct berisi jumlah hasil prediksi yang benar untuk setiap tipe pengisi slot. - partial berisi jumlah hasil prediksi yang benar sebagian untuk setiap tipe pengisi slot. - spurious berisi jumlah hasil falsepositive, yaitu hasil prediksi salah. - missing berisi jumlah hasil falsenegative, yaitu tidak terdeteksi.

3 IV-3 -,, dan berisi nilai F-measure masing-masing untuk pendekatan,, dan. - microaverage dan macroaverage berisi nilai rata-rata untuk semua tipe pengisi slot, dengan pendekatan micro dan macro. Tabel IV-1 Hasil eksperimen job postings corpus no field correct partial spurious missing 1 ID application area city company country desired_degree desired_years_experience language platform post_date recruiter req_degree req_years_experience salary state title microaverage macroaverage Gambar IV-1 Distribusi nilai F-measure untuk setiap tipe slot pada job postings corpus

4 IV-4 Pada Gambar IV-1 dapat dilihat bahwa performansi yang tidak terlalu baik terjadi pada beberapa field atau tipe slot yang memiliki beberapa nilai (multi-valued fields), seperti language, platform, application, dan area. Pada beberapa field tersebut, nilai F-measure dengan pendekatan dan F-measure dengan pendekatan sangat berbeda jauh, hal ini dikarenakan banyaknya jumlah partial correct yang hampir mendekati jumlah correct. Sedangkan pada field atau tipe slot desired degree, walaupun nilai F-measure antara,, dan tidak berbeda jauh, namun hasilnya masih di bawah 0.5. Hal ini disebabkan oleh jumlah data untuk tipe slot desired degree di dalam dataset terlalu sedikit. F-measure rata-rata menggunakan macroaverage yang diperoleh oleh GATE-SVM [LI05a] adalah 80.8 (±1.0). Sayangnya pada [LI05a] tidak disebutkan pendekatan yang digunakan apakah,, atau. Dengan asumsi bahwa hasil yang diperoleh oleh GATE-SVM menggunakan pendekatan, dapat disimpulkan bahwa hasil eksperimen yang dilakukan sudah menyamai GATE-SVM Eksperimen Menggunakan Dataset Lowongan Pekerjaan Dataset yang digunakan adalah dataset lowongan pekerjaan, merupakan dataset berbahasa campuran dengan komposisi 90 dokumen berbahasa Inggris dan 90 dokumen berbahasa Indonesia-Inggris. Penjelasan dataset dapat dilihat pada bagian Eksperimen dibagi menjadi 4 bagian, yaitu: 1. Menganalisis performansi pada dataset berbahasa campuran 2. Menguji parameter terbaik 3. Membandingkan algoritma klasifikasi SVMUM dengan algoritma klasifikasi Naïve Bayes dan KNN 4. Mengaplikasikan model ekstraksi pada dokumen teks baru Total jumlah instance atau token di dalam dataset adalah sebanyak token. Dengan menggunakan fitur-fitur NLP yang disebutkan sebelumnya, maka jumlah atribut untuk dataset ini adalah atribut. Karena menggunakan window size = 3, maka jumlah seluruh dimensi vektor fitur adalah =

5 IV Analisis Performansi Skenario eksperimen adalah sebagai berikut: Fitur-fitur NLP - Orthography - Tokenkind - Lemma - Lookup - Entity Context window size 3 Pembobotan Reciprocal weighting Multi class SVM One-against-all SVM Kernel Linear Parameter uneven margin τ = 0. 4 thresholdprobabilityboundary 0.4 thresholdprobabilityentity 0.25 Skema eksperimen Dibagi 2 secara random (holdout test), kemudian dijalankan sebanyak 10 iterasi Detil hasil eksperimen per iterasi/run dapat dilihat pada Lampiran F. Pada Tabel IV-2 dapat dilihat hasil rata-rata untuk 10 runs, diperoleh setelah program dijalankan selama 1 jam 30 menit 34 detik. Penjelasan kolom yang terdapat di dalam Tabel IV-2 sama seperti penjelasan kolom untuk Tabel IV-1 yang dapat dilihat pada bagian Tabel IV-2 Hasil eksperimen dataset lowongan pekerjaan no field correct partial spurious missing 1 company_name contact deadline description education_level experience_duration foreign_language industry job_category job_title location needed_experience posting_date salary microaverage macroaverage

6 IV-6 Gambar IV-2 Distribusi nilai F-measure untuk setiap tipe slot pada dataset lowongan pekerjaan Dari hasil eksperimen dapat disimpulkan bahwa performansi untuk dataset berbahasa campuran secara keseluruhan sangat baik. Hal ini disebabkan oleh jumlah data pelatihan yang cukup banyak untuk setiap tipe slot. Selain itu, dokumen berbahasa Inggris yang memiliki fitur-fitur NLP yang lengkap dapat meningkatkan performansi secara keseluruhan. Tingkat keragaman dokumen berbahasa Inggris yang rendah juga mengakibatkan meningkatnya performansi dokumen berbahasa Inggris. Dari Gambar IV-2 dapat terlihat bahwa performansi untuk setiap tipe slot sangat baik. Akan tetapi, performansi paling rendah dimiliki oleh tipe slot job_category. Dari hasil eksperimen diperoleh bahwa seringkali terjadi partial correct, misalnya: seharusnya Accounting, hasil prediksi adalah Finance & Accounting Staff. Untuk mengetahui pengaruh multi-bahasa di dalam dataset, dilakukan eksperimen dengan berbagai komposisi data pelatihan dan data pengujian. Terdapat 3 komposisi data pelatihan, yaitu: - 80 dokumen berbahasa Inggris + 10 dokumen berbahasa Indonesia-Inggris - 45 dokumen berbahasa Inggris + 45 dokumen berbahasa Indonesia-Inggris - 10 dokumen berbahasa Inggris + 80 dokumen berbahasa Indonesia-Inggris

7 IV-7 Setiap data pelatihan diuji sebanyak dua kali, dengan menggunakan data pengujian yang berbeda, yaitu: - 10 dokumen berbahasa Inggris - 10 dokumen berbahasa Indonesia-Inggris Adapun skenario eksperimen adalah sebagai berikut: Fitur-fitur NLP - Orthography - Tokenkind - Lemma - Lookup - Entity Context window size 3 Pembobotan Reciprocal weighting Multi class SVM One-against-all SVM Kernel Linear Parameter uneven margin τ = 0. 4 thresholdprobabilityboundary 0.4 thresholdprobabilityentity 0.25 Skema eksperimen 3 komposisi data pelatihan diuji sebanyak dua kali, dengan menggunakan 2 komposisi data pengujian Performansi untuk setiap skema eksperimen dapat dilihat pada Lampiran J. Pada Tabel IV-3 dapat dilihat perbandingan performansi untuk setiap skema eksperimen. Pada Tabel IV-3 metrik evaluasi yang dibandingkan adalah nilai F-measure yang dihitung menggunakan pendekatan,, dan. Nilai F-measure tersebut terisi pada kolom,, dan untuk masingmasing pendekatan. Tabel IV-3 Perbandingan performansi dengan berbagai komposisi data pelatihan dan pengujian Data Pelatihan Inggris Data Pengujian Indonesia-Inggris Data Data Data

8 IV-8 Gambar IV-3 Performansi untuk setiap komposisi data pelatihan dan pengujian Dari Gambar IV-3 dapat terlihat bahwa walaupun untuk dokumen berbahasa Indonesia terdapat banyak fitur-fitur NLP yang tidak diketahui, performansi dapat ditingkatkan dengan menambah jumlah data pelatihan. Performansi data pengujian Indonesia-Inggris meningkat sebanyak 14% ketika jumlah data pelatihan dimodifikasi dari Data1 (10 dokumen Indonesia-Inggris) ke Data3 (80 dokumen Indonesia- Inggris). Hal ini disebabkan oleh meningkatnya jumlah vocabulary token di dalam data pelatihan. Dengan menggunakan data pelatihan Data1 (80 dokumen Inggris + 10 dokumen Indonesia-Inggris), performansi data pengujian Inggris hampir 20% lebih tinggi dibandingkan performansi data pengujian Indonesia-Inggris. Namun dengan menggunakan data pelatihan Data3 (10 dokumen Inggris + 80 dokumen Indonesia- Inggris), performansi data pengujian Indonesia-Inggris hanya 3% lebih tinggi dibandingkan performansi data pengujian Inggris. Hal ini menunjukkan bahwa selain jumlah data pelatihan, vektor fitur yang baik, dalam hal ini memiliki informasi fiturfitur NLP yang lengkap, juga mempengaruhi performansi sebuah sistem ekstraksi informasi Pengujian Parameter Terbaik Adapun parameter yang diuji antara lain: - Teknik implementasi multi class SVM: one-against-all dan one-against-one - Parameter uneven margin: τ = 0. 2, τ = 0. 4, τ = 0. 6, τ = 0. 8, dan τ = 1 Sedangkan parameter lainnya akan mengikuti parameter yang memberikan performansi optimal pada job postings corpus [LI05a]. Dataset lowongan pekerjaan

9 IV-9 memiliki domain sama dengan job postings corpus, sehingga diasumsikan parameter yang memberikan performansi optimal pada job postings corpus juga akan memberikan performansi optimal pada dataset lowongan pekerjaan. Skenario eksperimen adalah sebagai berikut: Fitur-fitur NLP - Orthography - Tokenkind - Lemma - Lookup - Entity Context window size 3 Pembobotan Reciprocal weighting SVM Kernel Linear thresholdprobabilityboundary 0.4 thresholdprobabilityentity 0.25 Skema eksperimen 10-fold cross validation Performansi untuk teknik one-against-all dan one-against-one dapat dilihat pada Lampiran G (performansi rata-rata untuk 10 runs). Pada Tabel IV-4 dapat dilihat perbandingan performansi antara teknik kombinasi one-against-all dan one-againstone. Tabel IV-4 Perbandingan performansi teknik one-against-all dan teknik one-against-one no Field one-against-all one-against-one 1 company_name contact deadline description education_level experience_duration foreign_language industry job_category job_title location needed_experience posting_date salary microaverage macroaverage waktu 1 jam 30 menit 55 detik 1 jam 28 menit 25 detik

10 IV-10 Dari hasil eksperimen dapat disimpulkan bahwa teknik kombinasi one-against-all memiliki performansi yang lebih baik jika dibandingkan dengan teknik kombinasi one-against-one, dan dengan waktu proses yang tidak berbeda jauh. Dari detil hasil eksperimen pada Lampiran G dapat dilihat bahwa untuk teknik kombinasi one-against-one, nilai precision cukup tinggi, yaitu berkisar pada angka Sementara nilai recall sangat rendah, yaitu berkisar pada angka Nilai recall yang rendah inilah yang menyebabkan nilai F-measure untuk teknik oneagainst-one menjadi turun. Nilai recall yang rendah ini disebabkan oleh banyaknya jumlah missing atau falsenegative. Performansi untuk setiap nilai parameter uneven margin dapat dilihat pada Lampiran H (performansi rata-rata untuk 10 runs). Pada Tabel IV-5 dapat dilihat perbandingan performansi untuk setiap nilai parameter uneven margin. Tabel IV-5 Perbandingan performansi beberapa nilai parameter uneven margin parameter uneven margin microaverage macroaverage Rata-rata Secara umum, dapat dikatakan bahwa SVM dengan uneven margin memiliki performansi yang lebih baik jika dibandingkan dengan SVM standar ( τ = 1). Namun dengan catatan bahwa nilai parameter uneven margin sebaiknya disesuaikan dengan rasio imbalance pada dataset. Dalam eksperimen ini dataset yang digunakan memiliki rasio imbalance yang tidak terlalu tinggi, sehingga pada nilai parameter uneven margin τ = 0. 2, performansinya menjadi kurang baik, lebih rendah daripada SVM standar. Dari hasil rata-rata total, dapat disimpulkan bahwa untuk dataset yang digunakan di dalam eksperimen ini, parameter uneven margin τ = 0. 6 memiliki performansi yang paling unggul dibandingkan dengan nilai parameter uneven margin lainnya.

11 IV Perbandingan Performansi Algoritma Klasifikasi SVM, Naïve Bayes, dan KNN Skenario eksperimen adalah sebagai berikut: Fitur-fitur NLP - Orthography - Tokenkind - Lemma - Lookup - Entity Context window size 3 Pembobotan Reciprocal weighting Multi class SVM One-against-all SVM Kernel Linear Parameter uneven margin τ = 0. 4 thresholdprobabilityboundary 0.4 thresholdprobabilityentity 0.25 Skema eksperimen 10-fold cross validation Algoritma yang digunakan untuk klasifikasi adalah SVM dengan uneven margin, Naïve Bayes, dan K-Nearest Neighbor. Untuk algoritma K-Nearest Neighbor, jumlah tetangga yang digunakan adalah k = 1. Performansi untuk algoritma Naïve Bayes dan KNN dapat dilihat pada Lampiran I (performansi rata-rata untuk 10 runs). Sedangkan untuk algoritma SVM, yang digunakan adalah hasil eksperimen pada bagian Pada Tabel IV-6 dapat dilihat perbandingan performansi untuk setiap algoritma klasifikasi. Tabel IV-6 Perbandingan performansi algoritma SVMUM, Naïve Bayes dan KNN Algoritma klasifikasi microaverage macroaverage Waktu (detik) SVMUM Naïve Bayes KNN Dari Tabel IV-6 dapat dilihat bahwa SVM dengan uneven margin merupakan algoritma klasifikasi yang memiliki performansi paling tinggi dibandingkan dengan kedua algoritma klasifikasi lainnya. Algoritma Naïve Bayes, walaupun waktu eksekusinya lebih cepat dibandingkan dengan SVM, namun performansinya kalah jauh. Sedangkan KNN, walaupun performansinya cukup tinggi, namun masih kalah jika dibandingkan dengan SVM, dan dengan waktu eksekusi yang jauh lebih lama.

12 IV Hasil Aplikasi Model Ekstraksi Model ekstraksi dihasilkan dari pembelajaran dengan data pelatihan adalah seluruh dataset lowongan pekerjaan sebanyak 180 dokumen teks. Sedangkan data pengujian adalah dokumen teks baru yang berisi iklan lowongan pekerjaan di PT. Tata Bisnis Solusi. Skenario eksperimen adalah sebagai berikut: Fitur-fitur NLP - Orthography - Tokenkind - Lemma - Lookup - Entity Context window size 3 Pembobotan Reciprocal weighting Multi class SVM One-against-all SVM Kernel Linear Parameter uneven margin τ = 0. 6 thresholdprobabilityboundary 0.4 thresholdprobabilityentity 0.25 Skema eksperimen Data pelatihan diuji menggunakan data pengujian baru Adapun teknik multi class SVM dan parameter uneven margin dipilih berdasarkan hasil pengujian parameter terbaik. Berikut ini adalah hasil aplikasi model ekstraksi. Dibutuhkan Staff Administrasi di TataSolusi Posted on June 7th, 2008 by admin Kami perusahaan yang bergerak di bidang konsultan IT membutuhkan karyawan untuk posisi : Staf Administrasi Kualifikasi : - Wanita, max 35 tahun. - Pendidikan min. D3. - Memiliki pengalaman min. 1 tahun di posisi yang sama. - Dapat melakukan kegiatan surat-menyurat. - Teratur, rapi dan teliti. - Diutamakan berdomisili di daerah Jakarta Pusat. job_title industry location education_level experience_duration needed_experience contact CV lengkap dapat dikirimkan ke : hrd@tatasolusi.co.id Atau ke alamat : PT. Tata Bisnis Solusi Jl. Alaydrus no.73b Jakarta Pusat Gambar IV-4 Hasil aplikasi model ekstraksi

13 IV-13 Seperti yang dapat dilihat pada Gambar IV-4, terdapat 7 buah tipe pengisi slot yang berhasil diekstrak dari dokumen teks baru tersebut, yaitu: job_title, industry, location, education_level, experience_duration, needed_experience, dan contact. Sementara 7 tipe pengisi slot lainnya tidak berhasil diekstrak, antara lain: 1. company_name, seharusnya terdapat nama perusahaan di dokumen teks tersebut, yaitu PT. Tata Bisnis Solusi. 2. job_category, karena memang tidak terdapat kategori pekerjaan di dalam dokumen teks. Namun dari judul pekerjaan dapat disimpulkan bahwa kategori pekerjaan adalah administrasi. 3. foreign_language, karena memang tidak terdapat persyaratan bahasa asing yang harus dikuasai di dalam dokumen teks. 4. description, karena memang tidak terdapat deskripsi mengenai pekerjaan (job description) di dalam dokumen teks. 5. salary, karena memang tidak terdapat nilai gaji yang ditawarkan oleh perusahaan di dalam dokumen teks. Kebanyakan iklan lowongan pekerjaan di Indonesia memang tidak mencantumkan gaji yang ditawarkan. 6. deadline, karena memang tidak terdapat tanggal deadline lowongan pekerjaan dikirimkan. 7. posting_date, seharusnya terdapat tanggal lowongan pekerjaan di-publish, yaitu June 7 th, Hal ini mungkin disebabkan oleh penulisan format tanggal seperti ini tidak terdapat di dalam data pelatihan. Pada tipe slot location, hasil ekstraksi adalah Jakarta, padahal frase lengkapnya adalah Jakarta Pusat. Hal ini dikarenakan pada proses pemberian anotasi untuk dataset lowongan pekerjaan, ditetapkan bahwa yang dimaksud dengan lokasi adalah negara, propinsi, atau kota, sedangkan Jakarta Pusat merupakan area yang terdapat di dalam kota Jakarta. Dengan demikian, jika diukur dengan metrik evaluasi, performansi sistem untuk dokumen teks baru tersebut dapat dilihat pada Tabel IV-7. Tabel IV-7 Performansi hasil aplikasi terhadap dokumen baru correct partial spurious missing

14 IV-14 Dimana: - correct berisi jumlah hasil prediksi yang benar. - partial berisi jumlah hasil prediksi yang benar sebagian. - spurious berisi jumlah hasil falsepositive, yaitu hasil prediksi salah. - missing berisi jumlah hasil falsenegative, yaitu tidak terdeteksi. -,, dan berisi nilai F-measure masing-masing untuk pendekatan,, dan.