Metode Klasifikasi (SVM Light dan K-NNK. NN) Dr. Taufik Fuadi Abidin, S.Si., M.Tech. Jurusan Informatika FMIPA Universitas Syiah Kuala

Transkripsi

1 Metode Klasifikasi (SVM Light dan K-NNK NN) Dr. Taufik Fuadi Abidin, S.Si., M.Tech Jurusan Informatika FMIPA Universitas Syiah Kuala

2 Alur dan Proses Cleaning Process Dokumen Berkategori Kamus (Dictionaries) dari setiap klas Penentuan Fitur (Feature Generation) Training Sets Testing Sets SVM Hasil: Dokumen Baru dengan Kategori Models

3 Penentuan Fitur Topik minggu sebelumnya telah memaparkan dan mendiskusikan salah satu alternatif membangun tektual fitur dari halaman Web (jika objek berupa halaman Web), contoh fitur: tropical_d 1: : : :0 5: :0 7: : : :0 11: :0 13: : : :0 17: :0 19:0.1 20: : :0 23: :0 tropical_d 1: : :0 4:0 5:0 6:0 7: : : :0 11: :0 13: : : :0 17: :0 19: : : :0 23: :

4 Tahapan Klasifikasi Learning (training): Pembelajaran menggunakan data training (untuk Naïve Bayesian Classifier, nilai probabilitas dihitung dalam proses pembelajaran) Testing: Menguji model menggunakan data testing Sumber: Bing Liu, Web Data Mining

5 Training Set Klasifikasi adalah proses pembelajaran secara terbimbing (supervised learning). Terbimbing karena kategori (class label) dari setiap training sampel diketahui Untuk melakukan klasifikasi, training set sebagai data pembelajaran harus ada Attribut dari sampel baru (unclassified sample) sama dengan atribut dari setiap sampel dalam training set hanya saja class label-nya belum diketahui

6 Metode Klasifikasi Naïve Bayesian Classifier (Probabilistics-Based Classification) Adalah metode classifier yang berdasarkan probabilitas dan Teorema Bayesian dengan asumsi bahwa setiap variabel X bersifat bebas (independence) Dengan kata lain, Naïve Bayesian Classifier mengansumsikan bahwa keberadaan sebuah atribut (variabel) tidak ada kaitannya dengan beradaan atribut (variabel) yang lain Karena asumsi atribut tidak saling terkait (conditionally independent), maka: n P( X Ci) = P( xk Ci) k = 1 Kategori dari sampel X(new sample) adalah classlabel yang memiliki P(X C i )*P(C i )maksimum

7 Metode Klasifikasi K-Nearest Neighbor (K-NN) Classification Adalah metode classifier yang menentukan kategori dari sampel baru berdasarkan k-tetangga terdekat. k-sampel terdekat itu dihitung berdasarkan perhitungan jarak (euclidian atau manhattan distance K-NN juga disebut lazy classifier K-NN adalah distance-based classification Sumber:

8 Metode Klasifikasi Support Vector Machine (SVM) Dikembangkan oleh Boser, Guyon, Vapnik, dan pertama kali dipresentasikan pada tahun 1992 di Annual Workshop on Computational Learning Theory SVM memperkenalkan strategi baru dengan menemukan hyperplane terbaik pada ruang input (input space). Prinsip SVM adalah linear classifier, tetapi SVM kemudian dikembangkan agar mampu bekerja pada masalah non-linear dengan memasukkan kernel

9 SVM Light Leaning Step: svm-classify file_test file_model prediction file_training adalah file fitur yang telah disusun dalam format SVM light file_model adalah model yang telah dibangkitkan sebelumnya saat proses learning dilakukan file prediction menyimpan hasil prediksi dari SVM 1 101: :4 209: : : : : :

10 SVM Light Situs resmi: Diimplementasi menggunakan bahasa pemrograman C Testing Step: svm-learn [-option] file_training file_model file_training adalah file fitur yang telah disusun dalam format SVM light file_model adalah model yang dibangkitkan oleh proses learning svm-classify file_test_fitur file_model

11 Confusion Matriks Sumber: Bing Liu, Web Data Mining p = TP TP + FP. r = TP TP + FN. Precision (p) = jumlah sampel berkategori positif diklasifikasi benar dibagi dengan total sampel yang diklasifikasi sebagai sample positif Recall (r) = jumlah sampel diklasifikasi positif dibagi total sampel dalam testing set berkategori positif

12 F-Measure (F1-Score) F-Measure (F1) adalah harmonic mean dari precision dan recall Range dari nilai F-Measure adalah 0 sd 1.

13 Contoh Sumber: Bing Liu, Web Data Mining precision p = 100% recall r = 1% Mengapa? Karena kita hanya berhasil mengklasifikasi satu sampel positif secara benar dan semua sampel negatif benar

14 SVM Light Demo