TUGAS AKHIR. Oleh: Bondhan Arya Purnanditya A

Transkripsi

1 TUGAS AKHIR Penerapan Fitur Seleksi Forward Selection Menggunakan Algoritma Naive Bayes Untuk Menetukan Atribut Yang Berpengaruh Pada Klasifikasi Kelulusan Mahasiswa Oleh: Bondhan Arya Purnanditya A FAKULTAS ILMU KOMPUTER UNIVERSITAS DIAN NUSWANTORO SEMARANG 2015 i

2 UNIVERSITAS DIAN NUSWANTORO PERSETUJUANTUGAS AKHIR JUDUL : Penerapan Fitur Seleksi Forward Selection Menggunakan Algoritma Naive Bayes Untuk Menetukan Atribut Yang Berpengaruh Pada Klasifikasi Kelulusan Mahasiswa NAMA : Bondhan Arya Purnanditya NIM : A Proposal ini telah disetujui untuk diseminarkan dihadapan Komite Seminar. Semarang, Oktober 2015 Ahmad Zainul Fanani, SSi, M.Kom Pembimbing ii

3 DAFTAR ISI HALAMAN JUDUL i PERSETUJUAN PROPOSAL TUGAS AKHIR....ii DAFTAR ISI... iii DAFTAR GAMBAR... v DAFTAR TABEL... vi BAB I PENDAHULUAN Latar Belakang Rumusan Masalah Batasan Masalah Tujuan Penelitian Manfaat Penelitian Sistematika Penelitian... 5 BAB II TINJAUAN PUSTAKA Tinjauan Studi Landasan Teori Klasifikasi Naïve Bayes Forward Selection Evaluasi dan Validasi Hasil Klasifikasi Data Mining Confusion Matrix Kappa Dataset IAsol Fakultas Ilmu Komputer Teknik Informatika Sistem Informasi Kerangka Pemikiran BAB III METODE PENELITIAN DesainPenelitian... Error! Bookmark not defined. 3.2 Pengumpulan Data Pengolahan Awal Data... Error! Bookmark not defined. iii

4 3.4 Metode Yang Diusulkan... Error! Bookmark not defined. 3.5 Pengujian Model/Metode Evaluasi Dan Validasi Hasil Jadwal Penelitian BAB IV HASIL DAN PEMBAHASAN Hasil Algoritma Naïve Bayes Evaluasi Naïve Bayes dengan data sampel Evaluasi Naïve Bayes dengan data lengkap Naïve Bayes dengan Forward Selection sebagai fitur seleksi Evaluasi Naïve Bayes dengan Forward Selection sebagai fitur seleksi dengan data sampel Evaluasi Naïve Bayes dengan Forward Selection sebagai fitur seleksi dengan data lengkap Pembahasan BAB V Kesimpulan Saran REFERENSI iv

5 DAFTAR GAMBAR Gambar 2.1: Relasi Variabel Pada Naive Bayes Gambar 2.2: Tahapan Feature Selection Gambar 2.3: Kerangka Pemikiran Gambar 4.1: Validasi Naïve Bayes Data Sampel Gambar 4.2: Validasi Naïve Bayes Data Lengkap Gambar 4.3: Kappa Naïve Bayes Data Lengkap Gambar 4.4: Validasi Forward Selection-Naïve Bayes Data Sampel Gambar 4.5: Validasi Forward Selection-Naïve Bayes Data Lengkap Gambar 4.6: Kappa Forward Selection-Naïve Bayes Data Lengkap v

6 DAFTAR TABEL Tabel 2.1: Tinjauan Studi... 7 Tabel 2.2: Confusion Matrix Tabel 3.1: Tipe Atribut Data Tabel 4.1: Data Training Cross Validation Naïve Bayes Tabel 4.2: Data Training Tabel 4.3: Data Training Tabel 4.4: Data Training Tabel 4.5: Data Training Tabel 4.6: Data Training Tabel 4.7: Data Training Tabel 4.8: Data Training Tabel 4.9: Data Training Tabel 4.10: Data Training Tabel 4.11: Data Training Tabel 4.12: Validasi Atribut Kelompok Tabel 4.13: Tahapan Generation Forward Selection Tabel 4.14: Model Subset Forward Selection Tabel 4.15: Model Atribut Forward Selection-Naïve Bayes Data Sampel Tabel 4.16: Model Atribut Forward Selection-Naïve Bayes Data Lengkap Tabel 4.17: Hasil Eksperimen IAsol Dataset vi

7 BAB I PENDAHULUAN 1.1 Latar Belakang Universitas dalam pendidikan di Indonesia merupakan salah satu bentuk perguruan tinggi selain akademi, institut, politeknik, dan sekolah tinggi [1]. Universitas terdiri atas sejumlah fakultas yang menyelenggarakan pendidikan akademik dan pendidikan vokasi pada sejumlah ilmu pengetahuan, teknologi, seni dan jika memenuhi syarat dapat menyelenggarakan pendidikan profesi. Universitas adalah suatu institusi pendidikan tinggi dan penelitian, yang memberikan gelar akademik dalam berbagai bidang. Universitas didirikan untuk mengarahkan lulusannya menjadi tenaga profesional, siap kerja, tenaga pendidikan, atau bahkan peneliti. Pada umumnya program yang ditawarkan di salah satu Universitas adalah program pendidikan sarjana dan pascasarjana [2]. Didalam suatu universitas terdapat beberapa fakultasfakultas diantaranya fakultas ilmu komputer, fakultas ekonomi, fakultas bahasa dan fakultas lainnya. Fakultas ilmu komputer adalah salah satu fakultas yang ada di sebuah perguruan tinggi yang mempelajari tentang komputasi, pemrograman, dan perhitungan dalam korespondensi dengan sistem komputer. Bidang studi ini menggunakan teori tentang bagaimana komputer bekerja untuk merancang, menguji, dan menganalisis konsep agar dapat berfungsi dengan baik[3]. Teknik informatika adalah suatu program studi di fakultas ilmu komputer yang didalamnya mempelajari tentang pemrosesan, pengarsipan, dan penyebaran informasi dengan menggunakan teknologi informasi dan pemrograman yang berbasis komputer[4]. Di program studi ini diharapkan mahasiswa dapat menentukan satu diantara dua bidang konsentrasi yaitu web developing dan mobile developing.sistem informasi adalah program studi ilmu komputer yang membahas tentang sekumpulan 1

8 perangkat keras dan perangkat lunak yang dirancang untuk mentransformasikan data dalam bentuk informasi yang berguna dan juga untuk cara di mana orang berinteraksi dengan teknologi ini dalam mendukung proses bisnis [4]. Pada sistem informasi juga diharapkan mahasiswa dapat menentukandiantara dua konsentrasi yaitu sistem enterprise dan audit sistem, sesuai dengan minat bakat mahasiwa itu sendiri. Berdasarkan berlimpahnya data mahasiswa dan data jumlah kelulusan mahasiswa, informasi yang tersembunyi dapat diketahui dengan cara melakukan pengolahan terhadap data mahasiswa sehingga berguna bagi pihakuniversitas [5].Pengolahan data mahasiswa perlu dilakukan untuk mengetahui informasi penting berupa pengetahuan baru (knowledge Discovery), misalnya informasi mengenai pengklasifikasian data mahasiswa berdasarkan profil dan data akademik. Pengetahuan baru tersebut dapat membantu pihak universitas untuk melakukan klasifikasi mengenai tingkat kelulusan mahasiswa guna menetukan strategi untuk meningkatkan kelulusan pada tahun-tahun berikutnya. Berdasarkan data yang diperoleh dari IAsol yaitu sebuah sistem informasi akademik Universitas Abadi Karya Indonesia atau UNAKI [6] yang didalamnya terdapat beberapa informasi akademik diantaranya status dan indeks prestasi mahasiswa, kartu rencana studi, matakuliah syarat dan prasyarat yang menjadi penunjang prestasi. Pada penelitian kali ini dataset yang akan digunakan yaitu dataset yang diambil dari IAsolkhususnya pada fakultas ilmu komputer[7]. Berdasar data yang ada, total jumlah kelulusan mahasiswa fakultas ilmu komputer pada tahun 2008 sampai dengan tahun ajaran 2011 yang jumlah kelulusannya fluktuatif dijadikan sebagai dasar acuan dilakukannya proses klasifikasi, maka penulis akan melakukan penelitian mengenai klasifikasi kelulusan mahasiswa yaitu dengan menggunakan data mahasiswa Fakultas Ilmu Komputer tahun ajaran 2008 sampai dengan tahun ajaran Penelitian ini akan melakukan analisis data secara ilmiah dengan menggunakan metode klasifikasi Data Mining kelulusan mahasiswa Fakultas Ilmu Komputer tahun 2008 sampai dengan tahun ajaran Jika hasil klasifikasi kelulusan mahasiswa menunjukkan tingkat peningkatan maupun penurunan, maka hasil klasifikasi tersebut 2

9 dapat dijadikan sebagai salah satu bahan evaluasi dalam menentukan kebijakan pihak fakultas ilmu komputer dengan menggunakan teknik data mining. Penelitian ini akan melakukan pengklasifikasian berdasarkan dataset IAsol yang didapat dari Universitas Abadi Karya Indonesia khususnya di Fakultas Ilmu Komputer pada tahun ajaran 2008 sampai Atribut yang akan digunakan dalam melakukan klasifikasi kelulusan adalah Nomor Induk Mahasiswa (NIM), nama, jurusan, umur, jenis kelamin, daerah asal, status pernikahan, status pekerjaan, kelompok atau jenis beasiswa, indeks prestasi dari semester 1 sampai dengan semester 9, IPK, jumlah sks yang ditempuh dan jenis konsentrasi jalur peminatan. Berbagai algoritma klasifikasi Data Mining telah banyak diterapkan untuk membantu mengklasifikasikan penentuan status kelulusan salah satunya menggunakannaïve bayes. Naïve bayes diketahui memiliki kecepatan komputasi yang sangat tinggi, mampu menangani masalah data dataset yang berdimensi besar dan dataset yang bersifat Class Imbalance[8][9][10][11][12]. Pada penelitian kali ini selain mendapatkan nilai akurasi yang baik juga bertujuanmendapatkan model atribut yang berpengaruh dengan cara menerapkan Feature Selection. Feature Selectionadalah salah satu cara untuk menentukan atribut yang paling berpengaruh di dalam dataset. Feature Selection berperan memilih subset yang tepat dari set fitur asli, karena tidak semua fitur/atribut relevan dengan masalah [13]. Bahkan beberapa dari fitur atau atribut tersebut mengganggu dan dapat mengurangi akurasi. Noisy Features atau fitur yang tidak terpakai tersebut harus dihapus untuk meningkatkan akurasi. Selain itu dengan fitur atau atribut yang banyak akan memperlambat proses komputasi. Wraper Feature Selection terdiri dari Forward Selection, Backward Elimination dan Stepwise Selection. Forward Selection dan Stepwise Selection memiliki hasil yang lebih memuaskan dibandingkan dengan proses Backward Elimination. Forward Selection juga memerlukan waktu komputasi yang relatif lebih pendek dibandingkan dengan Backward Elimination maupun dengan Stepwise Selection. Pada penelitian ini akan menggunakan Forward Selection. Forward Selection atau seleksi kedepan dalam analisisnya pemilihan ke depan di mulai dengan tidak ada 3

10 prediktor dalam model untuk membantu meningkatkan hasil akurasi dan menentukan atribut yang berpengaruh. 1.2 Rumusan Masalah Berdasarkan latar belakang masalah yang telah diuraikan di atas, rumusan masalah pada penelitian ini adalah: 1. Bagaimana mendapatkan hasil akurasi yang maksimal dengan menggunakan algoritma klasifikasi Naive Bayes. 2. Bagaimana fitur seleksi Forward Selection dapat menentukan atribut yang paling berpengaruh dan dapat membantu meningkatkan hasil akurasi klasifikasi Naïve Bayes dari dataset dengan data yang besar. 1.3 Batasan Masalah Untuk menghindari penyimpangan dari judul yang sebenarnya serta keterbatasan pengetahuan yang dimiliki oleh penulis, adapun batasan masalah pada tugas akhir ini sebagai berikut: 1. Dataset didapat dari sistem informasi akademik Universitas Aki Semarang [7] 2. Berisi 240 record dan 21 atribut. 1.4 Tujuan Penelitian Tujuan penelitian ini adalah 1. Mendapatkan hasil akurasi menggunakan algoritma klasifikasi Naive Bayes. 2. Menerapkan fitur seleksi Forward Selection untuk menentukan model atribut yang berpengaruh dan dapat membantu meningkatkan hasil akurasi klasifikasi algoritma Naïve Bayes. 4

11 1.5 Manfaat Penelitian Manfaat dari penelitian ini diharapkan membantu administrasi perguruan tinggi untuk memberikan peringatan dini dan pembimbingan awal bagi mahasiswa yang kemungkinan tidak lulus tepat waktu dan membantu perguruan tinggi dalam membuat kebijakan untuk bisa meningkatkan kelulusan mahasiswa. 1.6 Sistematika Penelitian Penulisan pada penelitian ini akan dibagi menjadi lima bagian, yaitu: BAB I Pendahuluan Bab ini membahas tentang latar belakang penelitian tentang klasifikasi status kelulusan mahasiswa, rumusan permasalahan yang ditemukan, tujuan serta manfaat dari penelitian, dan sistematika penulisan. BAB II Tinjauan Pustaka Bab ini berisi tentang penelitian-penelitian terkait khususnya mengenani State-of- The-Art dari penelitian tentang klasifikasi kelulusan mahasiswa dan tinjauan pustaka untuk teori-teori yang digunakan, serta kerangka pemikiran. BAB III Metode Penelitian Bab ini akan menjelaskan metode penelitian yang digunakan, secara umum terdiri dari teknik pengumpulan data yang digunakan, proses pengolahan awal data, eksperimen dan pengujian metode, serta evaluasi dan validasi hasil. BAB IV Hasil dan Pembahasan Bab ini akan berisi pembahasan dari hasil eksperimen yang dilakukan. Bagian ini akan berisi data yang disajikan dalam bentuk tabel-tabel dan hasil analisa tingkat akurasi dari metode yang digunakan. BAB V Penutup Bab ini berisi kesimpulan dari hasil penelitian dan saran dari penelitian yang telah dilakukan. 5

12 BAB II TINJAUAN PUSTAKA 2.1 Tinjauan Studi Berikut ini beberapa penelitian terkait yang tentang klasifikasi yang menggunakan algoritma Naive Bayes dan Forward Selection: Alfa Saleh [10] dalam penelitiannya yang berjudul Penerapan Data Mining Dengan Metode Klasifikasi Naïve Bayes Untuk Memprediksi Kelulusan Mahasiswa Dalam Mengikuti English Proficiency Test. Metode Naive Bayes memanfaatkan data training untuk menghasilkan probabilitas setiap kriteria untuk class yang berbeda, sehingga nilai-nilai probabilitas dari kriteria tersebut dapat dioptimalkan untuk memprediksi kelulusan mahasiswa berdasarkan proses klasifikasi yang dilakukan oleh metode Naive Bayes itu sendiri. Dan metode tersebut berhasil mengklasifikasikan 49 data dari 50 data yang diuji. Sehingga dengan demikian metode Naive Bayes ini berhasil memprediksi kelulusan mahasiswa dengan persentase keakuratan sebesar 98 %. Mujib Ridwan, Hadi Suyono dan M. Sarosa [11] dalam penelitiannya yang berjudul Penerapan Data Mining Untuk Evaluasi Kinerja Mahasiswa Menggunakan Algoritma Naive Bayes Classifier. Algoritma Naïve Bayes menghasilkan nilai precision83%, recall50%, dan accuracy70%. Carlos N. Silla Jr [14] menerapkan Feature Selection dengan pendekatan Wrapper Feature Selection yaitu Genetic Algorithm(GA) diterapkan pada beberapa algoritma yaitu Naive-Bayes, Decision Tree (J48), Neural Nets, Support Vector Machines and Multi-Layer Perceptron.Carlos N. Silla Jr menjelaskan bahwa hasil yang dicapai dengan cara pemilihan fitur yang ini berlaku efektif untuk J48, Neural Nets dan Naïve Bayes. Feature Selection tidak meningkatkan akurasi untuk SVM dan MLP. 6

13 L.Ladha dan T.Deepa[15] dalam penelitiannya yang berjudul Feature Selection Methods And Algorithms. Bayesian classifier adalah statistik, algoritma klasifikasi Naive Bayes didasarkan pada aturan Bayes dan mengasumsikan bahwa kelas yang diberikan adalah fitur yang independen. Secara teori pengklasifikasian Bayesian memiliki tingkat kesalahan minimal dibandingkan dengan algoritma lainnya. Tetapi hal ini tidak selalu terjadi dalam prakteknya, karena asumsi yang disebutkan sebelumnya. Meski begitu Feature Selection pada Naïve Bayes classifier menunjukkan akurasi dan kecepatan tinggi bila diterapkan pada database yang besar. Mark A. Hall dan Geoffrey Holmes[16] dalam penelitiannya menyajikan perbandingan patokan metode Feature Selection dari beberapa algoritma klasifikasi. Dan meyimpulkan bahwa metode Forward Selection sangat cocok untuk Naïve Bayes. Tabel 2.1: Tinjauan Studi Nama Peneliti Judul Penelitian Tahun Metode yang digunakan Hasil Penelitian Alfa Saleh Mujib Ridwan, Hadi Suyono dan M. Sarosa Carlos N. Silla Jr Penerapan Data Mining Dengan Metode Klasifikasi Naïve Bayes Untuk Memprediksi Kelulusan Mahasiswa Dalam Mengikuti English Proficiency Test. Penerapan Data Mining Untuk Evaluasi Kinerja Mahasiswa Menggunakan Algoritma Naive Bayes Classifier. Feature Selection in Automatic Music Genre Classification 2015 Naïve Bayes Naïve Bayes berhasil mendapatkan persentase keakuratan sebesar 98 % Naïve Bayes Algoritma Naïve Bayes menghasilkan nilai precision 83%, recall 50%, dan accuracy 70% Naïve Bayes, Decision Tree (J48), Neural Nets, SVM, Multi-Layer Perceptron.Wrapper Feature Selection (Genetic Algorithm) Feature Selection selain dapat mereduksi dimensi dataset juga dapat meningkatkan hasil akurasi bila diterapkan pada Naïve Bayes. 7

14 L. Ladha dan T. Deepa Feature Selection Methods And Algorithms 2011 ID3, Naïve Bayes, SVM Feature Selection pada Naïve Bayes classifier menunjukkan hasil akurasi dan kecepatan yang tinggi. Mark A. Hall dan Geoffrey Holmes Benchmarking Attribute Selection Techniques for Discrete Class Data Mining 2003 Decision Tree C4.5, Naïve bayes Forward Selection sangat cocok untuk Naïve Bayes. Berdasar tinjauan studi diatas maka pada penelitian kali ini akan menerapkan metode Forward Selection untuk fitur seleksi pada klasifikasi status kelulusan mahasiswa menggunakan algoritma Naïve Bayesdari dataset yang diambil dari sistem informasi akademik Universitas Abadi Karya Indonesia. 2.2 Landasan Teori Data Mining adalah kegiatan yang meliputi pengumpulan, pemakaian data historis untuk menemukan keteraturan, pola atau hubungan dalam data berukuran besar. Data mining memiliki hubungan dari bidang ilmu seperti artificial intelligent, machine learning, statistik dan database[17]. Beberapa teknik data mining antara lain: clustering, classification, association rule mining, neural network, genetic algorithm dan lain-lain[18] Klasifikasi Proses untuk menemukan model atau fungsi yang menjelaskan atau membedakan konsep atau kelas data, dengan tujuan untuk dapat memperkirakan kelas dari suatu objek yang labelnya tidak diketahui[18][19] Naïve Bayes Naïve Bayes merupakan salah satu penerapan teorema Bayes. Naïve Bayes didasarkan pada asumsi penyederhanaan bahwa nilai atribut secara kondisional saling bebas jika diberikan nilai output [20]. Bayes merupakan pengklasifikasian statistik yang dapat digunakan untuk memprediksi probabilitas keanggotaan suatu class [21]. Bayes memiliki akurasi dan kecepatan yang sangat tinggi saat diaplikasi ke dalam database dengan data yang besar. 8

15 Naïve Bayes adalah metode yang baik karena mudah dibuat, tidak membutuhkan skema estimasi parameter perulangan yang rumit, ini berarti bisa diaplikasikan untuk dataset berukuran besar [19]. Mudah diinteprestasikan sehingga pengguna yang tidak punya keahlian dalam bidang teknologi klasifikasi pun bisa mengerti. Naive Bayes merupakan algoritma yang dapat meminimalkan tingkat kesalahan dibandingkan dengan semua pengklasifikasi lainnya. Namun, dalam praktek ini tidakselalu terjadi, karenauntuk ketidakakuratan dalam asumsi yang dibuat untukpenggunaannya class yang tidak utuh dan kurangnya data probabilitas yang tersedia. Pengklasifikasi Bayesian juga berguna dalam pembenaran teoritis untukpengklasifikasi lain yang tidak secara eksplisit menggunakan teoremabayes[21].untuk mendapatkan nilai probabilitas pada sebuah sampel diberikan sebuah teorema Bayes: P(X H) = P(H X)P(H) P(X) (1) Naive bayes adalah penyederhanaan dari teorema Bayes, berikut rumusnya: P(X H) = P(H X)P(H) (2) Keterangan : X : Data dengan class yang belum diketahui H : Hipotesis data X merupakan suatu class spesifik P(H X) : Probabilitas hipotesis H berdasarkan kondisi X (posteriori probability) P(H) : Probabilitas hipotesis H (prior probability) P(X H) : Probabilitas X berdasar kondisi pada hipotesis H P(X) : Probabilitas dari X Beberapa keuntungan dari algoritma klasifikasi Naive Bayes adalah [18]: 1) Kuat terhadap pengisolasi gangguan pada data 2) Jika terjadi kasus missing value ketika proses komputasi sedang berlangsung, maka objek tersebut akan diabaikan 3) Dapat digunakan untuk data yang tidak relevan 9

16 y x1 x2 x3 x4 x5 Gambar 2.1: Relasi Variabel Pada Naive Bayes Diberikan sebuah sampel x dengan nilai probabilitas prior terbesar. Dimana sampel x dapat dihitung berdasarkan teorema Bayes sebagai berikut: P(C i x) = P(x C i)p(c i ) P(x) (3) Dimana P(x) adalah konstan untuk semua kelas, hanya saja P(Ci x)=p(x Ci)P(Ci) membutuhkan nilai maksimum. Asumsi sederhana yang di ambil dari atribut, dimana k adalah kondisi yang independen. n P(x C i ) = P(x k C i ) = P(x 1 C i ) P(x 2 C i ) P(x n C i ) k=1 (4) Jika banyak atribut memiliki kondisi probabilitas 0, maka klasifikasi Naive Bayes menjadi n P(C i x) = P(x k C i ) P(C i ) k=1 (5) Gunakan sebuah estimator dengan menambahkan 1 pada kasus yang lain: posterior = likelihood prior evidence (6) 10

17 Selanjutnya gunakan probabilitas estimasi M: n c + mp n + m (7) Dimana nc adalah total nilai dari contoh sampel pada atribut yang dimiliki kelas C, n merupakan total nilai pada keseluruhan sampel yang berada pada kelas C dan m adalah sebuah nilai ekivalen yang konstan dari ukuran sampel yang diberikan. Sedangkan p adalah probabilitas prior yang menggunakan set 1/k sebagai informasi tambahan dimana k adalah nilai dari kemungkinan yang muncul pada atribut-atribut pada sampel yang akan diklasifikasikan Forward Selection Forward Selection adalah bagian dari Feature Selection. Feature Selection adalah sebuah proses yang biasa digunakan pada Machine Learningdimana sekumpulan dari fitur yang dimiliki oleh data digunakan untuk pembelajaran algoritma. Feature selection menurut Oded Maimon [13] telah menjadi bidang penelitian aktif dalam pengenalan pola, statistik, dan data mining. Ide utama dari feature selection adalah memilih subset dari fitur yang ada tanpa transformasi karena tidak semua fitur / atribut relevan dengan masalah. Bahkan beberapa dari fitur atau atribut tersebut mengganggu dan mengurangi akurasi. Noisy Features atau fitur yang tidak terpakai tersebut harus dihapus untuk meningkatkan akurasi. Selain itu dengan fitur atau atribut yang banyak akan memperlambat proses komputasi. Metode yang digunakan untuk memilih fitur yang optimal antara lain, Forward Selection, Backward Eliminationdan Stepwise Selection. 11

18 Berikut gambar tahapan Feature Selection Gambar 2.2: Tahapan Feature Selection Generation= memilih Subset Evaluation= menghitung relevansi nilai dari subset Stoppingcriterion= menentukan bagian yang relevan Validation= memverifikasi validitas subset Metode ForwardSelectionadalah pemodelan dimulai dari nol peubah (empty model), kemudian satu persatu peubah dimasukan sampai kriteria tertentu dipenuhi. Langkah-langkah metode forward adalah sebagai berikut : 1. Membuat model dengan meregresikan variabel respon Y dengan setiap variabel prediktor. Kemudian dipilih model yang mempunyai nilai R 2 tertinggi. Misal model tersebut adalah yang memuat prediktor Xa, yaitu Y ˆ b b a X. 0 a 2. Meregresikan variabel respon Y, dengan prediktor Xa, ditambah dengan setiap pre-diktor selain Xa dan prediktor lain. Kemudian dipilih model yang nilai R 2 nya ter-tinggi, misal mengandung tambahan prediktor Xb, yaitu model Yˆ b 0 b a X a b b X b. Prediktor terpilih Xb berarti mempunyai Fsequensial tertinggi. Formula Fsequensial untuk Xb adalah F R( 0, ) / MSE db. seq b a / Nilai Fsequensial untuk Xb juga dapat diperoleh dengan cara mengkuadratkan nilai statistik uji T pre-diktor Xb. 3. Proses diulang sampai didapatkan Fsequensial> Fin. Nilai Fin = F(1,v, in ), sehingga model terbaik yang dipilih adalah model yang tidak mempunyai prediktor dengan Fsequensial< Fin. 12

19 2.3 Evaluasi dan Validasi Hasil Klasifikasi Data Mining Diperlukan cara yang sistematis untuk mengevaluasi kinerja suatu metode. Evaluasi klasifikasi didasarkan pada pengujian pada obyek benar dan salah [18]. Dalam penelitian ini menggunakan metode Confusion Matrix dan Kappa untuk mengukur hasil proses klasifikasi Confusion Matrix Confusion matrixmerupakan metode yang digunakan untuk mengetahui performansi algoritma [18]. Dalam confusion matrix terdapat 4 sel yang harus ditentukan isinya. Kelas yang diprediksi ditampilkan dibagian atas matriks dan kelas yang diamati disisi kiri. Setiap sel berisi angka yang menunjukkan berapa banyak kasus yang sebenarnya dari kelas yang diamati untuk diprediksi. Tabel 2.2: Confusion Matrix CLASSIFICATION Class = YES Class = No PREDICTED CLASS Class = YES a (true positive-tp) c (false positive-fp) Class = No b (false negative-fn) d ( true negative-tn) Hasil klasifikasi dapat dihitung tingkat akurasinya berdasarkan kinerja matriks. Tingkat true positive (TP) adalah jumlah dari klasifikasi abnormal yang benar, TP juga disebut sensitivitas. Untuk menghitung TP digunakan rumus: True Positive Rate (Sensitivity) = TP TP + FN (2) TN dikatakan sebagai spesifisitas karena mengukur proporsi benar negatif. TrueNegativeRate(Specificity) = TN TN + FP (3) 13

20 Sensitivitas dan spesifisitas tidak memberikan informasi untuk nilai diagnosa yang benar.maka perlu adanya PPV (positive predictive value) dimana proporsi kasus dengan hasil tes positif PPV = TP TP + FP (4) dan membutuhkan negative predictive value (NPV) dengan proporsi kasus dengan hasil tes negatif. NPV = TN TN + FN (5) Tingkat false positive (FP) adalah jumlah normal kasus yang kesalahannya diklasifikasikan sebagai kelas abnormal. FalsePositiveRate = FP FP + TN (6) Tingkat false negative (FN) adalah jumlah kasus normal yang kesalahannya diklasifikasikan sebagai kelas normal. FalseNegativeRate = FN FN + TP (7) Akurasi paling banyak digunakan dalam klasifikasi yang menggunakan kinerja matriks. Dan untuk menghitung tingkat akurasi pada matriks digunakan: Accuracy = TP + TN TP + TN + FP + FN (8) Kappa Kappa merupakan metode statistik yang menilai kesepakatan interjudge (rater) untuk data nominal dikodekan. Kappa dapat diterapkan pada sistem pengkodean secara keseluruhan dan untuk kategori individu[22][23]. Kappa (kesepakatan antar rater), relibilitas antar rater ini dipakai untuk menilai dua rater dalam performasi individu melalui checklist yang menghasilkan data nominal, 14

21 semakin banyak kemiripan hasil penilai antar satu rater dengan lainnya maka koefisien relibilitas yang dihasilkan akan semakin tinggi. Hasil klasifikasi dapat dihitung tingkat akurasinya berdasarkan kinerja Kappa, dengan rumus: Kappa = Pr (a) Pr (e) 1 Pr (e) (1) Dimana Pr(a) adalah proporsi unit yang dua Rater yang sama. Dan Pr(e) adalah proporsi yang diharapkan secara kebetulan. Sebuah rumus setara, bila menggunakan frekuensi adalah: Kappa = Fo Fc N Fc (2) Dimana Fo menunjukkan jumlah (bukan proporsi) dari unit kode yang sama, dan Fc mewakili jumlah unit yang akan diharapkan dikodekan dengan cara yang sama secara kebetulan, dan N adalah jumlah unit yang dikodekan dengan baik. Joseph L. Fleiss [23]mengkategorikan tingkat reliabilitas antar rater/nilai Kappa menjadi: <0,4 = buruk (bad) 0,40 0,60 = cukup (fair) 0,60 0,75 = memuaskan (good) > 0,75 = istimewa (excellent) 2.4 Dataset IAsol IAsol adalah sebuah sistem informasi akademik pada Universitas Abadi Karya Indonesia atau UNAKI yang didalamnya terdapat beberapa informasi akademik diantaranya status dan indeks prestasi mahasiswa, kartu rencana studi, matakuliah syarat dan prasyarat yang menjadi penunjangprestasi. Pada penelitian kali ini dataset yang akan digunakan yaitu dataset yang diambil dari IAsolkhusus nya pada fakultas ilmu komputer. 15

22 2.4.1 Fakultas Ilmu Komputer Sebuah fakultas yang mempelajari tentang ilmu komputasi, pemrograman, dan perhitungan dalam korespondensi dengan sistem komputer. Bidang studi ini menggunakan teori tentang bagaimana komputer bekerja untuk merancang, menguji, dan menganalisis konsep agar dapat berfungsi bagi pemakainya Teknik Informatika Program studi yang mempelajari tentang pemrosesan, pengarsipan, dan penyebaran informasi dengan menggunakan teknologi informasi dan pemrograman yang berbasis komputer. 1. Web Developing Pada jalur ini mempersiapkan mahasiswa untuk menjadi Webmaster, yaitu gabungan dari web developer dan web desain. 2. Mobile Developing Pada jalur ini mempersiapkan mahasiwa menjadi seorang yang mampu mengembangkan dan menciptakan programdi perangkat mobile Sistem Informasi Program studi yang membahas tentang sekumpulan perangkat keras dan perangkat lunak yang dirancang untuk mentransformasikan data dalam bentuk informasi yang berguna. 1. AuditSistem Informasi Pada jalur ini mempersiapkan mahasiswa untuk menjadi Auditor Sistem yang handal dan sangat dibutuhkan. 2. Sistem Enterprise Pada jalur ini mempersiapkan mahasiswa menjadi Analis Sistem bidang sistem informasi yang mampu memenuhi kebutuhan manajemen di segala bidang. 16

23 2.5 Kerangka Pemikiran Kerangka pemikiran pada penelitian ini berdasarkan karena dataset dari dataset IAsol UNAKI. Algoritma klasifikasi Naïve Bayes diketahui bisa menangani masalah dataset yang besar, Sedangkan proses fitur seleksi yaitu Forward Selection digunakan untuk menentukan atribut yang paling berpengaruh dan dapat membantu meningkatkan hasil akurasi klasifikasi Naïve Bayes. Adapun kerangka pemikiran dari penelitian ini dapat dilihat sebagai berikut: PROPOSED METHOD VALIDATION OBJECTIVES MEASUREMENT Dataset IAsol Feature Selection Forward Selection 10-Fold Cross Validation Model & Accuracy Confusion Matrix Kappa Naïve Bayes Naïve Bayes berbasis Forward Selection Gambar 2.3: Kerangka Pemikiran 17

24 BAB III METODE PENELITIAN Jenis penelitian yang dilaksanakan ini merupakan penelitian eksperimen. Selain itu data yang digunakan adalah data kualitatif. Data kualitatif adalah data yang berupa kalimat. 3.1 Instrumen Penelitian Instrumen yang digunakan untuk mendukung dalam penelitian ini antara lain: Software PC atau laptop yang digunakan penulis dengan spesifikasi sebagai berikut: Operating System Processor Memory : Windows 7 64-bit : Intel Core i5-4210u,up to 2.7 GHz : 4096MB RAM Software Software yang digunakan penulis sebagai berikut: Software developer : Rapid Miner Studio Software penunjang : Microsoft Office Word 2013, Microsoft Excel Pengumpulan Data Pengumpulan data pada penelitian ini meliputi: studi literatur yang digunakan sebagai referensi dalam penelitian bias berupa buku, jurnal dan karya ilmiah yang relevan dengan algoritma klasifikasi data mining. Tahap ini dilakukan sebagai langkah awal dari suatu penelitian. Untuk memperoleh data yang benar-benar akurat, maka penentuan jenis dan sumber data sangatlah penting. Sumber data pada penelitian ini adalah dataset yang didapat dari IAsol UNAKI [7] khususnya di Fakultas Ilmu Komputer pada tahun ajaran 2008 sampai Atribut yang akan digunakan dalam melakukan klasifikasi kelulusan adalah Nomor Induk Mahasiswa (NIM), nama, jurusan, umur, jenis kelamin, daerah asal, status pernikahan, status pekerjaan, kelompok atau jenis beasiswa, indeks prestasi dari semester 1sampai dengan semester 9, IPK, jumlah sks yang ditempuh dan jenis konsentrasi jalur peminatan. 18

25 3.3 Teknik Analisis Data Tahap pengolahan awal data dilakukan untuk mempersiapkan data yang benar-benar valid sebelum diproses pada tahap berikutnya namun tidak semua data dapat digunakan dan tidak semua atribut digunakan karena harus melalui beberapa tahap pengolahan awal data (preparation data). Jumlah data awal yang diperoleh dari pengumpulan data, namun tidak semua data dapat digunakan dan tidak semua atribut digunakan karena harus melalui beberapa tahap pengolahan awal data (preparation data). Untuk mendapatkan data yang berkualitas, menurut Vercellis [26] dilakukan beberapa teknik: 1. Data integration and transformation, untuk meningkatkan akurasi dan efisiensi algoritma. Data yang digunakan dalam penulisan ini bernilai kategorikal. Data ditransformasikan kedalam software RapidMiner. Tabel kategorikal atribut terlihat pada tabel Data size reduction, untuk memperoleh data set dengan jumlah atribut dan record yang lebih sedikit tetapi tetap bersifat informatif. Pada penelitian kali ini tahapan yang dilakukan hanya transformasi data yaitu merubah beberapa tipe atribut data agar dikenali oleh RapidMiner. Tabel 3.1: Tipe Atribut Data NIM Integer Attribute Nama Polynominal Attribute Jurusan Binominal Attribute Umur Integer Attribute Jenis Kelamin Binominal Attribute Asal Polynominal Attribute Status Pernikahan Binominal Attribute Status Pekerjaan Binominal Attribute Kelompok Polynominal Attribute IP Semester 1 Numeric Attribute IP Semester 2 Numeric Attribute IP Semester 3 Numeric Attribute IP Semester 4 Numeric Attribute IP Semester 5 Numeric Attribute IP Semester 6 Numeric Attribute IP Semester 7 Numeric Attribute IP Semester 8 Numeric Attribute 19

26 IP Semester 9 Numeric Attribute IPK Numeric Attribute SKS Integer Attribute Konsentrasi Polynominal Attribute Status Polynominal Label 3.4 Metode Penelitian Penelitian adalah mencari melalui proses yang bermetode untuk menambahkan pengetahuan itu sendiri dan dengan yang lainnya, oleh penemuan fakta dan wawasan tidak biasa. Pengertian penelitian berarti kegiatan pemecahan masalah yang sistematis, yang dilakukan dengan perhatian dan kepedulian dalam konteks situasi yang dihadapi [24]. Penelitian dalam akademik yaitu digunakan untuk mengacu pada aktivitas yang rajin dan penyelidikan sistematis atau investigasi disuatu daerah, dengan tujuan menemukan atau merevisi fakta, teori, aplikasi dan tujuannya adalah untuk menemukan dan menyebarkan pengetahuan baru. Dalam konteks penelitian, metode yang dilakukan mengacu kepada pemecahan masalah yang meliputi mengumpulkan data, merumuskan hipotesis atau proposisi, pengujian hipotesis, menafsirkan hasil, dan kesimpulan [24]. Menurut Dawson [25] ada empat metode penelitian yang umum digunakan yaitu: Action Research, Experiment, Case Study, dan Survey. Pada penelitian kali ini menggunakan metode penelitian eksperimen. Penelitian eksperimen melibatkan penyelidikan perlakuan pada atribut parameter atau variabel tergantung dari penelitinya dan menggunakan tes yang dikendalikan oleh si peneliti itu sendiri dengan bagan penelitian/blok diagram sebagai berikut: 20

27 IAsoldataset PemilihanFituratribut TrainingNaiveBayesModel ForwardSelection NO Performance&Weight Stoppingcriterion YES Atribut/Modeloptimal klasifikasinaïve Bayes AkurasiKlasifikasi NaïveBayes Gambar 3.1:TahapanProposedModel/Method Tahap ini akan membahas metode yang akan digunakan untuk penelitian. Berikut ini adalah tahap yang akan dilakukan dalam penelitian. Tahapan dilakukan mengikuti langkah-langkah metode Forward Selection dengan algoritma NaïveBayes yaitu: 1. Dataset dari Iasol UNAKI diseleksi fitur menggunakan Forward Selection, Metode Forward Selection adalah pemodelan dimulai dari nol peubah (empty model). 2. Pemilihan fitur seleksi forward selection diuji menggunakan training atau metode NaiveBayes. 3. Dari training Naive Bayes yang diujikan mendapatkan hasil dan pembobotan. 4. Apabila proses tersebut lolos maka akan mendapatkan suatu atribut/model yang optimal dari klasifikasi NaiveBayes. 21

28 5. Sedangkan bila proses tersebut berhenti pada stopping criterion maka proses tersebut diulang dari awal (pemilihan fitur seleksi forward selection) sampai mendapatkan atribut/model optimal. 6. Setelah mendapatkan atribut/model yang optimal pada klasifikasi Naive Bayes maka akan muncul hasil akurasi dari klasifikasi Naive Bayes yang sudah di fitur seleksi. Tahap ini akan membahas metode yang akan digunakan untuk penelitian nanti. Berikut ini adalah tahap yang akan dilakukan dalam penelitian. Seleksi fitur digunakan sebagai input untuk proses klasifikasi. Seleksi fitur dilakukan dengan mengambil sebagian variabel pada seluruh atribut yang ada pada data untuk dijadikan atribut penentu dalam melakukan pemberian keputusan. Dataset diseleksi fitur menggunakan Forward Selection, proses selanjutnya adalah melakukan klasifikasi menggunakan algoritma Naïve Bayes, hasil proses klasifikasi dievaluasi dengan menggunakan Confussion Matrix dan Kappa untuk mengukur performan atau tingkat akurasi. 3.5 Pengujian Model/Metode Pada tahapan ini menjelaskan tentang teknik pengujian yang digunakan. Tahap modeling untuk mengklasifikasikan status kelulusan dengan menggunakan dua metode yaitu algoritma Naïve Bayes dan Forward Selection-NaïveBayes. Proses eksperimen dan pengujian model menggunakan dataset IAsol [7]. Metode eksperimen dan pengujian ini mengikuti cara pengklasifikasian menggunakan RapidMiner. Dalam melakukan penelitian ini diperlukan eksperimen dan proses pengujian model yang diusulkan. Proses eksperimen dan pengujian model menggunakan bagian dari dataset yang ada. Semua dataset kemudian diuji dengan metode yang diusulkan pada tools RapidMiner. Pengujian model berdasarkan perhitungan metode X-Validation, proses ini diulang sebanyak 10 kali dan hasil pengujian model berupa nilai akurasi dan nilai kappa. 22

29 3.6 Evaluasi Dan Validasi Hasil Pada tahap ini akan dibahas tentang hasil evaluasi dari eksperimen yang telah dilakukan. Model yang terbentuk akan diuji dengan menggunakan Confusion Matrix untuk mengetahui tingkat akurasi. Confusion Matrix akan menggambarkan hasil akurasi mulai dari prediksi positif yang benar, prediksi positif yang salah, prediksi negative yang benar, dan prediksi negative yang salah. Akurasi akan dihitung dari seluruh prediksi yang benar (baik prediksi positif dan negatif). Semakin tinggi nilai akurasi, semakin baik pula model yang dihasilkan. Pengujian juga diukur dengan menggunakan Kappa, semakin tinggi nilai Kappa, maka semakin baik pula model klasifikasiyang terbentuk. Dataset IAsol Unaki [7] diuji hanya menggunakan algoritma Naïve Bayes saja, setelah itu dengan dataset yang sama menggunakan metode Forward Selection dengan algoritma NaïveBayes. Dari hasil yang diperoleh kemudian dibandingkan untuk mengetahui ada perubahan atau tidak. Diharapkan dalam penelitian ini optimasi fitur seleksi Forward Selection dapat bekerja dengan baik. 3.7 Jadwal Penelitian NO KEGIATAN BULANI BULANII BULANIII Pengumpulan Data 2 Pengolahan Awal data 3 Metode Yang Diusulkan 4 Eksperimen dan Pengujian Model/Metode 5 Evaluasi dan Validasi Hasil 23

30 4 HASIL DAN PEMBAHASAN 4.1 Hasil Pada penelitian ini menguji keakuratanklasifikasi kelulusan mahasiswa dengan menggunakan algoritmanaïve Bayes, setelah itunaïve Bayes dengan Forward Selection sebagai fitur seleksi. Penelitian ini menggunakan dataset yang diambil dariiasol Dataset yaitu dataset kelulusan mahasiwa yang memiliki 3classatau 3 kategori kelulusan, dengan data yang besar (memiliki 240 record dan 21 attribute) serta bersifat class imbalance Algoritma Naïve Bayes Algoritma Naïve Bayes merupakan pengklasifikasian statistik yang dapat digunakan untuk memprediksi probabilitas keanggotaan suatu class [21]. Naive Bayes dapat memprediksikan kemungkinan-kemungkinan kelas anggota, seperti kemungkinan yang menempatkan sampel baru pada kelas khususnya. Asumsi dari algoritma Naïve Bayes adalah bahwa setiap variabel bersifat independen dan keberadaan sebuah variabel tidak ada kaitannya dengan keberadaan variabel yang lain. Naïve Bayes adalah metode yang baik karena mudah dibuat, tidak membutuhkan skema estimasi parameter perulangan yang rumit, ini berarti bisa diaplikasikan untuk dataset berukuran besar [19]. Berikut teorema bayes : P(X H) = P(H X)P(H) P(X) (1) Berikut rumus Naive Bayes : P(X H) = P(H X)P(H) (2) 24

31 Keterangan : X : Data dengan class yang belum diketahui H : Hipotesis data x merupakan suatu class spesifik P(H X) : Probabilitas hipotesis H berdasarkan kondisi X (posteriori probability) P(H) : Probabilitas hipotesis H (prior probability) P(X H) : Probabilitas X berdasar kondisi pada hipotesis H P(X) : Probabilitas dari X Evaluasi Naïve Bayes dengan data sampel Pengujian menggunakan data sampel yang diambil dari IAsol dataset dengan: 2 label class (tepat dan terlambat), 10 record (7 class tepatdan 3 class terlambat) dan 21 attribute seperti yang dapat dilihat pada halaman lampiran. Berikut ini adalah contoh perhitungan mencari nilai akurasi dari atribut kelompok dengan menggunakan metode Cross-Validation (X-Validation). Training 1: Tabel 4.1: Data Training Cross Validation Naïve Bayes Status Kelulusan Kelompok Dari data diatas didapatkan Probabilitas kelas: P() = 7/9 = P() = 2/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: 25

32 P( ) = 3/7 = P( ) = 4/7 = P( ) = 0/7 = 0 P( ) = 0/2 = 0 P( ) = 0/2 = 0 P( ) = 2/2 =1 Testing 1: Data testing dari status kelulusan dengan kelompokparsial: Prediction parsial: P(X ) = 0/7 = 0 P(X ) = 2/2 = 1 Perhitungan dilakukan 10 kali sampai training 10 dan testing 10 sesuai metode Cross-Validation (X-Validation). Dari hasil klasifikasi menggunakan data sample (2 label class. 10 record dan 21 attribute) dengan metode Naïve Bayesdiperoleh hasil nilai akurasi sebesar 70.00%, berikut ini hasil perhitungannya seperti dapat dilihat pada gambar 4.1. = = 0.7 = 70% Gambar 4.1: Validasi Naïve Bayes Data Sampel Evaluasi Naïve Bayes dengan data lengkap Hasil klasifikasi menggunakan data lengkap (Iasol dataset)dengan metode Naïve Bayesdiperoleh hasil nilai akurasi sebesar 95.83%. 26

33 = = = 95.83% Gambar 4.2: Validasi Naïve Bayes Data Lengkap Evaluasi dan validasi pada penelitian ini mengikuti aturan Kappa, dengan perhitungan nilai Kappa: Gambar 4.3: Kappa Naïve Bayes Data Lengkap Kappa = Pr (a) Pr (e) 1 Pr (e) (1) Pr(a) adalah proporsi unit yang dua Rater yang sama. Pr(e) adalah proporsi yang diharapkan secara kebetulan. Kappa = Kappa = (2) Kappa = termasuk kategori Kappa excellent Naïve Bayes dengan Forward Selection sebagai fitur seleksi Metode Forward Selection berdasarkan pada model Wrapper Feature Selection yaitu metode yang mengadopsi dari algoritma pembelajaran yang utama. Pada penelitian 27

34 kali ini berdasar dari algoritma Naïve Bayesuntuk mengevaluasi kinerja dari subset fitur yang optimal sesuai dengan kriteria akhir. Metode Forward Selection adalah pemodelan dimulai dari nol peubah (empty model), kemudian satu persatu peubah dimasukan sampai kriteria tertentu dipenuhi. Tahapan metode Forward Selection adalah sebagai berikut: 1. Tahapan metode Forward Selection berdasarkan perhitungan metode X- Validation Naïve Bayes. Seperti cara penghitungan pada eksperimen diatas, nilai akurasi tersebut dijadikan nilai subset atau nilai prediktor pada masing masing atribut. Untuk variabel pertama untuk memasukkan model, pilih prediktor (nilai subset) yang paling berkorelasi dengan target atau yang memiliki nilai subset terbesar. Jika menghasilkan model yang tidak signifikan, berhenti dan melaporkan bahwa tidak ada variabel adalah prediktor penting. Nilai subset yang kecil diabaikan, hanya menggunakan nilai subset terbesar, lanjutkan ke langkah Untuk setiap variabel atau nilai subset yang terbesar, dihitung dengan menjumlah nilai subset yang terbesar dengan berurutan untuk variabel yang diberikan variabel sudah dalam model. Pilih variabel nilai subset dengan F- statistic berurutan terbesar. 3. Untuk variabel nilai subset yang dipilih pada langkah 2, uji untuk F-statistic berurutan. Jika menghasilkan model yang tidak signifikan, berhenti, dan melaporkan model saat ini tanpa menambahkan variabelnilai subset di langkah 2. Jika tidak, menambahkan variabel dari langkah 2 ke dalam model dan kembali ke langkah 2, sampai mendapatkan nilai subset terbesar Evaluasi Naïve Bayes dengan Forward Selection sebagai fitur seleksidengan data sampel Pengujian menggunakan data sampel yang diambil dari IAsol dataset dengan: 2 label class (tepatdan terlambat), 10 record (7 class tepatdan 3 class terlambat) dan 21 attribute seperti yang dapat dilihat pada halaman lampiran. 28

35 Tahap Generation Forward Selection-Naïve Bayesdimulai darimemilih prediktor (nilai subset) yang paling berkorelasi dengan target dengan nilai akurasi tertinggi.tahapan ini dilakukan berdasarkan perhitungan metodex-validation. Training 1: Tabel 4.2: Data Training 1 Status Kelulusan Kelompok Dari data diatas didapatkan Probabilitas kelas: P() = 7/9 = P() = 2/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) = 3/7 = P( ) = 4/7 = P( ) = 0/7 = 0 P( ) = 0/2 = 0 P( ) = 0/2 = 0 P( ) = 2/2 =1 Testing 1: Data testing dari status kelulusan terlambat dengan kelompok parsial: Prediction terlambat: P(X ) = 0/7 = 0 P(X ) = 2/2 = 1 Training 2: 29

36 Tabel 4.3: Data Training 2 Status Kelulusan Kelompok Dari data diatas didapatkan Probabilitas kelas: P() = 7/9 = P() = 2/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =3/7 = P( ) = 4/7 = P( ) = 0/7 = 0 P( ) = 0/2 = 0 P( ) = 0/2 = 0 P( ) = 2/2 = 1 Testing 2: Data testing dari status kelulusan terlambat dengan kelompok parsial: Prediction terlambat: P(X ) = 0/7 = 0 P(X ) = 2/2 = 1 Training 3: Tabel 4.4: Data Training 3 30

37 Status Kelulusan Kelompok Dari data diatas didapatkan Probabilitas kelas: P() = 7/9 = P() = 2/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =3/7 = P( ) =4/7 = P( ) =0/7 = 0 P( )=0/2 = 0 P( ) =0/2 = 0 P( ) =2/2 = 1 Testing 3: Data testing dari status kelulusan terlambat dengan kelompok parsial: Prediction terlambat P(X ) =0/7 = 0 P(X )=2/2 = 1 Training 4: Tabel 4.5: Data Training 4 31

38 Status Kelulusan Kelompok Dari data diatas didapatkan Probabilitas kelas: P() =6/9 = P() =3/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =3/6 = 0.5 P( )=3/6 = 0.5 P( ) =0/6 = 0 P( ) =0/6 = 0 P( ) =0/6 = 0 P( ) =3/3 = 1 Testing 4: Data testing dari status kelulusan tepat dengan kelompok reguler: Prediction tepat P(X ) =3/6 = 0.5 P(X )=0/3 = 0 Training 5: Tabel 4.6: Data Training 5 32

39 Status Kelulusan Kelompok Dari data diatas didapatkan Probabilitas kelas: P() =6/9 = P() =3/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =2/6 = P( ) =4/6 = P( ) =0/6 = 0 P( ) =0/3 = 0 P( ) =0/3 = 0 P( ) =3/3 = 1 Testing 5: Data testing dari status kelulusan tepat dengan kelompok : Prediction tepat P(X ) =2/6 = P(X ) =0/3 = 0 Training 6: Tabel 4.7: Data Training 6 Status Kelulusan Kelompok 33

40 Dari data diatas didapatkan Probabilitas kelas: P() =6/9 = P() =3/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =3/6 = 0.5 P( ) =3/6 = 0.5 P( ) =0/6 = 0 P( ) =0/3 = 0 P( ) =0/3 = 0 P( ) =3/3 = 1 Testing 6: Data testing dari status kelulusan tepat dengan kelompok : Prediction tepat P(X ) =3/6 = 0.5 P(X )=0/3 = 0 Training 7: Tabel 4.8: Data Training 7 Status Kelulusan Kelompok 34

41 Dari data diatas didapatkan Probabilitas kelas: P() =6/9 = P() =3/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =2/6 = P( ) =4/6 = P( ) =0/6 = 0 P( ) =0/3 = 0 P( ) =0/3 = 0 P( ) =3/3 = 1 Testing 7: Data testing dari status kelulusan tepat dengan kelompok : Prediction tepat P(X ) =2/6 = P(X ) =0/3 = 0 Training 8: Tabel 4.9: Data Training 8 Status Kelulusan Kelompok 35

42 Dari data diatas didapatkan Probabilitas kelas: P() =6/9 = P() =3/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =3/6 = 0.5 P( ) =3/6 = 0.5 P( ) =0/6 = 0 P( ) =0/3 = 0 P( ) =0/3 = 0 P( ) =3/3 = 1 Testing 8: Data testing dari status kelulusan tepat dengan kelompok reguler: Prediction tepat P(X ) =3/6 = 0.5 P(X )=0/3 = 0 Training 9: Tabel 4.10: Data Training 9 Status Kelulusan Kelompok 36

43 Dari data diatas didapatkan Probabilitas kelas: P() =6/9 = P() =3/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =3/6 = 0.5 P( ) =3/6 = 0.5 P( )=0/6 = P( ) =0/3 = 0 P( ) =0/3 = 0 P( ) =3/3 = 1 Testing 9: Data testing dari status kelulusan tepat dengan kelompok reguler: Prediction tepat P(X ) =3/6 = 0.5 P(X )=0/3 = 0 Training 10: Tabel 4.11: Data Training 10 Status Kelulusan Kelompok 37

44 Dari data diatas didapatkan Probabilitas kelas: P() =6/9 = P() =3/9 = Dari data diatas didapatkan Probabilitas kelompok terhadap masing masing kelas: P( ) =2/6 = P( ) =4/6 = P( ) =0/6 = 0 P( ) =0/3 = 0 P( ) =0/3 = 0 P( ) =3/3 = 1 Testing 10: Data testing dari status kelulusan tepat dengan kelompok : Prediction tepat P(X ) =2/6 = P(X ) =0/3 = 0 Dari eksperimen diatas berdasarkan metode Cross-Validation, didapat nilai akurasi dari satu atribut, yaitu atribut Kelompok. Tabel 4.12: Validasi Atribut Kelompok Prediction Cross-validation Kelulusan

45 = = 1 = 100% (nilai akurasi atribut kelompok) Nilai akurasi tersebut dijadikan nilai subsetpada atribut kelompok atau dijadikan nilai prediktor untuk perhitungan yang digunakan dalam metode Forward Selection-Naïve Bayes. Seperti cara penghitungan eksperimen diatas, mencari nilai akurasi atau nilai subset pada masing masing atribut. Yang kemudian didapatkan hasil nilai subset dari masing-masing atribut, seperti yang dapat dilihat pada tabel Tabel 4.13: Tahapan Generation Forward Selection Nama Atribut Nilai Subset NIM 80 Nama 70 Jurusan 50 Jenis Kelamin 70 Umur 30 Daerah Asal 60 Status Pernikahan 70 Status Pekerjaan 60 Kelompok 100 IPS 1 60 IPS 2 80 IPS 3 60 IPS 4 60 IPS 5 60 IPS

46 IPS 7 60 IPS 8 50 IPS 9 90 IPK 70 SKS 80 Konsentrasi 90 Dari data tabel diatas dipilih atau didapatkan model atribut dengan nilai subset yang paling tinggi atau paling berkorelasi dengan target, seperti yang dapat dilihat pada tabel Tabel 4.14: Model Subset Forward Selection Nama Atribut Nilai Subset Kelompok 100 Tahapan terakhir pada Forward Selection yaitu memverifikasi validitas dari subset. Seperti dapat dilihat pada tabel 4.14 diatas didapatkan model atribut terbaik yaitu: Kelompok Tabel 4.15: Model Atribut Forward Selection-Naïve Bayes Data Sampel Nama Atribut Kelompok Berdasarkan dari pemodelan seleksi atribut dengan menggunakan metode Forward Selection, eksperimen algoritma Naïve Bayes dengan Forward Selection sebagai fitur seleksi dari data sampel diperoleh hasil nilai akurasi sebesar %. 40

47 Gambar 4.4: Validasi Forward Selection-Naïve Bayes Data Sampel = = 1 = 100% Evaluasi Naïve Bayes dengan Forward Selection sebagai fitur seleksidengan data lengkap Berdasarkan dari eksperimen algoritma Naïve Bayes dengan Forward Selection sebagai fitur seleksi menggunakan data lengkap (IAsol dataset), pemodelan seleksi atribut Forward Selection diperoleh 4model atribut yaitu atribut kelompok, IPS 1, IPS 3, IPS 9. Tabel 4.16: Model Atribut Forward Selection-Naïve Bayes Data Lengkap Nama Atribut Kelompok IPS 1 IPS 3 IPS 9 41

48 Dengan hasil nilai akurasi sebesar 99.17%. = = = 99.17% Gambar 4.5: Validasi Forward Selection-Naïve Bayes Data Lengkap Evaluasi dan validasi pada penelitian ini mengikuti aturan Kappa, dengan perhitungan nilai Kappa: Gambar 4.6: Kappa Forward Selection-Naïve Bayes Data Lengkap Kappa = Pr (a) Pr (e) 1 Pr (e) (1) Kappa = Kappa = (2) Kappa= termasuk kategori Kappa excellent. Evaluasi dan validasi dari eksperimen Naïve Bayes dengan Forward Selection sebagai fitur seleksimenggunakan data lengkap (IAsol dataset) berdasarkan aturan Kappa diperoleh nilai Kappa0.976 dan termasuk kategori Kappa excellent. 42