Imputasi Missing data Menggunakan Algoritma Pengelompokan Data K-Harmonic Means

Transkripsi

1 Imputasi Missing data Menggunakan Algoritma Pengelompokan Data -Harmonic Means Abidatul Izzah 1), Nur Hayatin 2) 1) Jurusan Teknik Informatika ITS Surabaya Jl. Teknik imia ampus Teknik Informatika ITS Surabaya 2) Teknik Informatika Universitas Muhammadiyah Malang Jl. Raya Tlogomas 246, Malang Indonesia 1) 2) Abstract Missing data adalah hilangnya suatu nilai atribut tertentu pada suatu instance dataset. Permasalahan ini disebabkan oleh tidak adanya data di lapangan atau adanya kesalahan dalam pencacahan. Metode yang sering digunakan untuk mengatasi permasalahan ini adalah dengan mengisi nilai dari rataan atribut yang ada atau menghilangkan instance yang mengandung missing data. Penggunaan metode ini dirasa kurang efektif karena dapat menghilangkan informasi penting yang mungkin terdapat pada data yang dibuang. Metode lain yang digunakan adalah dengan mengestimasi nilai missing data atau yang dikenal dengan imputasi data. Salah satu teknik imputasi yang digunakan adalah algoritma pengelompokan data -Means (M). Dalam perkembangannya, M telah disempurnakan untuk menghindari pengaruh dari data-data yang ada di sekitar titik tengah klaster, metode pengelompokan data ini disebut dengan -Harmonic Means (HM). HM merupakan variasi model M dalam hal fungsi obyektif yang digunakan. Penelitian ini bertujuan untuk mengimputasi nilai yang hilang pada suatu data menggunakan -Harmonic Means. Algoritma HM digunakan untuk menentukan titik centroid yang digunakan untuk mengestimasi nilai missing data. Data yang digunakan dalam penelitian ini adalah lima dataset yang diperoleh dari UCI Machine Learning. Dengan menggunakan pendekatan metode ini diharapkan hasil imputasi missing data yang diperoleh memiliki Mean Square Error (MSE) sekecil mungkin. eywords Imputasi, -Harmonic Means, - Means, Missing data I. PENDAHULUAN Dalam kasus nyata, banyak sekali ditemukan dataset yang setengah dari fiturnya hilang. Permasalahan ini disebut dengan missing data. Missing data dapat diakibatkan oleh kesalahan sistem maupun human error. Dalam banyak kasus yang berkaitan dengan pengenalan pola maupun klasifikasi, missing data merupakan permasalahan yang dapat mempengaruhi hasil klasifikasi. Missing data menjadi kelemahan umum dalam klasifikasi dimana hampir semua metode klasifikasi hanya dapat bekerja pada data yang lengkap. Hal ini yang mendorong perlunya dicari metode khusus untuk penanganan terhadap permasalahan yang berkaitan dengan missing data. Metode yang umum digunakan adalah dengan cara membuang data yang mengandung missing (case deletion). Beberapa metode telah dikembangkan khusus untuk menangani missing data. Salah satu metode tersebut adalah teknik imputasi. Teknik imputasi sendiri dibedakan menjadi beberapa metode, yang paling popular adalah: mean, median, modus, dan klasterisasi. Imputasi missing data pernah dilakukan oleh Malarvizhi menggunakan M. Dalam penelitian tersebut dilakukan analisa kinerja M dan - Nearest Neighbour (NN) untuk imputasi missing data. Analisa dilakukan dengan cara membandingkan akurasi dari hasil klasterisasi kedua metode tersebut. Hasil pengujian menunjukkan bahwa M menunjukkan akurasi kurang baik dibanding NN. Hal ini dimungkinkan karena M memiliki kelemahan pada inisialisasi centroid (Malarvizhi dkk, 2012). -Means (M) adalah salah satu algoritma pengelompokan data yang dapat digunakan untuk melakukan imputasi pada missing data. Algoritma M mengelompokkan data (klasterisasi) berdasarkan titik pusat klaster (centroid). Pen (1999) telah melakukan perbandingan empat teknik inisialisasi centroid, yaitu random, Forgy, MacQueen dan aufman. Proses inisialisasi centroid sangat mempengaruhi hasil klasterisasi sehingga permasalahan sensitifitas terhadap penentuan titik awal menjadi kelemahan metode ini Jika inisialisasi centroid kurang optimal, maka hasil klasterisasi juga akan kurang optimal. Disamping itu titik awal pusat klaster yang ditentukan secara random sangat memungkinkan hasil klaster konvergen pada lokal optimal Hal inilah yang menjadi salah satu kelemahan M (Pen, 1999). Untuk mengatasi masalah yang terjadi pada inisialisasi pusat klaster, Zhang, Hsu, dan Dayal (Zhang dkk, 1999) mengusulkan sebuah metode baru yang diberi nama -Harmonic Means (HM) yang kemudian dimodifikasi oleh Hammerly dan Elkan (Hammerly, 2002). Penelitian ini bertujuan untuk menerapkan algoritma HM sebagai algoritma untuk imputasi missing data agar didapatkan estimasi nilai untuk data missing yang lebih mendekati nilai

2 sebenarnya. Penelitian ini juga membandingkan beberapa metode imputasi yang lain (M, Mean, dan Median) untuk mengetahui kinerja dari metode tersebut dengan menganalisa klasterisasi data yang dihasilkan. A. Pengelompokan Data II. STUDI PUSTAA Pengelompokkan data dalam data mining dibedakan menjadi 2, yaitu klasifikasi dan klasterisasi. lasifikasi adalah pengelompokkan data yang membutuhkan data latih (supervised). Sedangkan klasterisasi adalah pengelompokkan data tanpa membutuhkan data latih (unsupervised). Du (2010) menjelaskan bahwa klasterisasi adalah proses membagi data yang tidak berlabel menjadi kelompok-kelompok data yang memiliki kemiripan. Setiap kelompok data (klaster) terdiri dari obyek yang memiliki kemiripan satu sama lain dan setiap klaster memiliki ketidakmiripan dengan klaster lain. lasterisasi lazim digunakan dalam analisis data multivariat. Misalkan adalah jumlah klaster, C merupakan label klaster, dan P merupakan dataset. lasterisasi harus memenuhi kriteria sebagai berikut: C i, i {1,2,..., } (1) C C, i j and i, j {1,2,..., } (2) i C i i1 j P (3) B. Imputasi Missing Data Missing data adalah suatu kondisi hilangnya sebagian fitur pada dataset. Missing data dapat disebabkan oleh kesalahan sistem seperti tidak adanya respon terhadap sensor atau perangkat penerima input. Dapat pula disebabkan oleh human error seperti ketidaklengkapan memasukkan data pada database atau ketidakpahaman responden dalam pengisian kuisioner pada survey skala besar sehingga melewati form isian yang telah disediakan. Metode yang ada pada data mining hanya dapat memroses data yang memiliki kelengkapan fitur sehingga dibutuhkan penanganan khusus terhadap permasalahan ini. Ada 3 metode yang digunakan untuk penanganan missing data, yaitu : Case Deletion, Parameter Estimation, dan Imputation Techniques (Little dan Rubin, 2002). Case deletion merupakan metode yang paling mudah yaitu dengan cara menghapus data yang mengandung missing. elemahan dari metode ini adalah dimungkinkan informasi-informasi penting ikut terhapus ketika missing data dihapus. Teknik imputasi merupakan metode penanganan missing data yang lebih banyak diteliti. Imputasi data adalah memperkirakan nilai pada missing data dengan cara mendapatkan pola dari data yang memiliki fitur lengkap. Beberapa metode imputasi yang populer adalah: Mean, Median/Modus dan klasterisasi. Missing data adalah suatu kondisi dimana data tidak ada atau data hilang. Terdapat 3 mekanisme penghilangan data, antara laon Missing Completely at Random (MCAR), yaitu jika distribusi data yang hilang pada suatu atibut tidak tergantung pada data pengamatan atau missing data. Metode ini akan menggunakan dataset komplit kemudian membangkitkan missing data secara acak berdasarkan proporsi tertentu. euntungan dari metode ini adalah memudahkan para peneliti untuk estimasi komputasi dari model yang diusulkan Mekanisme lain adalah Missing at Random (MAR), yaitu jika distribusi data yang hilang pada suatu atribut tergantung pada data pengamatan tetapi tidak tergantung pada missing data. Yang terakhir adalah Not Missing at Random (NMAR), jika distribusi data yang hilang pada suatu atribut tergantung pada missing data (Pigott dan Therese, 2011).. C. -Means Algoritma M merupakan algoritma klasterisasi yang mengelompokkan data berdasarkan titik pusat klaster (centroid) terdekat dengan data. Tujuan dari M adalah pengelompokkan data dengan memaksimalkan kemiripan data dalam satu klaster dan meminimalkan kemiripan data antar klaster. Ukuran kemiripan yang digunakan dalam klaster adalah fungsi jarak. Sehingga pemaksimalan kemiripan data didapatkan berdasarkan jarak terpendek antara data terhadap titik centroid. Tahapan awal yang dilakukan pada proses klasterisasi data dengan menggunakan algoritma M adalah pembentukan titik awal centroid c j Pada umumnya pembentukan titik awal centroid dibangkitkan secara acak. Jumlah centroid c j yang dibangkitkan sesuai dengan jumlah klaster yang ditentukan di awal. Setelah k centroid terbentuk kemudian dihitung jarak tiap data x i dengan centroid ke-j sampai k, dinotasikan dengan d(x i,c j ). Terdapat beberapa ukuran jarak yang digunakan sebagai ukuran kemiripan suatu instance data, salah satunya adalah jarak Euid. Perhitungan jarak Euidean seperti pada Persamaan 4. Jika semakin kecil, kesamaan antara dua unit pengamatan semakin dekat. Syarat menggunakan jarak Euid adalah jika semua fitur dalam dataset tidak saling berkorelasi. Jika terdapat fitur yang berkorelasi maka menggunakan

3 konsep jarak Mahalanobis (Duran dan Odell, 1974). Selanjutnya dari jarak tersebut dicari yang terdekat sehingga data akan mengelompok berdasarkan centroid yang paling dekat. Tahap berikutnya adalah update titik centroid dengan menghitung rata-rata jarak seluruh data terhadap centroid. Selanjutnya akan kembali lagi ke proses awal. Iterasi ini akan diulangi terus sampai didapatkan centroid yang konstan artinya titik centroid sudah tidak berubah lagi. Atau iterasi dihentikan berdasarkan jumlah iterasi maksimal yang ditentukan (Agusta, 2007). Gambar 1 menunjukkan diagram alur algoritma M. N Tentukan k Bangkitkan centroid {cj,..,ck} Hitung d ij (x i,c j ), {i=1,..,n},{j=1,..,k} Tentukan klaster untuk tiap anggota Update centroid Selanjutnya untuk setiap data x i, hitung nilai keanggotaan m(c l x i ) untuk setiap titik pusat klaster c l berdasarkan Persamaan 6. p2 m( ) k p2 l1 (6) Untuk setiap data x i, hitung nilai bobot w(x i ) berdasarkan Persamaan 7. l1 w( ) l1 p2 (7) Untuk setiap titik pusat c j, ulang kembali perhitungan untuk posisi titik pusat klaster dari semua data berdasarkan nilai keanggotaan dan bobot yang dimiliki tiap data. Penentuan posisi titik pusat ini berdasarkan Persamaan 8. N m( ). w( ). i1 N m( ). w( ) i1 (8) Ulangi perhitungan nilai fungsi tujuan sampai update centroid sampai mendapatkan nilai fungsi tujuan yang tidak terdapat perubahan atau kurang dari ambang batas. Tetapkan keanggotaan data x i pada suatu klaster dengan titik pusat klaster c j sesuai dengan nilai keanggotaan x i terhadap c j. Tahapan HM dapat dilihat pada Gambar 2. p 2 Gambar 1. Diagram Prosedur M D. -Harmonic Means Algoritma HM merupakan pengembangan dari M yang memperbaiki kekurangan dari M dengan menggunakan fungsi obyektif yang didapatkan dengan cara meminimalisasi rata-rata harmonik dari jarak seluruh data dengan tiap centroid. Dari hasil penelitian menunjukkan bahwa HM tidak sensitif terhadap inisialisasi centroid dan secara signifikan meningkatkan kualitas klasterisasi dibandingkan dengan M (Zhang dkk 1999). Widiartha (2012) menjelaskan langkah-langkah HM sebagai berikuy: Langkah pertama HM adalah inisialisasi posisi titik pusat klaster awal secara random. emudian jika p adalah input parameter dan biasanya nilai p 2. hitung nilai fungsi tujuan Persamaan 5. N HM ( X, C) i1 1 p l1 x i c l (5) Y elompok data Inisialisasi centroid c i Tent nilai parameter p Hitung nilai keanggotaan tiap centroid m(c l x i ) dan nilai bobot w(x i ) Hitung nilai posisi centroid c i baru Tetapkan keanggotaan data x i pada suatu klaster dengan titik pusat klaster c Gambar 2. Diagram Prosedur HM III. METODE Untuk mengimplementasikan algoritma pengelompokan data HM sebagai metode imputasi missing data, langkah pertama adalah membagi data yang digunakan menjadi data latih dan data uji. Data yang digunakan adalah data komplit yang tidak mengandung missing data. Langkah berikutnya adalah melakukan pengelompokan data dari data latih tersebut menggunakan HM. Dari proses pengelompokan

4 Dataset Membangkitkan missing data (proporsi = 10%, 30% 50%) HM M Mean Median Membandingkan nilai MSE Gambar 3. Bagan Penelitian ini akan diperoleh masing-masing centroid untuk setiap kelompok data. emudian pada data uji dilakukan penghilangan nilai atribut menggunakan teknik MCAR hingga data uji terdiri dari data komplit D c dan data missing D m. Proporsi penghilangan nilai atribut ini sebesar 10%, 30%, dan 50%. emudian dilakukan tahap imputasi dengan menghitung jarak Euidean sesuai dengan Persamaan 1 antara setiap data uji yang mengandung missing data D m dengan masing-masing titik centroid pada setiap kelompok data. Centroid terdekat berdasarkan jarak tersebut akan mengisi atribut yang hilang pada D m. Proses ini dilakukan sampai seluruh missing data terisi. Evaluasi dilakukan dengan menghitung nilai Mean Square Error (MSE) antara nilai imputasi dengan nilai real. Jika merupakan dataset real dan merupakan dataset hasil imputasi maka MSE dapat ditentukan dengan persamaan : Bagan metode penelitian ini dapat dilihat pada Gambar 3. IV. UJI COBA DAN ANALISIS A. Data Uji Coba Data yang digunakan dalam uji coba ini adalah dataset iris, wine, dan glass yang diambil dai UCI Machine Learning Repository. Dataset tersebut merupakan dataset yang lengkap yang tidak terdapat missing value pada data. arakteristik dataset tersebut dapat dilihat pada Tabel 1. TABEL 1. DATASET Dataset Instance Atribut Iris Wine Glass B. Skenario Uji Coba Pengujian dilakukan pada beberapa metode imputasi untuk menganalisa performa dari metode imputasi. Pada penelitian ini terdapat 4 metode yang akan diujicobakan yaitu HM, M, Mean, dan Median. Proses pertama yang akan dilakukan untuk imputasi data dari data komplit adalah membangkitkan missing data. Dengan cara menghilangkan beberapa instance secara acak, berturut-turut dengan proporsi 10%, 30%, dan 50%. Setelah diperoleh dataset dengan missing data, proses imputasi dilakukan. Evaluasi dari hasil imputasi dilihat dari perhitungan MSE. Dalam setiap imputasi untuk masing-masing dataset dan proporsi dilakukan 10 kali replikasi. Dimana dari setiap replikasi akan dihitung nilai MSE sehingga dari 10 replikasi akan didapatkan nilai rata-rata MSE untuk tiap metode. Pada akhirnya uji one way ANOVA dilakukan untuk mengetahui performa terbaik dari metode yang diujikan C. Hasil Uji Coba Pada pengujian menggunakan metode HM, parameter yang digunakan adalah p = 2. Berikut ini Tabel 2 menunjukkan nilai rata-rata MSE yang diperoleh dari 10 replikasi. Metode HM M TABEL 2. HASIL UJI COBA Proporsi Rata-rata MSE Iris Glass Wine 10% % % % % %

5 Metode Mean Median Proporsi Rata-rata MSE Iris Glass Wine 10% % % % % % Dari pengamatan secara rata-rata metode imputasi pengelompokan data HM memiliki MSE paling rendah. Dalam pengujian data hasil 10 replikasi antara metode HM dengan M, Mean, dan Median diatas digunakan uji statistik ANOVA dengan taraf kepercayaan 95%. Dengan menggunakan software SPSS 17, diperoleh nilai p-value untuk perbandingan metode HM dengan metode imputasi M, Mean, dan Median dapat dilihat pada Tabel 3. Nilai yang ditunjukkan adalah nilai p-value antara metode HM dengan metode lainnya. Tabel 3. HASIL UJI STATISTI Metode Data Proporsi HM Iris Glass Wine p M Mean Median 10% % % % % % % % % Jika diambil nilai α = 0.05, maka hal ini menunjukkan bahwa metode imputasi HM menunjukkan hasil yang baik secara signifikan jika dibandingkan dengan Mean dan Median, namun tidak untuk M karena nilai yang ditunjukkan kurang dari nilai batas α. Dari sini bisa disimpulkan bahwa secara rata-rata metode HM memiliki performa yang bagus dengan menghasilkan MSE yang paling kecil jika dibandingkan dengan tiga metode pembandingnya. Namun, pada kasus tertentu HM memberikan nilai MSE yang sama dengan metode imputasi NN dan Median. Hal ini disebabkan proses pemilihan data hilang adalah secara random sehingga adakalanya nilai nilai yang hilang merupakan median itu sendiri. V. ESIMPULAN Hasil imputasi menggunakan HM memberikan nilai MSE paling kecil untuk semua dataset yakni untuk dataset Iris, untuk dataset Glass, dan untuk dataset Wine. Jika dibandingkan dengan teknik imputasi M, Mean, dan Median, secara rata-rata imputasi missing data menggunakan algoritma pengelompokan data HM menunjukkan hasil yang lebih baik. Namun hasil uji statistik menunjukkan bahwa perbedaan secara signifikan terjadi antara HM dengan Mean dan Median, tidak dengan M. Dari hasil yang telah didapatkan, dapat disimpulkan bahwa secara ratarata HM mampu memberikan nilai akurasi yang lebih baik jika dibandingkan dengan metode M namun perbedaan ini tidak terlihat signifikan. DAFTAR PUSTAA Agusta, Y, 2007, -Means Penerapan, Permasalahan dan Metode Terkait. Jurnal Sistem dan Informatika Vol. 3, Du,.L., 2010, Clustering A neural network approach. Neural Network, 23, pp Duran, B.S., Odell, P.L.,1974, Cluster Analysis : A Survey, Springer-Verlag, Berlin and New York Little, R. J. dan Rubin, D.B Statistical analysis with missing data. Second Edition. John Wiley and Sons, New York. Hammerly, G., dan Elkan, C., 2002, Alternatives to The - Means Algorithm that Find Better Clusterings, Proceedings of the 11th international conference on information and knowledge management, hal Malarvizhi, T. 2012, -NN assifier performs better than k- means ustering in missing value imputation, IOSR Journal of Computer Engineering, Vol.6, No. 5, hal Pen, J.M., Lozano, J.A., dan Larranaga, P. (1999), An Empirical Comparison of Four Initialization Methods for The -Means Algorithm, Pattern Recognition Letters, Vol. 20, hal Pigott D.T., A review of methods for missing data. Educational Research and Evaluation, Vol. 7, No.4, hal Widiartha, I.M, Arifin, A.Z., Yuniarti, A., 2012, lasterisasi Data Iris Menggunakan Metode Berbasis Artificial Bee Colony Dan -Harmonic Means Tesis Pascasarjana Jurusan T. Informatika, FTIF, Institut Teknologi Sepuluh Nopember, Surabaya. Zhang, B., Hsu, M., dan Dayal, U. 1999, -Harmonic Means A Data Clustering Algorithm, Technical Report HPL , Hewlett-Packard Laboratories.