PENDAHULUAN TINJAUAN PUSTAKA

Transkripsi

1 Laar Belakang PENDAHULUAN Basis daa saa ini elah berkembang sanga cepa. Di dalam umpukan daa ersebu mungkin erdapa informasi ersembunyi yang sanga pening aau menjadi pening pada saa dibuuhkan. Penumpukan daa ersebu dialami pula oleh beberapa organisasi ermasuk Deparemen Peranian yang elah mengumpulkan daa sekor peranian selama berahun-ahun. Daa ersebu erdiri dari berbagai subsekor, yang salah saunya adalah daa anaman pangan dan horikulura, dan elah ersimpan sejak ahun Perumbuhan yang pesa dari akumulasi daa iu elah mencipakan kondisi yang sering disebu sebagai rich of daa bu poor of informaion. Oleh karena iu, diperlukan suau cara agar kumpulan daa ersebu idak hanya dibiarkan menggunung namun dapa di ambang unuk mencari informasi yang berguna bagi organisasi yang bersangkuan. Daa anaman pangan dan horikulura yang dimiliki Deparemen Peranian elah dianalisis pada peneliian sebelumnya dengan menerapkan eknik klasifikasi menggunakan meode pohon kepuusan dengan algorime C5.0 (Purnamasari 2006). Tahap preprocessing adalah salah sau langkah yang perlu dilakukan agar daa dapa sesuai unuk daa mining. Sraegi aau pendekaan yang sering digunakan adalah agregasi, sampling, reduksi dimensional, feaure subse selecion, pembuaan fiur, diskreisasi dan binerisasi, sera ransformasi variabel. Pendekaanpendekaan ini dapa dikelompokkan ke dalam dua kaegori, yaiu seleksi objekobjek daa dan aribu-aribu unuk analisis aau pembuaan/perubahan aribu. Tujuan dari kedua kaegori ersebu adalah unuk meningkakan analisis daa mining erhadap waku, biaya dan kualias (Tan e al. 2005). Pendiskrean aribu merupakan salah sau aspek yang pening dalam daa mining salah saunya dalam meode klasifikasi. Ada beberapa meode unuk mendiskrekan daa yaiu binning, analisis hisogram, diskreisasi berbasis enropy, X 2 - merging, analisis cluser, dan diskreisasi dengan Parisi Inuiif. (Han & Kamber 2006). Dalam peneliian ini ahapan praproses daa akan menggunakan eknik diskreisasi Parisi Inuiif dan clusering menggunakan algorime K-means yang diaplikasikan pada Daa Tanaman Padi, Tanaman Pangan dan Horikulura, Deparemen Peranian. Tujuan Tujuan peneliian ini adalah : Menerapkan eknik Parisi Inuiif dan clusering dengan algorime K-Means dalam diskreisasi aribu. Menerapkan hasil diskreisasi pada eknik klasifikasi dengan meode pohon kepuusan menggunakan algorime ID3 yang diaplikasikan pada daa anaman padi, anaman pangan dan horikulura, Deparemen Peranian. Membandingkan akurasi pohon yang dihasilkan dengan Parisi Inuiif dan clusering sebagai meode diskreisasi aribu. Ruang Lingkup Dalam peneliian ini pohon kepuusan dibua menggunakan algorime ID3 yang ersedia dalam perangka lunak WEKA (Waikao Environmen for Knowledge Analysis). Daa yang digunakan dalam peneliian ini adalah daa komodias peranian khususnya daa anaman padi, anaman pangan dan horikulura, Deparemen Peranian dari ahun (daa berasal dari Badan Pusa Saisik) Daa Mining TINJAUAN PUSTAKA Daa mining merupakan proses eksraksi informasi daa berukuran besar (Han & Kamber 2006). Daa mining merupakan keseluruhan proses mengaplikasikan kompuer dan bermacammacam eknik unuk menemukan informasi dari sekumpulan daa. Dari sudu pandang analisis daa, daa mining dapa diklasifikasikan menjadi dua yaiu descripive daa mining dan predicive daa mining. Descripive daa mining menjelaskan sekumpulan daa dalam cara yang lebih ringkas. Ringkasan ersebu menjelaskan sifa sifa yang menarik dari daa. Predicive daa mining menganalisis daa dengan ujuan mengkonsruksi sau aau sekumpulan model dan melakukan prediksi

2 perilaku dari kumpulan daa yang baru.(tan e al 2005). Aplikasi daa mining elah banyak dierapkan pada berbagai bidang, seperi analisis pasar dan manajemen resiko, elekomunikasi, asuransi dan keuangan. Praproses Daa Hal yang sering diemui pada basis daa adalah daa idak lengkap (erdapa daa yang bernilai null aau hanya berisi daa agrega), mengandung noise (erdapa error, aau berisi nilai yang idak semesinya), dan idak konsisen. Pemrosesan daa dengan eknik praproses daa dapa memperbaiki kualias daa, dengan demikian membanu memperbaiki akurasi dan efisiensi proses pengolahan daa selanjunya (Han & Kamber 2006). Tahapan praproses daa adalah (Han & Kamber 2006): 1 Pembersihan daa (cleaning) Pada proses ini daa koor dihilangkan dan diperbaiki. Pembersihan dilakukan dengan mengisi nilai yang kosong, mengurangi aau menghilangkan noise dan memperbaiki keidakkonsisenan dalam daa. Permasalahan daa koor dan cara membersihkannya yaiu: Nilai yang kosong (hilang) Unuk mengaasi nilai yang kosong dalam daa dapa dilakukan penghapusan uple, menggani nilainya secara manual, isi dengan konsana global seperi unknown aau, menggunakan nilai raa-raa dari aribu yang kosong, isi dengan nilai raa-raa dari kelas yang sama, dan isi nilai yang mungkin melalui meode regresi, induksi pohon kepuusan dan lain sebagainya. Nilai mengandung noise Daa dengan nilai yang mengandung noise dapa digani dengan nilai hasil perhiungan dengan meode binning (mengelompokkan nilai), meode regresi, aau dengan cara clusering. Daa idak konsisen Daa idak konsisen diperbaiki dengan menyeragamkan daa dengan menggunakan referensi eksernal. 2 Inegrasi daa Inegrasi daa adalah penggabungan daa dari berbagai sumber penyimpanan daa. Proses inegrasi mungkin akan menimbulkan beberapa masalah seperi masalah idenifikasi enias misalnya pada enias yang sama erdapa nama yang berbeda. Redudansi juga menjadi salah sau masalah, erdapa lebih dari sau uple unuk sau daa unik. Masalah lainnya yang imbul adalah konflik nilai daa, disebabkan oleh perbedaan represenasi nilai, misal pada sau daa menggunakan sauan kilogram sedang pada daa lain menggunakan sauan on. 3 Transformasi daa (ransformaion) Tahap ransformasi daa dilakukan agar daa eap konsisen yaiu seelah dilakukan inegrasi dengan sumber daa yang lain, ampilan dan isi eap sama. Daa dari bermacam sumber diberi forma dan nama yang umum. Transformasi yang pening adalah ransformasi nama agar idak ada nama aribu yang sama aau aribu yang sama memiliki nama yang berbeda pada basis daa yang berbeda (Kanardzic 2003). Transformasi daa mencakup hal beriku: Smoohing. Dilakukan unuk menghilangkan noise dari daa. Tekniknya melipui binning, regresi, dan clusering. Agregasi. Peringkasan dan agregasi dierapkan pada daa, misalnya daa penjualan harian bisa diagregasi menjadi daa penjualan bulanan. Generalisasi. Daa ingka rendah diganikan dengan ingka yang lebih inggi menggunakan konsep hirarki. Misalkan kaegori jalan bisa digeneralisasikan menjadi kaegori ingka lebih inggi yaiu koa aau negara. Normalisasi yaiu proses dimana daa sebuah aribu diskalakan ke dalam renang (kecil) yang dienukan. Konsruksi aribu. Aribu baru dibua dan diambah dari aribu-aribu yang ada unuk membanu proses pengolahan daa selanjunya. 4 Reduksi daa Teknik reduksi daa dierapkan unuk memperoleh represenasi ereduksi dari sejumlah daa yang berimplikasi pada volume yang jauh lebih kecil. Sraegi mereduksi daa melipui: Agregasi kubus daa. Operasi agregasi dierapkan pada daa dalam konsruksi kubus daa. Reduksi dimensi. Penghilangan aribu aau dimensi yang idak relevan, relevansinya idak kua, aau redundan.

3 Kompresi daa, mereduksi ukuran daa dengan mekanisme encoding. Numerosiy reducion. Daa digani aau diesimasikan dengan alernaifnya. Diskreisasi dan generasi konsep hirarki. Nilai-nilai daa ingka rendah digani dengan ingka konsepual yang lebih inggi. Diskreisasi merupakan benuk dari numerosiy reducion yang berguna unuk membangkikan konsep hirarki secara oomais. Dijelaskan oleh Han & Kamber (2006) bahwa ahapan praproses daa idak erpisah sendiri-sendiri (no muually exclusive). Mungkin saja saa proses pembersihan dilakukan, proses ransformasi juga dilakukan di dalamnya. Diskreisasi Teknik diskreisasi digunakan unuk mengurangi jumah nilai pada aribu yang diberikan, dengan membagi kisaran nilai aribu ke dalam sejumlah inerval. Label inerval ersebu kemudian dapa digunakan unuk mengganikan nilai daa yang akual. Meode diskreisasi dianaranya: binning, analisis hisogram, diskreisasi berbasis enropy, X 2 -merging, analisis cluser, dan diskreisasi dengan Parisi Inuiif (Han & Kamber 2006). - Binning Meode ini menghaluskan nilai yang elah eruru dengan nilai di sekiarnya, nilai ersebu didisribusikan ke dalam sejumlah bucke aau bins. Daa yang elah eruru adi diparisi ke dalam bins dengan kedalaman yang sama, misal 3 maka seiap bins akan berisi 3 nilai. - Analisis Hisogram Seperi binning, analisis hisogram adalah meode diskreisasi yang idak erawasi karena dia idak menggunakan informasi kelas. Hisogram memparisi nilai dari aribu ke dalam bucke. Secara khas lebar masing masing bucke adalah seragam. Seiap bucke diampilkan melalui hisogram yang ingginya mewakili frekuensi dari nilai seiap bucke. - Diskreisasi berbasis enropy Enropy adalah salah sau meode diskreisasi yang sering digunakan. Diskreisasi berbasis enropy adalah eknik parisi op-down. Unuk mendiskrekan aribu numerik, meode ini memilih nilai dari aribu yang memiliki enropy minimum sebagai spli-poin, dan secara rekursif memparisi hasil inerval yang dihasilkan. - X 2 -merging Dasar meode diskreisasi ini adalah ChiMerge. Ide dasar unuk diskreisasi akura adalah nilai yang mirip secara konsisen digabungkan ke dalam sebuah inerval. Jika ada dua inerval yang bersebelahan dan mempunyai disribusi nilai yang mirip, maka inervalnya bisa digabung. Selainnya inerval yang lain eap harus dipisahkan. - Analisis cluser Analisis cluser juga meode diskreisasi yang cukup populer. Meode ini mengelompokkan nilai nilai yang sama ke dalam sebuah group (cluser) - Diskreisasi dengan Parisi Inuiif Meode ini digunakan karena banyak pengguna yang menginginkan seiap range diparisi menjadi inerval yang cukup seragam, dan seiap inerval mudah dibaca karena erliha inuiif aau naural. Auran dapa digunakan unuk membagi daa numerik menjadi daa yang cukup seragam. Secara umum, auran parisi membagi kisaran daa menjadi 3, 4 aau 5 inerval yang lebarnya cukup sama, rekursif, dan seiap ingkaan berdasar pada kisaran nilai dengan angka yang paling signifikan. Penjelasan mengenai auran ini adalah sebagai beriku : Jika inerval mencakup 3, 6, 7, 9 nilai yang berbeda dari angka signifikan maka renang nilai diparisi menjadi 3 inerval. Unuk nilai 3, 6, dan 9, inerval dibagi menjadi 3 dengan lebar yang sama sedangkan unuk nilai 7, inerval akan dikelompokkan dengan perbandingan lebar Jika inerval mencakup 2, 4, aau 8 nilai yang berbeda dari angka signifikan maka renang nilai diparisi menjadi 4 inerval dengan lebar yang sama. Jika inerval mencakup 1,5 aau 10 nilai yang berbeda dari angka signifikan maka renang nilai diparisi menjadi 5 inerval dengan lebar yang sama. Algorime K-Means Dasar dari eknik clusering adalah membenuk suau level parisi pada suau objek daa. Clusering memiliki bermacammacam eknik, namun dua eknik yang

4 banyak digunakan adalah K-Means dan K- Medoid (Tan e al. 2005). K-Means merupakan algorime clusering yang sederhana. K-Means membagi daa menjadi beberapa cluser, seiap cluser memiliki nilai engah yang disebu dengan cenroid. Seiap nilai dimasukkan ke dalam cluser yang deka dengan cenroid. Jumlah cluser pada algorime ini erganung kepada masukan dari penggunanya. Algorime dasar dari K- Means adalah (Tan e al. 2005): Selec K poins as he iniial cenroids Repea From K cluser by assigning all poins o he closes cenroids Recompued he cenroids of each cluser Unil he cenroids don change Algorime ID3 Algorime ID3 diperkenalkan dan dikembangkan perama kali oleh Ross Quinlan. Algorime ID3 membenuk pohon kepuusan dengan meode divide-andconquer daa secara rekursif dari aas ke bawah. Sraegi pembenukan Decision Tree dengan algorime ID3 adalah (Quinlan, 2008): 1 Pohon dimulai sebagai node unggal (akar/roo) yang merepresenasikan semua daa. 2 Sesudah node akar dibenuk, maka daa pada node akar akan diukur dengan informaion gain unuk dipilih aribu mana yang akan dijadikan aribu pembaginya. 3 Sebuah cabang dibenuk dari aribu yang dipilih menjadi pembagi dan daa akan didisribusikan ke dalam cabang masingmasing. 4 Algorime ini akan erus menggunakan proses yang sama aau bersifa rekursif unuk dapa membenuk sebuah pohon kepuusan. Keika sebuah aribu elah dipilih menjadi node pembagi aau cabang, maka aribu ersebu idak diikukan lagi dalam penghiungan nilai informaion gain. 5 Proses pembagian rekursif akan berheni jika salah sau dari kondisi di bawah ini erpenuhi: a Semua daa dari anak cabang elah ermasuk dalam kelas yang sama. b Semua aribu elah dipakai, eapi masih ersisa daa dalam kelas yang berbeda. Dalam kasus ini, diambil daa yang mewakili kelas yang erbanyak unuk menjadi label kelas pada node daun. c Tidak erdapa daa pada anak cabang yang baru. Dalam kasus ini, node daun akan dipilih pada cabang sebelumnya dan diambil daa yang mewakili kelas erbanyak unuk dijadikan label kelas. Pohon Kepuusan Decision Tree adalah salah sau eknik klasifikasi sederhana yang banyak digunakan. Masalah klasifikasi diselesaikan dengan mengajukan serangkaian peranyaan enang aribu dari es record. Rangkaian peranyaan ersebu dan jawabanjawabannya diorganisasikan ke dalam benuk pohon kepuusan, yang merupakan srukur hirarki yang erdiri dari node-node dan edge-edge berarah. Dalam pohon kepuusan, leaf node diberikan sebuah label kelas. Non-erminal node, yang erdiri dari roo dan inernal node lainnya, mengandung kondisi-kondisi uji aribu unuk memisahkan record yang memiliki karakerisik yang berbeda. Seelah pohon kepuusan dikonsruksi, es record dapa diklasifikasi. Bermula dari roo, kondisi es diaplikasikan ke record dan mengikui cabang yang sesuai berdasarkan keluaran dari es. Hal ini akan membawa kia ke inernal node yang lain, dimana kondisi es yang baru diaplikasikan, aau ke leaf node (Tan e al. 2005). Roo Means Square Error (RMSE) (Meese dan Rogoff 1983, diacu dalam Wibowo dan Amir 2005) menyaakan beberapa meode dapa digunakan unuk menunjukkan kesalahan dari suau eknik prakiraan. Meode yang digunakan adalah menggunakan analisis residual yaiu meliha kesalahan aau perbedaan anara nilai hasil prakiraan dengan nilai yang sebenarnya erjadi. Kesalahan prakiraan pada periode dapa dirumuskan e = Y di mana: Yˆ e = kesalahan prakiraan pada periode

5 Y = nilai sebenarnya pada periode Yˆ = nilai prakiraan pada periode Salah sau meode yang sering digunakan adalah Roo Mean Square Error (RMSE). Meode prakiraan yang mempunyai RMSE erkecil adalah meode yang erbaik. RMSE didefinisikan sebagai akar dari MSE. n Y Yˆ 2 ( ) = 1 MSE = n METODE PENELITIAN Proses Dasar Sisem Proses dasar sisem mengacu pada proses dalam Knowledge Discovery in Daabase (KDD) (Tan e al. 2005). Proses ini dapa diliha pada gambar beriku: RMSE = MSE Cross Validaion Cross validaion adalah meode yang umum digunakan unuk mengevaluasi kinerja classifier. Dalam pendekaan crossvalidaion, seiap record digunakan beberapa kali dalam jumlah yang sama unuk raining dan epa sekali unuk esing. Meode ini memparisi daa ke dalam dua subse yang berukuran sama. Pilih sau dari kedua subse ersebu unuk raining dan sau lagi unuk esing. Kemudian dilakukan perukaran fungsi dari subse sedemikian sehingga subse yang sebelumnya sebagai raining se menjadi es se demikian sebaliknya. Pendekaan ini dinamakan wofold cross-validaion. Toal error diperoleh dengan menjumlahkan error-error unuk kedua proses ersebu. Dalam conoh ini, seiap record digunakan epa sau kali unuk raining dan sau kali unuk esing. Meode k-fold cross-validaion men-generalisasi pendekaan ini dengan mensegmenasi daa ke dalam k parisi berukuran sama. Selama proses, salah sau dari parisi dipilih unuk esing, sedangkan sisanya digunakan unuk raining. Prosedur ini diulangi k kali sedemikian sehingga seiap parisi digunakan unuk esing epa sau kali. Toal error dienukan dengan menjumlahkan error unuk semua k proses ersebu. Kasus khusus unuk meode k-fold cross-validaion meneapkan k = N, ukuran dari daa se. Meode ini dinamakan pendekaan leave-one-ou, seiap es se hanya mengandung sau record. Pendekaan ini memiliki keunungan dalam penggunaan sebanyak mungkin daa unuk raining. Tes se bersifa muually exclusive dan secara efekif mencakup keseluruhan daa se. Kekurangan dari pendekaan ini adalah banyaknya kompuasi unuk mengulangi prosedur sebanyak N kali (Tan e al. 2005). Gambar Tahapan dalam KDD 1 Praproses Daa Praproses daa melipui pembersihan daa, inegrasi daa, ransformasi dan seleksi daa. Pembersihan daa dilakukan unuk menghilangkan daa yang idak konsisen dan mengandung noise. Proses pembersihan daa pada peneliian ini merujuk kepada peneliian sebelumnya (Purnamasari 2006). Transformasi dilakukan unuk membenuk daa menjadi benuk yang epa unuk di-ambang. Pada proses ini dilakukan diskreisasi aribu daa pada daa anaman padi. Praproses dimulai dengan memisahkan daa anaman padi dari seluruh propinsi. Baru kemudian dilakukan proses diskreisasi menggunakan Parisi Inuiif. Meode ini menggunakan auran sebagai dasar unuk membagi daa. Dari seiap aribu diambil nilai maksimum (MAX) dan minimum (MIN) sebagai baas inerval. Seelah iu dicari nilai 5 persenil (LOW) dan nilai 95 persenil (HIGH). Nilai persenil ini sebagai acuan menenukan MSD (Mos Significan Digi), seelahnya nilai 5 persenil dibulakan kebawah sesuai sauan MSD menjadi LOW dan 95 persenil dibulakan ke aas sesuai dengan sauan MSD menjadi HIGH. Nilai yang didapa akan digunakan unuk mencari jumlah inerval dengan auran (HIGH -LOW )/MSD. Angka yang didapakan disesuaikan dengan