PENDAHULUAN TINJAUAN PUSTAKA

Transkripsi

1 1 ENDAHULUAN Latar Belakang Klasfkas adalah proses menemukan sekumpulan model yang menggambarkan serta membedakan kelas-kelas data. Tujuan dar klasfkas adalah agar model yang dhaslkan dapat dgunakan untuk mempredks kelas dar suatu data yang tdak mempunya label kelas. Jka dberkan sekumpulan data yang terdr dar beberapa ftur dan kelas, maka klasfkas adalah menemukan model dar kelas tersebut sebaga fungs dar ftur-ftur yang lan. ada umumnya algortma klasfkas menggunakan semua ftur yang terdapat pada data untuk membangun sebuah model, padahal tdak semua ftur tersebut relevan terhadap hasl klasfkas. Apabla hal tersebut terjad pada data yang memlk ukuran dan dmens yang sangat besar, maka membuat knerja algortma menjad tdak efektf dan efsen, msalnya saja waktu pemrosesan menjad lebh lama akbat banyak ftur yang harus dproses. alah satu solus yang dgunakan untuk mengatas masalah tersebut adalah dengan menggunakan seleks ftur. eleks ftur adalah salah satu tahap praproses pada klasfkas. eleks ftur dlakukan dengan cara memlh ftur-ftur yang relevan terhadap data yang mempengaruh hasl klasfkas. eleks ftur dgunakan untuk mengurang dmens data dan ftur yang tdak relevan, serta untuk menngkatkan efektftas dan efsens knerja dar algortma klasfkas. Algortma Fast Correlaton Based Flter adalah salah satu algortma seleks ftur yang dkembangkan oleh Yu dan Huan (003). Konsep utama dar algortma n adalah menghlangkan ftur-ftur yang tdak relevan serta menyarng ftur-ftur yang redundant terhadap ftur-ftur yang lan. Berdasarkan peneltan yang dlakukan Yu dan Huan (003) dperoleh hasl bahwa Fast Correlaton Based Flter sangat efsen dalam melakukan seleks ftur serta memberkan performa yang bak bag knerja algortma klasfkas, bak dar seg waktu maupun akuras hasl klasfkas. eneltan Yu dan Huan (003) menggunakan sepuluh data sets dan devaluas haslnya dengan menggunakan algortma klasfkas C4.5 dan NBC. Tujuan eneltan Tujuan dar peneltan n adalah menerapkan metode seleks ftur Fast Correlaton Based Flter pada klasfkas data menggunakan Algortma Votng Feature Intervals 5. Ruang Lngkup Ruang lngkup peneltan n yatu penerapan seleks ftur menggunakan algortma Fast Correlaton Based Flter pada klasfkas data menggunakan algortma Votng Feature Intervals 5 dengan bobot setap ftur pada semua data seragam. Manfaat eneltan eneltan n dharapkan dapat memberkan nformas, pengetahuan serta kontrbus terutama untuk memperbak knerja algortma klasfkas Votng Feature Intervals 5 menggunakan seleks ftur sehngga menjad lebh efektf dan efsen. TINJAUAN UTAKA eleks Ftur eleks ftur adalah salah satu tahapan praproses yang berguna terutama dalam mengurang dmens data, menghlangkan data yang tdak relevan, serta menngkatkan hasl akuras (Yu dan Lu 003). Jan dan Zongker (1997) mendefnskan masalah seleks ftur sebaga berkut: dberkan sekumpulan ftur lalu dplh beberapa ftur yang mampu memberkan hasl yang terbak pada klasfkas. Ada dua ttk berat seleks ftur dengan pendekatan machne learnng menurut ortale (00) yatu memlh ftur yang akan dgunakan dan menjelaskan secara konsep bagamana mengkombnaskan ftur-ftur tersebut untuk menghaslkan konsep nduks yang benar atau hasl yang sesua. eleks ftur dgunakan memberkan karaktersk dar data. eleks ftur merupakan salah satu peneltan yang banyak dlakukan d berbaga bdang sepert pattern recognton, process dentfcaton, dan tme seres modellng.

2 Fast Correlaton Based Flter (FCBF) Algortma Fast Correlaton Based Flter adalah algortma seleks ftur yang dkembangkan oleh Yu dan Lu (003). Algortma n ddasarkan pada pemkran bahwa suatu ftur yang bak adalah ftur-ftur yang relevan terhadap kelas tap tdak redundant terhadap ftur-ftur relevan yang lan. Oleh karena tu, Le Yu dan Huan Lu melakukan dua pendekatan dengan mengukur korelas antara dua varabel acak yatu berdasar pada classcal lnear correlaton/ lnear correlaton coeffcent dan berdasar pada teor nformas. endekatan lnear correlaton coeffcent untuk setap varabel (X, Y) drumuskan sebaga berkut r = ( x x )( y y ) ( x x y y ) ( ) x adalah rata-rata dar X dan y adalah rata-rata dar Y serta rentang nla r berada antara 1 dan 1. Jka X dan Y memlk korelas maka nla r adalah 1 atau -1. Jka tdak berkorelas maka nla r adalah 0. Ada beberapa keuntungan menggunakan pendekatan n yatu mudah untuk menghlangkan ftur-ftur yang tdak relevan dengan memlh ftur yang nla korelasnya 0 dan membantu mengurang redundant pada ftur-ftur yang sudah dplh. Namun pendekatan n juga memlk keterbatasan yatu membutuhkan ftur-ftur yang memlk nla-nla numerk. Untuk mengatas hal n dlakukan pendekatan yang kedua yatu pendekatan berdasar pada nformaton-theorcal concept of entropy (mengukur ketdakpastan pada random varabel). Entrophy dar varabel X ddefnskan sebaga berkut: H ( x) = ( x x ) log ( ( )) Entrophy dar varabel X jka dketahu varabel Y ddefnskan sebaga berkut: H ( X Y) = ( y x y x y j j ) ( j )log ( ( j )) ( x ) adalah pror probabltes untuk semua nla X dan ( x y ) adalah posteror probabltes dar X jka dketahu nla Y. Dar entrophy tersebut dapat dperoleh Informaton Gan sebaga berkut: IG( X Y ) = H ( X ) H ( X Y ) Untuk mengukur korelas antar ftur, maka dgunakan symmetrcal uncertanty. Nla symmetrcal uncertanty berksar pada rentang 0 sampa dengan 1. ymmetrcal uncertanty drumuskan sebaga berkut: U ( X, Y ) = IG( X Y ) H ( X ) H ( Y ) Ada beberapa konsep yang dgunakan dalam algortma Fast Correlaton Based Flter yatu predomnant correlaton untuk menentukan korelas antar ftur dengan kelas, dan heurstc-heurstc yang dgunakan untuk mengasumskan jka ada dua ftur salng redundant dan salah satunya harus dhlangkan. redomnant correlaton ddefnskan pada Gambar 1, sedangkan heurstc-heurstc yang dgunakan pada algortma Fast Correlaton Based Flter dtamplkan pada Gambar. Gambar 1 redomnant correlaton (Yu 003) Defnton 1 (redomnant Correlaton). The correlaton between a feature F ( F ) and the class C s predomnant ff U, c δ, and F j ' ( j ), there exsts no F j such that U j, U, c f there exsts such F j to a ftur F, we call t a redundant peer to F and use to denote the set of all redundant peers to for F. Gven F ' and ( ), we dvde p nto two parts and -, where { F j,,, } F j U j c U c {, }. = > and = F j F j U j c U,, c Defnton (redomnant Feature) A feature s predomnant to the class ff ts correlaton to the class s predomnant or can become predomnant after removng ts redundant peers.

3 3 Heurstc 1 ( f = ). Treat F as a predomnant feature, remove all ftur n, and skp dentfyng redundant peers of them. Heurstc ( f features n ). rocess all, before makng a decson on F. If none of them become predomnant, follow Heurstc 1; otherwse only remove F and decde whether or not to remove features n based on other ftur n. Heurstc 3 (startng pont). The feature wth the largest U,c value s always predomnant feature and can be a startng pont to remove other feature. Gambar Heurstc pada FCBF (Yu 003) seudocode dar algortma Fast Correlaton Based Flter dtamplkan pada Gambar 3. Jka dberkan data dengan N ftur dan kelas C, maka algortma Fast Correlaton Based Flter menentukan predomnant ftur best untuk setap kelas. Tahapan n terdr dar dua bagan. Tahapan pertama, menghtung nla U untuk setap ftur, memlh ftur-ftur yang relevan lalu dmasukkan ke lst berdasarkan nla threshold δ, dan mengurutkannya sesua dengan nla U. Tahapan kedua, menghlangkan ftur-ftur yang redundant. Berdasarkan Heurstc 1, ftur F p yang sudah dtentukan sebaga predomnant ftur dapat dgunakan untuk mem-flter ftur- ftur yang lan yang berada pada urutan d bawahnya. Tahapan kedua n dmula dar elemen pertama (Heurstc 3) pada lst sampa tdak ada lag ftur yang dhlangkan dar lst. Jka F p menemukan bahwa F q adalah redundant maka F q akan dhlangkan dar lst (Heurstc ). nput : (F 1, F,, F N,C) // a tranng data set δ // a predefned threshold output : best // an optmal subset begn for = 1 to N do begn calculate U,c for F ; U, δ ) f ( c append F to lst ; end; order lst n descendng U,c value; F p = getfrstelement( lst ); do begn F q = getnextelement( lst, F p ); f ( F q < > NULL) do begn F q = F q ; f ( U p, q U q, c ) remove F q from lst ; F q = getnextelement( lst, F' q ); else F q = getnextelement( lst, F q ); end untl (F q = NULL); F p = getnextelement( lst, F p ); end untl (Fp==NULL) best = lst ; end; Gambar 3 Algortma FCBF (Yu 003)

4 4 Votng Feature Intervals 5 (VFI5) Votng Feature Intervals 5 adalah salah satu algortma klasfkas yang merepresentaskan deskrps sebuah konsep oleh sekumpulan nterval nla-nla ftur (Guvenr 1998). Klasfkas menggunakan algortma n ddasarkan pada vote dar nlanla pada ftur. Algortma n dsebut non ncremental classfcaton algorthm karena semua data tranng hanya dproses satu kal. Algortma n dkembangkan oleh Guvenr dan Demroz (1998). Cara kerja algortma n yatu membuat nterval dar setap ftur menggunakan nstance-nstance yang terdapat pada ftur tersebut. Interval yang dbuat dapat berupa range nterval atau pont nterval. ont nterval terdr dar seluruh end pont semua ftur secara berurut sedangkan range nterval terdr dar nla-nla antara dua end pont yang berdekatan namun tdak termasuk kedua end pont tersebut. Nla vote setap kelas akan dsmpan pada setap nterval. Dengan demkan, sebuah nterval dapat mempresentaskan beberapa kelas dengan menympan vote dar kelas-kelas tersebut, sehngga algortma n dapat dkatakan sebaga mult-class feature projecton based algorthm. Algortma Votng Feature Intervals 5 terdr dar dua tahap yatu tahap pelathan dan klasfkas 1 elathan Langkah pertama yang dlakukan pada tahap n adalah menentukan end pont dar ftur f pada kelas data c. End pont untuk ftur lner adalah ftur yang nlanya memlk urutan dan bsa dbandngkan tngkatannya yatu berupa nla mnmum dan nla maksmun kelas untuk setap ftur. End pont untuk ftur nomnal adalah ftur yang nlanya tdak memlk urutan dan tdak bsa dbandngkan tngkatannya yatu semua nla yang berbeda yang ada pada ftur kelas yang sedang damat. etelah ddapatkan nla-nla end pont, langkah selanjutnya adalah mengurutkan nla-nla end pont menjad suatu nterval dar ftur f. Untuk setap kelas c dengan ftur f, dhtung jumlah nstance tranng yang drepresentaskan sebaga nterval_class_count [f,,c]. Nla yang dhaslkan dmasukkan ke dalam nterval sesua dengan nla ftur f dar nstance tranng e (e f ) tersebut. Jka nterval merupakan pont nterval dan nla e f sama dengan nla pada batas bawah atau batas atas maka jumlah kelas data tersebut (e f ) pada nterval dtambah 1. Jka nterval merupakan range nterval dan nla e f jatuh pada nterval tersebut maka jumlah kelas data e f pada nterval dtambah 1. Hasl dar proses tersebut merupakan jumlah vote kelas c pada nterval. Untuk menghlangkan efek perbedaan dstrbus setap kelas, maka jumlah vote kelas c untuk ftur f pada nterval dbag dengan class_count[c], yatu jumlah data pada kelas c. Hasl normalsas n drepresentaskan dalam nterval_class_vote[f,,c]. Nla-nla pada nterval_class_vote[f,,c] dnormalsas sehngga jumlah vote dar beberapa kelas pada setap ftur sama dengan 1. Normalsas n bertujuan agar setap ftur memlk kekuatan votng yang sama pada proses klasfkas yang tdak dpengaruh ukurannya. seudocode untuk tahapan pelathan dtamplkan pada Lampran 1. redks (Klasfkas) Tahapan n dmula dengan nsalsas awal nla vote masng-masng kelas dengan nla 0. Untuk setap ftur f, dcar nla nterval dmana e f jatuh. Nla e f adalah nla ftur dar nstance test e. Jka e f tdak dketahu maka ftur tersebut tdak dkutsertakan dalam votng (member nla vote nol untuk masng-masng kelas) sehngga ftur tersebut dabakan. Jka e f dketahu maka nterval tersebut dapat dtemukan. Ftur tersebut akan member nla vote untuk masng-masng kelas dengan rumus: nterval _ class _ count[ f,, c] feature _ vote[ f, c] = class _ count[ c] nterval_class_count[f,,c] merupakan vote ftur f yang dberkan untuk kelas c. etap ftur f mengumpulkan nla votenya kemudan djumlahkan untuk memperoleh total vote. Kemudan kelas c yang memlk nla vote tertngg dpredks sebaga kelas dar data test e. seudocode algortma klasfkas Votng Feature Intervals 5 dtamplkan pada Lampran 1. K-Fold Cross Valdaton K-Fold Cross Valdaton (tone 1974 dacu dalam Fu 1994) adalah sebuah metode yang membag hmpunan contoh secara acak menjad k hmpunan bagan (subset). ada metode n dlakukan pengulangan sebanyak k

5 5 kal untuk data pelathan dan pengujan. ada setap pengulangan, satu subset dgunakan untuk pengujan sedangkan subset ssanya dgunakan untuk pelathan. Data awal dbag menjad k subset secara acak dengan ukuran subset yang hampr sama dengan mempertahankan perbandngan antar kelas. ada teras pertama, subset satu menjad data pengujan sedangkan subset lannya menjad data pelathan. ada teras kedua, subset kedua dgunakan sebaga data pengujan dan subset lannya sebaga data pelathan, dan seterusnya hngga seluruh subset dgunakan sebaga data pengujan. METODE ENELITIAN eneltan n dlakukan dalam beberapa tahap. Tahapan-tahapan yang dlakukan dtamplkan pada Gambar 4. engumpulan Data Data yang dgunakan pada peneltan n dambl dar UCI repostory of machne learnng database ( ~mlearn/mlrespostory). eneltan n menggunakan empat data yang memlk ukuran yang berbeda. pesfkas data yang dgunakan dsajkan pada Tabel 1. engumpulan Data Dengan Tanpa Data elathan VFI5 Klasfkas Data Uj Akuras Gambar 4 Tahapan peneltan