Pengantar. September 2007, Krisantus Sembiring. S1 Teknik Informatika, Sekalah Teknik Elektro dan Informatika, ITB

Transkripsi

1 Pegaar Dokume dambl dar Tugas Akhr saya yag berudul Peerapa Tekk Suppor Vecor Mache uuk Pedeeksa Irus pada Jarga. Dokume dbua hayak uuk memberka eor SVM dalam bahasa Idoesa karea peuls belum meemuka uoral SVM dalam bahasa Idoesa. Sela u, uoral dalam bahasa Iggrs yag demuka peuls uga dak cukup mudah dpaham. Semoga dokume dapa membau dalam mempelaar SVM. Sepember 007, Krsaus Sembrg S Tekk Iformaka, Sekalah Tekk Elekro da Iformaka, ITB

2 Dafar Is Pegaar... Suppor Vecor Mache... 3 Srucural Rsk Mmzao (SRM)... 3 SVM pada Learly Separable Daa... 4 SVM pada Nolearly Separable Daa... 7 Mul Class SVM... 0 Meode oe-agas-all... 0 Meode oe-agas-oe... Meode DAGSVM (Dreced Acyclc Graph Suppor Vecor Mache)... 3 Oe Class SVM... 4 Algorma Pelaha SVM... 6 SVM pada Imbalaced Daase... Pemlha Arbu peg (feaure seleco)... Icremeal Trag dega SVM... 3 Pembelaara Dega SVM... 4 Preprocessg Daa... 5 Pemlha da Esmas Parameer Terbak... 6 Dafar Referes... 7

3 Suppor Vecor Mache Suppor Vecor Mache (SVM) adalah ssem pembelaara yag megguaka ruag hpoess berupa fugs-fugs ler dalam sebuah ruag fur (feaure space) berdmes gg, dlah dega algorma pembelaara yag ddasarka pada eor opmas dega megmplemeaska learg bas yag berasal dar eor pembelaara sask [CHR00]. Teor yag medasar SVM sedr sudah berkembag seak 960-a, eap baru dperkealka oleh Vapk, Boser da Guyo pada ahu 99 da seak u SVM berkembag dega pesa. SVM adalah salah sau ekk yag relaf baru dbadgka dega ekk la, eap memlk performas yag lebh bak d berbaga bdag aplkas seper boformacs, pegeala ulsa aga, klasfkas eks da la sebagaya [CHR0]. Srucural Rsk Mmzao (SRM) Proses pembelaara pada SVM beruua uuk medapaka hpoess berupa bdag pemsah erbak yag dak haya memmalka emprcal rsk yau raa-raa error pada daa pelaha, eap uga memlk geeralsas yag bak Geeralsas adalah kemampua sebuah hpoess uuk megklasfkaska daa yag dak erdapa dalam daa pelaha dega bear. Uuk meam geeralsas, SVM bekera berdasarka prsp SRM. SRM beruua uuk meam baas aas dar geeralsas pada daa pegua dega cara megorol kapasas (fleksblas) dar hpoess hasl pembelaara. Uuk megukur kapasas dguaka dmes Vapk-Chervoeks (VC) yag merupaka proper dar ruag hpoess { f ( α )}. Nla dar dmes VC, berdasarka eor pembelaara sask aka meeuka besarya la kesalaha hpoess pada daa pegua. Lebh elasya, besar kesalaha pada daa pegua/ acual rsk ( α ) pada daase yag erdr dar daa dapa dlha pada persamaa (.). R ( α ) pada daa pelaha da h adalah dmes VC. R dega probablas sebesar η,0 η, l η h log + log ( ) ( ) h + 4 R α Remp α l (.) 3 emp adalah kesalaha

4 Nla VC cofdece (la eleme kedua pada ruas kaa (.) ), deuka oleh hpoess/ fugs hasl pembelaara [BUR98]. Jad, prsp SRM adalah meemuka subse dar ruag hpoess yag dplh sehgga baas aas acual rsk dega megguaka subse ersebu dmmumka. SRM beruua uuk memmumka acual rsk dega cara memmumka kesalaha pada daa pelaha da uga VC cofdece. Namu, mplemeas SRM dak dlakuka dega memmumka persamaa (.) karea dmes VC dar ruag hpoess { ( α )} f sul uuk dhug da haya erdapa sedk model hpoess yag dkeahu bagamaa cara meghug dmes VC-ya [OSU97]. Sela u, walaupu dmes VC dapa dhug, dak mudah memmumumka persamaa (.). Implemeas SRM pada SVM megguaka fugs ler da aka delaska pada baga selauya. SVM pada Learly Separable Daa Learly separable daa merupaka daa yag dapa dpsahka secara ler. Msalka { x,..., x } adalah daase da { +, } y adalah label kelas dar daa x.. Pada gambar dapa dlha berbaga aleraf bdag pemsah yag dapa memsahka semua daa se sesua dega kelasya. Namu, bdag pemsah erbak dak haya dapa memsahka daa eap uga memlk marg palg besar. Class m Suppor Vecor Kelas Class b w Bdag pembaas kelas : x. w+b = Kelas Bdag pembaas kelas : x. w+b = - Bdag pemsah: x. w+b = 0 Gambar Aleraf bdag pemsah (kr) da bdag pemsah erbak dega marg (m) erbesar (kaa) Adapu daa yag berada pada bdag pembaas dsebu suppor vecor. Dalam cooh d aas, dua kelas dapa dpsahka oleh sepasag bdag pembaas yag seaar. Bdag pembaas 4

5 perama membaas kelas perama sedagka bdag pembaas kedua membaas kelas kedua, sehgga dperoleh: x. w + b + for x. w + b for y = + (.) y = w adalah ormal bdag da b adalah poss bdag relaf erhadap pusa koorda. Nla marg (arak) aara bdag pembaas (berdasarka rumus arak gars ke k pusa) adalah b ( b) =. Nla marg dmaksmalka dega eap memeuh (.). Dega w w megalka b da w dega sebuah kosaa, aka dhaslka la marg yag dkalka dega kosaa yag sama. Oleh karea u, kosra (.) merupaka scalg cosra yag dapa dpeuh dega rescalg b da w. Sela u, karea Memaksmalka sama w dega memmumka w da ka kedua bdag pembaas pada (.) drepreseaska dalam perdaksamaa (.), ( x. w + b) 0 y (.) maka pecara bdag pemsah erbak dega la marg erbesar dapa drumuska mead masalah opmas kosra, yau m s. y w ( x. w + b) 0 Persoala aka lebh mudah dselesaka ka dubah ke dalam formula lagraga yag megguaka lagrage mulpler. Dega demka permasalaha opmas kosra dapa dubah mead: m w, b L ( w, b p (.3), α ) w α y ( x. w + b) + α (.4) = dega ambaha kosra, α 0 ( la dar koefse lagrage). Dega memmumka Lp erhadap w da b, maka dar L ( w, b, α) = 0 dperoleh (.5) da dar L ( w, b, α) = 0 b p w p dperoleh (.6). = = α = 0 (.5) y 5

6 w = = α y x (.6) Vekor w serg kal berla besar (mugk ak erhgga), eap la α erhgga. Uuk u, formula lagraga Lp (prmal problem) dubah kedalam dual problem L D. Dega mesubsuska persamaa (.6) ke L P dperoleh dual problem L D dega kosra berbeda. m L p max L D w, b α berku: L D ( α ) α α α y y x. x (.7) = =, = =. Jad persoala pecara bdag pemsah erbak dapa drumuska sebaga s.. LD α αα y y x. x α = =, = (.8) max = α y = 0, α 0 Dega demka, dapa dperoleh la α yag aya dguaka uuk meemuka w. Terdapa la α uuk seap daa pelaha. Daa pelaha yag memlk la α > 0 adalah suppor vecor sedagka ssaya memlk la α = 0. Dega demka fugs kepuusa yag dhaslka haya dpegaruh oleh suppor vecor. Formula pecara bdag pemsah erbak adalah pemasalaha quadrac programmg, sehgga la maksmum global dar α selalu dapa demuka. Seelah solus pemasalaha quadrac programmg demuka (la α ), maka kelas dar daa pegua x dapa deuka berdasarka la dar fugs kepuusa: s f ( xd ) = α y x. xd + b, (.9) = x adalah suppor vecor, s = umlah suppor vecor da x d adalah daa yag aka dklasfkaska. 6

7 SVM pada Nolearly Separable Daa Uuk megklasfkaska daa yag dak dapa dpsahka secara ler formula SVM harus dmodfkas karea dak aka ada solus yag demuka. Oleh karea u, kedua bdag pembaas (.) harus dubah sehgga lebh fleksbel (uuk kods ereu) dega peambaha varabel ξ ( ξ 0, : ξ = 0 ka x dklasfkaska dega bear) mead x. w + b - ξ uuk kelas da. w + b x + ξ uuk kelas. Pecara bdag pemsah erbak dega dega peambaha varabel ξ serg uga dsebu sof marg hyperplae. Dega demka formula pecara bdag pemsah erbak berubah mead: m s.. y ( w. x ξ 0 w + C ξ = + b) ξ (.0) C adalah parameer yag meeuka besar peal akba kesalaha dalam klasfkas daa da laya deuka oleh peggua. Beuk persoala (.0) memeuh prsp SRM, dmaa memmumka w ekvale dega memmumka dmes VC da memmumka C ξ berar memmumka error pada daa pelaha [OSU97]. = Kelas x. w+b = Kelas x. w+b = - x. w+b = 0 Gambar Sof marg hyperplae Selauya, beuk prmal problem sebelumya berubah mead: m L p ( w, b, α) w + C ξ α { y ( x. w + b) + ξ } μξ (.) w, b = = = 7

8 Pegubaha Lp ke dalam dual problem, meghaslka formula yag sama dega persamaa (.6) sehgga pecara bdag pemsah erbak dlakuka dega cara yag hampr sama dega kasus dmaa daa dapa dpsahka secara ler, eap reag la 0 α C. Isace yag memlk la α C dsebu bouded suppor vecor. = α adalah Meode la uuk megklasfkaska daa yag dak dapa dpsahka secara ler adalah dega merasformaska daa ke dalam dmes ruag fur (feaure space) sehgga dapa dpsahka secara ler pada feaure space. Ipu space φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ( ) φ(.) φ( ) Feaure space Gambar 3 Trasformas dar vekor pu ke feaure space Caraya, daa dpeaka dega megguaka fugs pemeaa (rasformas) x φ x ) ke dalam feaure space sehgga erdapa bdag pemsah yag dapa memsahka daa sesua dega kelasya (gambar 3). Msalka erdapa daa se yag daaya memlk dua arbu da dua kelas yau kelas posf da egaf. Daa yag memlk kelas posf adalah {(,),(, ),(,),(, ) }, da daa yag memlk kelas egaf {(, )(,, )(,, )(,, ) } k ( k. Apabla daa dgambarka dalam ruag dua dmes (gambar 4) dapa dlha daa dak dapa dpsahka secara ler. Oleh karea u, dguaka fugs rasformas berku: ( 4 x + x x, 4 x + x x ) x + x > φ ( x, x ) = (.) x + x ( x, x ) Daa sesudah rasformas adalah {(,), ( 6,),( 6,6),(,6) } {(, ), (, ), (, ), (, ) } uuk kelas egaf, da uuk kelas posf. Selauya pecara bdag pemsah erbak dlakuka pada daa. 8

9 φ(.) Gambar 4 Cooh rasformas uuk daa yag dak dapa dpsahka secara ler Dega megguaka fugs rasformas x φ x ) hasl pembelaara yag dhaslka adalah k, maka la w = y φ( x ) ( k s α = da fugs f s ( x ) α y φ( x ) φ( x ) b = d d + = (.3) Feaure space dalam prakekya basaya memlk dmes yag lebh gg dar vekor pu (pu space). Hal megakbaka kompuas pada feaure space mugk saga besar, karea ada kemugka feaure space dapa memlk umlah feaure yag dak erhgga. Sela u, sul megeahu fugs rasformas yag epa. Uuk megaas masalah, pada SVM dguaka kerel rck. Dar persamaa (.) dapa dlha erdapa do produc φ ( x ) φ( ). Jka erdapa sebuah fugs kerel K sehgga K( x x ) φ ( x ). φ( x ) x d, =, maka fugs rasformas φ x ) dak perlu dkeahu secara perss. Dega demka fugs yag ( k dhaslka dar pelaha adalah s ( x, x ) b f ( xd ) = α yk d + ( x = suppor vecor). (.4) = Syara sebuah fugs uuk mead fugs kerel adalah memeuh eorema Mercer yag meyaaka bahwa marks kerel yag dhaslka harus bersfa posve sem-defe. Fugs kerel yag umum dguaka adalah sebaga berku: d d a. Kerel Ler K T ( x x) = x x, (.5) b. Polyomal kerel T p ( x, x) = ( γ. x x + r), γ > 0 K (.6) 9

10 c. Radal Bass Fuco (RBF) K ( x, x) = exp( γ x x ), γ > 0 (.7) d. Sgmod kerel K T ( x x) = ah ( γx x r), (.8) + Meuru uoral pada [HSU04] fugs kerel yag drekomedaska uuk du perama kal adalah fugs kerel RBF karea memlk performas yag sama dega kerel ler pada parameer ereu, memlk perlaku seper fugs keel sgmod dega parameer eu da reag laya kecl [0,]. Mul Class SVM SVM saa perama kal dperkealka oleh Vapk, haya dapa megklasfkaska daa ke dalam dua kelas (klasfkas ber). Namu, peela lebh lau uuk megembagka SVM sehgga bsa megklasfkas daa yag memlk lebh dar dua kelas, erus dlakuka. Ada dua plha uuk megmplemeaska mul class SVM yau dega meggabugka beberapa SVM ber aau meggabugka semua daa yag erdr dar beberapa kelas ke dalam sebuah beuk permasalah opmas. Namu, pada pedekaa yag kedua permasalaha opmas yag harus dselesaka auh lebh rum. Berku adalah meode yag umum dguaka uuk megmplemeaska mul class SVM dega pedekaa yag perama: Meode oe agas all Dega megguaka meode, dbagu k buah model SVM ber (k adalah umlah kelas). Seap model klasfkas ke- dlah dega megguaka keseluruha daa, uuk mecar solus permasalaha (.6). Coohya, erdapa permasalaha klasfkas dega 4 buah kelas. Uuk pelaha dguaka 4 buah SVM ber seper pada abel da pegguaya dalam megklasfkas daa baru dapa dlha pada 5. 0

11 m w, b, ξ ( w ) T s. ( w ) φ( x ) T ( w ) φ( x ) + b ξ 0 T w + b + C ξ ξ y + ξ y =,, (.6) Tabel Cooh 4 SVM ber dega meode Oe-agas-all y = y = Hpoess Kelas Buka kelas f ( x) = ( w ) x + b Kelas Buka kelas f ( x) = ( w ) x + b Kelas 3 Buka kelas f ( x) = ( w ) x + b Kelas 4 Buka kelas f ( x) = ( w ) x + b f ( x) x Kelas f ( x) Kelas f 3 ( x ) Kelas3 f 4 ( x ) Kelas 4 ukow Gambar 5 Cooh klasfkas dega meode Oe-agas-all

12 Meode oe agas oe k( k ) Dega megguaka meode, dbagu buah model klasfkas ber (k adalah umlah kelas). Seap model klasfkas dlah pada daa dar dua kelas. Uuk daa pelaha dar kelas ke- da kelas ke-, dlakuka pecara solus uuk persoala opmas kosra sebaga berku: m w, b, ξ ( w ) T s. ( w ) φ( x ) T ( w ) φ( x ) + b ξ 0 T w + b + C ξ ξ y + ξ y =, =, (.7) Terdapa beberapa meode uuk melakuka pegua seelah keseluruha k ( k ) / model klasfkas selesa dbagu. Salah sauya adalah meode vog [HSU0]. Tabel Cooh 6 SVM ber dega meode Oe-agas-oe y = y = Hpoess Kelas Kelas Kelas Kelas 3 Kelas Kelas 4 Kelas Kelas 3 Kelas Kelas 4 Kelas 3 Kelas 4 f + ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b

13 x f ( x ) f 3 ( x ) f 4 ( x ) f 3 ( x ) f 4 ( x ) f 34 ( x ) Kelas Kelas Kelas Kelas Kelas 4 Kelas 3 Kelas Gambar 6 Cooh klasfkas dega meode Oe-agas-oe Jka daa x dmasukka ke dalam fugs hasl pelaha ( f x) = ( w ) φ( x) + b. T ( ) da haslya meyaaka meyaaka x adalah kelas, maka suara uuk kelas dambah sau. Kelas dar daa x aka deuka dar umlah suara erbayak. Jka erdapa dua buah kelas yag umlah suaraya sama, maka kelas yag deksya lebh kecl dyaaka sebaga kelas dar daa. Jad pada pedekaa erdapa k ( k ) / buah permasalaha quadrac programmg yag masgmasg memlk / k varabel ( adalah umlah daa pelaha). Coohya, erdapa permasalaha klasfkas dega 4 buah kelas. Oleh karea u, dguaka 6 buah SVM ber seper pada abel da cooh pegguaaya dalam mempredks kelas daa baru dapa dlha pada gambar 6. Meode DAGSVM (Dreced Acyclc Graph Suppor Vecor Mache) Pelaha dega megguaka meode sama dega meode oe-agas-oe, yau dega k( k ) membagu buah model klasfkas SVM ber. Aka eap, pada saa pegua dguaka bary dreced acyclc graph. Seap ode merupaka model SVM ber dar kelas ke- da kelas ke-. Pada saa mempredks kelas daa pegua, maka hpoess devaluas mula dar smpul akar, kemuda bergerak ke kr aau ke kaa ergaug la oupu dar hpoess. 3

14 Tabel 3 Cooh 6 SVM ber dega meode DAGSVM y = y = Hpoess Buka Kelas Buka Kelas Buka Kelas 3 Buka Kelas Buka Kelas 4 Buka Kelas Buka Kelas 3 Buka Kelas Buka Kelas 4 Buka Kelas Buka Kelas 4 Buka Kelas 3 f + ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b f ( x) = ( w ) x b f 3 ( x) f ( x) No No f 3 ( x) No No 3 No 3 No x f 34 ( x) f 4 ( x) f 4 ( x) f 34 ( x) No 4 No 3 No 4 No No 4 No No 4 No 3 Kelas 3 Kelas 4 Kelas Kelas 4 Kelas Kelas 4 Kelas 3 Kelas 4 Oe Class SVM Gambar 7 Cooh klasfkas dega meode DAGSVM Oe Class SVM adalah pegembaga dar SVM yag dusulka oleh [SCH0], yag dapa dguaka uuk permasalaha desy esmao. Dega megguaka ekk, SVM dapa dguaka pada daase yag dak memlk label. Tekk Oe Class SVM megdefkas ouler daara cooh daa posf da megguakaya sebaga cooh daa egaf. 4

15 Persoala Oe Class SVM dapa drumuska sebaga berku: msalka erdapa daase yag memlk probably dsrbuo P dalam feaure space da ka g megesmas subse S pada feaure space sehgga probablas sebuah daa pegua yag dambl dar P erleak d luar S, dbaas oleh sebuah la v. Solus dar permasalaha dperoleh dega megesmas sebuah fugs yag berla posf pada S da egaf pada kompleme S. Dega kaa la fugs ersebu berla + pada sebuah area kecl yag memua hampr semua daa da berla - ka berada d luar area ersebu. f ( x) +, =, f x S f x S (.8) Prsp dar ekk adalah merasformaska vekor pu ke dalam feaure space dega megguaka fugs kerel, org daggap sebaga sau-sauya daa egaf. Kemuda, dega megguaka relaxao parameer, daa yag buka ouler dpsahka dar org. Selauya prsp kera algorma sama saa dega klasfkas ber pada SVM dega uua mecar bdag pemsah erbak yag memsahka daa dar org dega marg erbesar. φ(.) + org - Gambar 8 Trasformas ke feaure space Persoala pecara bdag pemsah secara maemas adalah persamaa (.9), dmaa ξ adalah peal erhadap daa aomal yag erleak pada ss bdag pemsah yag salah (ss empa daa ormal) da v adalah parameer yag megaur rade off aara memaksmalka marg dar org da mecakup sebaga besar daa pada daerah yag dbua bdag pemsah dega raso ouler yag erdapa pada daa pelaha (seper parameer C pada SVM uuk klasfkas). 5

16 m s.. ξ 0 w ( w. φ( x )) + ξ r v = r ξ, (.9) Gambar 9 Oe Class SVM Dega megguaka lagrage mulpler da fugs kerel maka persoala d aas dapa drumuska sebaga berku: m s.. = =, = α α K α =, 0 α v ( x, x ) (.0) Dar hasl pelaha, aka dperoleh la parameer α, kemuda la r dapa dhug dar persamaa (.). Hasl dar proses pembelaara adalah sebuah fugs (.). Algorma Pelaha SVM ( x x ) K( x x ) r r = α K, (.) f ( x) = α,, x =suppor vecor (.) Pelaha pada SVM beruua uuk mecar solus permasalaha opmas kosa yag elah delaska daas (.7,.0,.6,.7,.0). Uuk umlah daa yag saga sedk persoala dapa dselesaka dega mudah. Msalka x =, x dega kelas y,. Dega 0 = mesubsus la x da y ke persamaa (.7) dperoleh: 6

17 α ( α + α ) 0 0 α α = [ α α ] [ ] (Dalam oas marks) 0 0 α α dega kosra: α α =, α 0, α 0, maka: 0 α α = 0, dperoleh α = α =. Bagamaa ka umlah daa yag dproses saga besar? Berbaga ekk opmas elah bayak dkembagka, yag pada dasarya secara eraf mecar solus maksmum dar fugs obekf. Aka eap, ekk-ekk memerluka daa dsmpa pada memor dalam beuk marks kerel [CHR00]. Hal aka megakbaka kompleksas daa pelaha megka dega berambahya ukura marks sehgga pegguaa ekk dbaas oleh umlah daa yag dapa dproses. Uuk daase yag lebh besar dguaka ekk yag ddasarka pada meode workg se. Algorma Decomposo Meode yag bayak dguaka pada SVM saa adalah decomposo (msalya Sequeal Mmal Opmzao (SMO), LbSVM, SVMLgh) [LIN05] yag bekera berdasarka prsp workg se. Meode haya megubah beberapa mulpler α dalam umlah ereu pada seap eras, semeara la yag la berla eap. Workg se merupaka kumpula varabel yag sedag dopmas pada curre erao. Jad, prsp decomposo adalah megopmas masalah global dega haya megguaka sebaga kecl daa pada sau saa. Tekk dekomposs secara maemas dapa drepreseaska dalam oas marks. Msalka α = ( α,... α, T l ) T = ( y,... y l, Q = y y K( x, x ) y ), da e merupaka vekor dega umlah eleme sebayak l (umlah daa pelaha) da semuaya berla. Maka SVM dual problem dapa dulska sebaga berku: T T max e α α Qα α s..0 α C, =... l y T α = 0 7 (.3)

18 Msalya vekor α dbag mead α B yag meyaaka varabel yag dmasukka ke dalam workg se, da α N merupaka varabel ssaya. Selauya marx Q dapa dpars mead QBB QBN Q =, dmaa seap bagaya deuka oleh hmpua deks B da N. SMO QNB QNN megguaka workg se bereleme dua sehgga pecara solus opmal dapa dlakuka secara aals seper cooh sederhaa daas. Hal euya aka megakbaka umah eras semak berambah, aka eap karea waku yag dbuuhka dalam seap eras saga kecl maka waku oal pelaha mead lebh sgka. Berku adalah algorma decomposo dega megguaka workg se bereleme dua yag dguaka pada LbSVM:. Temuka varabel awal. Jka α yag feasble, se k= ( α adalah vekor bers semua la α ). k α merupaka k saoer dar (.3), berhe. Jka dak, euka workg se { } B =, 3. Jka α K + K K > 0 m α, α y T B selesaka sub-problem α B : T = α BQ T B T QBB QBN α B T k T T [ α B ( α N ) ] [ eb en ] BB = [ α α ] s..0 α C, B α = y α + ( e T N B Q Q y k N Q Q Jka dak, selesaka: Q B NB + Q Q BN NN k N α + α α ) α T k ( e + Q α ) B k N B α + kos a BN N T α B α k N α + kos a α (.4) 8

19 4. Se α k + N m [ α α, α α ] Q Q Q Q k k ( α ) + ( α ) ) τ a + 4 s. kosra dar (.0) α + α k ( e + Q α ) B BN N T α α k + α B sebaga solus opmal dar subproblem pada lagkah 3 da k α. Se N k k +, lauka ke lagkah kedua. k α merupaka k saoer dar (.3), ka da haya ka ( α ) M ( α ) Karush-Kuh-Tucker (KKT) codo [CHA0]. Dmaa: m M I I f ( α ) ( α ) up low max y f ( α) I up I ( α ) ( α ) low ( α ) { α < C, y = aau α > 0, y = } ( α ) { α < C, y = aau α > 0, y = } ( x) Qα + e m y f ( α) m yag merupaka (.5) Uuk meoleras kods berhe erdapa parameer ambaha ε ( ( α ) M ( α ) ε m ), yag dealya berla 0. Aka eap, dalam prakekya dapa dguaka la yag lebh besar (msalya pada LbSVM dguaka la defaul kecl. ε = 0 3 ), sehgga umlah eras mead lebh Hal yag peg dperhaka agar algorma decomposo berala lebh cepa adalah pemlha workg se yag aka megkbaka solus permasalaha global (.9) lebh cepa dcapa. Nla α yag dmasukka ke dalam workg se adalah varbel yag palg melaggar KKT codo. Pseudocode algorma decomposo daas besera pemlha workg se dapa dlha pada lampra B. 9

20 Shrkg da Cachg Sraeg laya uuk mempercepa algorma decomposo adalah shrkg da cachg yag perama kal dperkealka oleh Joachm. Shrkg merupaka sraeg heursk yag memperkecl permasalaha pecara solus uuk persoala opmas daas dega megabaka beberapa bouded suppor vecor ( α = C ). Hal dapa dlakuka karea umumya la bouded suppor vecor seelah beberapa eras dapa ddefkas da berla eap sampa akhr eras [LIN05]. Aka eap, apabla solus permalsaha dega meerapka shrkg buka solus opmal uuk (.3) maka opmas dlauka dega megguaka keseluruha varabel. Seper yag dlha daas algorma decomposo melakuka eras sampa solus persamaa (.9) demuka. Dalam seap eras la eleme marks Q dguaka. Agar dak perlu dlakuka perhuga ulag la Q maka la Q yag baru dguaka dsmpa d memor sehgga waku kompuas yag dbuuhka mead auh lebh sgka. Sraeg dsebu dega cachg. Esmas Parameer Akuras model yag aka dhaska dar proses pelaha dega SVM saga bergaug pada fugs keral sera parameer yag dguaka. Oleh karea u performasya dapa dopmas dega mecar (megesmas) parameer erbak. Ada beberapa cara yag dapa dlakuka aara la cross valdao (mudah dguaka), leave-oe-ou (akura eap membuuhka baya kompuas yag gg), da ξα -esmaor [QUA0]. Cara yag kega merupaka modfkas cara kedua yag dusulka oleh Joachm [QUA0]. k-folds cross-valdao dapa dguaka uuk meeuka la parameer C da parameer kerel yag dak overf daa pelaha [HSU04]. Dega meode, daa yag dambl secara acak kemuda dbag mead k buah pars dega ukura yag sama. Selauya, dlakuka eras sebayak k. Pada seap eras dguaka sebuah pars sebaga daa pegua, sedagka k- pars ssaya dguaka sebaga daa pelaha. Jad aka dcoba berbaga la parameer da parameer erbak deuka melalu k-folds cross-valdao. 0

21 Pada uoral [HSU04] daurka supaya pada seap eras dguaka peambaha parameer secara expoesal. Coohya uuk kerel RBF la parameer yag dguaka pada seap eras adalah C =,,...,, γ = 5, 3,..., 3. Kemuda demuka la parameer erbak msalya C 3 =, γ = 5. Selauya dlakuka pecara parameer pada reag la yag lebh kecl sehgga dapa parameer yag bak C 3,5 =, γ = 5, 5. Seelah la parameer erbak demuka pelaha dlakuka dega megguaka keseluruha daa. Pecara la parameer dsebu uga grd search. SVM pada Imbalaced Daase Imbalaced daase adalah daase yag memlk cooh kelas egaf (kelas mayoras) auh lebh bayak darpada cooh kelas posf (kelas moras) msalya pada aplkas fraud deeco raso mbalace dapa mecapa 00: da bahka bsa mecapa 00000: pada aplkas la. Bayak ekk klasfkas yag akurasya meuru keka derapka pada daase dega mbalace rao yag gg karea umumya ekk ersebu ddesa uuk megeeralsas daa pelaha da meghaslka hpoess palg sederhaa yag sesua dega daa ersebu [AKB04]. Aka eap, hpoess yag dhaslka serg kal mempredks hampr semua sace sebaga kelas yag mead mayoras dalam daa pelaha. Sela u daa dar kelas moras mugk daggap ose sehgga mugk saa dabaka oleh ekk klasfkas [AKB04]. SVM sedr merupaka salah sau ekk yag dak erlalu sesf erhadap mbalaced daase karea hpoess yag dhaslka haya dpegaruh oleh sebaga daa yau daa yag mead suppor vecor. Ada beberapa alasa megapa performas SVM mugk meuru ka derapka pada mbalaced daase yau daa dar kelas moras erleak auh dar bdag pemsah yag deal, kelemaha pada sof-marg hyperplae (ka la parameer C kecl maka SVM cederug megklasfkaska daa sebaga kelas mayoras), da raso suppor vecor yag dak sembag [AKB04].

22 Pedekaa yag populer uuk megaas masalah adalah memberka bas kepada ekk klasfkas sehgga lebh memperhaka sace dar kelas moras. Hal dapa dlakuka melalu pembera peal yag lebh besar ka erad kesalaha dalam megklasfkaska kelas moras, dbadgka ka salah megklasfkaska kelas mayoras. Dega demka formula SVM dubah mead: m w + C+ ξ + C ξ w, b, ξ y = y = s.. y ( wx + b) ξ, ξ 0, =,..., Implemeas modfkas pada prspya sama dega mplemeas SVM sebelumya, pegguaa C + aau C hayalah kasus khusus bergaug pada kelas sace daa. Adapu perubaha uama erdapa pada pegubaha la lagrage mulpler selama pelaha [CHA0]. Sela modfkas pada ekk klasfkas, dapa uga dlakuka pedekaa pada level daa seper melakuka oversamplg kelas moras aau udersamplg kelas mayoras sehgga dhaslka balaced daase [AKB04]. (3.) Pemlha Arbu peg (feaure seleco) Pada pelaha dega megguaka SVM dak erdapa mekasme uuk megeahu arbu yag peg aau yag kurag peg. Arbu yag kurag peg umumya dak mempegaruh efekfas ekk klasfkas. Oleh karea u, ka arbu yag kurag peg dbuag maka efses ekk klasfkas aka megka. Efekfas ekk klasfkas uga dapa megka ka arbu yag kurag peg eryaa mead ose. Pada SVM salah sau cara yag sederhaa uuk megeahu arbu yag peg adalah seper yag dlakuka pada [MUK0B]. Pemlha arbu peg dlakuka dega megevaluas efekfas da efses ekk klasfkas seelah sebuah fur dhlagka. Dar hasl pegua seelah fur dhlagka dapa dkeahu sebuah fur peg aau dak dar perbedaa efses da efekfas. Cara yag la adalah dega megguaka f-score seper pada [CHE03]. F-score adalah ekk sederhaa uuk megukur gka dskrmas dua buah vekor

23 blaga desmal. Jka erdapa vekor daa pelaha x k, k =,..., m. Jka umah daa kelas posf adalah + da adalah umlah daa kelas egaf. Maka F-score arbu ke adalah : (3.) dmaa adalah raa-raa dar la arbu keseluruha daa, daa posf da daa egaf. adalah fur ke- dar daa kelas posf ke-k da sebalkya adalah fur ke- dar dae kelas egaf ke-k. Semak besar la F(), maka arbu dapa daggap lebh dskrmaf (lebh peg). Icremeal Trag dega SVM Pada SVM haya suppor vecor (daa yag berada d perbaasa aar kelas) yag mempegaruh fugs kepuusa hasl pelaha. Karakersk, dapa meyelesaka masalah uama SVM yag mead lamba keka dlah dega megguaka daa dalam umlah yag saga besar. Dega demka, ka dapa memlh kadda suppor vecor sebelum pelaha, sehgga megurag umlah daa pelaha da pada akhrya megurag kebuuha pegguaa memor [KAT06]. Jka erdapa daa pelaha baru da model hasl pelaha yag lama g dperbaharu, maka dar daa pelaha lama cukup dambl sebaga daa yag mead kadda suppor vecor. Kadda suppor vecor adalah daa yag memeuh y( x) f ( x) <=. Sela u, daa yag memeuh y( x) f ( x) > eap deka dega y( x) f ( x) = dapa mead suppor vecor [KAT06]. Oleh karea u ka dapa meeuka apakah sebuah daa merupaka kadda suppor vecor dega cara memerksa daa yag memeuh : y( x) f ( x) <= β + (3.4) y( x) f ( x) (3.5) dmaa β adalah parameer yag deuka peggua. Jka daa dak memeuh persamaa (3.3) maka daa ersebu dhapus. Aka eap ka semua daa memeuh (3.4) maka fugs 3

24 kepuusa seelah pelaha dak berubah sehgga haya daa yag memeuh (3.3) yag perlu dambahka pada pelaha berkuya. Msalka ka mempuya daase awal Xa da daase ambaha Xb. Algorma uuk cremeal rag [KAT06] adalah sebaga berku: a. Lakuka pelaha SVM dega megguaka Xa b. Tambahka daase Xb sehgga X a = X a X b c. If for X a x, (3.4) dak dpeuh, buag daa x X = X { x} d. If for x X a, (3.5) dak dpeuh, lakuka pelaha ulag SVM e. Ulag lagkah b, c da d. a a Pembelaara Dega SVM Pegguaa SVM bak dalam beuk supervsed maupu usupervsed pada prspya meyelesaka sebuah permasalaha quadrac programmg. Oleh karea u, proses pembelaaraya hampr sama da ahapaya dapa dlha pada gambar III-3. Aka eap uuk usupervsed learg dega SVM daa pelaha da daa pegua adalah daa yag sama. Sela u, uuk proses pelahaya dapa uga haya megguaka sebaga daa dar daa pegua sehgga proses waku pelaha mead lebh sgka, eap hal mugk meuruka akuras pada ahap pegua. Preprocessg Ubah represeas daa feaure vecor daase parameer Pembelaara SVM Normalsas Daa Pembaga daa Daa pelaha Esmas Parameer Parameer erbak Pelaha Daa pegua Evaluas Model Model pembelaara Gambar 0 Pembelaara dega SVM 4

25 Preprocessg Daa Daa KDDCUP 99 memlk arbu yag pe laya real da dscree. Agar daase dapa dproses oleh SVM maka daase ersebu harus drepreseaska sebaga vekor dar blaga real. Cara yag umum dguaka uuk daa dskr yag dak eruru (daa berupa kaegor) adalah dega memaka -of-c ecodg, dmaa c adalah bayakya kemugka la pada pu ersebu [SAR0]. Msalya uuk la arbu proocol_ype : cp,udp,cmp. Kegaya dak epa ka d-ecode ke la real yag berurua karea dak memlk urua besar-kecl. Pedekaa yag basa dlakuka adalah memaka vekor berdmes 3, berla 0 da. Pada cooh cp drepreseaska sebaga [00], udp drepreseaska sebaga [00] da cmp drepreseaska sbg. [00]. Vekor berdmes 3 dalam mplemeasya drepreseaska dalam 3 bary arbu (masg-masg merepreseaska sau eleme vekor ). Cara aka dguaka pada ugas akhr. Sela megkovers la arbu, ormalsas / scalg (perubaha reag dar la arbu) arbu yag berla blaga real umumya uga dperluka agar proses perhuga lebh mudah da arbu yag reag laya besar dak medomas arbu yag reag laya lebh kecl. Normalsas umumya memberka hasl yag lebh bak [HSU04]. Reag la arbu yag daurka uuk dguaka adalah [0,] aau [-,+] [HSU04]. Normalsas dalam reag la [0,] meghaslka akuras yag sama dega [-,+] ka megguaka fugs kerel RBF, eap waku kompuas yag dbuuhka mugk berbeda. Karea la arbu daa pada KDD CUP 99 bayak yag berla 0, maka dguaka reag ormalsas [0,] karea waku yag aka dbuuhka mead lebh sgka dbadgka dega pegguaa reag la [-,+]. Alasaya, ka dormalsas ke dalam reag la [-,+] bayak la 0 aka berubah mead - sehgga perhugaya mead lebh lamba. Adapu rumus ormalsas ke dalam reag [0,] adalah persamaa (3.) dmaa x m da x max adalah la mmum da la maksmum arbu x. x x x ' m = (3.) xmax x m 5

26 Pemlha da Esmas Parameer Terbak Sebelum pelaha dlakuka, erlebh dahulu harus deuka la parameer C besera fugs kerel da parameerya uuk pembelaara supervsed SVM. Uuk Oe Class SVM parameer yag harus deuka adalah parameer u (v) besera fugs kerel da parameerya. Meuru peela [LAS05], daase KDD CUP palg bak dproses oleh algorma olear sehgga pada Tugas Akhr aka derapka SVM olear. Uuk u fugs kerel yag aka dguaka adalah fugs kerel RBF karea dguaka pada peela [MUK0,LAS04,LAS05]. Pada ugas akhr esmas parameer erbak aka dlakuka dega meguaka k-folds crossaldao da grd search. Pedekaa mudah dguaka pada daase yag umlahya rbua. Aka eap, daase yag aka dguaka pada Tugas Akhr ukuraya saga besar, maka aka dguaka subse dar daase yag dambl secara acak, kemuda dlakuka grd search pada subse ersebu. Seelah demuka parameer erbak, dlakuka grd search pada reag la yag lebh kecl uuk memperoleh parameer erbak. 6

27 Dafar Referes [AKB04] Akba, Reha e. Al Applyg Suppor Vecor Mache o Imbalaced Daases Proceedgs of ECML-04. [BUR98] Burges, Chrsopher. A Tuoral O Suppor Vecor Maches for Paer Recogo. Daa Mg ad Kowledge Dscovery, (): [CHA0] Chag, Chh-Chug, Chh-Je L. LIBSVM: A Lbrary for Suppor Vecor Maches. 00. [CHE03] Che, Y-We da Chh-e L. Combg SVM wh Varous Feaures Seleco Sraeges Deparme of Compuer Scece, Naoal Tawa Uversy [CHR00] Chrsa, Nello da Joh S. Taylor. A Iroduco o Suppor Vecor Maches ad Oher Kerel-based Learg Mehods. Cambrdge Uversy Press, 000 [CHR0] Chrsa, Nello. Suppor Vecor ad Kerel Maches. ICML uoral, 00. [FAN05] Fa, Rog-E. e. al Workg se Seleco usg Secod Order Iformao for Trag Suppor Vecor Maches. Joural of Mache Learg Research , 005. [HSU0] Hsu, Chh-We, Chh-Je L. A Comparso of Mehods for Mul-class Suppor Vecor Maches. IEEE Trasacos o Neural Neworks, 3(): [HSU04] Hsu, Chh-We e al. A Praccal Gude o Suppor Vecor Classfcao. Deparme of Compuer Scece ad Iformao Egeerg, Naoal Tawa Uversy [LAS04] Laskov, Pavel e. Al. Iruso deeco ulabeled daa wh quarer-sphere Suppor Vecor maches. Frauhofer-FIRST.IDA [KAT06] Kaagr, Shya da Shgeo Abe. Icremeal Trag of Suppor Vecor Maches Usg Hyperspheres. Graduae School of Scece ad echology, Kobe Uversy [LIN05] L, Chh-Je Opmzao, Suppor Vecor Maches, ad Mahe Learg. hp:// Dakses aggal 0 Jauar

28 [MUK0B] Mukkamala, S. e al. Feaure Seleco for Iruso Deeco usg Neural Neworks ad Suppor Vecor Maches [OSU97] Osua, Edgar E. e. al.997. Suppor Vecor maches: Trag ad Applcaos. MIT, 997. [QUA0] Quag, Ah ra e al.evolvg Suppor Vecor Mache Parameers. Slde preseas ICML. Tsghua Uversy, 00. [SAR0] Sarle, Warre e.al. 00. Neural Nework FAQ. fp://fp.sas.com/pub/eural/faq.hml Dakses aggal 4 Desember 006. [SCH0] Schölkopf, Berhard. Esmag he Suppor of Hgh-Dmesoal Dsrbuo. Neural Compuao 3, MIT. 00. [VIS05] Vsa, Sofa da Aca Ralescu. Issues Mg Imbalaced Daa Ses- A Revew Paper [WWW06B] LIBSVM FAQ. hp:// Dakses aggal 6 November