OPTIMASI METODE DISCRIMINATIVELY REGULARIZED LEAST SQUARE DENGAN ALGORITMA GENETIKA DAN PARTICLE SWARM OPTIMIZATION UNTUK PENGKLASIFIKASIAN

Transkripsi

1 OPIMASI MEODE DISCRIMIAIVELY REGULARIZED LEAS SQUARE DEGA ALGORIMA GEEIKA DA PARICLE SWARM OPIMIZAIO UUK PEGKLASIFIKASIA Arad Retno r Hayat Rrd ) Agus Zanal Arfn ) Anny Yunart 3),,3 Jurusan eknk Informatka, Insttut eknolog Sepuluh opemer Kampus IS, Sukollo, Suraaya 60 e-mal : rrd@cs.ts.ac.d, agusza@ts-sy.edu, 3 anny@cs.ts.ac.d, Astrak Metode regularzaton telah anyak daplkaskan pada pengenalan pola yang ertuuan untuk menghaslkan klasfkas data. Peneltan n menggunakan metode Dscrmnatvely Regularzed Least Squares Classfcaton (DRLSC) dmana pengklasfkasan datanya erdasarkan nformas dscrmnatve yang dpengaruh oleh umlah data-data yang terdekat erdasarkan metode K earest eghor dan regularzaton parameter. Untuk menngkatkan keakurasan dar metode DRLSC, peneltan n mengoptmas umlah data-data yang terdekat seelum memangun matrx Laplacan dan regularzaton parameter erdasarkan error terkecl. Metode yang dgunakan adalah penggaungan Algortma Genetka dan Partcle Sarm Optmzaton (GAPSO). Data yang dgunakan untuk u coa adalah dataase UCI, yatu IRIS, WIE, dan LESA. Berdasarkan hasl u coa untuk mengoptmas metode DRLSC maka nla ftness yang dhaslkan metode GAPSO leh ak ka dandngkan Algortma Genetka (GA) dan Partcle Sarm Optmzaton (PSO) dengan selsh nla ftness 7.3e-008 hngga 0, ). Untuk menggaungkan karakterstk dar kedua metode optmas n, maka dangun pengemangan optmas yang merupakan penggaungan dar kedua metode dkenal dengan stlah GAPSO. Peneltan n mengoptmaskan parameter K dan dengan GAPSO erdasarkan error terkecl dar hasl pengklasfkasan secara otomats. II. PEGKLASIFIKASIA DRLSC Langkah-langkah pada pengklasfkasan DRLSC seagamana Gamar. Kata Kunc : Desan Klasfkas, Dscrmnatvely Regularzed Least Square Classfcaton, Algortma genetka, Partcle Sarm Optmzaton, Pengenalan Pola. I. PEDAHULUA Metode DRLSC mengklasfkaskan data-data secara dscrmnatve erdasarkan ntraclass dan nterclass sehngga cenderung menghaslkan keakurasan yang leh ak dandngkan metode regularzaton seelumnya (Xue, 009). DRLSC sangat dpengaruh oleh umlah tetangga terdekat setap data seanyak K pada metode K dan regularzaton parameter ( ). Berdasarkan hal n maka perlu adanya penentuan secara otomats pada umlah tetangga terdekat pada setap data (K) dan. Metode Algortma genetka telah anyak dgunakan dalam mengoptmas dengan menggunakan operator crossover dan mutas sehngga dalam mencar search pont memlk karakterstk mencar pola aru yang dharapkan agar memlk nla ftness yang leh ak. Pada Partcle Sarm Optmzaton (PSO), dalam mencar search pont erdasarkan nla ftness yang terak dengan resultan poss pont saat n dengan nla yang akan dcapa. Sehngga karakterstk pada pencaran nla pada PSO erdasarkan satu nla pont yang memlk ftness terak, sedangkan pada Algortma Genetka pencaran nla dlakukan oleh seluruh kromosom dengan menggunakan operator Algortma Genetka (Svanandam, Gamar..Dagram Alr pengklasfkasan metode DRLSC Parameter yang doptmas adalah parameter K yang terdapat pada proses pengelompokan data dengan metode K dan regularzaton parameter yang terdapat pada proses penghtungan S.

2 Pengklasfkasan DRLSC dmula dar pengelompokan data dengan metode K hngga menentukan kelas data erdasarkan hasl output. adacency (Xue, 009). Konsep dar matrx adacency dalam pemeran oot untuk matrx dar graph G dan G adalah seaga erkut:. K earest eghor K earest eghor dgunakan untuk menentukan huungan antara data. Pada setap data x maka dcar K data yang memlk arak yang terdekat kemudan dangun edge yang menghuungkan data x dengan K data. K data yang terdekat dsmpan pada varael ne()= { x,..., k x }. Berkut adalah algortma dar K (Duda, 00; Song, 007; Lu, 004):. Menentukan nla K.. Menghtung arak data pada setap data tranng dengan eucledan. 3. Mendapatkan K data yang memlk arak terdekat. Penghtungan arak pada metode K dengan eucledan antara vektor x dan vektor x dengan rumus seagamana persamaan. D d ( x, x ) = ( x x ) ( x x ) = ( x x ) () = dmana x adalah data ke- dan x adalah data ke-, d x, x ) ( adalah arak kedua data. Semakn mrp kedua data, maka nla dar arak kedua data semakn kecl. Sealknya semakn esar hasl dar d x, x ) maka semakn tngg peredaan ( karakterstk antara kedua data vektor.. Memedakan ne dan ne Setelah mendapatkan K data terdekat pada setap data, dlanutkan dengan dua pemagan kelompok data dar K data terdekat pada setap data. Pemagan n erdasarkan data-data yang terkelompokkan erdasarkan kelasnya (ne ) atau data-data yang terkelompokkan tdak termasuk dalam kelasnya (ne ) seagamana persamaan erkut: ne ()={ x ka x dan ne ()={ x ka x dan x kelas yang sama, K} x kelas yang ereda, K} () Jka seluruh K tetangga terdekat terkelompokkan pada ne maka umlah ne data terseut ernla 0. Seluruh anggota pada ne dan ne merupakan anggota dar ne pada setap data. Hasl pengelompokan dar ne dan ne akan menad dasar yang sangat pentng untuk memangun keterhuungan data-data seaga dasar dar matrx Laplacan..3 Memangun matrx G dan G Dasar dalam memangun matrk Laplacan adalah memangun matrk eght erdasarkan ne yatu G dan erdasarkan ne yatu G dengan menggunakan konsep matrx (3) Matrx adacency yang telah dangun menunukkan huungan keterkatan antara data-data. Setelah memangun G dan G, maka dlanutkan dengan memangun matrk Laplacan..4 Matrk Laplacan Matrk Laplacan dangun erdasarkan matrk G dan G. Persamaan untuk memangun matrk Laplacan seagamana erkut: L L = D G = D G (4) dmana D adalah matrx dagonal yang elemen dagonalnya adalah umlah seluruh elemen dar G. Sedangkan D merupakan matrx dagonal yang elemen dagonalnya adalah umlah seluruh elemen dar G. la pada elemen-elemen dagonal merupakan penumlahan dar data-data yang terdapat pada G dan G erdasarkan kolomnya pada setap ars..4 Least Square Konsep dar penghtungan Least Square adalah mendapatkan solus dar vektor C yang memenuh persamaan AC=B, A AC ~ =A B (5) Pada penyelesaan matrk nvers dutuhkan matrk square, sehngga dlakukan pendekatan A A A. C ~ adalah solus Least Squares dengan melakukan nvers (Duda, 00; Grodzevch, 005; Ja, 008; Rfkn, 007) seagamana persamaan erkut: C ~ =(A A) - A B (6) Jka hasl dar nvers A A adalah matrk sngular (mendekat nla nol), maka dgunakan pseudonverse erdasarkan sngular value decomposton(rfkn, 007; Bartoll,000). Konsep dasar dar penghtungan pseudonverse adalah sngular value decomposton (svd). Jka terdapat matrx G erukuran matrx [xm], dengan menggunakan sngular value decomposton akan ddapatkan nla matrx U [u,u, u ] yang merupakan left sngular vektor dar matrx G dan nla matrx V [v,v, v M ] yang merupakan nla rght sngular vektor dar matrx G.

3 .5 Penghtungan S S adalah parameter yang ertuuan memerkan nformas pada data-data pemelaaran mengena nformas yang terdapat pada matrx Laplacan seagamana persamaan 7. S [ L ( ) L ] X = X (7) dmana adalah regularzaton parameter dan X adalah kumpulan dar data-data x. Jka data dproyekskan erdasarkan kernel, maka perlu pemangunan matrk kernel dengan cara data dproyekskan kedalam fungs kernel kemudan dlanutkan dengan penyelesaan persamaan lner (Xue, 009). Peneltan n menggunakan gaussan kernel (Xue, 009). Persamaan 8 adalah persamaan untuk kernel gaussan. x x K ( x, x ) = exp σ (8) dmana σ adalah varael varan. Setelah ddapatkan nla dar hasl perhtungan S, dlanutkan dengan penghtungan nla as () dan parameter Langrange Multpler (γ ) seaga dasar dalam mendapatkan nla oot dar metode DRLSC..6 Penghtungan dan γ Kelehan dar metode DRLSC adalah dapat mengklasfkaskan data secara multclass (pada aktu ersamaan dapat mengklasfkaskan data-data dengan kelas yang ereda) tanpa mengklasfkaskannya pada eerapa pengklasfkasan nary class. Persamaan multclass seagamana persamaan 9. 0 [ γ ] = [ 0 Y ] (9) Ω + I dmana Ω = x + x, ( S) x, = [,..., ], γ = [ γ,..., γ ], I R merupakan matrk denttas, = [ 0,...,0],Y = [ y,..., y ] 0c, adalah umlah data pemelaaran dan, (.) + adalah nvers dar matrk. Untuk pengklasfkasan multclass, maka pada lael kelas dangun secara vektor dengan tuuan dapat mengatas permasalahan multclass. Jka data x termasuk pada kelas k maka target kelas merupakan y =[0,...,,...,0] R c, dmana kelas ke-k ernla dan yang lan ernla 0. I.7 Penghtungan Hasl Keluaran Setelah mendapatkan nla dan γ, maka dlanutkan dengan penghtungan oot () erdasarkan persamaan 0. = = γ ( S ) x (0) + Sesua dengan persamaan datas, maka adalah penumlahan dar hasl perkalan dar Langrange multplers, nvers dar S dan, data ke- seumlah data. Setelah mendapatkan nla dan as, maka hasl keluaran untuk pengklasfkasan multclass seagamana persamaan. f ( x) = x + () dmana R nxc, R c Hasl dar pengklasfkasan dar metode DRLSC dgunakan seaga dasar dar penghtungan ftness pada metode Optmas Algortma Genetka dan Partcle Sarm Optmzaton. 3. GAPSO Peneltan n mengmplementaskan penggaungan dua metode optmas yatu Algortma Genetka dan Partcle Sarm Optmzaton dengan stlah GAPSO. Konsep dasar dar PSO yatu mengemangkan smulas sekumpulan urung dalam ruang dmens XY (dua dmens) drepresentaskan dengan partkel erdasarkan nformas poss dan kecepatan (velocty). Setap partkel mengetahu nla teraknya (P est ) dan possnya (x). Selanutnya, setap partcle mengetahu nla terak ddalam seluruh data (G est ). Pada Gamar menggamarkan konsep desan sstem untuk menggaungkan kedua metode. Gamar. Dagram pengklasfkasan metode GA dan PSO Berkut adalah algortma dar metode GAPSO (Kao, 008):. Insalsas random populas seanyak data.. Evaluas dan rankng evaluas ftness pada setap ndvdu, dmana fungs ftness pada peneltan n MeanSquare Error ( MSE) = ( y f ( x)), 3

4 erdasarkan mean square error, seagamana persamaan (Dondet, 005; Colett, 999). () dmana y adalah nla target yang dngnkan, f(x) adalah hasl keluaran dar pengklasfkasan data. 3. Algortma genetka dengan menggunakan real code operator GA, dar / data terak. 3.Seleks dar data plh / data dengan ftness terak. 3. Crossover / data seagamana persamaan Mutas dengan pengaruh fungs gaussan terhadap nla random. Proaltas mutas seesar 0. seagamana persamaan 4. ' x = α * x + ( α ) x + ' x = α * x + ( α ) x =,,..., =, (3) (4) 4. Setelah pemelaaran dengan metode crossover dan mutas, maka dlanutkan dengan pemelaaran PSO. Operas yang dgunakan pada pemelaaran PSO untuk penentuan velocty pada pemelaaran GAPSO seagamana persamaan 5. V e d old = cxrandx( p x ), (5) gd dmana nla c adalah, rand adalah nla random antara 0 dan, p adalah nla G est. Pada pemelaaran GAPSO pada gd peneltan n tdak menggunakan velocty lama untuk memperaru nla velocty, hal n erpengaruh postf sehngga menuu nla optmal leh terarah dan leh cepat. Hal n dseakan karena pada pada metode GAPSO, dapat terad kemungknan data dar PSO menad data pemelaaran pada GA yang tdak memutuhkan nformas nla velocty seelumnya. Dar hasl pemelaaran GA n dperoleh generas aru yang tdak dpengaruh oleh nla velocty seelumnya. Dengan demkan, maka penggunaan velocty seelumnya dapat memperlamat kearah nla optmal ka terad kemungknan nla dar data PSO pada generas erkutnya dgunakan seaga pemelaaran pada metode GA. Setelah pemelaaran dengan metode GA dlanutkan dengan metode PSO, maka dlakukan analsa ftness dalam peneltan n Mean Square Error dar pengklasfkasan DRLSC untuk mengetahu error yang telah dcapa oleh pemelaaran GAPSO. Penentuan teras erhent dalam peneltan n menggunakan maksmum teras. Seelum memasuk optmas pada PSO, maka perlu adanya konvers nla dar kromosom seagamana persamaan 6 (Saruhan, 004): x=r +(r a -r )g, (6) dmana r adalah atas aah dan r a adalah atas atas dengan g adalah gen dar kromosom. d IV. HASIL UJI COBA DA AALISA Setap u coa yang dlakukan pada ke-3 dataset akan dandngkan pada empat metode yatu tanpa optmas, dengan metode GA, metode PSO, dan optmas dengan GAPSO. ael. Hasl Pemelaaran Data IRIS Metode Ftness %U Coa Σ teras K ta anpa Optmas,e ,33% GA,e ,33% 7 9,65 6 PSO,e ,33% 3 56,54 6 GAPSO,e ,33% 3 85,4 6 Berdasarkan hasl percoaan pada ael, hasl pemelaaran pada ketga metode optmas dan tanpa optmas menghaslkan parameter K dan yang sama, sehngga ftness pada ke-4 parameter memlk nla yang sama. ael. Hasl Pemelaaran Data WIE Metode Ftness %U Coa Σ teras K anpa Optmas 0,076 93,33% 4 75,3 GA 4,e ,33% 30 54,45 7 PSO 4,7e ,33% 7 40, GAPSO 8,9e-00 93,33% ,55 Hasl yang dperoleh erdasarkan ael, nla ftness terkecl dperoleh oleh metode GAPSO. ael 3. Hasl Pemelaaran Data LESA Metode Ftness %U Σ teras K Η anpa Optmas Coa 0,005 9,3% 0,7 GA 0,086 9,3%,7 PSO,6e-005 9,3% 7 3,68 5 GAPSO,9e-006 9,3% 3 3,03 Seagamana pada hasl percoaan pada ael 3, hasl ftness yang ddapatkan pada GAPSO memlk nla terak dandngkan ke- metode optmas dan tanpa optmas. Berdasarkan analsa pada seluruh u coa maka kecenderungan metode GAPSO menghaslkan nla ftness yang leh kecl ka dandngkan metode GA ataupun PSO. Metode GAPSO seak teras pertama hngga konvergen memlk kecenderungan menghaslkan nla ftness yang leh kecl ka dandngkan dengan metode GA ataupun PSO sendr pada setap terasnya. Hal n dpengaruh oleh hasl pemelaaran dar metode Algortma Genetka mempengaruh data pemelaaran pada metode PSO pada setap terasnya. Semakn anyak umlah teras untuk mencapa konvergen dengan data pemelaaran yang sama pada metode 4

5 GAPSO memlk kecenderungan menghaslkan nla ftness yang terkecl dandngkan metode optmas GA ataupun PSO untuk data yang sama. a. Grafk GAPSO. Grafk GA. Grafk PSO d. Grafk anpa Optmas Gamar 3. Grafk ke-4 Metode dengan data Wne V.KESIMPULA Berdasarkan hasl u coa dan analsa yang telah dlakukan maka dapat durakan eerapa kesmpulan, yatu: Pada peneltan n mampu mendapatkan parameter K dan secara otomats dengan menerapkan metode optmas GAPSO. Metode GAPSO yang dterapkan untuk mengoptmas metode DRLSC memlk kecenderungan mampu menghaslkan nla ftness yang leh ak ka dandngkan metode optmas GA ataupun PSO sendr dan tanpa optmas. Pada metode GAPSO, semakn anyak umlah teras untuk mencapa konvergen akan menghaslkan nla ftness yang leh ak ka dandngkan metode GA ataupun PSO dengan data yang sama. Pada peneltan n mash terdapat kelemahan ketka proses pemelaaran K memutuhkan aktu yang lama karena menggunakan dmens seenarnya, untuk mengatas hal n perlu adanya peneltan pengurangan dmens untuk mempercepat proses komputas ketka pada pemelaaran K. VI. DAFAR PUSAKA Bartoll, Andren (000), umercal Optmzaton I Lnear Least Squares, Copenhagen, Denmark. Colett, M., Lash,., Mandsager, C., Mchalsk, R.S. dan Moustafa, R. (999), Comparng Performance of the Learnale Evoluton Model and Genetc Algorthms Appled to Dgtal Sgnal Flters. Dondet, S., Kannan, K. dan Manavalan, R. (005), Genetc Algorthm Optmzed eural etorks Ensemle for Estmaton of Mefenamc Acd and Paracetamol n alets, Acta Chm. Slov., 5, Duda, R.O., Hart, P.E. dan Stork, D.G. (00), Pattern Classfcaton, Wley, e York. Grodzevch, O. dan Wolkocz, H. (005), Regularzaton Usng a Parameterzed rust Regon Suprolem, he atural Scences and Engneerng Research Councl of Canada. Ja, Y., Zhang, C. (008), Local Regularzed Least-Square Dmensonalty Reducton, IEEE /08. Kao, Y.. dan Zahara (008), E., A hyrd genetc algorthm and partcle sarm optmzaton for multmodal functons, Appled Soft Computng Lu, D., Sh,., DDonato, J.A., Carpten, J.D., Zhu, J. dan Duan, Z.H. (004), Applcaton of Genetc Algorthm/K-earest eghor Method to the Classfcaton of Renal Cell Carcnoma, Proceedngs of the IEEE Computatonal Systems Bonformatcs Conference. es, Antle, (003), Hyrd System for Face Recognton, oregan Unversty of Scence and echnology, Faculty of Informaton echnology,mathematcs and Electrcal Engneerng, Department of Computer and Informaton Scence, Dvson of Intellgent Systems / Image Processng Rfkn, R. M. dan Lppert, R. A. (007), otes on Regularzed Least Squares, Computer Scence and Artfcal Intellgence Laoratory echncal Report, MI-CSAIL- R Saruhan, H. (004), Genetc Algorthms: An Optmzaton echnque, EKOLOJĐ, Volume 7, Issue, Svanandam, S.. dan Deepa, S.. (008), Introducton to Genetc Algorthms, Sprnger-Verlag Berln Hedelerg. Song, Y., Huang, J, Zhou, D., Zha, H. dan Gles, C. L. (007), IK: Informatve K-earest eghor Pattern Classfcaton, Sprnger-Verlag Berln Hedelerg. Xue, H., Chen, S. dan Yang, Q. (009), Dscrmnatvely Regularzed Least-Squares Classfcaton, Scence Drect, Pattern Recognton