PEMILIHAN VARIABEL DAN REDUKSI DIMENSI DALAM REGRESI NONPARAMETRIK BERDIMENSI BESAR Eva Yat Sregar Dose Program Stud Peddka Matematka STKIP Tapaul Selata Jl. Suta Muammad Arf Kel. BatagAyum Jae Padagsdmpua 76 Emal: evayat3@yaoo.com ABSTRAK Prosedur l pada model regres Gauss o-parametrk. Dalam bayak coto kokrt,dmes d pada varabel X tergatug pada umla pegamata. Dalam tulsa, dbagu dua prosedur. Yag pertama, meml probabltas tgg pada koordat. Kemuda, dega megguaka metode pemla subset, /( d mealaka polomal Estmator utuk memperkraka fugs regres, d maa d merupaka dmes real dar masala umla varabel yag tergatug pada f, tela meggat betuk dmes d. Utuk mecapa asl, dguaka metode l -pealzato dalam setup oparametrk. Kata kuc: Reduks dmes, Dmes besar, LASSO. PENDAHULUAN Aalsa regres adala aalss statstk yag mempelaar bagamaa membagu sebua model fugsoal dar data utuk dapat meelaska ataupu meramalka suatu feomea alam atas dasar feomea yag la. Aalsa regres merupaka sala satu tekk statstk yag dguaka secara luas dalam lmu pegetaua terapa. Regres d sampg dguaka utuk megetau betuk ubuga atar peuba regres, uga dapat dperguaka utuk peramala. Model regres ler merupaka model regres dalam fugs regres yag berbertuk ler. Persamaa Y X X... k X k merupaka model regres ler dega parameter regres yag destmas berdasarka data pegamata. Dega megguaka pegamata utuk suatu model ler sederaa. Metode yag basaya dguaka utuk estmas parameter regres adala metode kuadrat terkecl. Metode kuadrat terkecl dapat memberka asl yag optmal ka sesataya dasumska berdstrbus ormal ~ N (,. Dega pemeua teradap asums keormala dapat dguaka regres parametrk utuk megetau betuk ubuga atar peuba regres pada coto data yag damat. Dalam asums-asums serg terad da terkadag peuba acak yag damat tdak dapa daggap meyebar ormal. Dar seg statstka persoala tersebut arus dapat dselesaka dega megguaka tekk statstka. Dalam statstka parametrk, tekk-tekk yag dguaka berubuga dega pedugaa parameter serta pegua potess yag berubuga dega parameterya. Asums-asums yag dguaka pada umumya mespesfkaska betuk sebaraya. Sala satu aalss alteratf la yag dapat dguaka adala dega 79
regres oparametrk karea dalam regres oparametrk tdak dperluka pemeua asums keormala. Dalam peelta masala yag dpertmbagka adala masala dmes besar. METODE PENELITIAN Metode peelta yag dlakuka adala bersfat lteratur kepustakaa da dlakuka dega megumpulka formas dar referes beberapa buku da ural, memaam peelta-peelta yag tela pera dlakuka ole peelt la yag berubuga dega peelta yag dlakuka. Tekk Aalsa Data. Meelaska tetag Regres Parametrk da Regres Noparametrk.. Meelaska tetag Reduks Dmes dalam Regres Noparametrk. 3. Meelaska tetag Regres Noparametrk Berdmes Besar. 4. Megdetfkas kesalaa-kesala yag dtemuka pada Regres Gauss Noparametrk. 5. Mempertugka estmator da koverges pada kesalaa yag mucul. 6. Meguraka pedekata Polyomal Taylor dalam arga mutlak yag dpaka dalam estmas da kekovergesa. Perbedaa Regres Parametrk da Regres Noparametrk Ada beberapa perbedaa kusus dalam pegguaa prosedur parametrkda prosedur oparametrk atara la:. Pegguaa prosedur parametrk ddasarka pada asums-asums tertetu,msalya megasumska bawa sampel yag dambl dar populas yag berdstrbus ormal. Prosedur oparametrk tdak ddasarka pada asums-asums yag megkut suatu dstrbus tertetu da dapat dguaka apabla asums yag dperluka pada pegguaa prosedur parametrk meadtdak vald.. Dalam kasus parametrk utuk megetau betuk ubuga atar peuba respo pada coto data yag damat dapat dguaka Metode KuadratTerkecl da Metode Maksmum Lkelood. Dalam regres oparametrcutuk memperkraka parameter dguaka metode Tel dega koefsekemrga gars regres sebaga meda kemrga dar seluru pasagagars dar ttkttk dega la-la X yag berbeda atau depede. 3. Pegua potess utuk model parametrk megguaka statstk u tyag merupaka sebua asl asums secara ormal yag ddasarka darmetode kuadrat terkecl. Pegua potess pada regres oparametrcmegguaka metode Tel yag dsusu berdasarka statstk t Kedall. 4. Iterval kepercayaa pada regres parametrk adala pembetuka terval kepercayaa utuk parameter yag ddasarka pada metode kuadratterkecl da asums yag dguaka mas sama dega asums yag dguaka pada pegua potess. Iterval kepercayaa pada regres o-parametrk adala pembetuka terval kepercayaa aya utuk koefsekemrga. Kurva regres dguaka utuk meelaska ubuga atara peuba peelas dega peuba terkat. Pedekata yag palg serg dguaka adala pedekata parametrk. Asums yag medasar pedekata adala kurva regres yag dwakl ole suatu model parametrk (Hardle, 99. Dalam regres parametrk, dasumska bawa betuk kurva regres dketau berdasarka teor, 8
formas sebelumya, atau sumber la yag dapat member pegetaua secara rc. Apabla model dar pedekata parametrk dasumska bear, maka pedugaa parametrk aka sagat efse. Tetap ka tdak, meyebabka terpretas data yag meyesatka. Sela tu, model parametrk mempuya keterbatasa utuk meduga pola data yag tdak darapka. Jka asums betuk kurva parametrk tdak terpeu, maka kurva regres dapat dduga megguaka model regres dar pedekata oparametrk. Pedekata oparametrk merupaka metode pedugaa model yag dlakuka berdasarka pedekata yag tdak terkat asums betuk kurva regres tertetu. Kurva regres berdasarka pedekata oparametrk, dwakl ole model yag dsebut model regres oparametrk. Karea sebelumya tdak ada asums megea betuk kurva regres, model regres oparametrk dapat berbetuk fugs apa saa, bak ler atau oler. Semua fugs dapat dguaka utuk pedugaa dalam model regres. Komputas atau pertuga dalam meduga model, merupaka kedala utama dalam regres oparametrk. Serg dega perkembaga meda komputer yag sagat pesat dewasa, regres oparametrk turut berkembag pula. Ada beberapa tekk pedugaa la peuba respos dalam regres oparametrk yak peduga kerel, regres sple, regres lokal, dll. Regres Noparametrk Berdmes Besar Tuua aalsa regres adala utuk mempelaar bagamaa respo sebua peuba varabel Y teradap perubaa yag terad pada peuba la yatu varabel X. Hubuga atara varabel X da varabel Y dapat dtulska sebaga berkut (Bert da Lecue, 8: y f ( X,,,..., Dega Y adala peuba terkat, fugs f(x adala Fugs regres oparametrk, adala Error faktor gaggua yag tdak dapat delaska ole model. Fugs f adala fugs matematk yag dsebut sebaga fugs regres da adala error yag megka teradya devas dar ubuga yag mur determstk. Pada aplkas dkumpulaka data X, Y,...,( X, Y yag bers ( formas tetag fugs f. Dar data-data dapat dduga ataupu megestmas fugs f tersebut. Jka pegetaua tetag fugs f mm, maka estmas teradap fugs f dapat ddekat secara oparametrk. Agar pedekata oparametrk megaslka estmas teradap fugs f yag masuk akal, maka al yag arus dperatka adala asums bawa fugs f memlk deraat kemulusa. Basaya kotutas dar fugs f merupaka syarat yag cukup utuk meam sebua estmator aka koverge pada fugs f yag sesugguya bla umla data bertamba tapa batas. Dalam pegguaa umum, dmes berart parameter atau pegukura yag dbutuka utuk medefska sfat-sfat suatu obek yatu paag, lebar, da tgg atau ukura da betuk. Dalam matematka, tdak ada satu pu defs yag mecukup utuk meyataka kosep dalam segala stuas yag dguaka. Kosekuesya, matematkawa membag seumla defs dmes ke dalam tpetpe yag berbeda. Semuaya ddasarka pada kosep dmes Eucldes berruag segga mead E. Maka dperole:. Ttk E adala dmes, 8
. Gars E adala dmes, 3. Bdag E adala dmes, 4. E adala dmes. Estmator Kerel Suatu fugs K( dsebut fugs kerel ka fugs K fugs kotu berarga rl, smetrs, terbatas da. x K ( x dx, utuk,,..., r K ( y dy. Jka K suatu kerel dega sfat. x r K( x dx, atau maka K dsebut kerel order r. Secara umum estmator regres kerel dar g adala estmator kuadrat terkecl, dega fugs bobot W ( x tergatug pada kerel K. Jka destas varabel X tdak K ( x X dketau, Hardle (99 memberka bobot W ( x dega fˆ ( x ˆ f ( x K ( x X da u K ( u K segga estmator kerel dar regres g adala: K ( x X Y g ˆ ( x K ( x X. Selautya, ka destas varabel X dketau, Greblck (974 ct. Hardle (99 memberka bobot W ( x K ( x X / f ( x, segga estmator kerel dar regres g adala: K ( x X Y g ˆ ( x f ( x. Kemuda dalam model racaga tetap dar ruag yag sama dega X,,,..., tetap pada [,], Prestley da Cao (97 ct. Hardle (99 memberka bobot W ( x ( X X K ( x X, X da ˆ ( ( ( f x X X utuk x ( X X, segga estmator kerel regres g adala: g ˆ ( x ( K ( x X. 8
Lemma Pada model racaga tetap varabel X satu dmes ddefska C K K ( u du da d K u K( u du. Dambl W ( X X K ( x X dega asums. K mempuya support [-,] dega K(- = K( =. g c 3. X,,,..., 4. var(,,,..., 5., da Dalam estmator kerel, tgkat kemulusa ĝ dtetuka ole fugs kerel K da yag dsebut parameter pemulus, tetap pegaru kerel K tdak sedoma parameter pemulus. Nla kecl memberka grafk yag kurag mulus sedagka la besar memberka grafk yag sagat mulus. Ole karea tu, perlu dpl la optmal utuk medapatka grafk optmal. Seleks Prosedur Estmas Estmas adala keselurua proses yag megguaka sebua estmator utuk megaslka sebua estmate dar suatu parameter. Utuk meyeleks Prosedur Estmas yag dlakuka pertama-tama adala meetuka mpua deks J,...,. Kemuda meyusu sebua peaksr dar la f(x yag d koverge utuk la /( d pada tuua pertama, guaka l polomal estmator. f (, x utuk. Dalam mela Estmas Ttk utuk Kurva Regres Estmas kurva regres umumya dlakuka dega pedekata parametrk yag mula dperkealka ole Laplace seak abad ke XVIII da uga Boscovc pada tau 757. Dalam regres parametrk dasumska bawa betuk kurva regres fugs f dketau. Pembuata asums tersebut berdasarka pada teor, pegalama masa lalu atau tersedaya sumber-sumber la yag dapat member pegetaua atau formas yag terperc. Estmas dapat uga dlakuka berdasarka pedekata yag tdak terkat dega asums betuk kurva regres tertetu, yag memberka fleksbltas yag leb besar dar kurva regres. Metode pedekata sepert damaka pedekata oparametrk yag mula dkeal seak abad ke XIX. Ada beberapa tekk utuk megestmas dalam regres oparametrk, atara la stogram, estmator Kerel, Sple, da la-la. Masala yag serg mucul dalam regres adala tdak semua varabel peelas dapat ddekat dega pedekata parametrk, karea tdak adaya formas tetag betuk ubuga varabel peelas tersebut dega varabel respoya, segga arus dguaka pedekata oparametrk. Dega meggabugka dua pedekata tersebut dalam suatu pedekata regres aka ddapatka suatu model semparametrk. Estmas model semparametrk ekuvale dega megestmas parameter-parameter pada kompoe parametrk da estmas kurva pada kompoe oparametrk. Betuk kurva regres fugs f dasumska ole smoot, dalam art bawa fugs f termuat d dalam ruag Sobolev W p a, b, dega 83
W ( p a, b g; f ( x p Utuk suatu p blaga bulat postf, da dx berdstrbus ormal dega rata-rata ol da varas estmas kurva regres fugs f megguaka optmas dega suatu syarat, g( f M f W p { a, b} b e sesata radom yag dasumska. Utuk medapatka ( y f ( x ( p f ( x dx, a. Meurut Eubak (988, estmas ekuvale dega pealzed least square (PLS yatu peyelesaa optmas sepert berkut: b ( p M f W p ( y f ( x ( f ( x dx { a, b} a Ruas pertama pada persamaa d atas merupaka fugs yag megukur kecocoka data (goodess of ft, sedagka ruas merupaka ukura kekasara kurva (rougess pealty dega sebaga parameter yag megotrol goodess of ft da rougess pealty. Umumya estmas fugs fˆ dperole dar memmumka Pealzed Lkelood (PL. Utuk meyelesaka optmas Pealzed Lkelood (PL, dguaka pedekata Reproducg Kerel Hlbert Space (RKHS atau Gateaux. Sedagka utuk persoala feres sepert estmas terval utuk fugs f yag megguaka pedekata Bayesa. Tetap pedekata memerluka pegetaua matematka yag relatve tgg da sult dpaam ole bayak peggua Statstka. Namu utuk meduga kurva regres yag dperole dar optmas Lkelood dapat mead pla yag cukup bak karea secara matematk muda da sederaa. Sedagka utuk megkostruks selag kepercayaa pada kurva regres, beberapa peelt sepert waba (983 megguaka pedekata Bayesa dega megguaka pror mproper segga secara matemats cukup sult. Aka tetap ka selag kepercayaa dperole dega pedekata Prvotal Quatty tdak aka melbatka dstrbus pror, segga dperole model yag sederaa da feres statstk yag relatve muda (Eubak, 988. PEMBAHASAN Hasl utama yag dperole berdasarka peelasa-peelasa yag tela dpaparka pada bab-bab sebelumya. Hasl utama dar peelta dapat dperole dar model regres oparametrk berkut y f ( X,,,...,. Da utuk megestmas fugs regres dlakuka dega pedekata oparametrk. Sala satu metode dalam megetmas regres oparametrk adala dega metode kerel (K d maa d t d K :, badwdt yatu (,..., d, da parameter regularsas d maa. Da utuk megdar kerumta teks aka dasumska pada fugs µ desa X dalam asums sebaga berkut: Asums Terdapat beberapa kostata, m, da L sedemka segga m 84
. B ( x, sup( da m ( y M utuk ampr setap y B ( x,,. µ adala L -Lpsctza sektar x, yatu utuk sebarag t B ( x,, ( x ( t L x t. Hasl pertama berubuga dega sfat statstk dar prosedur seleks. Utuk taap, memerluka asums keteratura utuk fugs regres f. Asums dpeu utuk sebarag -Hldera dalam fugs x dega >. Asums Terdapat kosta mutlak L > yag memeu kods. Fugs regres f terdferesal da, f ( t P ( f ( t, x L t x, t B (, x dega P ( f (., x P(f(., x adala polomal Taylor dar deraat da dar fugs f pada ttk x. Utuk mecapa suatu seleks efse pada koordat yag meark, arus dapat membedaka turua parsal tdak ol dar fugs f dar turua parsal ol. Lemma 3 Jka d da d dua solus pada (S segga A A Bukt: Meuukka bawa S( mpua {,..., d}:. Utuk sebarag v d, dperole ( v ( v sg( S ( S ( v v v dega ( A t ( Z A. Utuk sebarag S(, dperole segga v v. Ole karea tu, ( v ( Av Ambl v d sedemka gga v. Vektor da keduaya solus dar (S, segga memmalka da segga ( (. Ole karea tu, dperole Av.Selautya, membuktka asl yag berkata Av dega model detfablty serta keuka LASSO. Dperkealka cara d m : : A 3 M 85
KESIMPULAN Adapu kesmpula yag dperole berdasarka asl pembaasa adala sebaga berkut: Utuk megestmas fugs regres yag sult dapat dlakuka dega pedekata oparametrk. Sala satu metode dalam megestmas regres oparametrk adala dega metode kerel (K, badwdt atau smootg parameter da parameter regularsas. Suatu ukura kebaka estmator dar fugs regres f dapat dlat dar tgkat kesalaaya. Semak kecl tgkat kesalaaya semak bak estmasya. Kelayaka pegguaa metode regres parametrk dapat du dega membadgka teradap metode regresoparametrk. Adapu model regres oparametrk adala y f ( X,,,...,. Estmas teradap fugs regres /( d -regular fugs f tdak leb cepat dar lau. Dalam beberapa stuas, fugs f tergatug aya pada beberapa dar koordat X. Dalam bayak coto kokrt, dmes d pada varabel X tergatug pada umla pegamata. Dalam tulsa, dbagu dua prosedur. Yag pertama, meml probabltas tgg pada koordat. Kemuda, dega megguaka metode pemla subset, /( d mealaka polomal Estmator utuk memperkraka fugs regres, dega pada fugs f, tela meggat betuk dmes d. Da utuk mecapa asl, dguaka metode l -pealzato dalam setup oparametrk. d merupaka dmes real dar masala umla varabel yag tergatug DAFTAR PUSTAKA Bert, Kare. ad Lecue, Gullaume. (8. Selecto of Varables ad Dmeso Reducto Hg-Dmesoal Noparametrc Regresso. Eubak, R. L. (988. Sple Smootg ad Noparametrk Regresso, Marcel Dekter, New York. Hardle, W. (99. Appled Noparametrc Regresso. Cambrdge, Uversty Press. New York. Waba, G. (983. Bayesa Cofdece Iterval for te Cross valdated Smootg parameter te Geeralzed Sple Smootg Problems, Te Aals of Statstcs. 86