Bootstrap Pada Regresi Linear dan Spline Truncated

Transkripsi

1 Statstka, Vol. 8 No. 1, Me 2008 Bootstrap Pada Regres Lnear dan Splne runcated Harson Darmaw 1) dan Bambang Wdjanarko Otok 2) 1) enaga Pengajar d Jurusan Matematka UNRI, Pekanbaru e-mal: son_ms@yahoo.co.d 2) enaga Pengajar d Jurusan Statstka, IS, Surabaya e-mal: bambang_wo@statstka.ts.ac.d; otok_bw@yahoo.com Abstrak Pendekatan parametrk mengasumskan bentuk model sudah dtentukan. Apabla tdak ada nformas apapun tentang bentuk kurva, maka pendekatan yang dgunakan adalah pendekatan nonparametrk, salah satunya splne truncated. Karena pendekatan tdak tergantung pada asums bentuk kurva tertentu, sehngga memberkan fleksbltas yang lebh besar. ujuan peneltan n adalah mengkaj bootstrap pada regres lnear dan regres splne (truncated splne) dengan kajan smulas. Hasl peneltan menunjukkan bahwa Fungs optmal terjad pada varans yang kecl untuk sembarang pengamatan. Nla MSE pada kurva truncated splne lebh kecl dbandng dengan regres lnear pada semua fungs. Hal n dapat dartkan bahwa kurva truncated splne lebh bak dbandng dengan regres lnear. Hal n dapat dlhat dar smulas estmator g( t) sn( 5t) dan g( t) 5e, truncated splne memberkan berbaga nla ttk knot, sehngga nla MSE kecl dbandng regres lnear. Secara keseluruhan dengan krtera MSE, Splne runcated sesudah d bootstrap lebh bak dbandng dengan pendekatan regres dan splne truncated. Kata Kunc: Regres Lnear, Splne runcated, Bootstrap, MSE 1. Pendahuluan Analss regres memperlhatkan hubungan dan pengaruh varabel predktor terhadap varabel respon. Msalnya y adalah varabel respon dan t adalah varabel predktor, untuk n buah pengamatan, secara umum hubungan antara y dan x dapat dtuls sebaga berkut : y f () x, 1,2,, n dengan adalah sesatan random dan f () x merupakan kurva regres. Jka kurva regres merupakan model parametrk maka dsebut sebaga regres parametrk dan apabla model yang dasumskan n benar, maka pendugaan parametrk sangat efsen, tetap jka tdak, menyebabkan nterpretas data yang menyesatkan (Hardle, 1990). Pendekatan parametrk mengasumskan bentuk model sudah dtentukan. Apabla tdak ada nformas apapun tentang bentuk f () x, maka pendekatan yang dgunakan adalah pendekatan nonparametrk. Karena pendekatan tdak tergantung pada asums bentuk kurva tertentu, sehngga memberkan fleksbeltas yang lebh besar. Dalam hal n dasumskan f () x termuat dalam ruang fungs (Eubank, 1988). Ada beberapa teknk estmas dalam regres nonparametrk antara lan pendekatan hstogram, estmator splne, estmator kernel, estmator deret orthogonal, analss wavelet dan lan-lan. Pendekatan estmator splne ada bermacam-macam antara lan splne orgnal, splne type M, splne relaxed, splne terbobot dan lan-lan. Pendekatan splne mempunya suatu bass fungs. Bass fungs yang basa dpaka antara lan splne truncated dan B-splne (Botella and Sharff, 2003). Wahba (1990) menunjukkan bahwa splne memlk sfat-sfat statstk yang berguna untuk menganalss hubungan dalam regres. Splne adalah salah satu jens pecewse polnomal, yatu polnomal yang memlk sfat tersegmen. Sfat tersegmen n memberkan 5t 47

2 48 Harson Darmaw dan Bambang Wdjanarko Otok fleksbltas lebh dar polnomal basa, sehngga memungknkan untuk menyesuakan dr secara lebh efektf terhadap karakterstk lokal suatu fungs atau data. Dalam proses nferens statstk, yang dgunakan untuk melhat seberapa akurat rngkasan suatu data dgunakan pendekatan bootstrap. Mooney (1997) melakukan perbandngan antara metode kuadrat terkecl dan metode bootstrap dengan hasl bahwa jka asums kenormalan terpenuh maka kedua metode akan memberkan hasl yang relatf sama, tetap jka asums kenormalan tdak terpenuh kedua hasl memberkan hasl yang berbeda. Sedangkan Stone (1990) menunjukkan bahwa metode bootstrap merupakan perkembangan yang relatf baru secara teorts, sehngga penerapannya dapat dmengert. Permasalahan dalam metode bootstrap terletak pada sampel, salah satu untuk melhat keterbatasan dan kelebhannya memperlakukan sampel sebaga populas dan menggunakan percobaan monte carlo untuk mengkonstrukskan estmator emprs dstrbus samplng statstk. Pada peneltan n dbahas mengena estmas regres lnear dan truncated splne dan melakukan smulas untuk membandngkan MSE regres lnear dan splne truncated sebelum dan sesudah d bootstrap. 2. Regres Lnear Perubahan nla suatu varabel tdak selalu terjad dengan sendrnya, namun perubahan nla varabel tu dapat pula dsebabkan oleh berubahnya varabel lan yang berhubungan dengan varabel tersebut. Untuk mengetahu pola perubahan nla suatu varabel yang dsebabkan oleh varabel lan dperlukan alat analss yang memungknkan untuk membuat predks nla varabel tersebut pada nla tertentu varabel yang mempengaruh. Prnsp dasar yang harus dpenuh dalam membangun suatu persamaan regres adalah bahwa antara varabel dependen dengan varabel ndependennya mempunya sfat hubungan sebab akbat, bak yang ddasarkan pada teor, hasl peneltan sebelumnya, ataupun yang ddasarkan pada penjelasan logs tertentu. Dalam persamaan regres jka hanya mengandung satu varabel ndependent dsebut Regres Lnear Sederhana dan jka dalam model regres tersebut mengandung lebh dar satu varabel ndependent dsebut Regres Lnear Berganda. ujuan dan manfaat dalam analss regres antara lan : mendapatkan pola hubungan secara matemats antara varabel X dan Y, mengetahu besarnya perubahan varabel X terhadap Y dan mempredks Y jka nla X dketahu. Regres Lnear Berganda merupakan perluasan dar regres lnear sederhana, yang bertujuan untuk mencar pola hubungan yang dapat dgambarkan secara matemats antara satu varabel respon dengan beberapa varabel predktor secara serentak. Jka terdapat n pengamatan untuk varabel (Y) dan varabel bebas (X ), 1, 2,, n maka pola hubungan secara umum dapat dtuls sebaga berkut : Y 0 1X 1... k X k (1) dengan : Y X = varabel respon = varabel predktor/fxed = parameter = unsur gangguan yang dasumskan dentk ndependen dan berdstrbus normal atau ~ IIDN(0, 2 ) 3. Splne runcated Splne merupakan potongan polnomal (pecewse polynomal), yatu polynomal yang memlk sfat tersegmen yang kontnu. Sfat n yang memberkan fleksbltas lebh darpada polnomal basa, sehngga memungknkan untuk menyesuakan dr secara efektf terhadap karakterstk lokal dar fungs atau data (Eubank,1998). Statstka, Vol. 8, No. 1, Me 2008

3 Bootstrap pada Regres Lnear dan Splne runcated 49 Splne adalah potongan polynomal order r, ttk bersama dar potongan-potongan 1,, tersebut basanya dsebut dengan knots. Splne orde r dengan knots pada k ddefnskan suatu fungs s dengan bentuk: r1 k lt 0 1 S ( t) ( t ) r1,,,,,,k Untuk suatu koefsen rl 0 1 r1 ( t ) r1 ( t ) 0 r1 1 dan jka ( t ) 0 jka ( t ) 0 Splne pada Persamaan (2) mempunya sfat sebaga berkut: () s merupakan potongan polynomal derajat r-1 pada setap subnter [, 1] () s mempunya turunan ke (r-2) yang kontnyu. () S mempunya turunan ke (r-1) yang merupakan fungs tangga dengan ttk-ttk lompatan pada 1,..., k. Apabla r S ( 1,, k ) menyatakan hmpunan semua fungs yang berbentuk (2), maka r S ( 1,, k ) adalah suatu ruang vektor. Apabla defnskan suatu splne alam berorde r = 2m dengan tttk-ttk knots pada ( t 1,..., tn ) adalah splne yang memenuh sfat ()-() juga memenuh sfat (v) berkut : (v) s adalah polnomal derajat m-1 dluar nterval [ t 1, tn ] maka s memenuh syarat batas ( j ) ( j ) alam (natural boundary condton), yatu s ( a) s ( b) 0, j m,..., 2m 1 (2) (3) 2m Selanjutnya ddefnskan t,..., t ) adalah hmpunan semua splne alam berorde-2m NS ( 1 n 2m t 1,..., t. adalah subruang dar ruang vektor t,..., t ) dengan ttk knots pada ( n ) S ( 1 n. Jka dalam persamaan (2) dambl nla m= 2, maka dperoleh sebuah splne yang dsebut dengan t,...,t splne kubk. Jka dberkan blangan real 1 n pada suatu nterval [a,b] yang memenuh a t... t 1 n b. Fungs f terdefns dalam nterval [a,b] dkatakan Splne kubk jka memenuh syarat berkut: 1. pada setap nterval ( a, t1 ),( t1, t2 ),...,( tn, b), f adalah polnomal kubk. 2. turunan pertama dan kedua dar f kontnyu pada setap [ a, b] t ttk knot. t dengan Splne kubk pada nterval [a,b] dkatakan Splne kubk alam jka turunan kedua dan ketganya pada ttk a dan b adalah nol (Green dan Slverman, 1994). 4. Bootstrap Bootstrap suatu metode yang memungknkan untuk mendapatkan model secara berulangulang dar hanya satu kumpulan data dalam ukuran sampel yang kecl. Sehngga ddapat estmas-estmas parameter model untuk setap pengulangan yang dlakukan (stabl) dengan standar error yang lebh rendah. Metode bootstrap pertama kal dpelajar oleh B. Efron (1979). Metode bootstrap merupakan suatu metode penaksran nonparametrk yang dapat menaksr parameterparameter dar suatu dstrbus, varans dar sampel medan, serta dapat menaksr tngkat kesalahan (error). Pada metode bootstrap dlakukan pengamblan sampel dengan pengembalan (resamplmg wth replacement) dar sampel data. Statstka, Vol. 8, No. 1, Me 2008

4 50 Harson Darmaw dan Bambang Wdjanarko Otok Gambar 1. Skema Proses Bootstrap Gambar 1., adalah skema proses bootstrap untuk menaksr standar error dar statstk s(x). Sebuah sampel asl (x) berukuran n yang terdr dar x1,x2,,xn. Kemudan sebanyak B sampel bootstrap berukuran n dambl ( resampel) dengan pengembalan dar sampel asl (x), sehngga ddapatkan hmpunan data bootstrap ( x 1*, x2 *,..., xb * ) yang terdr dar anggota data asl, beberapa mungkn tdak akan muncul sama sekal, atau muncul hanya satu atau dua kal, tergantung randomsas. anda ( ) menunjukkan x* bukan data aktual tetap hasl dar randomsas atau resampel dar x. tap sampel bootstrap merupakan sampel acak yang salng ndependent. Replkas bootstrap s( x 1 ), s( x 2 ),..., s( x B ) dperoleh dar menghtung nla statstk s(x) pada masng-masng sampel bootstrap. Sehngga standar error s(x) adalah devas 1 2 B * * standar dar s( x ), s( x ),..., s( x ) atau ˆ* ˆ ˆ 1, 2,..., B. Jumlah replkas bootstrap (B) yang dgunakan untuk mendapatkan taksran standar error yang cukup bak basanya pada selang 50 sampa 200 (Efron dan bshran, 1993). Gambar 2. Algortma bootstrap untuk perhtungan standar error Gambar 2 menunjukkan algortma bootstrap untuk perhtungan standar error dar ˆ. aksran bootstrap untuk standar error dar ˆ, sef(ˆ ), adalah taksran plug n yang menggunakan fungs dstrbus emprs Fˆ pada suatu dstrbus yang tdak dketahu. Sehngga taksran bootstrap sef(ˆ ) ddefnskan sebaga se ( ˆ ˆ ) F. Statstka, Vol. 8, No. 1, Me 2008

5 Bootstrap pada Regres Lnear dan Splne runcated Metodolog Peneltan Data dalam peneltan n dgunakan data smulas dengan bantuan program MINIAB dan SPLUS. Adapun langkah-langkah peneltan sebaga berkut: 1. Membangun model y g( t ), =1,2,...,n dengan n=50, 100, 250. Dmana dbang-ktkan dar dstrbus Normal dengan 0 dan σ=0,025, σ=0,5 dan σ = 1, t 5t dbangktkan dar dstrbus Unform(0,1), dengan fungs g ( t ) = 5e dan g( t ) sn(2t). 2. Membandngkan nla MSE model regres dan splne truncated sebelum dan sesudah d bootstrap. 6. Analss dan Pembahasan 6.1. Estmas Regres Lnear dan runcated Splne Pandang persamaan (1), dan taksran responnya adalah: Yˆ ˆ ˆ X... ˆ X (4) k k Masalah utama dalam analsa regres adalah menaksr parameter atau koefsen regres dan menyeldk tngkat sgnfkans dalam model secara serentak, kemudan menyeldk secara ndvdu. Metode kuadrat terkecl dgunakan dengan tujuan untuk memnmumkan varans sehngga ddapatkan penaksran yang tak bas. Dalam persamaan regres lnear berganda, khususnya bla varabel predktor lebh dar dua, akan lebh mudah apabla dengan menggunakan pendekatan matrks. Sedangkan metode yang serng dgunakan untuk menaksr parameter adalah OLS, yang prnspnya memnmumkan jumlah kuadrat resdual, atau secara matemats: n 2 ˆ ' mnmum (5) 1 aksran ˆ dapat dperoleh dengan menyelesakan turunan secara parsl terhadap b0, b1,...,bk dan menyamakan haslnya dengan nol. Dar persamaan d atas ddapatkan : = Y-X dengan prnsp metode kuadrat terkecl maka : ()() Y X Y X () Y Y Y X X Y X X () Y Y 2 X Y X X Dengan menurunkan terhadap secara parsl akan dperoleh hasl sebaga berkut : 2X Y 2X X ˆ ˆ dengan menyamakan hasl datas sama dengan nol maka dperoleh : 2X Y 2X Xˆ 0 ˆ X X X Y ˆ()() X X 1 X Y berdasarkan aturan penurunan matrk Splne least squares merupakan generalsas regres polnomal (Eubank,1988), dmana estmas kurva regres f dperoleh melalu fungs berkut: Statstka, Vol. 8, No. 1, Me 2008

6 52 Harson Darmaw dan Bambang Wdjanarko Otok m k j 1 m1 j j j j 1 j 1 (6) s()() t t t dalam persamaan (6) datas, s merupakan splne orde-m dengan knots 1,..., k. hmpunan m dar semua fungs n, S ( 1,..., k ) ) adalah suatu ruang vektor berdmens m+k yang terdr dar potongan polnomal orde-m yang memlk m-2 turunan yang kontnu dan dskontnu pada turunan ke-(m-1) d ttk j. Dengan memlh { 1,..., k }, maka f dapat destmaskan dengan mengestmas koefsen-koefsen dar persamaan (6) salah satu metode untuk menyelesakan hal tersebut adalah dengan menggunakan least-squares. Ddefnskan : dengan x1() t 1, x2() t, t m1 xm() t t, m1 xm1()() t t, 1 xmk ()() t t k m1 ~ β ( 1,, m, 1,, k ) estmator splne least-square dar f adalah dmana m k j x j j f 1β ~ β ( 1,...,, m k ) adalah suatu mnmzer dar MSE( ; ) n n mk 1 ( y 1 j1 terhadap ~ lebh jelasnya ddefnskan: X j x ( t )) j 2 ( ) { x j ( t )}, 1,..., n; j1,..., mk. (11) (7) (8) (9) (10) maka ~ adalah suatu penyelesaan untuk persamaan normal: ~ X ( ) X ( ) X ( ) y, (12) dmana y= (y 1,...,y n ) jka X() mempunya rank m +k, maka: ~ β [ X ( ) X ( )] 1 X ( ) ~ y dar (9) dan (13) terlhat bahwa dengan { 1,..., k } }, f adalah estmator lnear dar f. (13) 6.2. Perbandngan Metode Pada Data Smulas Setelah membangun model y g( t ), maka langkah pertama ddekat dengan kurva regres dan splne truncated. Nla MSE dengan berbaga varas pada fungs, pengamatan (n) secara lengkap tersaj pada abel 1 berkut. Statstka, Vol. 8, No. 1, Me 2008

7 Bootstrap pada Regres Lnear dan Splne runcated 53 abel 1. Nla MSE Pada Regres, Splne runcated dan Splne Bootstrap Fungs N 2 Regres Splne Splne Bootstrap MSE 0, , t 5e sn( 2t) , , , , , , , , , , Berdasarkan abel.1, ternyata nla MSE dengan banyaknya pengamatan yang semakn besar dan varans 2 5t konstan memberkan hasl yang semakn besar pada fungs g( t ) 5e. Sedang pada fungs g( t ) sn(2t), nla MSE dengan banyaknya pengamatan yang semakn besar dan varans 2 konstan memberkan hasl yang semakn kecl. Secara keseluruhan fungs optmal terjad pada varans 2 kecl dengan n sembarang. Sedangkan pada truncated Splne, nla MSE dengan banyaknya pengamatan yang semakn besar dan varans 2 konstan 5t memberkan hasl yang semakn kecl pada fungs g( t ) 5e. Sedang pada fungs g( t ) sn(2t), nla MSE dengan banyaknya pengamatan yang semakn besar pada varans 2 = 0,025 memberkan hasl yang semakn kecl, tetap pada varans 2 = 0,5 dan 1 nla MSE bervaras. Secara keseluruhan dengan krtera MSE, Splne runcated sessudah d bootstrap lebh bak dbandng dengan pendekatan regres dan splne truncated. 7. Kesmpulan 1 Berdasarkan hasl peneltan, maka estmator regres lnear adalah ˆ ()() X X X Y dan pada β X splne truncated adalah X()()() X y. Fungs optmal terjad pada varans yang kecl untuk sembarang pengamatan. Nla MSE pada kurva truncated splne lebh kecl dbandng dengan regres lnear pada semua fungs. Hal n dapat dartkan bahwa kurva truncated splne lebh bak dbandng dengan regres lnear. Hal n dapat dlhat dar smulas estmator 5t g( t) sn( 5t) dan g( t) 5e, splne truncated memberkan berbaga nla ttk knot, sehngga nla MSE kecl dbandng regres lnear. Secara keseluruhan dengan krtera MSE, splne truncated sesudah d bootstrap lebh bak dbandng dengan pendekatan regres dan splne truncated. Daftar Pustaka [1]. Botella, O., dan Sharff, K B-splne methods n Flud Dynamcs. Internatonal Journal of Computatonal Flud Dynamcs, 17(2): [2]. Efron, B Bootstrap Method: Another look of the jackknfe. he Annals of Statstcs, 7:1-24. [3]. Efron, B., dan bshran, R. J An Introducton to the Bootstrap. Chapman and Hall, Inc. [4]. Eubank, R. L Splne Smootng and Nonparametrc Regresson, Marcel Deker: New York. [5]. Green, P. J., dan Slverman, B. W Nonparametrc Regresson and Generalzed Lnear Models: A Roughness Penalty Approach. Chapman and Hall, London. [6]. Hardle, W Appled Nonparametrc Regresson, Cambrge Unversty Press: New York. Statstka, Vol. 8, No. 1, Me 2008

8 54 Harson Darmaw dan Bambang Wdjanarko Otok [7]. Mooney, C. Z., dan Robert, D. D Bootstrapng a nonparametrc approach to Statstcal nference. Sage Publcaton, Inc, London. [8]. Stone, C. J Large Sample Inference for Log-splne Models. he Annals of Statstcs, 18: Statstka, Vol. 8, No. 1, Me 2008