(R.2) PERBANDINGAN METODE BOOTSTRAP DAN JACKKNIFE DALAM PENDUGAAN PARAMETER REGRESI DENGAN PARTIAL LEAST SQUARE REGRESSION

Transkripsi

1 Universitas Padjadjaran, 3 Novemer 200 (R.2) PERANDINGAN METODE OOTSTRAP DAN JACKKNIFE DALAM PENDUGAAN PARAMETER REGRESI DENGAN PARTIAL LEAST SQUARE REGRESSION I Gede Nyoman Mindra Jaya Jurusan Statistika FMIPA Universitas Padjadjaran jay_komang@yahoo.com ASTRAK Metode Partial Least Square Regression salah satu metode yang ditawarkan untuk pemodelan persamaan regresi jika terdapat kasus multikolenieritas. Sama halnya seperti metode Principal Component Regression dan Ridge Regression, metode Partial Least Square Regression tidak memerikan standard error pendugaan parameter regresi karena dalam pemodelan tidak mengasumsikan searan dari error. Pendekatan umum yang digunakan untuk mendapatkan standar error dan interval konfidensi dari pendugaan parameter regresi adalah dengan menggunakan metode ootstrap dan. Dalam penelitian ini, penulis ertujuan untuk memandingkan ias pendugaan parameter regresi, standar error dan interval konfidensi pendugaan. Dengan menggunakan metode simulasi ditetapkan =000 dan sampel ootstrap n=(0, 30, 50, 00, 200) dan n-, dengan korelasi antara prediktor seesar ρ=0.9 diperoleh metode ootstrap relatif leih aik untuk ukuran sampel esar (n>30) diandingkan dengan metode dilihat dari ias pendugaan, standar error dan lear interval konfidensinya. Keyword : Regresi, Multikolenieritas, ootstrap, dan PENDAHULUAN Analisis regresi adalah teknik analisis statistik yang mencirikan huungan antara dua uah variael atau leih untuk tujuan prediksi dan estimasi dengan model statistik yang diseut seagai model regresi. Khusus untuk tujuan prediksi, semakin anyak variael yang terliat dalam model regresi maka semakin akurat dan reliale nilai prediksinya karena tentunya dengan meliatkan anyak variael prediktor, proporsi varians dari variael respon yang dapat dijelaskan oleh variael prediktor akan semakin tinggi yang ditunjukkan oleh nilai koefisien determinasi R 2 yang semakin esar. Namun, terdapat satu masalah klasik diantara anyak masalah dalam analisis regresi multipel adanya korelasi sempurna atau hampir sempurna antara variael prediktor. Dalam ahasa regresi persamasalahan ini dikenal dengan nama multikolenieritas. eerapa teknik statistik yang sering digunakan dalam penanggulangan multikolenieritas adalah Principal Component Regression (PCAR), Ridge Regression (RR) dan Partial Least Square Regression (PLSR). Kajian yang telah dilakukan oleh Norliza (2006) menunjukkan ahwa metode PLSR adalah metode yang teraik diandingkan metode yang lain dilihat dari Means Square Error (MSE) pendugaan parameter regresi. Konsep dari PLSR adalah mereduksi variael prediktor menjadi k komponen dengan memperhatikan korelasi antara set variael prediktor dengan set variael respon. PLSR merupakan gaungan dari Principal Component Regression (PCR) dengan Canonical Correlations (CC). Namun satu hal yang menjadi kendala dalam PLSR Manajemen Risiko di idang Perankan dan Asuransi 355

2 Universitas Padjadjaran, 3 Novemer 200 adalah pada tahap pengujian signifikansi parameter regresi karena dalam metode PLSR tidak mengasumsikan searan dari data. Sehingga standar error pendugaan tidak isa diturunkan dari aspek teoritis. Pendekatan yang dapat digunakan untuk mendpatkan standar error dari pendugaan parameter yaitu metode resampling (ootstrap) atau dengan menggunakan metode. Dalam penelitian ini, penulis mencoa memandingkan metode ootstrap dan dalam menduga () ias parameter, (2) standard error dan (3) interval konfidensi pada Partial Least Square Regression. TUJUAN PENELITIAN Tujuan dari penelitian ini adalah memandingkan metode ootstrap dan dalam menduga () ias parameter, (2) standard error dan (3) interval konfidensi pada Partial Least Square Regression KERANGKA KONSEPTUAL Partial Least Square Regression PLS merupakan metode yang cukup aru yang dikemangkan oleh Herman Wold di Tahun 960-an seagai seuah metode yang digunakan untuk memangun model prediksi saat variael prediktor anyak dan saling erkorelasi. PLS dapapat digunakan untuk jumlah variael prediktor yang sangat anyak ahkan leih anyak dari ukuran sampelnya. Untuk regresi variael Y dengan variael prediktor X,..,X p, PLS mencoa menemukan faktor-faktor aru yang akan memainkan peran yang sama dengan X. Faktor-faktor aru sering diseut variael laten atau komponen. Masing-masing komponen adalah kominasi linear dari X,..,X p. Ada eerapa kesamaan dengan PCR. Kedua metode, sama-sama menemukan faktor aru yang akan diregresikan dengan Y. Peredaan utamanya adalah ketika PCR hanya menggunakan variasi X untuk memangun faktor-faktor aru, PLS menggunakan kedua variasi X dan Y untuk memangun faktor-faktor aru yang akan memainkan peran seagai variael prediktor. Intensi dari PLS adalah untuk mementuk komponen yang menangkap seagian esar informasi dalam variael X, yang erguna untuk memprediksi y,.., y q, dengan menggunakan komponen leih sedikit dari jumlah variael X. Sekarang kita akan menurunkan penduga PLS β dan. Matriks X dapat dilakukan dekomposisi ilinier seagai erikut : p / / / / / 2 2 p p i i i= X= t p + t p t p = t p = TP () Di sini t i adalah kominasi linear dari X, yang ditulis seagai Xr i. Kemudian p x vektor p i yang sering diseut vektor loading. ereda dengan oot di PCR (yaitu eigenvektor γ i ), r i tidak ortonormal. Namun agaimanapun t i, seperti komponen utama Z i, yang ortogonal. Ada dua algoritma populer untuk mendapatkan penduga PLS. Satu diseut NIPALS dan yang lainnya diseut algoritma SIMPLS Tahap awal dalam pendugaan parameter adalah menghitung t i yang merupakan kominasi linier dari matriks residual E i seagai erikut : i / i i i i j j 0 j= t = E w, E = X t p, E = X (2) Manajemen Risiko di idang Perankan dan Asuransi 356

3 Universitas Padjadjaran, 3 Novemer 200 dimana w i adalah ortonormal. Kemudian r i, w i, i =, 2,..,m adalah set vektor loading. Dalam algoritma PLS aik untuk multivariat dan univariat, langkah pertama adalah menghitung nilai vektor t i kemudian menghitung p i. Secara jelas algoritmanya seagai erikut : T m =XR m P m =X / T m (T / m / T m ) - R m =W m (P / m W m ) - (3) Dimana m adalah anyak komponen yang dominan. Sehingga penduga parameter β dengan PLS adalah : m / / / / βˆ PLS = R m (R mx XRm ) R mx Xβˆ OLS (4) Metode ootstrap Metode ootstrap adalah metode resampling dengan penggantian dari sampel asli untuk memperkirakan ketepatan statistik dari data dalam suatu sampel. Idenya adalah untuk meniru proses pemilihan anyak sampel untuk menemukan kemungkinan ahwa nilai-nilai statistik uji mereka jatuh dalam eragai interval (Efron, 979). Dengan demikian distriusi dari statistik uji sampel di ini ditetapkan dari distriusi sampling empiris. Pada metode ootstrap dientuk uah sampel ootstrap, masing-masing merupakan sampel acak erukuran n yang diamil dengan pengemalian dari populasi n pengamatan. Pengamatan ke-i (i=,2,...,n) dari sampel awal mungkin muncul eerapa kali pada sampel ootstrap ke-r (r=,2,..,). Sedangkan pengamatan lain mungkin tidak muncul sama sekali. ootstrap Untuk ias Pendugaan Jika θˆ adalah penduga tak ias dari θ, E [ ˆ] θ = θ. ias penduga dari θˆ adalah : ias( ˆ) θ = E[ ˆ θ θ ] = E[ ˆ θ ] θ Dan ias dari ootstrap adalah : ^ ias ˆ) θ ˆ θ ( ( = r) ˆ θ (5) (6) ootstrap Untuk Standar Error ila ˆ θ ( r ) adalah dugaan parameter β yang diperoleh dari sampel ootstrap ke-r (r=,2,...,) maka dugaan simpangan aku dari parameter β adalah : seˆ ˆ θ = = r= r= ˆ θ ˆ θ ( r) ˆ θ ( r) / 2 /( ) ootstrap Untuk Interval Konfidensi Untuk interval konfidensi digunakan pendekatan normal seagai erikut : ˆ θ t seˆ < θ < ˆ θ t seˆ / 2 ( r ) n p, α / 2 ( r ) + n p, α / 2 ootstrap Untuk Uji Signifikansi Untuk uji signifikansi dengan menggunkan ootstrap pada PLSR dapat dilakukan dengan formulasi seagai erikut : (7) (8) Manajemen Risiko di idang Perankan dan Asuransi 357

4 Dengan t sˆ e diperoleh dari proses ootstrap i Prosiding Universitas Padjadjaran, 3 Novemer 200 ˆ βpls i = (9) seˆ seˆ = ˆ θ r= 2 ˆ ( ) r θ /( ) Kriteria penerimaan H 0 : Terima hipotesis nol jika nilai t hitung leih kecil dari t tael pada tingkat signifikansi α dan derajat eas d=n-p dengan p adalah anyak parameter yang ditaksir dalam penelitian. Tolak hipotesis nol jika terjadi sealiknya. adalah metode resampling yang lain diperkenalkan oleh Quenouille (949) untuk estimasi ias dan Tukey (958) memperkenalkan untuk menduga standar error. seperti halnya metode cross validation leave one out. Misalkan x=(x,,x n ) adalah set oervasi acak dan didefnisikan sampel jackknife ke-i x (i) adalah set data dari x tanpa meliatkan oservasi x i sehingga : x (i) =(x,,x i-, x i+,,x n ) Jika ˆ θ = T n ( x), definisikan replikasi jackknife ke-i seagai ˆ θ ( i) = Tn ( x( i) ), i=,,n. Misalkan parameter θ =t(f) adalah fungsi dari distriusi F. Misalkan F n adalah empirical cumulatif distriution function (ecdf). Taksiran dari θ adalah ˆ θ = t( ). Untuk ias Pendugaan Jika θˆ adalah seuah statistik, kemudian ˆ θ ( i) = t( Fn ( x( i) )), jackknife untuk ias pendugaan parameter adalah : Dimana ˆ θ = n ˆ θ ( i) n i= ^ ias jack = n )( ˆ θ θˆ) ( / 2 F n (0) adalah rata-rata dugaan setelah proses penghilangan satu unit pengamatan ke-i, dan ˆ θ = ˆ( θ x) adalah penduga yang dihitung dari data sampel seenarnya. Untuk ias Pendugaan untuk standar error penduga dari θˆ adalah : ^ se jack = ( n ) n n i= ˆ θ ˆ ( i) θ 2 () METODOLOGI Manajemen Risiko di idang Perankan dan Asuransi 358

5 Universitas Padjadjaran, 3 Novemer 200 Untuk memilih metode teraik dalam pendugaan parameter regresi dengan partial least square akan dilakukan dengan metode simulasi monte carlo. Prosedur simulasinya adalah seagai erikut :. Memangkitkan data sampel n=(0, 30, 50, 00, 200) variael prediktor x dan x 2 dengan korelasi antara prediktor ini ditetapkan seesar ρ= Melakukan pendugaan parameter regresi dengan metode Partial Least Square dengan anyak komponen adalah satu 3. Menghitung ias pendugaan, standar error, dan interval konfidensi dengan metode ootstrap dan HASIL PENELIITAN Setelah dilakukan simulasi menggunakan software R dengan replikasi seanyak 00 kali, sampel ootstrap =000 dengan n=(0, 30, 50, 00, 200) serta mempertimangkan adanya multikolenieritas dengan korelasi antara variael prediktor ditetapkan seesar ρ=0.90 serta γ=0.95 diperoleh hasil simulasi seagai erikut : Tael. Hasil Simulasi Metode ootstrap dan Jacknife (=000, n=(0, 30, 50, 00, 200)) Method Sampel Confident Interval Standardized Size Coefficient Oserved Average ias S.E 95% Wide C.I L. U. ootstrap N= ootstrap N= ootstrap N= ootstrap N= ootstrap Sumer : Hasil Simulasi N=200 Taksiran Parameter eta Taksiran Parameter eta Manajemen Risiko di idang Perankan dan Asuransi

6 Universitas Padjadjaran, 3 Novemer 200 Gamar. ootstrap dan Gamar 2. ootstrap dan ias Parameter eta ias Parameter eta Taksiran S.E eta Taksiran S.E eta Ukuran Sampel (n) Ukuran Sampel (n) ootstrap ootstrap Gamar 3. ootstrap dan Standar Error eta Gamar 2. ootstrap dan Standar Error eta Secara umum hasil simulasi menunjukkan ahwa metode ootstrap relative leih aik untuk ukuran sampel esar aik dilihat dari ias pendugaan parameter, standar error dan interval konfidensinya. Namun untuk ukuran sampel kecil kurang dari 30, jackknife relatif leih aik diandingkan ootstrap. Distriusi ootstrap eta- Distriusi ootstrap eta-2 Distriusi ootstrap eta- Distriusi ootstrap eta Distriusi eta- Distriusi eta Distriusi eta- Distriusi eta Manajemen Risiko di idang Perankan dan Asuransi 360

7 Universitas Padjadjaran, 3 Novemer 200 Gamar. ootstrap dan Gamar 2. ootstrap dan n = 0 n = 30 Untuk ukuran sampel kurang dari 30, terlihat distriusi sampling dari parameter regresi partial least square menyimpang dari searan normal. Sehingga dengan ukuran sampel ini, aik pendekatan ootstrap maupun kurang aik digunakan dalam mendapatkan standar error yang akan digunakan dalam pengujian hipotesis. Distriusi ootstrap eta- Distriusi ootstrap eta-2 Distriusi ootstrap eta- Distriusi ootstrap eta Distriusi eta- Distriusi eta Distriusi eta- Distriusi eta Gamar 3. ootstrap dan Gamar 4. ootstrap dan n = 50 n = Distriusi ootstrap eta Distriusi eta Distriusi ootstrap eta Distriusi eta-2 Untuk ukuran sampel relative esar, terlihat dari hasil simulasi (n>30) distriusi sampling dari dugaan parameter relatif menyear normal. Sehinggau untuk ukuran sampel relatif esar, pendekatan ootstrap dan Jacknife sangat aik digunakan dalam menaksir standar error dugaan parameter yang akan digunakan dalam pengujian hipotesis signifikansi parameter regresi partial least square Manajemen Risiko di idang Perankan dan Asuransi 36

8 Universitas Padjadjaran, 3 Novemer 200 Gamar 5. ootstrap dan n = 200 KESIMPULAN Partial Least Square Regression adalah analisis regresi yang dapat digunakan seagai salah satu solusi menanggulangi terjadinya pelangagran asumsi non kolenearitas dalam variael prediktor. Hasil simulasi menunjukkan ahwa ias pendugaan parameter relatif rendah dengan standar error dugaan relatif kecil. Untuk ukuran sampel relatif esar (n>30), metode ootstrap dan aik digunakan untuk menaksir standar error dugaan parameter yang dapat digunakan untuk menghitung nilai statistik uji dalam uji hipotesis. Metode oostrap relatif leih aik untuk ukuran sampel esar diandingkan metode namun untuk ukuran sampel kecil, terlihat relatif leih aik. DAFTAR PUSTAKA Draper,N.R. dan H. Smith.99. Applied Regression Analysis.2 nd Ed. New York : John Willey & Sons. Jollife, I. T Principal Komponen Analysis. Springer-Verlag, New York. Mayers, R.H. 990.Classical and Modern Regression With Application.2 nd ed.new York : John Willey & Sons. Norliza Adnan, Maizah Hura Ahmad, Roiah Adnan. A Comparative Study On Some Methods For Handling Multicollinearity Prolems, Journal MATEMATIKA, Volume 22 (2006), Numer 2, pp Sahinler, Topuz ootstrap and Resampling Algorithm For Estimation of Regression Parameters, Journal of Applied Quantitative Research, Vol 2. No. 2 Manajemen Risiko di idang Perankan dan Asuransi 362