Pemilihan Model Terbaik

Pemiliha Model Terbaik Hazmira Yozza Jur. Matematika FMIPA Uiv. Adalas

Jadi bayak model yag mugki dibetuk Var. Bebas :,, 3 Model Maa Yag Mampu Mewakili Data 3,, 3, 3,, 3 + model akar, log, hasil kali, dll Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Kriteria da Metode Pemiliha Model Terbaik Kriteria R S R adj PRESS Cp-Mallow dll Metode All Possible, Best Subset, Sekuesial Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Kompetesi meghitug ilai berbagai kriteria yag biasa diguaka utuk memilih model terbaik memilih model regresi terbaik dega tekik validasi silag meghitug ilai Cp-Mallow dari suatu model da megguakaya utuk memilih model terbaik memilih model regresi terbaik dega megguaka berbagai prosedur pemiliha model terbaik (best subset da sekuesial) Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Hal-hal yag harus diperhatika dalam memilih model terbaik Kesederhaaa model Tujua peelitia : Pedugaa, Memilih peubah yag berpegaruh/tidak, mempelajari sistem darimaa data tersebut diambil Teori/pedapat ahli dari bidag darimaa data tersebut didapat Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Kriteria Stadar Pemiliha Model Terbaik. Koefisie Determiasi 00% ' ' ' 00% ) ( ) ˆ ( % 00 Y Y Y Y Y b y y y y JKT JKR R i i ) ( y y i i Merupaka ukura kesesuaia model dega data Semaki tiggi R, semaki baik model Model terbaik adalah model dega R tertiggi Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Kriteria Pemiliha Model Terbaik. Simpaga baku galat (error) s KTS JKS p Semaki kecil s, semaki baik model Model terbaik adalah model dega s terkecil Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Kriteria Pemiliha Model Terbaik 3. Koefisie Determiasi yag Disesuaika R Megatasi kelemaha koef. determiasi JKR JKT JKS JKT R adj s JKS/( p ) 00% /( ) JKT ( ) 00% JKT s 00% /( ) JKT Semaki tiggi R, semaki baik model Model sama dega model terbaik yag dipilih dega kriteria R Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

No 3 4 Y 7.0 6.0 6.0 60.0 78.5.0 9.0 5.0 5.0 74.3 3.0 56.0 8.0 0.0 04.3 4.0 3.0 8.0 47.0 87.6 5 7.0 5.0 6.0 33.0 95.9 6.0 55.0 9.0.0 09. 7 3.0 7.0 7.0 6.0 0.7 8.0 3.0.0 44.0 7.5 9.0 54.0 8.0.0 93. 0.0 47.0 4.0 6.0 5.9.0 40.0 3.0 34.0 83.8.0 66.0 9.0.0 3.3 3 0.0 68.0 8.0.0 09.4 kadar 3CaO.AlO3 kadar 3 CaO.SiO 3 kadar 4 CaO.AlO3.FeO3 4 kadar CaO.SiO Y paas /gr seme

No Peubah dalam model R s R adj 53.4 5. 49. 66.6 8.4 63.6 3 3 8.6 76.3. 4 4 67.5 80.4 64.5 5, 97.9 5.8 97.4 Jk mempertimbagka kesedrhaaa model 6 54.8.7 45.8 7 97. 7.5 96.7 8 84.7 4.5 8.6 9 68.0 86.9 6.6 0 3 93.5 7.6 9., 98. 5.35 97.6, 98. 5.33 97.6 3 98. 5.65 97.5 4, 3 97.3 8.0 96.4 5, 98. 5.98 97.4

Kriteria Validasi Silag dalam Pemiliha Model R,S da R adj diguaka utuk prediksi Dihitug dari ei yi yˆ R,S da R i adj Buka megukur kemampua prediksi Perlu suatu mekaisme yag bear-bear megukur kemampua prediksi dari suatu model Prediksi : meduga Respos dari Suatu pegamata lai Validasi silag. Data Splittig. PRESS Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Data Splittig Utuk setiap kemugkia model, lakuka :. Bagi data mejadi : Fittig sample da validatio sample k k k x x x y x x x y x x x y K K M M M M M K K Fittig sample. Betuk model dari data pada fittig sample 3. Berdasarka model (), Hitug sisaa dari setiap data pada validatio sample 4. Dasar pemiliha model atau k k x x x y x x x y ) ( ) ( ) ( ) ( ) ( ) ( + + + + + + + + K M M M M M K Validatio sample + + ) ˆ ( i y i y i JKS + + ˆ i y i y i Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Fittig Sample No. Obs Y 7 78.5 3 04.3 4 87.6 5 7 95.9 7 3 0.7 ŷ 90.479 + 0.3373 9 93. 83.8 74.3 6 09. Yˆ ( Y Yˆ ) 90.585-6.85 93.958 5.48 Lakuka utuk kemugkia model yag lai Validatio Sample 8 7.5 0 5.9 3.3 3 0 09.4 90.585-8.085 97.33 8.5688 93.958 9.348 93.609 5.779 Pilih model dg JKS terkecil JKS 79.48

Catata Meempatka data pada fittig sampel da validatio sample dilakuka secara acak Data deret waktu : peempata data berdasarka uruta waktu Atura yag bayak diguaka : Bayak data : p + 0 Data dibagi sama bayak. Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

e i i yi yˆ, i, i PRESS (Predictio Sum of Squares) Kriteria Pemiliha Model Model terbaik : PRESS terkecil R pred terbesar PRESS i PRESS ( ey ˆ i,, i i ) R pred 00% JKT e i i yi yˆ, i, i Sisaa PRESS Medapatka sisaa PRESS Hilagka data ke-i (i,,,) Berdasarka (-) data sisaya, betuk model PRESS Berdasarka model yag terbetuk, hitug : Nilai dugaa utuk pegamata ke-i : sisaa utuk data-i e yi, i i, i y i yˆ i, i Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas ˆ i ( e i, i )

No 3 4 Y 7.0 6.0 6.0 60.0 78.5.0 9.0 5.0 5.0 74.3 3.0 56.0 8.0 0.0 04.3 4.0 3.0 8.0 47.0 87.6 5 7.0 5.0 6.0 33.0 95.9 6.0 55.0 9.0.0 09. 7 3.0 7.0 7.0 6.0 0.7 8.0 3.0.0 44.0 7.5 9.0 54.0 8.0.0 93. 0.0 47.0 4.0 6.0 5.9.0 40.0 3.0 34.0 83.8.0 66.0 9.0.0 3.3 3 0.0 68.0 8.0.0 09.4 kadar 3CaO.AlO3 kadar 3 CaO.SiO 3 kadar 4 CaO.AlO3.FeO3 4 kadar CaO.SiO Y paas /gr seme

Y ˆ 83.07 +.80(7) 95.85 Model dega No. Obs Y 7 78.5 3 04.3 4 87.6 5 7 95.9 7 3 0.7 Y ˆ 83.07 +.80 Yˆ, 83.07 +.80 (7) 95.85 9 93. 83.8 ˆ e, y y, 78.5 5.85 7.35 74.3 6 09. 8 7.5 0 5.9 3.3 3 0 09.4 Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Y ˆ 83.07 +.80(7) 95.85 Model dega No. Obs Y 7 78.5 74.3 3 87.6 4 7 95.9 Y ˆ 83.78+.6659 5 3 0.7 6 93. y ˆ, 83.78+.6659() 85.45 7 83.8 8 04.3 ˆ e, y y, 74.3 85.45.5 9 09. 0 7.5 5.9 3.3 3 0 09.4 Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

No. y i ˆ yi, i ei, i 78.5 95.85-7.35 74.3 85.45 -.5 3 04.3 0.57.73 4 87.6 03.57-5.97 5 95.9 94.39.5 6 09. 00.98 8. 7 0.7 84.93 7.77 8 7.5 85.84-3.34 9 93. 83.95 9.5 0 5.9 5.9-0.0 83.8 83.40 0.40 3.3 00.49.8 3 09.4 99.07 0.33 PRESS R pred ( i e i PRESS JKT, ) 75.3 i 00% 75.3 00% 679.7 35.6% Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Perhituga sisaa PRESS e i, i ei h i dega hi adalah usur diagoal utama dari matriks Hat H ( T ) T adalah matriks racaga yag bersesuaia Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

No Peubah dalam model PRESS (%) R pred 75.30 35.6 56.490 56.84 3 3 587.800 3.43 4 4 56.970 56.8 5, 87.434 96.74 6 66.760 5.4 7 30.6 95.4 8 66.9 75.9 9 40.50 47.66 0 3 70.39 89.9, 88.995 96.68, 83.683 96.88 3 9.55 96.58 4, 3 35.57 94.94 5, 07.49 95.99 Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Statistik Cp-Mallow Model Uderfittig Megabaika peubah-peubah petig Overfittig Memasukka peubah-peubah yag tidak perlu Peduga berbias MODEL YANG PAS Cp-Mallow Ragam Peduga besar Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Statistik Cp-Mallow C p JKS p ( p) s JKS p : Jumlah Kuadrat Sisaa dari model yag megadug p parameter p : bayakya parameter regresi (termasuk β0) s : * dugaa ragam galat dari model peuh (model yag megadug semua peubah yag ada). * Nilai ii diasumsika merupaka ilai peduga takbias bagi ragam E : bayak data ( s ) σ galat ( ) Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

P Peubah dalam model s JKS 5. 48.74 99.8 8.4 895.0 40.67 3 3 76.3 93.3 30.95 4 4 80.4 870.90 36.64 5 3, 5.8 56.7.4 6 3.7. 95.55 7 3 7.5 75.03 5.55 8 3 4.5 409.99 6.56 9 3 86.9 857.50 36.40 0 3 3 7.6 74.8.3 4, 5.35 48.3 3.07 4, 5.33 48.3 3.07 3 4 5.65 50.9 3.5 4 4, 3 8.0 7.35 7.0 5 5, 5.98 48.3 5.07 Cp

Statistik Cp-Mallow Model dega p peubah Model tidak uderfittig JKS E p E( JKS p ) ( p) σ p ( s p ) E σ E s ( ) σ Model peuh E( C p ) p E JKS s p ( p ) σ σ Model yag baik adalah model yag ilai Cp ~ p Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Model yag baik Cp ~ p Cp kecil Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

P Peubah dalam model s JKS 5. 48.74 99.8 8.4 895.0 40.67 3 3 76.3 93.3 30.95 4 4 80.4 870.90 36.64 5 3, 5.8 56.7.4 6 3.7. 95.55 7 3 7.5 75.03 5.55 8 3 4.5 409.99 6.56 9 3 86.9 857.50 36.40 0 3 3 7.6 74.8.3 4, 5.35 48.3 3.07 4, 5.33 48.3 3.07 3 4 5.65 50.9 3.5 4 4, 3 8.0 7.35 7.0 5 5, 5.98 48.3 5.07 Cp

P Peubah dalam model Cp 99.8 40.67 3 3 30.95 4 4 36.64 5 3,.4 6 3 95.55 7 3 5.55 8 3 6.56 9 3 36.40 0 3 3.3 4, 3.07 4, 3.07 3 4 3.5 4 4, 3 7.0 5 5, 5.07 5 7 4 5 3,

Prosedur Pemiliha Model Terbaik All Possible Regressio Best Subset Regressio Prosedur Sekuesial dll Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

All Possible Regressio Evaluasi seluruh kemugkia model Pilih model terbaik diatara semua kemugkia berdasarka berbagai suatu kriteria tertetu. Dapat diguaka kombiasi dari beberapa kriteria Prosedur ii tidak praktis Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

No Peubah dlm mdl R R adj s PRESS R pred Cp 53.4 49. 5. 75.30 35.6 99.8 66.6 63.6 8.4 56.490 56.84 40.67 3 3 8.6. 76.3 587.800 3.43 30.95 4 4 67.5 64.5 80.4 56.970 56.8 36.64 5, 97.9 97.4 5.8 87.434 96.74.4 6 54.8 45.8.7 66.760 5.4 95.55 7 97. 96.7 7.5 30.6 95.4 5.55 8 84.7 8.6 4.5 66.9 75.9 6.56 9 68.0 6.6 86.9 40.50 47.66 36.40 0 3 93.5 9. 7.6 70.39 89.9.3, 98. 97.6 5.35 88.995 96.68 3.07, 98. 97.6 5.33 83.683 96.88 3.07 3 98. 97.5 5.65 9.55 96.58 3.5 4, 3 97.3 96.4 8.0 35.57 94.94 7.0 5, 98. 97.4 5.98 07.49 95.99 5.07

Best Subset Regressio Pilih m model terbaik yag megadug peubah, peubah, 3 peubah,, k peubah (guaka kriteria stadar) Pilih model terbaik diatara semua kadidat model diatas. Kriteria : Cp, PRESS, aalisis sisaa, studi diagostik & pertimbaga-pertimbaga lai Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Bayak peubah dalam model Peubah dalam model R s R adj peubah 66.6 8.4 63.6 4 67.5 80.4 64.5 Peubah, 97.9 5.8 97.4 97. 7.5 96.7 3 Peubah, 98. 5.35 97.6, 98. 5.33 97.6 4 Peubah, 98. 5.98 97.4 Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Prosedur Regresi Sekuesial Seleksi Lagkah Maju (forward selectio) Elimiasi Lagkah Mudur (backward elimiatio) Regresi bertatar (Stepwise) Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

PROSEDUR SELEKSI LANGKAH MAJU Model awal : model tapa peubah Peubah dimasukka satu persatu ke dalam model dimulai dega memasukka peubah, peubah, sampai tidak ada lagi peubah yag dapat dimasukka ke dalam model Kriteria dapat / tidakya peubah dimasukka ke dalam model adalah F IN Melibatka uji F dalam meetuka peubah dapat masuk atau tidak Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Prosedur Seleksi Lagkah Maju 0. Betuk model awal Tetuka F IN Y Y 0. Model awal : Y 40.5 F IN 4 a. Betuk dega var pejelas, hitug JKR dari masig-masig model b. Pilih model dega JKR tertiggi (misal modelya adalah model dg i) c. Uji hipotesis : H0 : βi 0 vs H:βi 0 Statistik Uji : F JKR( i) s ( i) Peubah dlm model R JKR 53.4 430.96 66.6 784.68 3 8.6 766.39 4 67.5 808.80 H0 : β4 0 vs H:β4 0 F JKR( ) s ( ) 4 808.8 80.4 S 80.4 4.5 Fhit > FIN tolak H0 4 berpera dalam meeragka Y 4 masuk

Prosedur Seleksi Lagkah Maju a. Betuk dega var pejelas (salah satuya harus i, hitug JKR dari masig-masig model b. Pilih model dega JKR tertiggi (misal modelya adalah model dg i da j) c. Uji hipotesis : H0 : βj 0 vs H:βj 0 Statistik Uji : JKR ( F s (, JKR ( i s j, j ( j ) i i i ) ), JKR Bila tolak H0, lajut; Bila tidak tolak H0, STOP da model terbaik adalah model sebelumya j ) ( i ) Peubah dalam model R JKR, 4 97. 604.67, 4 68 8.0 3, 4 93.5 505.5 S 7.5 H0 : β 0 vs H:β 0 F JKR( 4 ) s (, ) 604.67 808.8 7.5 4 06. Fhit > FIN tolak H0 peambaha berpera dalam meeragka Y masuk

Prosedur Seleksi Lagkah Maju 3. Ulagi lagkah (a-c) dega memasukka satu persatu peubah sampai tidak ada lagi peubah yag layak masuk ke dalam model Peubah dalam model R JKR,, 4 98. 63.47, 3, 4 98. 68.79 F S 5.33 H0 : β 0 vs H:β 0 JKR(, 4) s (,, ) 63.47 604.67 5.33 4 5.03 > 4 Fhit > FIN tolak H0 peambaha masih berpera dalam meeragka Y masuk

Prosedur Seleksi Lagkah Maju 3. Ulagi lagkah (a-c) dega memasukka satu persatu peubah sampai tidak ada lagi peubah yag layak masuk ke dalam model Model dega,, 3 da 4 JKR : 63.47 s 5.98 H0 : β3 0 vs H:β3 0 Y F JKR ( 3,, 4 s (,,, ) 63.47 63.47 5.98 Fhit < FIN tidak tolak H0 peambaha tidak berpera dalam meeragka Y 3 tidak masuk model terbaik adalah model yag megadug,, 4 7.648+.45 + 0.46 0. 37 3 4 4 ) 0 < 4

Prosedur Elimiasi Lagkah Mudur 0. Betuk model awal yag megadug semua peubah pejelas, hitug s &JKR Tetuka F OUT a. Betuk model dega p- var pejelas, dg cara megeluarka satu persatu var dari model sebelumya. hitug JKR dari masig-masig model b. Pilih model dega JKR tertiggi (misal model tapa i) c. Uji hipotesis : F H0 : βi 0 vs H:βi 0 Statistik Uji : JKR ( i s,..., (,..., i, p ) i+,..., p ) Model awal : JKR 63.47 F OUT 3 Peubah dalam model R JKR,, 3 98. 63.47,, 4 98. 63.47, 3, 4 98. 68.79, 3, 4 97.3 607.35 H0 : β 3 0 vs H:β 3 0 F JKR ( 3 s (,,..., 63.47 63.47 0 < 3 5.98 Fhit < FOUT tidak tolak H0 3 tidak berpera dalam meeragka Y 3 keluar lajut 4, ) 3 )

Prosedur Elimiasi Lagkah Mudur a. Betuk model berikutya dega cara megeluarka satu var dari model terbaik tahap sebelumya. Hitug JKR dari masig-masig model b. Pilih model dega JKR tertiggi (misal yag dikeluarka adalah var j) c. Uji hipotesis : H0 : βj 0 vs H:βj 0 Statistik Uji : F JKR( s j ( k k ; k ; k i) i, j) Peubah dalam model R JKR, 97.9 63.43, 4 97. 604.67, 4 68 8.0 H0 : β 3 0 vs H:β 3 0 F JKR( 4, ) s (,, ) 63.47 63.43 5.33.5< 3 Fhit < FOUT tidak tolak H0 4 tidak berpera dalam meeragka Y 4 keluar lajut 4

Prosedur Elimiasi Lagkah Mudur 3. Ulag lagkah sampai tidak ada lagi var yag dikeluarka dari model Peubah dalam model R JKR 53.4 430.96 66.6 784.68 H0 : β 0 vs H:β 0 F JKR ( s (, ) ) 63.43 764.68 5.8 44.6 > 3 Fhit < FOUT tolak H0 berpera dalam meeragka Y tetap ada STOP Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

Prosedur Stepwise Merupaka gabuga dari dua prosedur sebelumya Model awal adalah model tapa peubah Satu persatu var dimasukka ke dalam model Setiap masukya variabel dalam model, dilakuka pegujia ulag utuk memutuska apakah var yag telah ada di dalam model aka dikeluarka/tidak Prosedur dihetika jika tidak ada lagi var yag keluar dari atau masuk ke dalam model Hazmira Yozza-Jur. Matematika FMIPA Uiv. Adalas

www.themegallery.com