S-6 Perlukah Cross Validatio dilakuka? Perbadiga atara Mea Square Predictio Error da Mea Square Error sebagai Peaksir Harapa Kuadrat Kekelirua Model Yusep Suparma (yusep.suparma@ upad.ac.id) Uiversitas Padjadjara Abstrak Seleksi model merupaka tahapa terakhir dari suatu aalisis regresi. Salah satu pedekata yag serig diperguka adalah cross-validatio. Ukura mea square predictio error (MSPE) diaggap sebagai ukura yag lebih baik utuk megevaluasi tigkat prediktibilitas dibadigka mea square error (MSE) yag diperoleh tapa harus melalui cross-validatio. Dalam peelitia ii peulis membadigka kierja MSPE dega MSE sebagai peaksir harapa kuadrat kekelirua model melalui sebuah simulasi Mote Carlo. Peulis meemuka bahwa kedua statistik tersebut merupaka peaksir yag bias utuk ilai harapa kuadrat kekelirua model. Namu demikia, keduaya merupaka peaksir yag kosiste. MSE bersifat uderestimate semetara MSPE bersifat overestimate. Bias taksira MSPE lebih besar dari MSE. Selai itu, stadar error MSPE juga lebih besar dibadig dega MSE. Utuk ukura sampel yag kecil, MSPE mempuyai tigkat kesetabila yag redah, hal ii ditujuka oleh ilai stadar error yag sagat besar. Dega demikia dapat disimpulka bahwa MSE merupaka ukura yag lebih baik dalam melakuka evaluasi prediktibilitas model dari pada MSPE. Kata kuci: cross-validatio, mea square predictio error, mea square error, regresi multipel, simulasi Mote-Carlo. 1. Pedahulua Dalam aalisis regresi salah satu lagkah petig yag harus dilakuka adalah seleksi model. Pedekata yag palig serig diperguaka dalam seleksi model adalah pembagia data. Dalam pedekata ii data dibagi mejadi dua bagia. Bagia yag pertama disebut costructio set, diperguaka utuk membagu model. Bagia yag kedua disebut validatio set, model regresi yag dibagu berdasarka costructio set dievaluasi kesesuaiya terhadap validatio set. Prosedur ii biasa disebut cross-validatio (Weisberg, 005). Salah satu hal yag dievaluasi dalam cross-validatio adalah prediktibilitas model. Ketika sebuah model regresi dibagu dega data tertetu, tidak dapat dihidari lagi bahwa model yag terpilih adalah yag terbetuk, karea modelya 833
memag cocok dega data, setidakya utuk sebagai besar data. Hal ii dapat megakibatka tigkat kesalaha yag dihitug berdasarka costructio set (apparet error) lebih redah dari tigkat kesalaha dari dalam prediksi di luar data costructio set (error rate) (Kuter dkk., 005, h. 370). Dega kata lai error rate merupaka ukura yag lebih baik dibadigka dega apparet error. Yag perlu dicermati dalam hal ii apakah redahya apparet error dibadig dega error rate merupaka variasi sampel yag terjadi perkasus atau merupaka suatu kecederuga umum. Utuk itu perlu dilakuka suatu evaluasi terhadap perilaku apparet error da error rate kemudia dibadigka kecederuga umum yag terjadi di ataraya. Selai dari itu tetu harus diperhatika pula sifat-sifat lai keduaya sebagai statistik yag baik. Di dalam peelitia ii peulis bermaksud mempelajari perilaku apparet error yag diwakili oleh Meas Square Predictio Error (MSPE) da error rate yag diwakili oleh Meas Square Error (MSE) utuk kasus model regresi liier multipel tapa pelaggara asumsi Gaus-Markov. Dari peelitia ii diharapka dapat diperoleh iformasi tetag kecederuga umum perilaku MSPE da MSE dari sebuah model regresi liier multipel. Selajutya iformasi dapat diperguaka sebagai baha evaluasi dari pegguaa MSPE sebagai ukura prediktabilitas model da pegguaa cross-validatio dalam validasi suatu model regresi.. Simulasi Dalam suatu kasus di maa aalisis matematis dipadag jauh lebih sulit utuk dilakuka, simulasi merupaka alteratif yag dapat ditempuh utuk memecahka kasus tersebut. Demikia pula halya dalam membadigka kierja MSPE da MSE, peulis melakuka sebuah simulasi Mote-Carlo. Simulasi ii ditujuka utuk megevaluasi sifat-sifat MSPE da MSE sebagai peakasir dari harapa kuadrat kekelirua model yag merupaka suatu ukura prediktabilitas model. Utuk itu dalam simulasi ii dihitug rata-rata taksira MSPE da MSE, bias keduaya terhadap rata-rata kuadrat kekelirua da stadard error keduaya. 834
Berikut ii adalah ketetua-ketetua yag diterapka dalam simulasi yag dilauka. a. Populasi dari data aka megikuti model regresi sebagai berikut. Y β + β X + β + ε = 0 1 1 X dega β = 5, 0 3, 5 1 = ( 6,) β, kemudia ε ~ N( 0,4), X ~ ( 8,9) = X ~ N salig idepede satu dega laiya. 1 N, da b. Utuk memeuhi kriteria cross-validasi yag baik, ukura costructio set da validatio set aka sama (Roecker, 1991). Dega demikia ukura costructio da validatio set setegah dari ukura sampel yag diperguaka.ukura sampel ( ) yag diperguaka adalah 10, 0, 40, 80, 160, 30, 640 da 180. c. Setiap ukura sampel diulagi sebayak 5000 kali (bayak replikasi). d. Dalam setiap replikasi MSE dirumuska sebagai MSE i= = 1 ( Y Yˆ ) i i sedagka MSPE dirumuska sebagai MSE Dega * ( Y Yˆ ), (.1) i i i = 1 = (Kuter dkk, 005). (.) * ˆ = ˆ β ˆ β + ˆ β da Yi 0 + 1X1i X i * merupaka ukura validatio set. e. Selajutya dihitug rata-rata, bias da stadar error dari MSE da MSPE utuk masig-masig ukura sampel. 3. Hasil da Pembahasa Dalam megevaluasi suatu statistik, terdapat dua kosep yag harus diperhatika yaitu efisiesi da bias (Medehall dkk, 1986). Suatu statistik aka lebih disukai dibadig dega statistik laiya jika statistik tersebut lebih efisie. Efisiesi ii ditujuka oleh ilai stadar error. Jadi statistik yag mempuyai 835
stadar error yag lebih kecil aka lebih disukai dibadigka statistik laiya yag mempuyai stadar error lebih besar. Sedagka megeai bias, statistik yag lebih disukai adalah yag tak bias. Namu demikia, ketakbiasa ii bisa diperloggar dega sifat kekosistea, yaitu utuk ukura sampel besar statistik tersebut mempuyai bias yag dapat diabaika. Di atara statistik yag kosiste, tetuya statistik dega bias terkecillah yag lebih disukai utuk diperguaka. Berdasarka kedua kosep iilah kita aka megevaluasi hasil simulasi. Dari taksira hasil rata-rata MSPE da MSE, seperti yag ditampilka dalam Tabel 1 da Gambar 1, dapat diketahui bahwa MSPE merupaka peaksir yag over estimate utuk rata-rata kuadrat galat. MSE sebalikya, merupaka peaksir yag uderestimate. Klaim yag selama ii meyataka bahwa MSE cederug utuk lebih kecil adalah bear. Walaupu demikia baik MSPE maupu MSE merupaka peaksir yag secara asimtotis koverge terhadap rata-rata kuadrat galat. Dega kata lai baik MSPE maupu MSE merupaka peaksir yag kosiste utuk rata-rata kuadrat galat. Tabel 1. Taksira, Bias, da Stadar Error MSPE da MSE Taksira Bias Stadar error MSE MSPE MSE MSPE MSE MSPE 10 1.593 14.339 1.03 10.339 1.598 6.160 0 3.386 5.955 0.614 1.955 1.16 3.67 40 3.709 4.7 0.91 0.7 0.856 1.637 80 3.855 4.314 0.145 0.314 0.6 1.006 160 3.931 4.145 0.069 0.145 0.444 0.668 30 3.967 4.08 0.033 0.08 0.319 0.465 640 3.980 4.04 0.00 0.04 0.1 0.33 180 3.99 4.013 0.008 0.013 0.156 0.9 Selajutya dari ilai bias taksira dapat kita ketahui bahwa MSPE mempuyai bias taksira lebih besar dari MSE (Lihat bambar ). Pada setiap ukura sampel, bias taksira MSPE selalu lebih lebih besar dibadigka dega bias MSE. Semaki besar ukura sampel semaki kecil perbadiga atara bias MSE da MSPE. Pada ukura sampel 10, bias MSPE 8,6 kali bias MSE. Sedagka 836
pada ukura sampel 180, bias MSPE 1,6 kali bias MSE. Dari perbadiga ilai bias, kita dapat pastika bahwa MSE merupaka ukura yag lebih disukai karea mempuyai ilai bias yag selalui lebih kecil. Terakhir, kita lihat perbadiga atara taksira stadar error MSPE da MSE. Sama seperti halya bias, taksira stadar error MSPE selalu lebih besar dari taksira stadar error MSE. Dari Gambar 3, perbedaa yag mecolok terjadi pada ukura sampel di bawah 0. Pada ukura sampel 10, taksira stadar error MSEP 38,9 kali lebih besar dari taksira stadar error MSE. Sedagka pada ukura sampel terbesar, yaitu 180, taksira stadar error MSPE 1,5 kali lebih besar taksira stadar error MSE. Dari sii, kita dapat megetahui bahwa MSPE merupaka ukura yag lebih tidak reliabel utuk megevaluasi kecocoka suatu model regresi dibadigka dega MSE, terutama utuk ukura sampel kecil. 4. Kesimpula Baik MSPE maupu MSE merupaka peaksir yag kosiste utuk harapa kuadrat kekelirua model. Namu demikia MSE mempuyai bias yag lebih kecil dibadig MSEP. Selai itu MSE lebih efisie dibadig MSPE. Dega begitu, MSE merupaka peaksir ukura prediktabilitas model yag lebih baik dibadig MSPE. Khusus utuk ukura sampel di bawah 0, MSPE tidak diajurka utuk diperguaka sebagai ukura prediktabilitas model meimbag stadar errorya yag jauh lebih besar dibadig stadar error MSE. 5. Referesi Kuter, M.H., Nachtsheim, C.J., Neter, J. da Li, W. (005) Applied Liear Statistical Model, McGraw-Hill. Medehall, W., Scheaffer, R.L., da Wackerly, D.D. (1986) Mathematical Statistics with Applicatios, ed. ke-3, Duxbury, Bosto. Roecker, E.B. (1991) Predictio Error ad Its Estimatios for Subset-Selected Models, Techometrics, 33(4), hal 468. 837
Weisberg, S. (005) Applied Liear Regressio, ed. Ke-3, Joh Wiley ad Sos, New Jersey. Gambar 1. Taksira MSPE da MSE Gambar. Bias MSPE da MSE 838
Gambar 3. Stadar Error MSPE da MSE 839