REGRESI RIDGE ROBUST-M

Transkripsi

1 REGRESI RIDGE ROBUST-M DENGAN PEMBOBOT WELSCH (Studi Kasus : Faktor-Faktor Yag Mempegaruhi Harga Jual Dagke Di Kecamata Cedaa, Kabupate Erekag) Nur Aliaa Majid, Raupog 2, Kresa Jaya 3. Program Studi Statistika, Jurusa Matematika, Fakultas Matematika da Ilmu Pegetahua Alam, Uiversitas Hasauddi hauraliaamajid@gmail.com ABSTRAK Regresi partial robust M (PRM) merupaka metode pedekata alteratif robust dari regresi PLS sebagai metode peagaa multikoliieritas da outlier dalam satu kasus. Metode ii megguaka betuk parsial (berdasarka variabel late) dari regresi robust da peduga M. Regresi PRM bekerja dega memberi bobot bagi matriks variabel X da variabel respos y di maa bobot tersebut didapatka berdasarka kosep peduga M. Pada peelitia ii diguaka pembobot Fair sebagai pembobot matriks. Metode ii diterapka pada data kemiskia kabupate/kota di Provisi Sulawesi Selata yag terdiri atas dua kriteria kemiskia, yaitu peduduk berdasarka pedidika yag ditamatka da berdasarka luas latai tempat tiggal per kapita. Berdasarka ilai R 2 diketahui bahwa metode partial robust-m dega pembobot fair memiliki ilai R 2 50,94 %. yag lebih besar dibadigka ilai R 2 MKT yaitu (26,01 % ), sehigga dapat disimpulka bahwa metode partial robust-m dega pembobot fair adalah metode yag baik dalam megatasi masalah multikoliieritas da outlier. Kata Kuci : Multikoliieritas, Outlier, Robust PLS, PRM, Huber,algoritma IRPLS, data kemiskia 1

2 ABSTRACT Regresssio partial robust M (PRM) is a alterative approach robust method of PLS regressio as a method of hadlig multicolliearity ad outliers i oe case. This method uses a partial form (based o latet variable) o robust regressio ad Regressio estimators M. PRM works by givig weight to the matrix variables X ad y respose i which the weights are obtaied based o the cocept of estimator M. I this study used a weighted Fair as a weighted matrix. This method is applied to data poverty, the populatio by educatioal attaimet ad residece based o the floor area per capita. Based o the value of R is kow that methods of partial robust M with weighted fair value of R 2 (44,77%). Which is greater tha the value of R MKT amely R 2 (26,01%), so it ca be cocluded that the method robust partial-m with weighted fair is a good method to overcome the problem of multicolliearity ad outliers. Keywords: Multicolliearity, Outlier, Robust PLS, PRM, Fair, IRPLS Algorithm, Poverty data. 1. Pedahulua Aalisis regresi merupaka bagia dalam aalisis yag diguaka utuk memodelka hubuga variabel respo (Y) dega satu atau beberapa variabel prediktor (X). Apabila bayakya variabel prediktor haya ada satu maka disebut regresi liier sederhaa, sedagka apabila terdapat lebih dari satu variabel prediktor maka disebut sebagai regresi liier bergada. Metode yag biasa diguaka utuk megestimasi parameter regresi atara lai adalah Metode Kuadrat Terkecil. MKT bersifat sebagai peaksir tak bias terbaik utuk parameter model regresi jika data yag diguaka memeuhi asumsi klasik. Permasalaha yag serig mucul adalah terjadiya korelasi yag tiggi atar dua atau lebih variabel prediktor (multikoliieritas) da pegamata yag jauh dari pusat data (outlier). Masalah multikoliieritas dapat diatasi dega beberapa metode, atara lai metode Regresi Kompoe Utama (Pricipal Compoet Regressios/PCR), 2

3 Regresi Ridge (Ridge Regressio), da Regresi Kuadrat Terkecil Parsial (Partial Least Squares/PLS). Metode robust-m merupaka metode robust yag palig sederhaa, baik dalam perhituga maupu secara teroritis. Pegestimasia parameter pada metode robust-m megguaka metode IRPLS (Iterative Reweighted Partial Least Square). Dega megguaka fugsi pembobot Fair pada estimasi PRM dibutuhka cara agar resiste terhadap pecila da pegamata berpegaruh (variabel prediktor) yaitu dega megalika bobot pecila dega bobot utuk setiap pegamata. Estimasi parameter regresi partial robust-m dega pembobot fair megguaka data kemiskia Provisi Sulawesi Selata tahu 2013 yag megadug masalah multikoliieritas da pecila. 2. Tijua Pustaka 2.1 Regresi Liier Bergada Secara umum persamaa regresi liier bergada dega parameter β da k variabel prediktor diyataka dega : y i = β 0 + β 1 X i1 + β 2 X i2 + + β k X ik + ε i, i = 1,2,3,,, (2.1) utuk i = 1,2,3,, da ε i ~N 0, σ 2 Dalam betuk matriks diyataka sebagai berikut : 2.2 Metode Kuadrat Terkecil y = Xβ + ε, (2.2) Metode kuadrat terkecil (MKT) merupaka salah satu metode utuk megestimasi parameter regresi dalam aalisis regresi bergada. MKT bertujua utuk memiimumka jumlah kuadrat sisaa (Motgomery da Peck, 1992). Misalka fugsi kuadrat sisaa adalah : 2 c S β 0, β 1,, β c = i=1 ε i = i=1 y i β 0 β j X ij da S β dapat juga diyataka sebagai berikut : 2 S β = i=1 ε i j =1 2 = ε ε = y Xβ y Xβ Sehigga estimator kuadrat terkecil utuk parameter β adalah: 3

4 β = X X 1 X y 2.3 Regresi Robust-M Model regresi bergada yag melibatka k variabel prediktor adalah y = Xβ + ε y adalah vektor pada variabel respo yag berukura ( 1), X adalah matriks dari k variabel prediktor yag berukura ( p), β adalah vektor parameter regresi yag berukura p 1, ε adalah vektor sisaa yag berukura 1. Salah satu metode yag diguaka utuk megestimasi parameter regresi dalam aalisis regresi bergada adalah Metode Kuadrat Terkecil (MKT). Kosep dasar dari MKT adalah megestimasi parameter regresi dega memiimumka kuadrat sisaa β KT = mi i=1 (y i x i β) 2 (2.14) Ketika model regresi memiliki sisaa yag tidak berdistribusi ormal maka estimasi dega MKT mejadi tidak akurat, sehigga jumlah kuadrat sisaa dari MKT digati dega sebuah fugsi objektif ρ dari metode estimasi yag bersifat robust yaitu estimasi-m. Metode robust yag aka diguaka yaitu metode robust-m, hal ii karea metode robust-m merupaka metode yag palig sederhaa da metode yag memiimumka fugsi objektif dari sisaa ρ ε i (Motgomery da Peck, 1992). Adapu persamaa utuk metode robust-m yaitu : β M = mi i=1 ρ(y i x i β) 2 (2.15) dimaa ρ yag memberika kotribusi sisaa pada fugsi objektif. Dega megambil ρ(u) = u 2, utuk u sembarag fugsi sehigga kriteria memiimumka aka sama dega persamaa (2.14). Utuk meguragi pegaruh sisaa yag besar dipilih fugsi ρ tertetu sehigga meghasilka estimasi robust dari kuadrat terkecil. Misalka ri = y i x i β merupaka sisaa dari model da w y adalah bobot dari sisaa yag didefiisika sebagai berikut: Persamaa (2.14) dapat ditulis kembali w y = ρ y i x i β y i x i β 2 =ρ (r i) r 2 i 4

5 β M = mi w y y i x i β 2 i=1 (2.16) Nilai w y aka berubah pada tiap iterasiya sehigga diperoleh β M. Estimasi-M merupaka metode utuk megaalisa data yag dipegaruhi oleh pecila sehigga dihasilka model yag robust atau resiste terhadap pecila. Suatu estimasi yag resiste adalah relatif tidak terpegaruh oleh perubaha besar pada bagia kecil data atau perubaha kecil pada bagia besar data. Oleh karea itu, agar resiste terhadap tipe pecila lai yaitu pegamata berpegaruh (leverage poit) maka bobot pada persamaa (2.16) aka dikalika dega bobot pegamata berpegaruh w x yaitu : β M = mi w y w x y i x i β 2 i=1 (2.17) Pegamata berpegaruh dapat didiagosa berdasarka ilai leverage, yaitu pecila ditijau dari ilai-ilai variabel prediktor. Semaki besar ilai leverageya, pegamata tersebut semaki berpotesi berpegaruh dalam estimasi parameter regresi 2.4 Metode Partial Least Square Matriks da vektor yag diguaka dalam PLS diotasika dega X da y yag diasumsika sebagai matriks data terpusat (mea cetered) yaitu X da y. Struktur model utuk metode PLS dalam dua persamaa, yaitu (Bastie, dkk., 2004) X = TP + E (2.18) dimaa, X : matriks meacetered dari k variabel prediktor yag berukura k T : matriks kompoe berukura k, P : matriks loadig berukura k k, E : matriks error berukura k, Kompoe-kompoe yag terbetuk sebagai prediktor baru sebagai utuk meduga parameter yag kemudia diguaka utuk memperediksi peubah respo Y. 5

6 y = TA + F (2.19) dimaa, y : vektor meacetered dari observasi variabel respo Y yag berukura 1 A: vektor parameter berukura k 1, F: vektor error berukura 1, Pada metode PLS, vektor kompoe yag dibetuk merupaka kombiasi liear berbobot dari variabel-variabel prediktor, sehigga dalam otasi matriks dapat diyataka sebagai berikut: T = XW (2.20) dimaa W adalah matriks berbobot berukura k k da T adalah orthoormal. Bobot yag dipilih pada pembetuka kompoe PLS pada persamaa (2.20) adalah bobot yag dapat mejelaska variasi pada X sekaligus variasi pada y yaitu melalui fugsi kovariasi atara setiap variabel prediktor dega variabel respo. (Pawestri, 2012). Matriks kompoe T yag terbetuk sudah tidak salig berkorelasi dega kata lai orthogoal (t i t j =0; i j). Selai matriks kompoe, matriks bobot W yag terbetuk adalah orthoormal (w i w j =0, w i w i =1; i j) (Pawestri, 2012). 2.5 Regresi Partial Robust-M Jika terdapat masalah multikoliieritas pada regresi aalisis bergada, maka model yag sesuai adalah model Regresi Kuadrat Terkecil Parsial (PLS) (Serels et al, 2005). Ideya adalah meregresika variabel prediktor pada ilai variabel late T yag mempuyai vektor t i sebagai kolom dega 1 i. Model regresi late diberika sebagai berikut : y i = t i A + ε i (2.21) dega megasumsika bahwa X da y sebagai matriks data terpusat (mea cetered) yaitu X da y. Selajutya vektor A diestimasi sama dega sebelumya yaitu dega meregresika variabel prediktor terhadap variabel late megguaka regresi robust-m yaitu metode yag memiimumka fugsi objektif dari sisaa atau ρ r i. Perbedaa utamaya terletak pada bobot w y dihitug dari sisaa, yaitu r i = y i t i A da bobot w x utuk pegamata 6

7 berpegaruh aka dihitug dari skor t i sebagai gati dari variabel prediktor asli. Pembobot yag dibutuhka agar resiste terhadap pecila da pegamata berpegaruh adalah w i = w y w x 3. Metode Peelitia Variabel yag diguaka pada peelitia ii terdiri dari satu variabel respo da eam variabel prediktor. Variabel respo Y adalah ilai Rata-rata Peduduk per kabupate/kota Provisi Sulawesi Selata tahu. Data kemiskia yag dikeluarka oleh BPS tidak mecakup seluruh kriteria kemiskia, sehigga peeliti haya megguaka eam variabel prediktor yag mecakup dua kriteria kemiskia yaitu persetase peduduk usia 15 tahu ke atas berdasarka pedidika yag ditamatka da persetase rumah tagga berdasarka luas latai perkapita, dega ricia: X 1 : Peduduk usia 15 tahu ke atas yag tidak lulus SD (%) X 2 : Peduduk usia 15 tahu ke atas yag lulus SD da SMP (%) X 3 : Peduduk usia 15 tahu ke atas yag lulus SMA (%) X 4 : Rumah tagga dega luas latai perkapita 8 m 2 (%) X 5 : Rumah tagga dega luas latai perkapita > 8 m 2 da 15 m 2 (%) X 6 : Rumah tagga dega luas latai perkapita > 15 m 2 (%) Selajutya data aka diaalisis megguaka metode partial robust-m dega pembobot Fair. 4. Hasil da Pembahasa 4.1 Estimasi Parameter Regresi Partial Robust-M Model regresi yag diguaka adalah model regresi dalam betuk mea cetered yaitu sebagai berikut : y i y = β 1 x i1 x 1 + β 2 x i2 x β k x ik x k + e i (4.1) persamaa (4.1) dapat pula diyataka dalam betuk matriks, sebagai berikut: y = Xβ + ε (4.2) 7

8 dimaa y : vektor variabel respo dalam betuk meacetered berukura 1 X : matriks variabel predikor dalam betuk meacetered berukura k, β : vektor parameter regresi berukura k 1, ε : vektor error berukura 1, Misalka telah terbetuk k buah kompoe dari algoritma IRPLS, selajutya dilakuka estimasi parameter partial least squares dega model taksiraya sebagai berikut: y = At i + F (4.3) dimaa, y : vektor meacetered dari observasi variabel respo Y yag berukura 1 A: vektor parameter berukura k 1, F: vektor error berukura 1, Metode robust-m dipadag baik karea dapat memiimuka fugsi objektif dari sisaa ρ(r i ) yaitu : mi k i=1 ρ r i = mi i=1 ρ y i j =0 t ij A j (4.4) dimaa betuk fugsi objektif ρ(r i ) dapat dilihat dari Tabel 2.1. Metode robust- M megigika sisaa terstadarisasi, yaitu dega membagi sisaa dega estimator skala robust (σ). Persamaa (4.4) dapat diyataka sebagai berikut ii : mi ρ r 2 i=1 i = mi ρ r i i=1 = mi i=1 ρ r 2 i (4.5) σ Utuk memiimumka fugsi objektif pada persamaa (4.5), dicari turua parsial terhadap β r kemudia disamaka dega ol yaitu : i=1 ρ (r i ) = 0, A j A j = A j Megalika kedua ruas dega σ, sehigga persamaa (4.5) mejadi : 2 i=1 t ij ψ r i = 0, j = 0,1,, k (4.6) fugsi ifluece ψ r i ii yag selajutya aka diguaka utuk dapat meetuka fugsi pembobot w i. Suatu fugsi pembobot M-Fair didefiisika sebagai berikut : 8

9 w x = f w i = w x w y w y = ρ r i = ψ(r i ) r i 2 x i med L1 X media x i med L1 X = 1 / 1 + r i /c, c, utuk 1 i Fugsi pembobot w ii tersebut kemudia aka mejadi diagoal utama dari matriks pembobot (W) da usur-usur laiya adalah 0, utuk setiap ilai r i <. Draper da Smith (1998) telah medefiisika fugsi pembobot pada persamaa (2.37), sehigga persamaa (4.6) mejadi : i=1 t ij w i r i = 0 dalam otasi matriks, persamaa (4.16) mejadi : T Wy = T WTA Selajutya, W dihitug dega megguaka A sebagai estimasi awal da skala σ. Utuk setiap w i yag diberika diperoleh estimator : A = (T WT) 1 T Wy (4.7) dega A merupaka koefisie regresi berukura k 1, T adalah matriks berukura k, W adalah matriks bobot berukura k k, da T adalah matriks kompoe berukura k, y vektor meacetered dari observasi variabel respo Y yag berukura 1 β PRM = W T WT 1 T Wy kemudia dilakuka regresi atara y da T dega betuk model regresi seperti pada persamaa (2.22), dimaa model taksiraya adalah : y = TA (4.8) maka diperoleh persamaa y = T(T WT) 1 T Wy (4.9) 9

10 Selajutya, karea T = XW y = XW(T WT) 1 T Wy (4.10) Berdasarka persamaa maka model peduga regresiya yaitu y = Xβ PRM, dega memisalka β PRM = W(T WT) 1 T Wy maka dari persamaa diperoleh estimasi parameter dari PRM yaitu : β PRM = W(T WT) 1 T Wy (4.11) 4.2 Peerapa Regresi Ridge Robust-M Pada Data Pejuala Dagke Estimasi parameter regresi dega metode Partial Robust-M dihitug dega megguaka pembobot fair. Namu sebelum megestimasi paremeter dega metode Partial Robust-M, terlebih dahulu kita megestimasi parameter dega metode MKT sebagai ilai awal, dega megguaka persamaa (2.9). Dega megguaka program Miitab 16 diperoleh hasil estimasi parameter awal yag ditampilka pada Tabel 4.2 seperti pada Lampira 3 yaitu: Tabel 4.2 Hasil Estimasi Parameter dega MKT Variabel Bebas β OLS Costat (X 1 ) (X 2 ) (X 3 ) (X 4 ) (X 5 ) (X 6 ) ,5 32,5 32,5 1,51 1,52 1,50 Sumber : Olah data primer,

11 Berdasarka hasil pegamata dapat diketahui bahwa model regresi yag dapat dibetuk utuk estimator regresi partial robust-m dega pembobot fair yaitu : y PRM Fair = X X X X X X 6 5. Kesimpula da Sara 5.1.Kesimpula Berdasarka hasil peelitia yag telah dilakuka da berdasarka pejelasa yag telah diberika, maka dapat diambil beberapa kesimpula sebagai berikut: 1. Estimasi regresi partial robust-m merupaka salah satu metode yag diguaka utuk megatasi masalah multikoliieritas da sisaa yag megalami pecila secara bersamaa. Metode estimasi partial robust-m ii memiumumka fugsi objektif sisaa ρ ε i. Adapu rumus yag diguaka utuk estimator regresi partial robust-m adalah : m β PRM = W(T WT) 1 T Wy aka berubah disetiap iterasi sesuai dega fugsi pembobot fair. Proses iterasi aka berheti sampai diperoleh ilai i=1 X j +1 da i=1 Y j +1 koverge ke Pada masalah multikoliieritas da pecila utuk data kasus kemiskia Provisi Sulawesi Selata pada tahu 2013 ketika diolah dega metode OLS meghasilka model regresi liier bergada dimaa tak satupu variabel variabel prediktor yag secara sigifika berpegaruh terhadap variabel variabel respo. Data tersebut selajutya diolah dega megguaka metode PRM. Sehigga terdapat tiga variabel yag secara sigifika mempegaruhi variabel rata-rata Pedududuk yaitu peambaha 11

12 1 peduduk usia 15 tahu ke atas yag lulus SD da SMP (%), peambaha 1 rumah tagga rumah tagga dega luas latai perkapita > 8 m 2 (%), da peambaha 1 rumah tagga dega luas latai perkapita > 15 m 2 (%). Persamaa regresi liier bergada terbaik yag terbetuk adalah sebagai berikut: y PRM Fair = X X X Sara Peelitia ii membahas tetag pegguaa metode regresi partial robust-m dega pembobot fair pada data yag megalami masalah multikoliieritas da adaya pecila (outlier) pada data. Utuk peelitia selajutya dapat dilakuka regresi partial robust-m dega metode SIMPLS (Straightforward Implemetatio Partial Least Square) utuk megatasi data yag megalami masalah multikoliieritas da pecila (outlier). DAFTAR PUSTAKA Bada Pusat Statistik. Publikasi: Data da Iformasi Kemiskia Kabupate/Kota Tahu ( Diakses pada taggal 14 Jauari Cummis DJ, Adrews CW Iteratively reweighted partial least squares regressio. A performace aalysis by Mote Carlo Simulta. Joural of Chemometrics. 9: Huber M, Brade KV Robust methods for partial least squares regressio. Joural of Chemometrics. 17: Myers RH Classical ad Moder Regressio with Applicatios, 2d Editio. PWS-Ket Publishig Compay. Bosto. Sereels, S., Croux, C., Filzmoser, P., da Va Espe, P.J., (2005), Partial Robust M Regressio. Chemometrics ad Iteliget Labolatory Systems, 79, hal