Bab II LANDASAN TEORI

Bab II LANDASAN TEORI 2 Regres 2 Pengertan Komponen-Komponen Persamaan Regres Persamaan regres adalah persamaan matematk yang memungknkan untuk meramalkan nla-nla suatu peubah tak bebas dar nla-nla satu atau lebh peubah bebas (Walpole, 995, p340) Menurut Supranto (200, p78), kuat atau tdaknya hubungan varabel ndependen (X) dan varabel dependen (Y) dukur dengan suatu nla yang dsebut dengan koefsen korelas, sedangkan besarnya pengaruh X terhadap Y, dukur dengan koefsen regres Persamaan regres juga menggambarkan relas dar varabel-varabel yang ada ddalamnya D dalam pemakaannya, varabel dependen (Y) ternyata juga dpengaruh oleh faktor lan selan varabel ndependen (X) yang tdak dmasukkan kedalam persamaan tersebut Oleh karena persamaan dar regres perlu untuk mengambarkan bentuk dar data dengan tepat, maka dmasukkanlah error ε ke dalam persamaan regres tersebut Menurut Supranto (995, p79), karena error tu tdak dapat dhlangkan sama sekal, maka resko tu akan selalu ada Resko hanya bsa dperkecl dengan memperkecl kesalahan (mnmzed error) 22 Regres Lnear Dan Non Lnear Secara umum, regres adalah suatu metode untuk meramalkan nla harapan yang bersyarat Regres dkatakan lnear apabla hubungan antara varabel ndependen dan

7 varabel dependennya adalah lnear Hubungan antara varabel ndependen dan varabel dependen dapat dkatakan lnear apabla dagram pencar data dar peubah-peubah tersebut mendekat pola gars lurus Fungs lnear selan mudah nterpretasnya, juga dapat dgunakan sebaga hampran (approxmaton) atas hubungan yang bukan non-lnear Bentuk dar regres lnear adalah: Y = β o + β X + β + + ε (2) 2X2 Apabla hubungan antara varabel ndependent dan varabel dependen tdak lnear, maka regres dkatakan regres non-lnear Bentuk dar hubungan regres non-lnear adalah: Y = f X, γ ) +ε (22) ( dengan γ adalah fungs respon non-lnear dar parameternya Error pada regres non-lnear dasumskan untuk mempunya nla harapan sebesar nol, ragam yang konstan dan tdak dkorelaskan, sama sepert asums error pada model regres lnear (Neter, J, Kutner, MH, Nachtshem, CJ,Wasserman,W, 996) 22 Dstrbus Bnomal Dstrbus bnomal menurut Walpole (995, p52) adalah suatu percobaan yang terdr atas ulangan-ulangan, dan masng-masng mempunya dua kemungknan hasl yatu sukses atau gagal Probabltas pada dstrbus bnomal yang sukses dtanda dengan smbol p dan yang gagal dtanda dengan smbol q dmana q=-p Probabltas pada dstrbus bnomal dhtung sebaga berkut: p x n! p x!( n x)! q x n x r( ) = (23)

8 Nla tengah dar sebaran bnomal adalah : μ = E ( X) = np (24) Ragam dar sebaran bnomal adalah : 2 2 σ = E { X E( X)} 2 = E( X np) = npq (25) Standar devas dar sebaran bnomal adalah : σ = npq (26) 23 R-Language R-language adalah software komputas statstk dan grafs R-language adalah salah satu bentuk object-orented programmng yang mempunya sntaks sepert bahasa C R- language memperbolehkan computng on the language sehngga memungknkan untuk menuls suatu ekspres tertentu dan dgunakan sebaga nput, yang berguna untuk permodelan statsts dan grafs Pada penggunaanya ekspres dar R-language adalah case senstve sehngga huruf besar dan huruf kecl danggap berbeda pada R-language Lngkungan pada R-language dnamakan GNU S yang menyedakan keragaman yang luas untuk menghtung dan memodelkan segala yang berhubungan dengan statstk dan grafk 24 Regres Logstk Regres logstk adalah salah satu bentuk regres non-lnear yang mempunya varabel dependen yang dskrt dan mempunya sebaran bnomal, sedangkan varabel ndependennya dapat terdr dar varabel yang contnu, dskrt, dkotomus, ataupun gabungannya Estmas parameter dar regres logstk tu menggunakan metode maxmum lkelhood yang akan djelaskan kemudan

9 Probabltas dar tap nla varabel dependennya memlk nla sendr-sendr tap barsnya Hal tersebut dapat dlhat sepert pada persamaan (27) dengan μ mempunya nla p untuk P(Y=), dan nla q=- μ untuk P(Y=0) Berkut n adalah bentuk matrx yang akan dpaka dalam regres logstk : Y = y y 2 y B = b o b b n ε = e e 2 e P= p p p 2 X = x x 2 x n x 2 x 22 x n2 x n x 2n x n Gambar 2: Bentuk pokok dar matrx pada regres logstk dengan μ = P 24 Fungs Respon Regres Logstk E{Y} 0 X Gambar 22: Bentuk fungs respon regres logstk

0 Dstrbus logstk merupakan salah satu bentuk dstrbus probabltas non-lnear yang kontnu Kegunaan terpentng dar dstrbus n adalah menghaslkan nformas tentang hubungan antara varabel dependen (Y) dan varabel ndependennya (X) Bentuk dasar dar fungs respon regres logstk (logstc response functon) menurut Neter, J, Kutner, MH, Nachtshem, CJ,Wasserman,W (996, p570) adalah : E { Y } = exp( β 0 + β x + ) μ = (27) + exp( β + β x + ) 0 Pada persamaan (27), μ adalah ftted value yang merupakan nla ekpektas Y dar persamaan regres logstk Menurut Mahadevan, S (http://www-edlabcsumassedu/cs689/2005- lectures/week8pdf, p9), bentuk probablty densty functon (PDF) dar logstk regres adalah: (28) 242 Odds Rato Pada persamaan regres logstk terdapat yang dnamakan dengan odds rato Odds rato adalah perbandngan dar probabltas satu kejadan yang terjad P(Y=) dbandngkan dengan probabltas tdak terjad P(Y=0) Odds rato dsmbolkan sebaga ψ mempunya bentuk berkut : μ() /[ μ()] ψ = (29) μ(0) /[ μ(0)] μ() /[ μ()] ln( ψ ) = ln = μ(0) /[ μ(0)] e + e e + e β + β β o β 0+ β o β + β o + e β o + e β 0 + β (20)

odds 2 ψ = = exp( b ) (2) odds 243 Estmas Parameter Dar Regres Logstk Menurut Supranto (200, p22), parameter adalah sembarang nla yang menjelaskan cr populas tersebut Parameter yang destmas harus mempunya nla yang mencermnkan data yang destmas parameternya, sehngga nla hasl dar estmas parameter dharapkan mempunya nla error yang kecl Hubungan setap parameter mempengaruh nla dar varabel dependen Y, Sepert gambar d bawah n: Gambar 23: Hubungan parameter dan varabel dependen Y Menurut Neter, J, Kutner, MH, Nachtshem, CJ,Wasserman,W (996, p574), untuk mengestmas parameter pada regres logstk menggunakan metode maxmum lkelhood Metode maxmum lkelhood adalah salah satu metode untuk mengestmas parameter pada suatu persamaan dengan cara memaksmumkan nla L (β ) pada persamaan (24) atau yang dsebut dengan condtonal log-lkelhood functon Condtonal log-lkelhood functon berasal dar probabltas persamaan regres logstk yang akan destmasnya

2 Untuk mencar condtonal log-lkelhood yang maksmum pada metode maxmum lkelhood dapat menggunakan metode yang dnamakan Newton-Raphson Langkah selanjutnya setelah ddapatkan nla estmas parameter yang optmal, nla tersebut dapat dmasukkan ke dalam persamaan (27) untuk mendapatkan ftted value 244 Metode Newton-Raphson Metode Newton-Raphson adalah metode untuk menemukan akar dar persamaan dengan asums f(x)=0 Metode Newton-Raphson ddapatkan dar turunan deret Taylor : 2 f ( x) = f ( x ) + ( x x ) f '( x ) + ( x x) f ''( x ) + (22) 2! Menurut Mahadevan, S (http://www-edlabcsumassedu/cs689/2005- lectures/week8pdf, p9), Algortma untuk menemukan nla maksmum dengan metode Newton-Raphson adalah: x= x 2 = x -f (x)/f (x) (23) Perhtungan pada persamaan datas (23) dlakukan dengan teras sampa dengan nla x 2 sama dengan x Dar PDF pada persamaan (28) regres logstk, maka condtonal lkelhood dar regres logstk adalah: n y l( = β y β X, Y ) μ ( x β ) ( μ ( x )) (24) =

Untuk memudahkan perhtungan persamaan (24), dgunakan logartma, sehngga persamaan menjad: 3 L( β) = lnl( β X, Y) = y n = lnμ( x β) + ( y )ln( μ( x β)) (25) Turunan pertama dar persamaan (25) adalah: L( β X, Y) = β n = x ( y μ( x β)) (26) Turunan kedua dar persamaan (25) adalah: 2 L( β X, Y) = T ββ n = T x ( x ) μ( x β)( μ( x β)) (27) Untuk mendapatkan condtonal log-lkelhood yang maksmum pada metode maxmum lkelhood menurut Newton, E (http://ocwmtedu/nr/rdonlyres/sloan- School-of-Management/5-075Appled-StatstcsSprng2003/8C07CE0F-70BB-4C8F- 9A7B-9AD0AF643D7/0/lec5_logstc_regressonpdf, p) dapat menggunakan algortma yang dnamakan Newton-Raphson Iteratvely Reweghted Least Square (IRLS) Cara perhtungan dar (IRLS) adalah sebaga berkut: t μ = ' + exp( X * β ) (28) Dengan ' X adalah bagan dar matrx X dmana adalah smbol yang mewaklkan tap-tap bars dar matrx X tersebut dan logstk μ adalah ftted value dar regres Iteras berawal dengan pemberan nla awal pada matrx B yang berbentuk sepert pada gambar (2) yang mempunya nla yang besarnya nol semua

Bentuk persamaan dar metode Newton-Raphson untuk menentukan maxmum lkelhood yang berasal dar turunan pertama dan turunan kedua dar condtonal loglkelhood untuk mendapatkan nla estmas parameter yang optmal adalah: B = B + (( x' vx) x'( y μ ) t t + (29) Pada persamaan (29), jka nla B t + tdak sama dengan B t, maka B dan persamaan akan dulang kembal ke persamaan (28) sampa nla B t + t = B t+ 4 sama dengan nla B t Matrx V adalah matrx dengan besar bars dan kolomnya * (besarnya sesua dengan banyak data) yang nlanya dagonalnya μ ( μ ) atau berart p*(-p) * V(*) = p*(-p) 0 0 0 0 0 p2*(-p2) 0 0 0 0 0 p3*(-p3) 0 0 0 0 0 p4*(-p4) 0 0 0 0 0 pp*(-p) Gambar 24: Matrx V 245 Devance Resdual Dar Regres Logstk Devance resdual dar regres logstk dgunakan untuk mengukur goodness-of-ft pada model regres logstk tersebut Goodness-of-ft adalah kebakan ft suatu parameter yang telah destmas pada regres logstk Menurut Hosmer dan Lemeshow (989, p36), pengukuran goodness-of-ft tu memberkan keseluruhan ndkas ft dar model Sebuah model dapat dkatakan ft dengan bak jka jumlah pengukuran jarak antara Y dan Yˆ kecl

5 Pada regres logstk penghtungan goodness-of-ft ddapatkan dar devance resdualnya yang mempunya persamaan: D = j j= 2 d ( Yj, μ j) (220) dmana d adalah : d( Yj, μ j) = 2 ln( ˆ μj) (22) Menurut Hosmer dan Lemeshow (989, p35) Hasl dar persamaan (220) tu dgunakan untuk: Mengevaluas kecocokan secara keseluruhan 2 Mengkaj masng-masng komponen bak tu varabel dependen maupun varabel ndependen dengan hasl 3 Mengkaj jarak antara Y asl dengan Yˆ Untuk menghtung varans dan standar error setap parameter dar regres logstk maka harus mengunakan estmas matrx kovarans Bentuk matrx kovarans menurut Hosmer dan Lemeshow (989, p29) pada regres logstk adalah: ( β ) = I ( β ) = ( X ' VX ) (222) 25 Metode Bootstrap Bootstrap adalah sebuah metode smulas berdasarkan data untuk statstk nferensa yang dapat dgunakan untuk mempelajar varas dar data yang dobservas (Inferensa statstk adalah semua metode yang dgunakan dalam penarkan kesmpulan dan generalsas suatu populas tertentu) Ide utama dar metode n bootstrap adalah menggunakan sekumpulan observas sebaga gambaran emprs dar dstrbus yang sesungguhnya

Pada metode bootstrap probabltas terplhnya suatu sampel acak jka terdapat satu 6 unt data yang observas u, u2, u3,, u menurut Efron dan Tbshran (998, p8) n adalah sama sama yatu /n Sampel bootstrap ddapatkan dar data observas yang dplh dengan pengembalan, sehngga dapat terjad suatu data dapat muncul lebh dar satu kal Metode bootstrap dbutuhkan pada keadaan dmana dbutuhkan data yang banyak sedangkan proses untuk mendapatkan data terbatas Proses dar bootstrappng menurut Efron dan Tbshran (998, p3) dgambarkan sebaga berkut: Gambar 25: Proses dar bootstrappng Pada gambar (25) data observas dlambangkan dengan: X = x, x, x ) n =,2,3,, n ( 2 n Sedangkan data hasl replkas dar bootstrap dlambangkan dengan X = ( x *, x *, x *) n =,2,3,, n * 2 n Jumlah replkas bootstrap dlambangkan dengan smbol B Contoh proses bootstrap pada nla tengah sesua dengan gambar (25) adalah:

7 Ambl secara acak data sebanyak n dengan probabltas terplhnya satu unt data adalah sama 2 Lakukan langkah pertama sampa dengan jumlah replkas bootstrap yang dngnkan 3 Htung nla tengah bootstrap pada masng-masng kelompok replkas yang dhaslkan Jumlah replkas bootstrap pada regres, menurut Faraway, JJ(2002, p54) jumlah replkas bootstrap pada regres dlakukan 000 kal Cara melakukan pengamblan sampel pada metode bootstrap ada berbaga macam sepert bootstrap resdual, bootstrap mean, dst Pada regres logstk, metode bootstrap yang dpaka dnamakan bootstrap probabltas bersyarat yang akan djelaskan kemudan 25 Bootstrap Probabltas bersyarat Dstrbus probabltas bersyarat (condtonal probablty dstrbuton) adalah nla probabltas dar suatu nla varabel dependen (Y) yang nlanya berasal dar akbat varabel ndependennya (X) terhadap kemungknan dhaslkannya suatu nla oleh varabel Y tersebut Nla varabel yang bergantung pada konds dar varabel lan yang berhubungan dengannya pada regres logstk adalah nla dar varabel dependen (Y) yang bergantung dengan nla dar varabel ndependen (X) tertentu Nla varabel tersebut dnamakan dengan condtonal expected values yang basa dnotaskan dengan smbol E(Y X) Berdasarkan hal tersebut, maka cara melakukan bootstrap pada probabltas bersyarat menurut Pardoe dan Wesberg (200, p2) dapat dlakukan dengan menghtung kemungknan yang ada pada μ (ftted value dar bootstrap) yang merupakan

kemungknan atau probabltas dar event sukses (p = P(Y*= X) = μ (x)) ) Nla probabltas tersebut juga adalah condtonal expected value dar tap bars pada regres logstk yang telah dbootstrap Semakn besar nla 8 μ maka semakn besar kemungknan varabel Y* bernla (event sukses) dbandngkan dengan besar kemungknan Y* bernla 0 (event gagal) Sedangkan kebalkannya jka semakn kecl nla μ maka semakn kecl juga kemungknan varabel Y* bernla atau berart besar kemungknan nla Y* bernla 0 adalah besar Algortma dar bootstrap probabltas bersyarat adalah: Dapatkan nla μ dar persamaan regres logstk basa yang datanya akan dgunakan sebaga data observas metode bootstrap 2 Dapatkan nla acak dar y *,, y * dar Y sesua dengan dstrbus varabel Y n dan (p = P(Y*= X) = μ *(x)) ) dmana μ * adalah ftted value bootsrap dar regres logstk yang berdstrbus bnomal tersebut 3 Suakan y *,, y * yang merupakan hasl dar bootsrap dengan varabel n dependen (X) dar regres logstk basa dan bentuklah persamaan θ *(b) yang adalah persamaan regres logstk dengan metode bootstrap 4 Lakukan cara sampa 3 sebanyak teras bootstrap yang dngnkan 5 Lakukan perhtungan devase resdual bootstrapnya 252 Devance Resdual Bootstrap Sepert yang dketahu devance resdual dar regres logstk mengukur perbedaan antara Y dengan Yˆ, maka untuk menganalss perbedaan antara regres logstk dan

9 regres logstk dengan metode bootstrap dapat dlakukan dengan menghtung perbedaan devance resdual antara kedua regres tersebut Rumus bootstrap untuk mengestmas devance resdual pada regres logstk adalah sebaga berkut : D B = D *( )) t(d) (223) dmana B D *( ) = b= D *(b)/b (224) t(d) adalah devance resdual dar regres logstk basa dan D *( )) adalah devance resdual rata-rata dar metode bootstrap logstc regresson Persamaan (223) tersebut ddasarkan pada devance resdual pada regres logstk Oleh karena tu hasl devance resdual dar regres logstk tersebut akan dbandngkan dengan keseluruhan rata-rata devance resdual dar setap regres logstk hasl dar bootstrap untuk membandngkan perbedaan devance resdual antara metode bootstrap dengan regres logstk dan regres logstk basa Perbedaan yang besar pada devase resdual antara metode bootstrap dengan regres logstk basa tentunya tdak dkehendak dan menandakan ketdakakuratan antara bootstrap dengan yang metode regres logstk basa 26 Peneltan yang Relevan Samn, H (2005) Analss dan Peracangan program aplkas untuk mengestmas tngkat loyaltas konsumen terhadap merk Sony Car Audo (stud kasus: Pt Tr Audophle Center) Unverstas bna nusantara Jakarta Peneltan tersebut bertujuan menerapkan model regres logstk untuk melhat bentuk

20 hubungan loyaltas konsumen dengan frekuens pembelan dan volume pembelan Sony Car Audo oleh pelanggan Horton, NJ, dan Lard, NM (200) Maxmum Lkelhood Analyss of Logstc Regresson Peneltan tersebut dlakukan dengan mengunakan Regres Logstk dan metode bootstrap untuk kasus data kesehatan anak-anak http://wwwbostatharvardedu/~horton/bometrcspdf Akses: Desember 26, 2005 Bull, SB, Mak, C dan Greenwood, CMT (2002) Modfed Score Functon Estmator for Multnomal Logstc Regresson n Small Samples D mana peneltan dlakukan dengan data dar penyakt hepatts dengan regres logstk multnom dan bootstrap http://wwwcytelcom/papers/csda-2002pdf Akses: Desember, 2005 Pardoe, I dan Wesberg, S(200) An Introducton to Bootstrap Methods usng Arc D mana peneltan dlakukan dengan membandngkan beberapa metode bootstrap pada regres yang salah satunya adalah regres logstk dan salah satu metode bootsrap yang dgunakan adalah bootsrap probabltas bersyarat Peneltan tersebut dlakukan menggunakan bahasa pemrogram Arc http://wwwstatumnedu/arc/bootmethrevpdf Akses: Januar 0, 2006