II. TINJAUAN PUSTAKA 2.1 Metode Regresi 2.2 Model Aditif Terampat ( Generalized additive models , GAM)

Transkripsi

1 II. TINJAUAN PUSTAKA. Metode Regresi Analisis regresi merupakan bagian dalam analisis statistika yang digunakan untuk memodelkan hubungan antara peubah tidak bebas (respon) dengan satu atau beberapa peubah bebas (prediktor). Secara umum model regresi mempunyai 3 (tiga) tuuan yaitu: () menelaskan pola hubungan sebab akibat yang teradi antara peubah respon dengan peubah bebas; () mengetahui kontribusi relatif setiap peubah bebas untuk menelaskan peubah respon; (3) memprediksi nilai peubah respon untuk beberapa nilai peubah bebas tertentu (Aunuddin 005). Hubungan di antara peubah respon dan peubah bebas ini dapat dinyatakan dalam suatu persamaan matematik yang disebut persamaan regresi yang linear atau non linear. Jika hubungan peubah respon dengan peubah bebas bersifat linear dan asumsi-asumsinya dipenuhi, maka model regresi linear adalah model terbaik yang dapat memberikan deskripsi sederhana tentang data dan memperlihatkan kontribusi setiap peubah bebas dengan satu parameter. Salah satu model regresi linear yang sering digunakan adalah: E(y x, x,, x p ) = β 0 + β x + + β p x p Metode yang paling sering digunakan dalam pendugaan parameter model adalah metode kuadrat terkecil (MKT), karena relatif mudah dan sederhana dalam perhitungannya.. Model Aditif Terampat (Generalized additive models, GAM) GAM pertama kali dikembangkan oleh Hastie dan Tibshirani pada tahun 986 (Hastie & Tibshirani 990). GAM merupakan perluasan dari model aditif dengan memodelkan y sebagai kombinasi aditif fungsi univariat dari peubah bebas. Metode ini dapat secara langsung mengakomodasi dengan baik adanya pengaruh nonlinear peubah bebas tanpa harus mengetahui bentuk pengaruh tersebut secara eksplisit (Beck & Jackman 997). Peubah respon y dalam GAM diasumsikan mempunyai fungsi kepekatan peluang dari keluarga eksponensial, yaitu:

2 6 di mana θ disebut parameter alami dan adalah parameter dispersi. E(y x, x,, x p ) = µ dihubungkan ke peubah prediktor dengan fungsi penghubung η, di mana: p η = α + f ( xi ) + ε; i =,,, n () = di mana f adalah bentuk hubungan fungsional antara peubah respon dengan peubah bebas x, sedangkan ε bebas stokastik terhadap peubah bebas x, dan memenuhi E(ε) = 0, cov (ε) = σ I. Sedangkan metode pendugaan yang terkenal dalam proses pendugaan f, f,, f p dari model regresi pada persamaan () adalah algoritma backfitting. Hastie & Tibshirani (986) memulai algoritma backfitting dengan p memisalkan model η = α + f ( xi ) + ε adalah benar dan mengasumsikan = bahwa f,, f -, f +,, f p diketahui. Selanutnya suatu galat parsial didefinisikan sebagai berikut: R = y α k f k ( x k dengan menetapkan E(R x ) = f (x ) dan meminimumkan ) E p ( y α f k ( xk k = maka penduga f akan diperoleh secara iteratif ika diberikan penduga f i untuk i. )).. Pemulusan (Smoothing) Teknik pemulusan pertama kali dikemukakan oleh Ezekiel pada tahun 94. Pemulusan pada dasarnya merupakan suatu proses yang secara sistematik dapat menghilangkan pola data yang kasar (berfluktuasi) dan selanutnya dapat mengambil pola data yang dielaskan secara umum (Montgomery, Johnson & Gardiner 990). Teknik pemulusan nonparametrik digunakan untuk memodelkan hubungan antar peubah tanpa penetapan bentuk khusus tentang fungsi regresinya. Jika diberikan beberapa fungsi f(x) yang kontinu pada turunan ke-m dan terdapat satu fungsi dari beberapa fungsi tersebut yang meminimumkan PRSS (penalized residual sum of squares) yang diformulasikan sebagai berikut:

3 7 n b m { yi f ( xi )} + λ { f ( t)} dt () i= a di mana λ adalah konstanta dan a x x n b. Maka fungsi tersebut dinamakan fungsi pemulus spline (Hastie & Tibshirani 990). Perimbangan antara fleksibilitas dan kemulusan dugaan kurva dikontrol oleh nilai parameter pemulus atau umlah knot. Parameter pemulus yang relatif besar atau umlah knot yang relatif kecil akan menghasilkan dugaan kurva yang sangat mulus sehingga perilaku data yang rinci tidak terlihat, sedangkan parameter pemulus yang relatif kecil atau umlah knot yang relatif besar menghasilkan dugaan kurva yang kasar karena besarnya pengaruh variasi lokal. Pemulus spline mempunyai sifat fleksibel dan efektif dalam menangani sifat lokal suatu fungsi atau data (Aunuddin 003, diacu dalam Aziz 005)..3 Regresi Spline Adaptif Berganda (Multivariate Adaptive Regression Splines, MARS) Metode regresi spline merupakan salah satu metode yang digunakan untuk menangani pola data yang mengikuti siklus nonlinear serta bentuk kurvanya tidak diketahui. Regresi spline terdiri atas beberapa penggal polinom berorde tertentu yang saling bersambung pada titik-titik ikat. Nilai absis dari titik ikat ini disebut knot. Regresi spline bersifat fleksibel sehingga model yang didapat akan cenderung sedekat mungkin menggambarkan kondisi sebenarnya (Kurnia & Handayani 998). Spline kubik merupakan fungsi spline yang sering digunakan karena polinom yang digunakan berordo relatif rendah (polinom berderaat tiga) dan menghasilkan pemulusan yang cukup baik. Kekontinuan sampai turunan kedua polinom-polinom yang digunakan menamin kemulusan fungsi (Hasti & Tibshirani 990). Spline kubik diformulasikan sebagai berikut: s k 3 3 ( x) = 0 + βx + β x + β 3x + θ ( x ξ ) + = β (3) di mana: a + = bagian positif dari a ξ = knot ke- untuk =,,, k

4 8 Model pada persamaan (3) merupakan suatu kombinasi linier dari k+4 fungsi basis yang dikenal sebagai deret berpangkat terbatas (the truncated power series basis), dalam hal ini berpangkat tiga. Fungsi-fungsi basis tersebut adalah, x, x, x 3 k, {( x ξ ) 3 + }..3. Recursive Partitioning MARS adalah salah satu metode regresi nonparametrik yang dikembangkan oleh Jerome H. Friedman (990). Bentuk model MARS merupakan perluasan hasil kali fungsi-fungsi basis spline, di mana umlah fungsi basis beserta parameter-parameternya ditentukan secara otomatis oleh data dengan menggunakan algoritma recursive partitioning yang dimodifikasi. Dalam MARS, fungsi basis adalah satu set fungsi yang menggambarkan informasi yang terdiri dari satu atau lebih peubah. Seperti komponen utama, fungsi basis menggambarkan hal-hal yang memberikan kontribusi paling besar dalam hubungan peubah bebas dan peubah respon. Nilai fungsi basis dalam MARS dapat digambarkan sebagai berikut: max (0, x-t) atau max (0, t-x) dengan t adalah nilai yang menggambarkan letak titik knot dan x adalah peubah bebas. Recursive partitioning (RP) adalah salah satu metode pemodelan regresi yang biasa digunakan untuk data berdimensi tinggi karena penentuan knot tergantung (otomatis) dari data. Namun demikian, metode RP masih memiliki beberapa kelemahan, diantaranya yaitu model RP menghasilkan himpunan bagian yang saling lepas dan diskontinu pada batas himpunan bagian, serta model RP tidak cukup mampu dalam menduga fungsi linear atau aditif. Metode MARS mampu mengatasi semua kelemahan yang dimiliki metode RP dengan menggunakan algoritma RP yang dimodifikasi, sehingga selain penentuan knot yang dilakukan secara otomatis dari data, uga menghasilkan model yang kontinu pada knot dengan turunan yang kontinu. Jika H[η] merupakan suatu fungsi tangga (step function) yang berbentuk:, untuk η 0 H[η] = 0, untuk lainnya

5 9 Maka fungsi basis yang dihasilkan pada langkah mau prosedur RP dapat dinyatakan sebagai berikut: K m B m (x) = H[ s km. (x v(k,m) t km )] (4) k = di mana: H[.] = fungsi tangga K m x v(k,m) t km s km = umlah pilahan himpunan bagian ke-m untuk menghasilkan B m (deraat interaksi) = peubah prediktor ke-v, pilahan ke-k dan himpunan bagian ke-m = knot dari peubah x v(k,m) = nilainya atau - ika knotnya terletak di sebelah kanan atau kiri himpunan bagian.3. Modifikasi Friedman MARS merupakan hasil modifikasi Friedman terhadap algoritma RP untuk mengatasi kekurangan-kekurangan yang dimiliki metode RP. Beberapa inovasi dilakukan oleh Friedman (990) untuk mengatasi kelemahan metode RP diantaranya yaitu: a) Mengganti fungsi tangga H[±(x-t)] dengan suatu fungsi splines pangkat q terbatas [ ± ( t)]. di mana q = untuk mengatasi diskontinu pada titik knot. x + b) Membatasi perkalian pada masing-masing fungsi basis hanya melibatkan peubah-pubah prediktor yang berbeda. Hal ini dilakukan untuk mengatasi ketergantungan pada peubah secara individu dengan pangkat yang lebih tinggi dari q. Metode MARS menentukan lokasi dan umlah knot berdasarkan pemilihan peubah pada langkah mau (forward) dan langkah mundur (backward) algoritma RP yang dimodifikasi, di mana lokasi dan umlah knot yang optimum disesuaikan dengan perilaku data. ) Langkah mau Dalam pembentukan model, terlebih dahulu ditentukan fungsi basis maksimum. Pada tahap ini, digunakan kriteria pemilihan fungsi basis yaitu

6 0 dengan meminimumkan average sum of square residual (ASR), untuk mendapatkan umlah fungsi basis maksimum. ) Langkah mundur Setelah mendapatkan umlah fungsi basis maksimum, proses dilanutkan ke tahap kedua atau langkah mundur yaitu tahap untuk menentukan ukuran fungsi basis yang layak. Pada tahap ini, dilakukan penghapusan fungsi basis yang kontribusinya terhadap nilai dugaan respon kecil sampai diperoleh perimbangan antara bias dan ragam serta model yang layak, yaitu dengan meminimumkan nilai generalized cross validation (GCV) yang diformulasikan pada persamaan (5). Semakin kecil GCV (semakin besar nilai GCV - ) dari suatu peubah, semakin penting peubah tersebut terhadap model yang dibangun. (/ N) GCV ( M ) = [ ( C( M )) / N] N ˆ [ y f ( x )] i = i M i (5) di mana pembilang pada persamaan (5) adalah rataan umlah kuadrat galat, N adalah umlah pengamatan dan M menunukkan umlah himpunan bagian atau umlah fungsi basis (nonkonstan) pada model MARS. Penyebutnya merupakan penalti fungsi model kompleks. Kriteria GCV adalah rataan umlah kuadrat galat hasil pengepasan data (sebagai pembilang) dikali suatu penalti (merupakan kebalikan penyebut) yang menyebabkan kenaikan ragam sehubungan dengan meningkatnya kompleksitas model (umlah fungsi basis M). Dengan modifikasi Friedman fungsi basis pada persamaan (4) dapat dinyatakan sebagai berikut: Km m ( x) [ skm. ( xv( k, m) tkm k = B = )] (6) + Hasil modifikasi algoritma recursive partitioning adalah model MARS yang dinyatakan sebagai berikut: fˆ (x) = a 0 + M a m m= K m k = [ (x v(k,m) t km )] (7) s km. di mana a 0 adalah basis fungsi induk, a m adalah koefisien dari basis fungsi ke-m dan M merupakan maksimum basis fungsi (nonconstant basis fungsi). Koefisien

7 M { am} m= ditentukan dengan menggunakan metode kuadrat terkecil (Friedman 990). Persamaan (7) dapat ditulis dalam bentuk lain sebagai berikut: ˆ y = B0 + B * BF + B * BF B k * BF k di mana: y = peubah respon B 0 B, B,, B k BF, BF,, BF k = konstanta = koefisien fungsi basis spline ke,,, k = fungsi basis ke,,, k.4 Pendeteksian Pencilan dan Pengamatan Berpengaruh Pencilan merupakan elemen data yang tidak sesuai, sangat menyalahi atau tidak waar, dibandingkan dengan mayoritas data (Martens dan Naes 989). Pencilan dapat disebabkan oleh kesalahan dalam data, suatu komposisi atau status fisik yang ganil dari obek yang dianalisis. Kesalahan dalam data dapat berupa gangguan, penyimpangan instrumen, kesalahan operator ataupun kesalahan pencetakan. Pendeteksian pengamatan berpengaruh terhadap nilai-nilai X dapat digunakan matriks H (hat matrix) yang didefinisikan sebagai: H = X(X X) - X Unsur ke-i pada diagonal utama matriks H yaitu h ii, biasanya dinamakan pengaruh (leverage) kasus ke-i merupakan ukuran arak antara nilai X untuk pengamatan ke-i dan rataan X untuk semua pengamatan, yang diperoleh dari: di mana adalah vektor baris ke-i dari matriks X. Nilai h ii berkisar antara 0 dan dan, dengan p adalah banyaknya koefisien regresi di dalam fungsi termasuk konstanta (Neter et al. 990). Leverage ke-i yang besar menunukkan bahwa pengamatan ke-i berada auh dari pusat semua pengamatan X. Leverage ke-i dianggap besar atau dinyatakan sebagai pengamatan pencilan dan berpengaruh ika nilainya lebih dari dua kali rataan semua leverage (p/n). Nilai h ii yang semakin besar menunukkan semakin besar potensinya untuk berpengaruh (Aunuddin 989).

8 Pendeteksian pencilan uga dapat dilakukan dengan menggunakan nilai R- student (externally studentized residual) yang didefinisikan sebagai: di mana: y i = nilai peubah tak bebas pada pengamatan ke-i = nilai pendugaan y i pada pengamatan ke-i s (-i) h ii = dugaan simpangan baku tanpa pengamatan ke-i = unsur ke-i dari diagonal matriks H R-student menyebar mengikuti sebaran t-student dengan deraat bebas (n-p-). Suatu pengamatan dikatakan pencilan ika t > t (n-p-;α/) (Myers 990). Pendeteksian pengamatan berpengaruh ditentukan berdasarkan nilai DFFITS dan Cook s D. DFFITS i merupakan suatu ukuran pengaruh yang ditimbulkan oleh pengamatan ke-i terhadap nilai dugaan apabila pengamatan ke-i dihapus. Nilai DFFITS i diperoleh dari rumus berikut: dengan adalah nilai dugaan y i tanpa pengamatan ke-i. Suatu pengamatan dikatakan berpengaruh apabila nilai DFFITS i >. Cook s D merupakan suatu ukuran pengaruh pengamatan ke-i terhadap semua koefisien regresi dugaan. Pada Cook s D, pengaruh pengamatan ke-i diukur oleh arak D i. Jarak tersebut diperoleh dari rumus berikut: di mana: b -i = vektor koefisien regresi dugaan tanpa pengamatan ke-i b = vektor koefisien regresi dugaan termasuk pengamatan ke-i e = nilai sisaan pada pengamatan ke-i Suatu pengamatan merupakan pengamatan berpengaruh apabila mempunyai nilai D i > F (p;n-p; α) dengan taraf nyata α (Myers 990)..5 Kriteria Kebaikan Model dan Validasi Model

9 3 Pemilihan model terbaik dapat dilakukan dengan memperhatikan beberapa kriteria kebaikan model pada data penyusun model dan data validasi. a) Kriteria kebaikan model pada data penyusun model menggunakan R dan R terkoreksi. b) Kriteria kebaikan model pada data validasi digunakan RMSEP (root mean square error of prediction) yang diformulasikan sebagai berikut: RMSEP = n i= ( y yˆ ) di mana: n = banyaknya data validasi i n ŷ i = dugaan untuk data validasi y i i Semakin besar R atau R terkoreksi maka model semakin baik. Sedangkan ika GCV dan RMSEP semakin kecil maka model yang diperoleh semakin baik.