ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL. oleh YULIANA SITI NURAINI M

Transkripsi

1 ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL oleh YULIANA SITI NURAINI M SKRIPSI ditulis dan diajukan untuk memenuhi sebagian persyaratan memperoleh gelar Sarjana Sains Matematika JURUSAN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS SEBELAS MARET SURAKARTA 2012 i

2 SKRIPSI ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL yang disiapkan dan disusun oleh YULIANA SITI NURAINI M Pembimbing I, dibimbing oleh Pembimbing II, Dra. Etik Zukhronah, M.Si. NIP Supriyadi, M.Si. NIP telah dipertahankan di depan Dewan Penguji pada hari Kamis, tanggal 19 Januari 2012 dan dinyatakan telah memenuhi syarat. Anggota Tim Penguji 1. Irwan Susanto, DEA. NIP Drs. Siswanto, M.Si. NIP Disahkan oleh Fakultas Matematika dan Ilmu Pengetahuan Alam Dekan, Tanda Tangan Surakarta, Januari 2012 Ketua Jurusan Matematika, Ir. Ari Handono Ramelan, M.Sc., (Hons)., Ph.D. NIP Irwan Susanto, DEA. NIP ii

3 ABSTRAK Yuliana Siti Nuraini, ESTIMASI FUNGSI PENGHALUS PADA REGRESI ISOTONIK ADITIF DENGAN METODE KUADRAT TERKECIL. Fakultas Matematika dan Ilmu Pengetahuan Alam, Universitas Sebelas Maret. Regresi isotonik merupakan salah satu cabang dari regresi nonparametrik. Pada model regresi isotonik, data diasumsikan monoton naik, dan fungsi regresinya diasumsikan termasuk ke dalam kelas fungsi penghalus. Salah satu model regresi isotonik yang mengandung lebih dari satu variabel bebas adalah model regresi isotonik aditif. Tujuan dari penelitian ini adalah mengkaji ulang estimasi fungsi regresi isotonik aditif dan selanjutnya, menerapkan ke dalam contoh kasus. Estimasi fungsi penghalus dalam model regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan melalui algoritma backfitting yaitu, dengan dihitung menggunakan PAVA. Secara geometri, masalah estimasi dengan metode kuadrat terkecil tersebut dapat juga dipandang sebagai masalah proyeksi dalam suatu ruang vektor. Kata kunci: regresi isotonik, regresi isotonik aditif, metode kuadrat terkecil, algoritma backfitting, proyeksi iii

4 ABSTRACT Yuliana Siti Nuraini, ESTIMATION OF SMOOTH FUNCTION IN ADDITIVE ISOTONIC REGRESSION USING LEAST SQUARE METHOD. Faculty of Mathematics and Natural Sciences, Sebelas Maret University. Isotonic regression is one kind of nonparametric regression. In this model, data is assumed as increasing monoton, and its function is assumed as smooth function class. One of this model that is containing more than one independent variable is called additive isotonic regression model. The goal of this research are to recite the estimation of isotonic regression function, and to apply its in a case. Estimation of smooth function in additive isotonic regression model uses least square method that is finished by backfitting algorithm, that is, where determined using PAVA. Geometrically, the problem of the method can be observed as projection problem in. Keywords: isotonic regression, additive isotonic regression, least square method, backfitting algorithm, projection iv

5 MOTTO Sesungguhnya sesudah kesulitan itu ada kemudahan. Maka apabila kamu telah selesai dari sesuatu urusan, kerjakanlah dengan sungguhsungguh urusan yang lain. (Terjemahan Q.S. Al Insyirah : 6-7). v

6 PERSEMBAHAN Karya ini ku persembahkan untuk alm. bapak, ibu, dan ketiga kakakku tercinta atas segala doa, motivasi, dan dukungannya serta kasih sayang yang telah diberikan. vi

7 KATA PENGANTAR Puji syukur senantiasa penulis panjatkan kehadirat Allah SWT atas segala limpahan rahmat dan karunia-nya sehingga penulis dapat menyelesaikan skripsi ini. Terselesaikannya skripsi ini tidak lepas dari bimbingan dan bantuan dari berbagai pihak, untuk itu penulis mengucapkan terima kasih kepada 1. Dra. Etik Zukhronah, M. Si. selaku Pembimbing I atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini. 2. Supriyadi Wibowo, M. Si. selaku Pembimbing II atas bimbingan dan motivasinya kepada penulis dalam penyusunan skripsi ini. 3. Keluargaku yang selalu memberikan doa dan motivasi. 4. Esi Mestalefa dan Lulu Atul Fajaroh yang telah memberikan masukan dan dukungan kepada penulis. 5. Teman-teman matematika angkatan 2007 dan 2006 atas motivasi dan masukan yang telah diberikan dalam penyusunan skripsi ini. 6. Semua pihak yang telah membantu kelancaran penulisan skripsi ini. Semoga karya ini dapat bermanfaat bagi pembaca. Surakarta, Januari 2012 Penulis vii

8 DAFTAR ISI JUDUL... i PENGESAHAN... ii ABSTRAK... iii ABSTRACT... iv MOTTO... v PERSEMBAHAN... vi KATA PENGANTAR... vii DAFTAR ISI... viii DAFTAR GAMBAR... x DAFTAR NOTASI... xi BAB I PENDAHULUAN Latar Belakang Masalah Perumusan Masalah Batasan Masalah Tujuan Manfaat... 3 BAB II LANDASAN TEORI Tinjauan Pustaka Teori-teori penunjang Regresi Isotonik Himpunan Convex Cone Proyeksi Metode Kuadrat Terkecil Pooled Adjacent Violators Algorithm (PAVA) Masalah Dual dari Regresi Isotonik Algoritma Dykstra Kerangka Pemikiran viii

9 BAB III METODE PENELITIAN BAB IV PEMBAHASAN Estimasi Fungsi Penghalus Regresi Isotonnik Aditif dengan Metode Kuadrat Terkecil (MKT) Contoh Kasus Deskripsi Data Estimasi Fungsi Penghalus BAB V PENUTUP Kesimpulan Saran DAFTAR PUSTAKA LAMPIRAN ix

10 DAFTAR GAMBAR Gambar 4.1 Grafik konsumsi bahan bakar gas terhadap berat mobil. 27 Gambar 4.2 Grafik konsumsi bahan bakar gas terhadap pergantian oli mesin x

11 DAFTAR NOTASI : vektor variabel tak bebas : matriks variabel bebas : vektor variabel bebas ke : rata-rata dari vektor : vektor konstanta : vektor fungsi penghalus dari variabel bebas : vektor variabel random : matriks identitas : ruang vektor dimensi : ruang vektor dimensi sebanyak variabel bebas : himpunan convex cone : himpunan convex cone dari fungsi regresi pada variabel bebas ke : matriks fungsi regresi dari variabel bebas : vektor fungsi regresi dari variabel bebas ke : elemen fungsi penghalus dari variabel bebas ke untuk observasi ke : elemen fungsi regresi dari variabel bebas ke untuk observasi ke : hasil estimasi variabel tak bebas : hasil estimasi fungsi penghalus : proyeksi dari vektor ke himpunan convex cone : himpunan dual cone dari himpunan convex cone : irisan dari himpunan convex cone untuk variabel bebas : perubahan kenaikan dari proses proyeksi : barisan fungsi penghalus dari variabel bebas ke pada iterasi ke : irisan dari himpunan dual cone untuk variabel bebas xi

12 BAB I PENDAHULUAN 1.1 Latar Belakang Masalah Banyak permasalahan dalam kehidupan nyata yang dapat diformulasikan ke dalam suatu model regresi karena lebih mudah digunakan dan lebih representatif. Menurut Sembiring [10], model regresi adalah model yang menentukan hubungan antara variabel bebas dan variabel tak bebas. Salah satu bentuk hubungan tersebut adalah monoton. Hubungan monoton ada dua yaitu monoton naik dan monoton turun. Salanti [9] mengemukakan bahwa metode regresi yang dapat digunakan dalam bentuk hubungan variabel bebas dan variabel tak bebas monoton adalah regresi monotonik. Terdapat dua jenis metode regresi monotonik, yaitu regresi antitonik dan regresi isotonik. Regresi antitonik adalah metode regresi yang digunakan apabila hubungan antara variabel bebas dan variabel tak bebas berbetuk monoton turun. Apabila hubungan antara variabel bebas dan variabel tak bebasnya berbentuk monoton naik, metode regresi yang digunakan disebut regresi isotonik. Pada penelitian ini akan dibahas khusus untuk regresi isotonik. Satusatunya asumsi pada regresi isotonik adalah nilai naik untuk nilai yang naik (Friedman dan Tibshirani [4]). Pada penelitian Setiani [11] telah dibahas mengenai model regresi isotonik dengan satu variabel bebas dan satu variabel tak bebas. Oleh karena itu dalam skripsi ini, peneliti akan membahas model regresi isotonik dengan variabel bebas lebih dari satu. Model regresi ini disebut sebagai model regresi isotonik aditif. Model regresi isotonik aditif adalah model yang menjelaskan bahwa suatu variabel tak bebas merupakan jumlah dari fungsi regresi pada masing-masing variabel bebas yang mempengaruhi. Menurut Suparti [14], apabila dilihat dari asumsi bentuk fungsinya terdapat dua pendekatan yang dapat dilakukan dalam mengestimasi fungsi regresi, yaitu pendekatan parametrik dan nonparametrik. Pendekatan parametrik dilakukan ketika asumsi bentuk fungsi regresi diketahui tergantung pada suatu parameter, 1

13 2 sehingga mengestimasi fungsi regresi sama artinya dengan mengestimasi parameternya. Pendekatan nonparametrik dilakukan saat asumsi bentuk fungsi regresi tidak diketahui. Regresi isotonik merupakan salah satu jenis model regresi yang menggunakan pendekatan nonparametrik. Menurut Suparti [14], fungsi regresi nonparametrik termuat dalam kelas fungsi penghalus artinya mempunyai turunan yang kontinu. Mammen dan Yu [8] mengestimasi fungsi regresi pada regresi isotonik aditif menggunakan metode kuadrat terkecil. Metode ini memiliki kelebihan, yaitu sederhana, mudah dalam perhitungannya, dan konsisten. Prinsip dari metode kuadrat terkecil adalah mencari nilai estimasi fungsi regresi yang meminimumkan sesatan. Menurut Mammen dan Yu, prinsip ini identik dengan prinsip proyeksi dalam geometri, yaitu mencari jarak terdekat dari dua vektor di. Pada penelitian Mammen dan Yu [8], dan Hinder [6] masalah estimator kuadrat terkecil pada regresi isotonik aditif diselesaikan dengan menggunakan algoritma backfitting. Hinder [6] mengatakan bahwa algoritma backfitting merupakan algoritma berulang dari metode kuadrat terkecil untuk setiap fungsi regresi pada regresi isotonik aditif. Oleh karena itu, algoritma ini cocok digunakan ketika fungsi regresi dari suatu model tidak diketahui. Pooled Adjacent Violators Algorithm (PAVA) digunakan di dalam algoritma backfitting ini untuk menghitung setiap fungsi regresi yang diestimasi. PAVA adalah suatu algoritma yang digunakan untuk menghitung estimasi fungsi regresi agar hasil estimasi memenuhi asumsi monoton naik. Sehingga, dengan diterapkannya PAVA dalam algoritma backfitting menjamin hasil estimasi fungsi regresi dengan metode kuadrat terkecil, memenuhi asumsi pada regresi isotonik. Berdasarkan hal tersebut, peneliti tertarik untuk mengkaji ulang estimasi fungsi regresi isotonik khususnya untuk fungsi penghalus pada regresi isotonik aditif. Metode yang digunakan untuk mengestimasi fungsi regresi isotonik aditif adalah metode kuadrat terkecil. Metode ini diselesaikan melalui algoritma backfitting dan menggambarkannya sebagai proses proyeksi dalam suatu ruang

14 3 vektor. Setelah itu menerapkan langkah-langkah estimasi fungsi regresi tersebut ke dalam contoh kasus. 1.2 Rumusan Masalah Berdasarkan latar belakang masalah, disusun perumusan masalah bagaimana estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil. 1.3 Batasan Masalah Agar tidak memperluas pembahasan, penulisan skripsi ini dibatasi pada estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil yang diselesaikan dengan algoritma backfitting. 1.4 Tujuan Penelitian Tujuan penulisan skripsi ini adalah mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil. 1.5 Manfaat Penelitian Manfaat dari penelitian ini adalah mengetahui hubungan antara metode kuadrat terkecil dan proyeksi, yaitu prinsip metode kuadrat terkecil identik dengan masalah proyeksi.

15 BAB II LANDASAN TEORI Pada bagian pertama dari bab ini diberikan tinjauan pustaka yang berisi penelitian-penelitian sebelumnya yang mendasari penelitian ini. Pada bagian kedua dari bab ini diberikan teori-teori penunjang yang berisi definisi-definisi sebagai dasar pengertian untuk mempermudah pembahasan selanjutnya. Pada bagian ketiga dari bab ini disusun kerangka pemikiran yang menjelaskan alur pemikiran dalam penulisan skripsi ini. 2.1 Tinjauan Pustaka Pada tahun 1972 Barlow [1] menulis sebuah buku yang memperkenalkan tentang regresi isotonik. Dia membahas tentang regresi isotonik beserta metodemetode estimasi fungsi regresi. Metode estimasi yang dibahas oleh Barlow [1] adalah metode kuadrat terkecil dan metode maksimum likelihood. Kedua metode tersebut banyak digunakan juga oleh peneliti-peneliti lain untuk mengestimasi fungsi regresi pada berbagai masalah regresi. Dahlbom [3] telah melakukan penelitian pada tahun 1998 tentang metode estimasi kuadrat terkecil terbobot. Metode estimasi yang dibahas oleh Dahlbom [3] merupakan perluasan dari metode estimasi kuadrat terkecil regresi isotonik yang telah dibahas oleh Barlow [1]. Dahlbom [3] membatasi penelitian hanya untuk kasus persamaan regresi dengan satu variabel bebas. Kasus lain yang lebih luas, yaitu masalah regresi dengan variabel bebas lebih dari satu yang telah diteliti oleh Mammen dan Yu [8] pada tahun Mammen dan Yu [8] menyebutkan bahwa model regresi isotonik dengan variabel bebas lebih dari satu disebut dengan regresi isotonik aditif. Metode estimasi fungsi regresi isotonik aditif yang digunakan oleh Mammen dan Yu [8] adalah metode kuadrat terkecil yang diselesaikan dengan menggunakan algoritma backfitting. Algoritma ini digunakan untuk mempermudah perhitungan estimasi fungsi regresi pada regresi isotonik aditif. 4

16 5 Pada tahun 2008 Hinder [6] menyempurnakan penelitian yang telah dilakukan oleh Mammen dan Yu [8]. Pada penelitian Hinder [6] telah dibuktikan teorema kekonvergenan dari algoritma backfitting. Pada penelitian ini akan mengkaji ulang hasil penelitian Mammen dan Yu [8], dan Hinder [6]. 2.2 Teori-teori Penunjang Untuk menyelesaikan perumusan masalah, perlu untuk menguraikan terlebih dahulu beberapa hal yang mendasari penelitian ini. Adapun beberapa hal tersebut meliputi regresi isotonik, himpunan convex cone, proyeksi, metode kuadrat terkecil, Pooled Adjacent Violators Algorithm (PAVA), masalah dual dari regresi isotonik, algoritma Dykstra Regresi Isotonik Menurut Colombo [2], model regresi isotonik untuk satu variabel bebas dan satu variabel tak bebas dapat dinyatakan sebagai berikut dengan : vektor variabel tak bebas yang berukuran, : vektor variabel bebas yang berukuran, : vektor konstanta yang berukuran yang tidak diketahui, : fungsi penghalus dari vektor variabel bebas yang tidak diketahui. : vektor variabel random berukuran, dengan rata-rata berarti

17 6 dan variansi untuk observasi ke sebagai berikut, serta covariansi untuk observasi ke dan ke sebagai berikut, Nilai varians-kovarians untuk n observasi dapat diringkas dalam bentuk matriks di bawah ini. Karena tidak ada korelasi antara dan, untuk, maka

18 7 dengan adalah matriks identitas berukuran disebut dengan matriks varians-kovarians.. Matriks pada persamaan Definisi (Colombo [2]) Hubungan biner pada vektor dikatakan terurut sederhana pada vektor jika a. Refleksif:, untuk ; b. Transitif: jika,, maka ; c. Antisimetris: jika,, maka ; d. Setiap dua elemen pada vektor dibandingkan: berlaku atau. Suatu fungsi penghalus pada persamaan dikatakan isotonik apabila memenuhi definisi berikut. Definisi (Colombo [2]) Misal adalah suatu vektor yang terdiri dari yang terurut sederhana. Suatu fungsi pada bernilai real dikatakan isotonik, jika dan dikatakan antitonik, jika. Berdasarkan Definisi dapat diartikan bahwa fungsi penghalus dikatakan isotonik apabila fungsi tersebut memiliki sifat monoton naik. Menurut Hinder [6], model regresi isotonik untuk lebih dari satu variabel bebas dan satu variabel tak bebas disebut model regresi isotonik aditif. Model regresi tersebut dinyatakan sebagai berikut

19 8 dengan adalah fungsi penghalus dari vektor variabel bebas ke-. berbentuk vektor kolom, dengan dan adalah konstanta yang tidak diketahui. Hastie dan Tibshirani [4] menyebutkan bahwa nilai, yaitu rata-rata dari. Pada tulisan ini diasumsikan sama dengan nol. Apabila model yang diperoleh memuat yang tidak nol, maka diganti dengan, dengan adalah rata-rata dari sehingga diperoleh sama dengan nol. Oleh karena itu, dengan asumsi bahwa persamaan memuat yang sama dengan nol maka pada persamaan dapat dihilangkan, sehingga diperoleh persamaan, Himpunan Convex Cone Schott [12] menyebutkan bahwa himpunan convex adalah himpunan bagian dari suatu ruang. Himpunan convex ini dinotasikan dengan, dapat dituliskan dengan. Misal diberikan matriks, dengan vektor dan, dapat dituliskan dalam matriks Misalkan, dengan adalah fungsi dari matriks dituliskan dengan, dengan adalah fungsi dari vektor, untuk setiap. Fungsi tersebut dapat dituliskan dalam bentuk matriks,

20 9 Definisi (Hoffmann [7]) Misalkan, adalah himpunan semua kolom yang sama pada matriks, dinotasikan dengan suatu vektor, dan vektor sedemikian sehingga terdapat matriks. Dengan kata lain,. Berdasarkan Definisi 2.2.3, persamaan dapat dituliskan menjadi, dengan untuk setiap dimana, dan adalah himpunan bagian dari,, dengan. Definisi (Schott [12]) Suatu himpunan dikatakan himpunan convex, jika untuk setiap vektor dan vektor, berlaku dimana adalah skalar yang memenuhi. Karena adalah himpunan convex dan, untuk setiap, maka juga himpunan convex di ruang vektor. Definisi (Hinder [6]) Suatu himpunan untuk setiap matriks dan berlaku dikatakan himpunan cone, jika

21 10 Pada tulisan ini, hasil kali skalar dalam suatu ruang vektor didefinisikan sebagai berikut. Definisi (Smith dan Minton [13]) Hasil kali titik dari dua vektor dan di didefinisikan dengan, Definisi (Hoffmann [7]) Hasil kali skalar dari dengan, didefinisikan Berdasarkan Definisi dan dapat disimpulkan bahwa hasil kali titik sama dengan hasil kali skalar, atau dapat dituliskan dengan. Definisi (Hoffmann [7]) Hasil kali skalar dari vektor, dengan dan, untuk setiap didefinisikan dengan, Operasi hasil kali skalar pada Definisi digunakan dalam beberapa definisi berikut. Definisi (Barlow, et al. [1]) Misalkan adalah himpunan convex cone dari matriks pada,, dengan adalah fungsi dari vektor yang memenuhi: a) jika vektor dan vektor, maka, dengan, dan b) jika matriks dan, maka.

22 11 maka dikatakan dual cone dari, jika vektor, untuk setiap, dengan dan, untuk semua vektor Proyeksi Pada penelitian Mammen dan Yu [8], menyebutkan bahwa regresi isotonik dengan satu variabel bebas, estimasi fungsi regresi diperoleh dari proyeksi vektor ke convex cone dari vektor isotonik di. Dengan kata lain, estimator kuadrat terkecil pada regresi isotonik dengan satu variabel bebas, dengan vektor, untuk, maka atau ditulis, merupakan proyeksi dari vektor, ke convex cone dari vektor isotonik di. Proyeksi ini disimbolkan dengan. Selanjutnya akan dijelaskan proyeksi ke convex cone dari vektor isotonik untuk regresi isotonik dengan variabel bebas. Persamaan regresi isotonik dengan variabel bebas pada persamaan dapat dituliskan menjadi, Vektor adalah jumlahan dari semua elemen baris yang sama pada matriks. Dengan kata lain,, untuk setiap, dan, maka. Atau dapat dituliskan dengan, dengan adalah himpunan bagian dari. Sehingga juga merupakan himpunan bagian dari, ditulis. Definisi (Hoffmann [7]) merupakan himpunan convex cone dari vektor isotonik di. Titik terdekat dari ke vektor adalah, yaitu proyeksi dari vektor ke convex cone isotonik.

23 12 Definisi (Hoffmann [7]) Suatu proyeksi, yaitu proyeksi dari vektor ke sebuah convex cone isotonik memiliki tiga sifat berikut: a. b. c., untuk semua. Sebagai contoh, berikut ini akan diberikan gambar proyeksi pada regresi isotonik dengan dua variabel bebas. Misal terdapat persamaan regresi isotonik dengan dua variabel bebas dan hasil estimasi dituliskan dengan Estimasi vektor digambarkan dalam proyeksi seperti pada Gambar 2.1, dengan. Gambar 2.1. Proyeksi dari vektor ke convex cone dari vektor isotonik, dengan Dari Gambar 2.1 terlihat bahwa, adalah jarak terdekat dari vektor ke convex cone dari vektor isotonik, dengan vektor. Sehingga diperoleh vektor yang meminimumkan sesatan,. Dengan kata

24 13 lain, dapat dikatakan bahwa masalah proyeksi adalah pendekatan geometri dari masalah estimasi kuadrat terkecil pada regresi Metode Kuadrat Terkecil Selanjutnya Sembiring [10] mengemukakan bahwa metode estimasi yang baik untuk mengestimasi fungsi regresi adalah dengan menggunakan metode kuadrat terkecil. Estimasi untuk fungsi penghalus pada regresi isotonik dengan satu variabel bebas diperoleh dengan meminimumkan jumlah kuadrat dari sesatan, Pada regresi isotonik dengan satu variabel bebas didapat, dengan, dan Sehingga, Estimasi fungsi penghalus regresi isotonik aditif untuk variabel bebas analog dengan estimasi untuk satu variabel bebas, yaitu meminimumkan jumlah kuadrat sesatan berikut.

25 14 Pada regresi isotonik dengan variabel bebas, dengan, maka dengan, dan Sehingga diperoleh, Menurut Zhang [15], prinsip dari estimasi fungsi regresi dengan menggunakan metode kuadrat terkecil identik dengan prinsip pada masalah proyeksi. Oleh karena itu, secara geometri estimasi fungsi regresi isotonik aditif dapat dipandang sebagai masalah proyeksi. Algoritma perhitungan untuk mengestimasi fungsi penghalus regresi isotonik aditif, mengikuti algoritma backfitting. Di dalam algoritma backfitting digunakan aplikasi dari Pooled Adjacent Violators Algorithm (PAVA) untuk masing-masing fungsi penghalus yang diestimasi. Selanjutnya, akan diberikan penjelasan tentang PAVA beserta langkah-langkah penggunaannya Pooled Adjacent Violators Algorithm (PAVA) Salanti [9] menyebutkan bahwa Pooled Adjacent Violators Algorithm (PAVA) adalah algoritma yang biasa digunakan dalam analisis regresi isotonik. Algoritma ini menjamin estimasi fungsi penghalus memenuhi asumsi monoton naik. Berikut ini akan dijelaskan langkah-langkah menggunakan PAVA.

26 15 Diketahui merupakan fungsi penghalus dari variabel bebas ke, dengan dan. Menurut Colombo [2], Pooled Adjacent Violators Algorithm (PAVA) dapat dinyatakan sebagai berikut 1. Jika adalah memenuhi asumsi isotonik, maka. 2. Jika untuk beberapa berlaku, maka kedua nilai tersebut diganti dengan nilai rata-rata keduanya,. 3. Jika himpunan baru sebanyak nilai ini memenuhi asumsi isotonik, yaitu maka, dan, untuk. 4. Jika himpunan baru ini belum memenuhi asumsi isotonik, maka proses ini diulang dari langkah kedua menggunakan nilai dari himpunan baru, hingga diperoleh himpunan yang memenuhi asumsi monoton naik Masalah Dual dari Regresi Isotonik Misal terdapat regresi isotonik dengan satu variabel bebas, estimasi fungsi penghalus diperoleh dengan meminimumkan persamaan dengan adalah himpunan convex cone dari vektor isotonik. Persamaan dapat diselesaikan melalui bentuk dual dari persamaan tersebut, yaitu

27 16 dengan adalah dual cone dari convex cone. Hubungan antara masalah dual pada persamaan dan masalah asli pada persamaan dijelaskan dalam teorema berikut. Teorema (Hinder [6]) Jika adalah himpunan convex cone tidak kosong dan melambangkan dual cone dari, maka penyelesaian untuk persamaan dapat diselesaikan melalui dengan adalah penyelesaian untuk persamaan. Atau sama artinya dengan dengan adalah matriks identitas. Jika masalah dual lebih mudah diselesaikan daripada masalah asli, maka dari hasil masalah dual dapat diperoleh penyelesaian untuk masalah asli, yaitu melalui persamaan dengan adalah hasil estimasi dari masalah dual, dan adalah hasil estimasi untuk masalah asli Algoritma Dykstra Selanjutnya, akan dibangun suatu algoritma untuk menyelesaikan bentuk permasalahan berikut. dengan adalah himpunan convex cone dan berjumlah terbatas. Hinder [6] menyebutkan bahwa masalah pada persamaan dapat diselesaikan melalui algoritma Dykstra. Algoritma Dykstra adalah suatu algoritma berulang yang menggunakan prinsip proyeksi untuk membangun suatu barisan fungsi sedemikian

28 17 sehingga konvergen ke. Algoritma Dykstra untuk menyelesaikan masalah pada persamaan diberikan sebagai berikut. Algoritma Proyeksi Dykstra: 1. Misal menunjukkan proyeksi ke cone dan menotasikan perubahan kenaikan yang diberikan oleh proyeksi, yaitu. Sehingga dapat ditulis,. 2. Misal adalah proyeksi ke. Perubahan kenaikan, sehingga. 3. Berlanjut hingga. Dengan menunjukkan proyeksi dari ke. Kenaikan yang baru ditunjukkan dengan, sedemikian sehingga. 4. Secara umum adalah proyeksi dari ke cone pada iterasi ke. Dan. Sehingga. 5. Berlanjut hingga tingkat konvergensi dicapai. Konvergensi dari algoritma Dykstra ditunjukkan dalam teorema di bawah ini. Teorema (Hinder [6]) Vektor konvergen ke, dengan, dan untuk.

29 18 Sebagai contoh, misal akan diselesaikan permasalahan dengan adalah himpunan convex cone untuk, dan juga merupakan himpunan convex cone. Persamaan persamaan dualnya dapat dibentuk Hubungan antara penjumlahan dan irisan dari himpunan dual cone telah dijelaskan dalam Zhang [15]. Proposisi (Zhang [15]) jika maka adalah himpunan convex cone, Oleh karena itu, masalah dual pada persamaan dapat dituliskan dengan, Seperti pada persamaan, masalah pada persamaan juga dapat diselesaikan dengan menggunakan algoritma Dykstra. 2.3 Kerangka Pemikiran Berdasarkan tinjauan pustaka, dapat disusun suatu kerangka pemikiran untuk menyelesaikan permasalahan dalam penelitian ini. Pada penelitian ini akan dibahas model regresi isotonik aditif, yaitu model regresi isotonik yang mempunyai lebih dari satu variabel bebas dan satu variabel tak bebas. Fungsi penghalus di dalam model regresi isotonik aditif tidak diketahui, sehingga perlu dilakukan estimasi fungsi penghalus. Metode yang akan digunakan untuk mengestimasi fungsi penghalus pada model regresi isotonik aditif adalah metode kuadrat terkecil. Secara geometri metode estimasi ini dapat

30 19 dipandang sebagai masalah proyeksi karena prinsip meminimumkan sesatan pada metode kuadrat terkecil identik dengan mencari jarak terdekat dari dua vektor di ruang. Dalam kasus ini, vektor diproyeksikan ke convex cone dari vektor isotonik, disimbolkan dengan. Masalah estimasi dengan menggunakan metode kuadrat terkecil ini dapat diselesaikan melalui algoritma backfitting. Pada algoritma backfitting menerapkan PAVA untuk masing-masing fungsi penghalus yang diestimasi pada regresi isotonik aditif. Langkah selanjutnya, membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting. Kemudian memberikan contoh aplikasi untuk menerapkan langkah-langkah estimasi fungsi penghalus pada regresi isotonik aditif.

31 BAB III METODE PENELITIAN Metode penelitian yang digunakan dalam penulisan skripsi ini adalah kajian pustaka yaitu dengan mengumpulkan referensi berupa buku, skripsi, jurnal maupun tulisan-tulisan yang dimuat di situs web yang berkaitan dengan regresi isotonik. Kemudian menjelaskan kembali hasil penelitian dari jurnal atau sumber lain yang diperoleh. Langkah-langkah yang dilakukan dalam pembahasan rumusan masalah sebagai berikut, 1. mengestimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil. a. metode kuadrat terkecil diselesaikan melalui algoritma backfitting, b. metode kuadrat terkecil dipandang sebagai masalah proyeksi dalam suatu ruang vektor, 2. membuktikan teorema kekonvergenan hasil estimasi fungsi penghalus regresi isotonik aditif dari algoritma backfitting, 3. memberikan contoh aplikasi untuk menerapkan algoritma estimasi fungsi penghalus pada regresi isotonik aditif. 20

32 BAB IV PEMBAHASAN 4.1 Estimasi Fungsi Penghalus Pada Regresi Isotonik Aditif dengan Metode Kuadrat Terkecil (MKT) Pada BAB II telah dikemukakan bahwa dalam penelitian ini akan membahas model regresi isotonik, khususnya untuk kasus lebih dari satu variabel bebas. Model yang sesuai untuk merepresentasikan regresi isotonik tersebut adalah model regresi isotonik aditif. Persamaan regresi isotonik aditif dijelaskan sebagai berikut. Diketahui vektor random, dimana vektor adalah variabel tak bebas, dan vektor adalah variabel bebas ke,. Persamaan regresi isotonik aditif diberikan seperti pada persamaan. Nilai harapan bersyarat untuk tertentu adalah vektor dianggap sebagai fungsi monoton naik pada vektor. Fungsi penghalus diestimasi dengan menggunakan metode kuadrat terkecil. Sebelum mengestimasi fungsi penghalus pada regresi isotonik dengan variabel bebas, akan dijelaskan terlebih dahulu estimasi untuk regresi isotonik dengan satu variabel bebas. Menurut Mammen dan Yu [6], estimator kuadrat terkecil pada regresi isotonik dengan satu variabel bebas dapat dipandang sebagai proyeksi dari vektor respon ke himpunan convex cone dari vektor isotonik. Definisi untuk proyeksi dan himpunan convex cone telah dipaparkan dalam BAB II. Persamaan regresi isotonik dengan satu variabel dituliskan seperti pada persamaan. Estimasi fungsi penghalus pada regresi isotonik tersebut adalah yang diperoleh dengan meminimumkan masalah pada persamaan, 21

33 22 dan adalah estimasi fungsi penghalus isotonik dari vektor,. Menurut Hinder [6], penyelesaian dari masalah ini dipandang sebagai proyeksi dari vektor ke himpunan convex cone. Jika proyeksi ini dinotasikan dengan, maka penyelesaian yang berarti bahwa vektor diperoleh dengan meminimumkan jarak vektor ke himpunan convex cone dari vektor isotonik. Ide proyeksi ini dapat juga digunakan untuk masalah regresi isotonik dengan variabel bebas. Misalkan, adalah himpunan convex cone dari vektor isotonik dengan panjang untuk vektor. Sehingga estimasi kuadrat terkecil regresi isotonik dengan variabel bebas dari persamaan adalah masalah minimisasi yang dapat dituliskan dengan, dengan, dan menunjukkan himpunan gabungan dari. Penyelesaian dari persamaan dapat dipandang sebagai proyeksi dari vektor ke himpunan convex cone dari vektor isotonik. Masalah minimisasi pada persamaan dapat dituliskan kembali sebagai masalah minimisasi terhadap himpunan cartesian product. Misalkan dan, maka

34 23 Penyelesaian pada persamaan dapat diselesaikan melalui persamaan. dari persamaan dapat dituliskan dengan, dengan, untuk setiap diperoleh dari persamaan. Algoritma yang umum digunakan untuk memecahkan masalah pada persamaan ini disebut dengan algoritma backfitting. Algoritma backfitting merupakan algoritma berulang yang meminimumkan persamaan untuk salah satu, dengan, tetap untuk setiap langkah. Sehingga menghasilkan barisan dan, yaitu fungsi dari vektor variabel bebas ke pada iterasi ke. dapat dituliskan dengan, dengan. Dengan kata lain, diperoleh dengan meminimumkan persamaan. Algoritma backfitting menghasilkan barisan yang merupakan proyeksi dari ke himpunan convex cone dari vektor isotonik, yang dilambangkan dengan, dapat dituliskan dengan sama artinya dengan, Contoh gambar proyeksi algoritma backfitting untuk dua variabel bebas di terdapat pada Lampiran 3. Masalah perhitungan untuk setiap pada persamaan dapat diselesaikan dengan menggunakan PAVA di dalam algoritma backfitting. Algoritma backfitting dengan menerapkan PAVA untuk setiap adalah sebagai berikut.

35 24 Algoritma backfitting: 1. Nilai awal fungsi pada iterasi awal, adalah nol, atau dapat ditulis dengan,, untuk setiap. 2. Selanjutnya, pada iterasi dan untuk variabel bebas a. Menghitung sisaan dengan, adalah vektor sisaan untuk variabel bebas ke, pada iterasi ke- b. Menghitung pada regresi isotonik menggunakan PAVA atau dapat diartikan bahwa diperoleh dari regresi isotonik, dengan. 3. Perhitungan berhenti ketika mencapai tingkat konvergensi, dengan kriteria konvergensi dengan. Teorema 4.1. Selanjutnya, konvergensi dari algoritma backfitting ditunjukkan dalam Teorema 4.1 (Hinder [6]) Barisan konvergen ke, dengan dan. Jika masalah pada persamaan memiliki penyelesaian tunggal, katakan, maka barisan konvergen ke vektor dengan elemen konstan untuk dan. Bukti: Algoritma backfitting pada persamaan yang digunakan untuk menyelesaikan masalah persamaan bersesuaian dengan masalah dual pada

36 25 algoritma Dykstra dalam Bab II. Selanjutnya akan dijelaskan mengenai hubungan antara kedua algoritma tersebut. Misal diberikan himpunan convex cone yang dinotasikan dengan dan adalah dual cone dari. Proyeksi ke dinotasikan, dengan menggunakan Teorema sehingga proyeksi ke dinotasikan dengan. Misal diberikan, dengan adalah himpunan convex cone dari vektor isotonik di. Jika proyeksi ke adalah, maka dengan Teorema , proyeksi ke dinotasikan dengan. Sisaan setelah iterasi ke untuk variabel bebas ke pada algoritma backfitting dinotasikan dengan berikut.. Dari notasi ini, dapat diperoleh algoritma sebagai dengan memisalkan untuk perubahan kenaikan, terlihat bahwa persamaan dan membentuk algoritma proyeksi Dykstra untuk menyelesaikan permasalahan berikut

37 26 Berdasarkan Teorema , diketahui bahwa konvergen ke, dengan, dan. Pada Teorema diketahui bahwa, berlaku juga untuk, dengan. Berdasarkan penjelasan Teorema dan , sehingga dapat disimpulkan bahwa konvergen ke untuk, dan. Hal ini juga berlaku apabila persamaan memiliki penyelesaian tunggal. 4.2 Contoh Kasus Deskripsi Data Model regresi isotonik aditif diterapkan pada data konsumsi gas mobil di Negara Amerika. Data yang digunakan diambil dari contoh kasus dalam Hinder [6]. Pada bagian ini, peneliti mempelajari secara singkat tentang pengaruh terbesar antara berat mobil dengan pergantian oli mesin terhadap kenaikan konsumsi gas mobil. Sampel yang digunakan sebanyak 60 mobil, dengan satuan untuk konsumsi gas mobil dalam liter per100 kilometer (l/100km), berat mobil dalam kilogram (kg), dan pergantian oli mesin dalam liter (l). Kedua variabel dan diasumsikan mempunyai pengaruh yang positif terhadap konsumsi gas. Data konsumsi gas pada mobil disajikan dalam Lampiran 1. Berdasarkan data pada Lampiran 1, dapat dilihat hubungan antara berat mobil dan pergantian oli mesin terhadap konsumsi gas melalui Gambar 4.1 dan Gambar 4.2. Pada Gambar 4.1 menunjukkan scatter plot dari data berat mobil dan konsumsi bahan bakar gas cenderung naik. Sehingga dapat diartikan bahwa berat mobil memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Pada Gambar 4.2 menunjukkan scatter plot dari data pergantian oli mesin dan konsumsi bahan bakar gas juga cenderung naik. Sehingga, dapat diartikan bahwa pergantian oli mesin juga memiliki pengaruh positif terhadap kenaikan konsumsi bahan bakar gas. Oleh karena itu, data pada Lampiran 1 dapat digunakan sebagai contoh kasus untuk regresi isotonik aditif.

38 y y 27 Scatterplot of y vs x x Gambar 4.1. Grafik konsumsi bahan bakar gas terhadap berat mobil Scatterplot of y vs x x2 4 5 Gambar 4.2. Grafik konsumsi bahan bakar gas mesin terhadap pergantian oli Estimasi Fungsi Penghalus Pada model regresi isotonik aditif dengan dua variabel bebas terdapat dua fungsi penghalus, dan yang perlu diestimasi. Proses estimasi fungsi penghalus dilakukan dengan menggunakan metode kuadrat terkecil. Pada regresi ini, bentuk fungsi penghalus tidak diketahui maka metode kuadrat terkecil diselesaikan melalui algoritma backfitting. Nilai nilai awal untuk fungsi

39 28 yaitu untuk setiap. Algoritma backfitting untuk contoh kasus ini diberikan sebagai berikut. 1. Nilai awal, untuk setiap. 2. Saat iterasi pertama, diperoleh a. untuk variabel bebas pertama, dan diperoleh dengan menggunakan PAVA b. untuk variabel bebas kedua, dan diperoleh dengan menggunakan PAVA. 3. Saat iterasi kedua, diperoleh c. untuk variabel bebas pertama, dan diperoleh dengan menggunakan PAVA d. untuk variabel bebas kedua, dan diperoleh dengan menggunakan PAVA. 4. Dan seterusnya hingga memenuhi kriteria konvergensi, yaitu dengan.

40 29 Estimasi fungsi penghalus pada kasus ini dilakukan dua kali, yaitu untuk yang diurutkan dan untuk yang diurutkan. Proses iterasi ketika variabel diurutkan dari kecil ke besar berhenti pada iterasi ke-2. Saat variabel yang diurutkan, proses iterasi juga berhenti pada iterasi ke-2. Hasil estimasi fungsi dan dapat dilihat pada Lampiran 2. Berdasarkan hasil estimasi untuk dan dalam Lampiran 2 diperoleh nilai MSE (Mean Square Error). MSE untuk variabel diurutkan,, dan MSE untuk variabel diurutkan,. Sehingga model yang terbaik diperoleh ketika variabel diurutkan. Oleh karena itu, variabel yang memberikan pengaruh terbesar terhadap kenaikan konsumsi gas adalah pergantian oli mesin mobil.

41 BAB V PENUTUP 5.1 Kesimpulan Berdasarkan pembahasan pada skripsi ini, diperoleh kesimpulan sebagai berikut. 1. Estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil diselesaikan melalui algoritma backfitting yaitu, dengan dihitung menggunakan PAVA. 2. Secara geometri, estimasi fungsi penghalus dengan menggunakan metode kuadrat terkecil dapat dipandang sebagai masalah proyeksi dalam suatu ruang vektor. 5.2 Saran Pada skripsi ini, hanya dibahas tentang estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil dengan metode pendekatan algoritma backfitting. Bagi pembaca yang tertarik untuk mengembangkan skripsi ini disarankan untuk meneliti estimasi fungsi penghalus pada regresi isotonik aditif menggunakan metode kuadrat terkecil dengan metode pendekatan yang lain, misalnya estimator oracle. 30