BAB 2 TINJAUAN PUSTAKA = (2.2) =

Transkripsi

1 BAB 2 TINJAUAN PUSTAKA 2.1. Regresi Linear Berganda Regresi linear berganda adalah regresi dimana variabel terikatnya dihubungkan atau dijelaskan dengan lebih dari satu variabel bebas,,, dengan syarat variabel bebas masih menunjukkan hubungan yang linear dengan variabel terikat. Hubungan fungsional antara variabel terikat dengan variabel bebas,,, secara umum dapat dituliskan sebagai berikut: Untuk populasi = Untuk sampel = di mana: = 1,2,,!,,, = variabel terikat pada pengamatan ke- = variabel bebas pada pengamatan ke-" variabel ke-,,,, = parameter regresi = nilai kesalahan error Apabila terdapat sejumlah! pengamatan dan " variabel bebas maka untuk setiap pengamatan atau responden mempunyai persamaannya seperti berikut: = = = =

2 6 Apabila persamaan regresi linear berganda untuk setiap pengamatan dinyatakan dengan notasi matriks maka menjadi: atau & & 1 1 = 1 $ ' $ 1 & & + ' $ ' $ ' =+ 2.3 dengan: adalah vektor variabel terikat berukuran! + 1. adalah matriks variabel bebas berukuran! +, 1. adalah vektor parameter berukuran, + 1. adalah vektor error berukuran! + 1. Menurut Gujarati penggunaan analisis regresi linear berganda tidak terlepas dari asumsi-asumsi error berikut: 1. Asumsi =0 menyatakan bahwa rata-rata atau nilai harapan vektor setiap komponennya bernilai nol. Dengan adalah vektor kolom! + 1 dan 0 adalah vektor nol. Maka =0, berarti: & & = $ ' =0 2.4 $ ' 2. Asumsi 0 1 merupakan suatu notasi yang mencakup 2 hal, yaitu varian dan kovarian kesalahan pengganggu. 0 = & 2,,,, $ ' Dimana 0 adalah transpose dari vektor kolom, dengan melakukan perkalian sehingga diperoleh:

3 7 = 0 = Dengan menggunakan nilai harapan untuk setiap unsur dalam matriks 2.6 sehingga diperoleh: 0 = Karena adanya asumsi tentang homoskedastisitas, yaitu bahwa setiap kesalahan pengganggu mempunyai varian yang sama =1, untuk semua dan tidak ada korelasi serial artinya antar kesalahan pengganggu yang satu dengan yang lainnya bebas, "678 9 := = =1 < == Dengan adalah matriks identitas berukuran! +!. Matriks 2.7 dan 2.8 disebut matriks varians-kovarians dari kesalahan penggangu. Unsur pada diagonal utama dari matrik 2.7 memberikan varians dan unsur diluar diagonal utama memberikan kovarian, berdistribusi normal dengan mean nol dan varians konstan 1. ~?0,1 Pada rumus parameter regresi dan dalam regresi linear sederhana dan parameter regresi,,,, pada regresi linear berganda, diduga secara berturut-turut dengan, dan,,,, dengan menggunakan metode Ordinary Least Square. Biasanya penduga metode OLS diperoleh dengan meminimumkan jumlah kuadrat error untuk masing-masing model regresi linear. Penduga yang dihasilkan oleh metode OLS ini diharapkan bersifat BLUE Best Linear Unbiased Estimator.

4 8 2.2.Koefisien Determinasi Berganda Menyatakan keeratan hubungan antara variabel terkat dan variabel bebas,,, pada regresi linear berganda akan dinyatakan dengan koefisien determinasi berganda. Besarnya koefisien determinasi berganda dari persamaan regresi linear berganda yaitu: dimana: =1 = = = karena = = = ; dimana = == =0 = = = A B C DA B C DEF G FB A B DE C G CB A B DDE B G HB A B A B C = E F G FBA B IE C G CB A B I G HB A B A B C dimana nilai berada dalam interval 0 1. Adapun semakin besar nilai artinya semakin baik suatu garis regresi linear digunakan sebagai suatu pendekatan. Dan apabila nilai sama dengan 1 satu berarti pendekatan tersebut semakin baik Residual Residual atau sisaan dalam regresi linear sederhana merupakan selisih dari nilai prediksi dengan nilai yang sebenarnya atau =L LM. Namun penggunaan jarak =L LM tidaklah memuskan. Dengan meminimumkan diperoleh hasil yang umum seperti berikut : N N = L LM 2.9

5 9 Jika nilai pengamatan terletak dalam garis regresi maka nilai residualnya sama dengan nol. Jadi, jika total jarak atau nilai mutlak dari N residual sama dengan nol =0 artinya semua nilai pengamatan berada pada garis regresi. Semakin besar nilai residualnya maka garis regresi semakin kurang tepat digunakan untuk memprediksi. Yang diharapkan adalah total residualnya kecil sehingga garis regresi cukup baik untuk digunakan Metode Ordinary Least Square OLS Metode Ordinary Least Square OLS merupakan suatu metode untuk mendapatkan garis regresi yang baik yaitu sedekat mungkin dengan datanya sehingga menghasilkan prediksi yang baik Widarjono, Metode OLS harus memenuhi asumsi-asumsi yang ada dalam proses pengestimasian parameter sehingga hasil estimasinya memenuhi sifat Best Linear Unbiased Estimator BLUE. Pada dasarnya metode OLS meminimumkan jumlah kuadrat error. & P P P= P =P+ = P 2.10 $ P ' Dengan P adalah suatu vektor kolom " -unsur dari estimasi OLS parameter regresi dan adalah suatu vektor kolom! + 1 dari! residual. Untuk mengestimasi parameter model regresi linear berganda digunakan metode OLS. Prosedur metode OLS dilakukan dengan memilih nilai parameter yang tidak diketahui sehingga jumlah error diperoleh sekecil mungkin, sehingga dapat dinyatakan dengan: & & & 1 1 = $ ' 1 $ ' $ 1 ' & $ '

6 10 = N = N 2.11 Kemudian, untuk menentukan,,,, dengan meminimumkan jumlah kuadrat residualnya N secara parsial terhadap P,P,P,,P dan samakan dengan 0 maka dapat dituliskan: R RP =2S8 P P P P : 1=0 R N RP =2S8 P P P P : =0 R N RP =2S8 P P P P : =0 R N RP =2S8 P P P P : =0 N Jika persamaannya disederhanakan dan disusun maka akan menjadi:!p +P +P ++P = P + P +P ++P = P + P +P ++P = 2.12 P + P +P ++P = dimana persamaan 2.12 disebut sebagai persamaan normal Dengan menjumlahkan persamaan =P +P +P + + P untuk seluruh pengamatan! memberikan persamaan pertama dalam persamaan 2.12 kemudian mengalikannya dengan pada kedua sisinya dan menjumlahkan untuk seluruh! maka dihasilkan persamaan kedua. Begitu juga persamaan ketiga dalam persamaan 2.12 mengalikan kedua sisinya dengan dan menjumlahkan untuk seluruh!, dan seterusnya.

7 11 Dinyatakan dalam bentuk matriks, persamaan normal akan menjadi: & $! & P & 1 1 P P = ' $ P ' $ 1 & ' $ ' T P= T 2.13 Persamaan 2.13 diperoleh dari menurunkan persamaan mariks terhadap P, sehingga diperoleh: UV W V = 2 UEX T +2 T P, kemudian samakan hasil dengan 0, sehingga diperoleh: 2 T +2 T P=0 2 T P =2 T T P = T ; kali dengan T D sehingga diperoleh T D T P= T D T P = T D T P = T D T 2.14! Dengan T D =4 5 Untuk menunjukkan bahwa N minimum, maka hasil turunan pertama dari jumlah kuadrat residualnya harus diturunkan sekali lagi sehingga menghasilkan turunan kedua, dan nilainya harus lebih besar dari nol. Maka dapat dituliskan: R = R 2PT T+PT T P: RP RP YR8T Z RP = R RP 8 2T +2 T P: =2 T

8 12 Dipastikan bahwa turunan kedua dari N terhadap P haruslah bernilai positif. Sehingga nilai N akan minimum apabila nilai 2 T lebih besar dari nol. Karena matriks T adalah turunan positif dengan semua unsur diagonalnya berbentuk kuadrat, maka turunan kedua dari N terhadap P bernilai positif yang artinya P= T D T minimum. 2.5.Pencilan Outliers Pencilan adalah suatu data yang menyimpang dari sekumpulan data yang lain. Pencilan diartikan pula sebagai pengamatan yang tidak mengikuti sebagian besar pola dan terletak jauh dari pusat data. Ferguson, 1961 Pengamatan yang dikategorikan sebagai pencilan mempunyai nilai residual yang relatif besar untuk ukuran residual pada ketepatan pengamatan. Diasumsikan bahwa hubungan antara dua variabel + dan L diperkirakan dengan garis lurus. Berdasarkan model regresi linear berganda pada persamaan 2.1 dengan dan,,, adalah parameter regresi untuk diestimasi. Nilai kesalahan yang tidak diperhatikan dan diasumsikan berdistribusi normal Jenis Pencilan Model regresi menggambarkan hubungan dari beberapa variabel bebas,,, dengan variabel terikat,,,. Model regresi diperoleh dengan menggunakan metode estimasi ordinary least square OLS. Metode OLS didasarkan pada asumsi bahwa terjadinya kesalahan pada model yang dihasilkan yang seharusnya berdistribusi normal. Karena dengan residual berdistribusi normal metode OLS memberikan estimasi parameter yang optimal bagi model regresi. Metode OLS harus memenuhi asumsi dari Best Linear Unbiased Estimator BLUE dalam proses estimasinya. Jika data tidak memenuhi salah satu asumsi disebabkan adanya pencilan, maka metode OLS yang

9 13 diperoleh menjadi tidak efisien. Keberadaan pencilan pada data mungkin terdapat pada variabel bebasnya ataupun variabel terikatnya. Pencilan pada arah-l akan memberikan nilai residual yang sangat besar positif atau negatif. Hal ini disebabkan karena data pencilan mempunyai jarak yang sangat besar terhadap garis OLS. Sedangkan data pencilan pada arah-+ memberikan pengaruh yang sangat besar pada estimator metode OLS karena pencilan pada arah-+ disebut sebagai titik leverage. Secara umum, suatu pengamatan +,L dikatakan suatu titik leverage ketika + terletak jauh dari sebagian besar data pengamatan dalam sampel. Sebagai catatan, suatu titik leverage tidak memasukkan nilai L ke dalam perhitungan, jadi titik +,L tidak harus menjadi pencilan pada regresi. Ketika +,L dekat terhadap garis regresi yang ditentukan dengan sebagian besar data, maka hal tersebut dapat diasumsikan sebagai titik leverage yang baik. Oleh karena itu, untuk menyimpulkan bahwa +,L adalah suatu titik leverage hanya merujuk pada kepotensialnya besar mempengaruhi koefisien-koefisien regresi karena pencilannya hanya +. Titik +,L tidak selalu dilihat sebagai penyebab pengaruh yang besar terhadap koefisien-koefisien regresi, karena bisa saja titik +,L tepat pada garis yang ditentukan kecendrungannya dengan sejumlah besar himpunan data lainnya. Regresi linear berganda +,+,,+ terletak pada suatu ruang berdimensi,. Suatu titik leverage tetap didefinisikan sebagai suatu titik 8+,,+ [,L : dimana 8+,,+ [ : merupakan titik-titik yang terpisah dari himpunan data. Suatu titik leverage yang berpotensial berpengaruh besar pada koefisien regresi OLS, bergantung pada nilai aktual dari L, akan tetapi dalam hal ini akan sulit mengidentifikasi titik-titik leverage karena berdimensi tinggi.

10 Deteksi Pencilan Langkah awal yang harus dilakukan dalam mendeteksi pencilan yaitu dengan melihat kemungkinan bahwa pencilan merupakan data yang berpengaruh terkontaminasi. Data pencilan dapat dikenali dengan memeriksa data mentahnya raw secara visual atau dari diagram pencar pada variabel bebas Jacob, 2003: 394. Jika terdapat lebih dari dua variabel bebas, beberapa pencilan akan sangat sulit untuk dideteksi dengan pemeriksaan visual. Oleh karena itu, dibutuhkan bantuan lain pada pemeriksaan visual yang dapat membantu dalam pendeteksian pencilan. Dalam statistik, data pencilan harus dilihat terhadap posisi dan sebaran data yang lainnya sehingga akan dievaluasi apakah data pencilan tersebut perlu dihapus atau tidak. Ada berbagai macam metode yang dapat digunakan untuk mendeteksi adanya data pencilan yang berpengaruh dalam koefisien regresi diantaranya adalah metode grafis, boxplot, scatter plot, leverage values, discrepancy, cook s distance, DfBETAs, Goodness of FIT,dan metode DfFITS. Namun pada skripsi ini pendeteksian pencilan yang akan dibahas menggunakan scatter plot, metode leverage values, discrepancy, dan metode DfFITS Leverage Values Pendeteksian dengan menggunakan leverage values hanya menggambarkan pengamatan yang terjadi pada variabel bebas. Leverage values menginformasikan seberapa jauh pengamatan tersebut dari nilai mean himpunan data variabel bebas. Jika hanya terdapat satu variabel bebas, leverage dapat dituliskan seperti: \7]^_=h = +G BD`a C 2.15 b C dengan h adalah leverage values pengamatan ke-,! banyaknya data, adalah nilai untuk pengamatan ke-, c b adalah mean dari, dan + merupakan jumlah kuadrat! pengamatan dari simpangan dari

11 15 meannya. Jika pengamatan ke- bernilai c b, maka bentuk kedua dari persamaan 2.15 akan 0 dan h akan memiliki nilai kemungkinan yang minimum. Misalkan pengamatan ke- nilai pada jauh dari c b, maka nilai leverage akan naik. Nilai maksimum dari h adalah 1 nilai mean dari leverage untuk!-pengamatan dalam suatu sampel adalah c dbb = I, dengan " merupakan jumlah variabel bebas. Penjabaran perhitungan leverage yang dijelaskan merupakan hitungan untuk pengamatan satu variabel bebas, dapat digeneralisasi untuk pengamatan dengan variabel bebas lebih dari satu. Untuk pengamatan dengan banyak variabel bebas, hal yang menarik adalah seberapa jauh nilai-nilai untuk setiap " variabel untuk pengamatan ke-,,,,, dari centroid variabel bebas. Centroid merupakan mean dari data, c,c,,c. Perhitungan nilai h untuk pengamatan ini dengan mengguanakan persamaan: e= 0 D dengan e merupakan matriks! +! dan merupakan matriks! + "+ 1. Dimana! merupakan banyaknya data, dan " merupakan jumlah koefisien variabel bebas ditambah 1 sebagai konstanta. Diagonal dari e berisi nilai leverage. Jadi, leverage untuk pengamatan ke-, h merupakan nilai dari baris ke- dan kolom ke- dari e. Penentuan nilai yang memiliki leverage yang besar didasarkan pada nilai cutoff. Nilai h yang melebihi nilai cutoff dideteksi sebagai pencilan. Adapun nilai cutoff yang telah ditentukan menurut Jacob Cohen adalah I untuk data yang jumlahnya!>15, sedangkan untuk data yang jumlahnya! 15 digunakan cutoff I! +"+1. Dengan! merupakan banyaknya data, dan " merupakan jumlah koefisien variabel bebas ditambah 1 sebagai nilai konstanta.

12 Discrepancy Mengidentifikasi pencilan menggunakan discrepancy yang banyak digunakan adalah dengan Externally Studientized Residuals. Externally studientized residuals dengan memisalkan jika data pencilan sebuah pengamatan dihapuskan dari himpunan data. Misalkan h nilai yang merupakan prediksi pengamatan ke-, tetapi pengamatan ke- dihapuskan dari himpunan data. Pencilan berkontribusi secara substansial terhadap estimasi variansi residual sekitar garis regresi dan disimbolkan dengan c ivjklmn. Sedangkan c ivjklmn untuk variansi residual dengan pengamatan ke- yang merupakan pencilan dihapuskan dari himpunan data. Misalkan o sebagai perbedaan antara data asli,, dengan nilai prediksi untuk pengamatan ke- yang berasal dari himpunan data dengan pengamatan ke- yang dihapuskan yaitu o = h. Externally studientized residuals untuk pengamatan ke-, p dihitung dengan: p = k B qr sb 2.17 dimana o merupakan nilai residual yang dihapuskan: o = t B Dd BB 2.18 dan nilai standar residual juga dapat dihitung dengan: kb =u`q vwxbsyz{ B Dd BB 2.19 Jika persamaan 2.18 dan 2.19 dimasukkan kedalam persamaan 2.17 maka akan menjadi: p = t B u`q vwxbsyz{ B Dd BB 2.20 Penentuan nilai pencilan berdasarkan nilai Externally studientized residuals lebih banyak digunakan karena mengikuti distribusi p dengan o =! " 1. Penentuan nilai cutoff-nya berdasarkan distribusi p, jika

13 17 nilai p >p m}vn dengan derajat kepercayaan ~, maka data tersebut memiliki nilai discrepancy yang besar dan dikategorikan sebagai pencilan Metode DfFITS Difference fitted value FITS merupakan metode yang menampilkan nilai perubahan dalam harga yang diprediksi bilamana kasus tertentu dikeluarkan, yang sudah distandarkan. Perhitungan DfFITS di rumuskan sebagai berikut : =p d BB F C Dd BB 2.21 dimana p adalah studentized deleted residual untuk pengamatan ke- dan h adalah nilai pengaruh untuk kasus ke- dengan: p = u DD ƒdd BB Dt B C W 2.22 adalah residual ke- dan JKG adalah jumlah kuadrat galat. 2u I Suatu data yang mempunyai nilai absolute DfFITS lebih besar dari maka didefinisikan sebagai pencilan, dengan " banyaknya variabel bebas dan! banyaknya observasi Soemartini: Regresi Robust Regresi robust merupakan metode yang penting untuk menganalisis suatu himpunan data yang mengandung pencilan. Regresi robust digunakan untuk mendeteksi pencilan dan memberikan hasil yang resisten terhadap adanya data pencilan. Menurut Aunuddin 1999, regresi robust tujuannya untuk mengatasi adanya data ekstrim serta meniadakan pengaruhnya terhadap hasil pengamatan tanpa terlebih dahulu melakukan identifikasi. Metode regresi robust merupakan metode yang mempunyai sifat:

14 18 a. Sama baiknya dengan metode ordinary least square ketika semua asumsi terpenuhi dan tidak terdapat titik data yang berpengaruh. b. Dapat menghasilkan model regresi yang lebih baik daripada ordinary least square ketika asumsi tidak terpenuhi dan terdapat titik data yang berpengaruh. c. Perhitungan cukup sederhana dengan melakukan iterasi sampai memperoleh estimasi terbaik yang mempunyai standar error parameter yang paling kecil ataupun konvergen ke nol Least Trimmed Square LTS Estimasi least trimmed square adalah dengan high breakdown point yang dikenalkan oleh Roesseuw LTS merupakan suatu metode estimator parameter regresi robust untuk meminimumkan jumlah kuadrat h residual fungsi objektif dan sebagai metode alternatif robust untuk mengatasi kelemahan metode OLS, yaitu dengan menggunakan sebanyak hh!. d Tq =S : N di mana: Tq : Estimasi least trimmed square h : ˆ+ [In ˆ : kuadrat error yang diurutkan dari yang terkecil ke terbesar < < < < < < d < < Jumlah h menunjukkan sejumlah subset data dengan kuadrat fungsi objektif terkecil. Nilai h pada persamaan diatas akan membangun breakdown point yang besar sebanding dengan 50. Untuk mendapatkan nilai residual pada LTS, digunakan algoritma LTS menurut Rousseeuw dan Van Driessen 1999 sedangkan Willems dan Aels 2005 adalah gabungan FAST-LTS dan C-Step, yaitu dengan mengestimasi parameter,, dan. Kemudian menentukan! residual dengan menggunakan rumus:

15 19 =8 P P P P : d Setelah itu menghitung Š N dengan h = ˆ+ [In ˆ pengamatan dengan nilai terkecil. Tahapan-tahapan dilakukan sampai diperoleh nilai residual terkecil dan konvergen Breakdown Point Breakdown point dari suatu regresi estimator adalah salah satu cara yang dapat digunakan untuk mengukur ke-robust-an suatu estimator. Breakdown point merupakan proporsi minimal dari banyaknya pencilan dibandingkan seluruh data pengamatan. Salah satu regresi robust yang mempunyai breakdown point adalah regresi robust dengan metode Least Trimmed Square LTS. Metode estimasi LTS mempunyai breakdown point 50. Breakdown point 50 adalah breakdown point yang tinggi. Definisi T adalah sebuah estimator, Z adalah sebuah sampel dari! pengamatan dimana =P. Misalkan 0 bagian dimana Œ dari! pengamatan yang mengandung pencilan. Bias maksimal yang menyebabkan data menjadi rusak yaitu ^ Œ;, =sup W 0 Maka breakdown point dapat didefinisikan dengan, =Œ! Œ ;^ Œ;, ^o^\^h!!p! Untuk OLS, dapat dilihat jika adanya pencilan cukup diperhatikan pada T untuk semua batas. Oleh karena itu, breakdown point sama dengan:, = 2.23