ESTIMASI LIKELIHOOD MAXIMUM PENALIZED DARI MODEL REGRESI SEMIPARAMETRIK. Nur Salam 1

Transkripsi

1 ISN: ESTIMASI LIKELIHOOD MAXIMUM PENALIZED DARI MODEL REGRESI SEMIPARAMETRIK Nur Sala Universitas Labung Mangkurat (UNLAM Abstract The seiparaetric regression odel in atri for is where X T is the atri of predictor variables for the paraetric coponent, Z is predictor variables of coponent nonparaetric, β = ( β 0, β, β,..., β k T is the vector (k + for the unknown paraeters, f is an unknown function which in this research using -spline function approach and ε is a rando error vector,. The ethod of the research is literature study. This research is begun by eplaining the seiparaetric regression odel, seiparaetric regression in atri for, estiating seiparaetric regression odels using likelihood aiu penalized ethod by first estiating the paraetric part and the nonparaetric part and then goes on to conclude fro the results of the estiation. The estiation results of the regression odel seiparaetric using the ethod of likelihood aiu penalized is The estiation results are divided into two parts, naely paraetric and nonparaetric coponents, with estiator for the coponent paraetrics is The estiator for the nonparaetric coponent is Keywords: Seiparaetric Regression, Matri of Quadratic Fors, Penalized Maiu Likelihood.. Pendahuluan Analisis regresi erupakan salah satu teknik statistika yang digunakan untuk enjelaskan tentang hubungan antara suatu variabel bebas (independent sebagai variabel prediktor (X dengan variabel tak bebas (dependent sebagai variabel respon (Y yang dapat dinyatakan sebagai bentuk odel ateatis. Terdapat beberapa odel dala analisis regresi diantaranya yaitu odel regresi paraetrik dan odel regresi nonparaetrik. Regresi paraetrik adalah odel regresi dengan asusi bahwa fungsi regresinya diketahui dan eilki paraeter. Sedangkan regresi nonparaetrik adalah 57

2 ISN: odel regresi yang tidak diketahui fungsi regresinya. Hal ini eberi fleksibilitas yang lebih besar di dala berbagai bentuk yang ungkin dari fungsi regresi. Untuk engkonstruksi odel regresi nonparaetrik terlebih dahulu dipilih ruang fungsi yang sesuai, di ana fungsi regresi diyakini terasuk di dalanya. Peilihan ruang fungsi ini biasanya diotivasi oleh sifat kelicinan (soothing yaitu diasusikan diiliki oleh fungsi regresi. Estiasi fungsi regresi tersebut dapat dilakukan elalui dua pendekatan yaitu pendekatan paraetrik dan nonparaetrik. Pendekatan paraetrik adalah pendekatan yang dilakukan jika fungsi regresinya diketahui dan bergantung pada paraeter, sehingga engestiasi fungsi regresinya saa dengan engestiasi paraeternya. Sedangkan pendekatan nonparaetrik dilakukan jika fungsi regresinya tidak diketahui sehingga engestiasi fungsi regresinya dilakukan dengan engestiasi fungsi regresi yang tidak diketahui tersebut dengan pendekatan estiator kernel, spline atau yang lain. Model seiparaetrik (odel linear parsial erupakan odel pendekatan baru dala regresi di antara dua odel regresi sudah populer yaitu regresi paraetrik dan regresi nonparaetrik. Model seiparaetrik (odel linear parsial erupakan odel gabungan yang euat keduanya yaitu koponen paraetrik dan koponen nonparaetrik. Estiasi odel seiparaetrik telah dapat dilakukan dengan diberbagai etode yang ada isalnya etode kuadrat terkecil (least square, etode penalized least square, ean square error (MSE dan lain-lain. Naun suatu hal yang cukup enarik adalah bagaiana engestiasi odel linear parsial dala hal ini engestiasi paraeter dan fungsinya enggunakan etode likelihood aiu penalized. Oleh karena itu pada penelitian ini saya akan engkaji tentang estiasi odel linear parsial enggunakan etode likelihood aiu penalized.. Tinjauan Pustaka.. Regresi Paraetrik Regresi paraetrik erupakan etode statistik yang digunakan untuk engetahui pola hubungan antara variabel prediktor dengan variabel respons, dengan asusi bahwa telah diketahui bentuk fungsi regresinya. Hubungan antara variabel respons dan variabel prediktor dala odel dapat terjadi dengan fungsi linier aupun nonlinier dala paraeter (Draper dan Sith, 996. Sedangkan Secara uu bentuk 57

3 ISN: odel regresi linear berganda dengan k variabel prediktor diberikan oleh persaaan berikut: dengan j =,,..., k, ij adalah nilai dari variabel prediktor ke-j untuk pengaatan atau ke-i, untuk i =,,..., n, atau dapat ditulis dala bentuk atriks sebagai berikut: ( y = X T β + ε ( Dengan, y adalah vektor dari variabel respons berukuran n, X T erupakan atriks berukuran n p, dengan p = k + dan β adalah vektor paraeter yang akan diestiasi berukuran p, ε adalah vektor error rando berukuran n berdistribusi noral, independen dengan ean nol dan varians σ. Secara lengkap atriks dan vektor vektor tersebut diberikan oleh y, ε, β dan atriks X yaitu: y y y y n X T 3 n 3 n k 0 k 3k β k nk Untuk baris ke-i dari atriks X T dapat dinotasikan oleh X i T diikuti oleh nilai variabel prediktor dari pengaatan ke-j, yaitu: (Ruppert, Wand dan Carrol, 003. dan ε n yang euat angka.. Regresi Nonparaetrik Regresi nonparaetrik digunakan apabila bentuk pola hubungan antara variabel respons dengan variabel prediktor tidak diketahui bentuk fungsi regresinya. Dala regresi nonparaetrik kurva regresi hanya diasusikan ulus (sooth dala arti teruat dala suatu ruang fungsi tertentu sehingga epunyai sifat fleksibilitas yang tinggi. Model regresi nonparaetrik secara uu adalah sebagai berikut:, i =,,...,n (3 dengan, y i adalah variabel respons, z i erupakan variabel prediktor, f (z i adalah fungsi regresi, diana bentuk kurva regresinya tidak diketahui dan ε i adalah error rando berdistribusi noral, dengan ean nol dan varians σ. Jika diberikan atriks berikut : 573

4 ISN: y y y y n f f f( Z f ( z n dan ε n aka odel regresi pada Persaaan (3 dapat dituliskan dala bentuk atriks. sebagai berikut: Definisi.. Fungsi densitas bersaa dari n variabel rando yaitu y = f (Z + ε (Hardle, 994 (4 dihitung pada dikatakan sebagai suatu fungsi likelihood. Untuk tetapan nilai suatu fungsi likelihood adalah suatu fungsi dari dan sering dinyatakan dengan Jika enyatakan suatu variabel rando dari aka Definisi.. Diberikan Ω enjadi pdf bersaa dari. Untuk suatu hipunan yang diberikan yaitu suatu nilai di dala Ω pada adalah suatu nilai aksiu yang disebut suatu estiasi likelihood aksiu (MLE dari Dengan adalah suatu nilai dari yang eenuhi. Definisi.3. Suatu hipunan variabel rando disebut sebagai noral ultivariate atau distribusi noral k-variabel jika pdf bersaa epunyai bentuk : dengan dan dan dan V adalah suatu atriks kofarian nonsingular k k..3. Spline Spline adalah potongan polinoial, yaitu polinoial yang eiliki sifat tersegen. Sifat tersegen ini eberikan fleksibilitas lebih dari polynoial biasa, sehingga eungkinkan untuk enyesuaikan diri secara lebih efektif terhadap karakteristik dari suatu fungsi atau data (udiantara dkk, 006. Secara uu, fungsi 574

5 ISN: Spline berorde p adalah sebarang fungsi yang dapat ditulis dala bentuk ( Rodriguez, 00: (5 dengan k j p * k 0 j p, z k, z k j j α dan δ adalah konstanta real, g (z adalah fungsi Spline, z adalah variabel prediktor dan k, k,...,k h adalah titik-titik knot. Jika orde pada persaaan (. 4 bernilai p =, p = dan p = 3 aka akan diperoleh fungsi Spline secara berturut turut dinaakan fungsi Spline linear, Spline kuadratik, dan Spline kubik (Rodriguez, 00. eberapa jenis Spline yang dapat digunakan dala regresi nonparaetrik, yang dikenal sebagai fungsi basis, salah satunya adalah basis -Spline. Jika fungsi regresi didekati dengan -Spline aka dapat ditulis enjadi (udiantara dkk, 006 (6 Dengan adalah basis dengan orde ke-(l- dari titik knot a < u, u,..., u K < b, dengan derajat, dan,,..., adalah paraeter. Fungsi -Spline dengan derajat secara rekursif didefinisikan sebagai berikut:. Jika = aka : ika. Jika untuk > aka : lainnya Untuk engestiasi paraeter α pada Persaaan (7, didefinisikan atriks (λ = ( j, (z i (8 dengan i =,,...,n dan j = -(-,..., K, atau dapat ditulis dala bentuk atriks berukuran n (λ (, (, (, (+K n (, (, (, n K, K, K, n (7 575

6 ISN: Hasil Dan Pebahasan 3. Regresi Seiparaetrik Model regresi seiparaetrik erupakan gabungan antara regresi paraetrik dan regresi nonparaetrik. Diberikan bentuk odel regresi seiparaetrik sebagai berikut : (9 dengan i =,,..., n. Persaaan (9 di atas dapat ditulis dala bentuk atriks berikut: (0 diana, y adalah vektor dari variabel respons yang berukuran n, X T adalah atriks transpose variabel prediktor untuk koponen paraetrik dengan ukuran n p dengan p = ( k + dan Z variabel prediktor untuk koponen nonparaetrik, β = ( β 0, β, β,..., β k T erupakan vektor (k + untuk paraeter yang tidak diketahui, f adalah vektor dari fungsi regresi yang bentuk kurvanya tidak diketahui atau erupakan fungsi yang ulus atau dengan kata lain f atau licin (sooth yaitu = kontinu utlak pada [0,], = 0,,,,p-, f (P L[0,] yang disebut ruang Sabolev order p dengan L[0,] adalah hipunan seua fungsi yang kuadratnya terintegral pada interval [0,] dan ε adalah vektor dari error rando independen dengan ean nol dan varians σ. 3. Penalized Loglikelihood Penalized loglikelihood (PL adalah cara lain untuk endapatkan estiasi odel regresi. Secara uu penalized loglikelihood diberikan oleh: ( dengan fungsional euat tiga koponen, yaitu koponen penalized loglikelihood yaitu, roughness penalty J(f yakni ukuran keulusan dan kekasaran kurva dala eetakan data dan paraeter penghalus λ. Jelasnya koponen penalized loglikelihood dala hal ini fungsi loglikehood yaitu : ( dan (3 sehingga, jika Persaaan ( dan (3 di atas disubstitusikan dala Persaaan (, aka persaaan untuk penalized loglikelihood dapat dituliskan enjadi: 576

7 ISN: Paraeter penghalus λ erupakan konstanta positif yang bernilai 0 < λ <, yang berfungsi untuk engontrol keseibangan data dan keulusan kurva, oleh karena itu peilihan nilai λ erupakan suatu hal yang sangat penting. 3.3 Roughness Penalty Misalkan diberikan sebuah fungsi f(z, diana bentuk kurva dari fungsi tersebut tidak diketahui. Karena fungsinya tidak diketahui, aka dilakukan suatu pendekatan fungsi. Salah satu fungsi pendekatanya adalah basis Spline yaitu -Spline. Jadi, jika fungsi regresi f didekati dengan -Spline, aka f dapat ditulis dala bentuk :. (4 Jika terdapat K titik knot dengan -Spline berderajat, aka Persaaan (4 dapat dijabarkan enjadi: f f f K l α l l, ( z,, K K, ( z (, (,( z K K, (, (z (, (z K, (z K f (z = (5 Untuk pengaatan sebanyak i =,,..., n aka f (, (,( z K K, f (, (,( z K K, f n (, n (, n K K, n (6 Dengan endefinisikan bahwa dan f (z i = f i, untuk pengaatan 577

8 ISN: sebanyak i =,,...,n dan j = -(-, -(-,..., K aka Persaaan (6 di atas dapat dinyatakan sebagai: f = α + α α +K v f = α + α α +K v (7 f n = α n + α n α +K nv dengan i = -(-, (z i, i = -(-, (z i,..., iv = K, (z i Jika diberikan atriks-atriks berikut : f f f f n n n v v nv α K aka Persaaan (7 di atas dapat dinyatakan dala bentuk atriks: f =. (8 Menurut Gyorfy (00, roughness penalty dapat dinyatakan sebagai integral dari kuadrat turunan kedua suatu fungsi atau dapat ditulis dengan: Dengan ensubstitusi Persaaan (5 ke (9, aka diperoleh: (9 dz (0 Karena hasil dari α adalah skalar atau atriks, aka berdasarkan sifat-sifat transpose suatu atriks aka (α T = α T T akan enghasilkan hasil yang saa, yakni berupa skalar atau atriks. Akibatnya Persaaan (0 di atas dapat dituliskan enjadi dengan ( 578

9 ISN: Estiasi Model Regresi Seiparaetrik dengan Metode Likelihood Maiu Penalized Suatu asusi ideal yang telah dikenal uu dala suatu odel regresi seiparaetrik pada Persaaan (0 berkaitan dengan randon error yaitu errornya berdistribusi noral ultivariate; dan tidak berkorelasi, i sehingga cov (. Naun dala banyak keadaan satu atau keduanya dari asusi-asusi di atas tidak realistik. Oleh karena itu jika diasusikan bahwa variansi error di atas yaitu berubah enjadi suatu atriks definit positif V yang berukuran n n aka dapat didefinisikan fungsi densitas bersaa dari variabel rando error ; adalah sebagai berikut : Diperoleh fungsi likelihood dari adalah dan selanjutnya fungsi likelihoodnya adalah erdasarkan bentuk uu fungsi penalized loglikelihood (PL diperoleh : sehingga jika aka fungsi penalized loglikelihood enjadi : ( Selanjutnya fungsi loglikehood dari adalah : (3 Dari Persaaan (, (3 dan ( di atas diperoleh fungsi penalized loglikelihood dengan roughness penalty bentuk kuadrat dala enjadi : Dari Persaaan (8 diperoleh yaitu f = sehingga jika Persaaan (8 di substitusi kepersaaan (4 diperoleh hasilnya enjadi : (4 579

10 ISN: Untuk endapatkan estiator keungkinan aksiu penalized (likelihood aiu penalized dari persaaan PL di atas aka dicari turunan pertaa untuk asingasing paraeter dari fungsi PL di atas yang dala hal ini yaitu dan dan keudian enyaakan hasilnya dengan nol. Diperoleh hasilnya sebagai berikut : Jadi didapat estiator bagian paraetriknya adalah (5 Substitusi Persaaan (5 ke Persaaan (6 adalah : (6 Substitusi Persaaan (5 ke Persaaan (8 yaitu : Jadi didapat estiator bagian nonparaetrik adalah 580

11 ISN: (7 Estiasi odel regresi diperoleh dengan engsubstitusi persaaan (5 dan (7 ke dala persaaan berikut : Jadi diperoleh hasil estiasi odel regresinya adalah 4. Kesipulan Hasil estiasi odel regresi seiparaetrik dengan enggunakan etode likelihood aiu penalized adalah : Estiasi di atas terbagi enjadi bagian koponen paraetrik da nonparaetrik, estiasi koponen paraeternya yaitu dan estiasi koponen nonparaeternya yaitu DAFTAR PUSTAKA ain, L.J, dan Engelhardt. 99. Introduction to Probability and Matheatical Statistics, nd,dubury Press, elont, California. udiantara, Suryadi, Otok, dan Guritno Peodelan Spline dan MARS pada nilai ujian asuk terhadap IPK ahasiswa jurusan desain kounikasi visual UK. Petra Surabaya. Jurnal Teknik Industri, Vol.8, -3. Draper, R.N and Sith, H Applied Regression Analysis, Johan Wiley & Sons, 58

12 ISN: INC. Gyorfy, L. 00. A Distibution-Free Theory of Nonparaetric Regression. Spinger- Verlag. New York. Hansen, E dan Chan KS. 00. Penalized Maiu Likelihood Estiasi Of A Stochastic Multivariate Regression Model, 00 Elsevier.V. All rights reserved. Hardle, W, liang. H and Gao. J Partially Linear Model. Physica- Verlag, Heidelberg. Hardle, W Applied Nonparaatric Regression. Cabridge University Press, New York. Hecka, E.N Spline Soothing in a Partly Linear Model. University of ritish Colubia, Canada, (Received June 985. Myers, R.H and Milton, J.S. 99. A First Cours in the Theory of Linear Statistical Models. PWS-KENT Publishing Copany, oston Nurnberger, G Approiation by Spline Functions. Springer-Verlag erlin Heidelberg, New York, London, Paris, Tokyo, Hongkong. Ruppert D, Wand M. P., and Carrol R. J Seiparaetric regression. Cabridge University, United kingdo. Rodriguez, G. 00. Soothing and Nonparaertic Regression. Rencher, A.C Linear odels in statistics. A Wiley-Intersscience Publication, JOHN WILEY & SONS, INC. New York, Chichester, Weinhei, risbane, Toronto, Singapura. Wang,Y. 0. Soothing Spline Methods and Applications, CRC Press, Taylor & Francis Group, oca Raton, London, New York. 58