Non Linear Estimation and Maximum Likelihood Estimation

Non Linear Estimation and Maximum Likelihood Estimation

Non Linear Estimation and Maximum Likelihood Estimation Non Linear Estimation We have studied linear models in the sense that the parameters are linear even when the variables are non linear. In addition, we also have studied non linear models that can be transformed into linear models. Thus, the models can be estimated using linear regression technique.

However, sometimes, we are encountered models that can not be linearized and therefore we can not estimate them using linear regression technique.

Examples of models that can not be linearized (i). Y = α 0 + α 1 X 1 β1 + α 2 X 2 β2 + ε (ii). Y = α 1 e β1x1 + α 2 e β2x2 + ε

In general, if we have a regression model in the form of Y= f (X 1, X 2,..., X k, β 1,β 2,...β p ) + ε f is a non linear function in X and β How to estimate estimators b 1,b 2,...b p of parameters β 1,β 2,...β p.

In principle, if we have T observations of X k and Y, non linear least square estimator can obtained by minimizing: T S = Σ (Y t f (X 1t... X kt, β 1,... β p ) 2 ; t=1 deviation sum squares. How?

Non Linear Estimation Methods There are several methods to estimate parameter of non linear models. Choice of methods, usually, based on types of equation and numbers of parameters to be estimated.

1. Direct Search (i). Several values of parameters are evaluated / tried to the parameters to be estimated. (ii). Values of parameters that minimize sum square of deviations are selected to be the estimator.

Comments: (i). This technique is easy if the number of parameters are no more than two. (ii). If the number of parameters is plenty and if the range of the estimators values is wide than this technique is not efficient. (iii). As an illustration, if there are 4 parameters and each parameter has 20 possible values, then, S should be calculated (20) 4 or 160000 times. (iv). This technique is rarely used.

2. Direct Optimization Estimator diperoleh dengan menggunakan metode optimisasi yaitu menurunkan fungsi S terhadap semua parameter dan turunan-turunan tsb. disamakan dengan nol. Kemudian estimator merupakan solusi dari sistem persamaan tsb.

Bila S = Σ t=1t { Y t f (X 1t,..., X kt, β 1,...,β p ) } 2 Syarat agar S minimum: S / β i = 0 atau Σ { Y t f(x 1t,...,X kt, β 1,...,β p ) } f / β i = 0 ; i = 1,2,.... P Teknik inipun susah untuk diimplementasikan.

3. Iterative Linearization Method Stages: (i). Pada prinsipnya, model yang tidak linier di linierkan disekitar nilai awal dari parameter. (ii).kemudian OLS digunakkan untuk mencari estimator pada fungsi yang sudah dilinierkan tsb. Nilai baru dari parameter diperoleh. (iii).model tidak linier tsb.dilinierkan lagi disekitar nilai parameter yang baru tsb.

(iv).ols digunakan lagi untuk mencari estimator pada fungsi yang dilinierkan ini. Nilai baru parameter diperoleh lagi. (v). Proses dilanjutkan sampai nilai parameternya konvergen (tidak berubah lagi atau perubahannya hanya sedikit sekali).

Comments: (i). Bila model yang tidak linier ini dapat diproxi dengan model linier secara tepat, prosedur tsb. hanya memerlukan beberapa iterasi saja. (ii). R 2 dapat dihitung pada tiap-tiap OLS digunakan.hal ini dpt digunakan untuk melihat ketepatan fungsi linier tsb. (iii).banyak software econometrik yang menggunakan teknik ini.

Teknik linierisasi ini menggunakan konsep ekspansi Deret Taylor. Secara umum, jika ada sebarang fungsi (linier atau tidak linier) dapat di ekspansikan menjadi fungsi polinomial menggunakan Deret Taylor sbb: f(x) = f(x 0 ) / 0! + f ' (X 0 ) / 1! (X X 0 ) + f " (X 0 ) / 2! (X X 0 ) 2 +.... + f (n) / n! (X X 0 ) n

Dalam hal Y = f(x 1, X 2,..,X k, β 1, β 2...β p ); fungsi ini dapat dilinierkan dengan ekspansi Taylor menjadi: Y = f (X 1, X 2,..., X k, β 10,...β p0 ) + Σ ( f / β i ) 0 (β i - β i0 ) + ½ ΣΣ ( 2 f / β i β j ) 0 (β i - β i0 )(β j - β j0 ) +... + ε

Jika fungsi tersebut disederhanakan dengan tidak memperhatikan turunan ke dua dan selanjutnya, fungsi tersebut menjadi: Y - f(x 1, X 2,..., X k, β 10,...,β p0 ) + Σ β i0 ( f / β i ) 0 = Σ β i ( f / β i ) 0 + ε atau Y* = Σ β i X* i + ε yang berbentuk model regresi linier

dengan Y* variabel terikat X* variabel bebas β i parameter yang dicari Dengan menggunakan OLS, β i dapat dicari Secara iterasi, β i yang baru saja diperoleh digunakan sebagai parameter awal dalam proses linierisasi berikutnya. Dengan cara yang sama, proses dilanjutkan sampai β i konvergen.

Comments: (i). Tidak ada jaminan bahwa metode tsb. Akan konvergen; artinya β i dapat diperoleh dengan cara tsb. (ii). Bila hal ini terjadi, lakukan estimasi dari awal lagi dengan nilai dugaan parameter awal yang berbeda. (iii). Bila masih divergen juga, cari β i dengan cara estimasi lain.

Evaluation of Non Linear Regression Equation Pada regresi linier, suatu model yang terestimasi dapat dikatakan dapat menjelaskan dengan baik bila R 2 mendekati 100%. Apakah ada ukuran goodness of fit untuk regresi tidak linier? Bagaimana dengan statistik t dan F apakah masih dapat digunakan?

Beberapa software menyajikan statistik t, beserta standard errornya beserta statistik F dari hasil OLS pada proses linierisasi terakhir (pada saat konvergen).

Ternyata, R 2 juga dapat dihitung pada model tidak linier dengan cara berikut: R 2 = 1 - Σ e 2 t / Σ y 2 t e t = Y t f( X it,...x kt, β 1,...β p ). y = Y t t Y rata-rata

Non Linear Consumption Function Berikut ini akan disajikan fungsi konsumsi yang tidak linier dalam parameter. Fungsi konsumsi ini akan menggambarkan hubungan antara konsumsi agregat (C) dengan pendapatan setelah pajak secara agregat (YD - disposable income). Selain itu, dalam model ini juga akan diuji suatu hipotesis yang mengatakan bahwa MPC (Marginal Propensity to Consume) menurun bila pendapatan meningkat.

Analysis 1. Bila kita menganalisis masalah tsb. menggunakan model linier, kita akan mendapatkan MPC yang konstan seperti yang telah kita pelajari pada kuliah-kuliah yang lalu.

(i). Observe the following model: C = α + β YD + ε Bila kita estimasi model tersebut dengan OLS, kita akan memperoleh: C = a + b YD; a estimator dari α dan b estimator dari β akibatnya MPC = dc/ dyd = b konstan dan kita harapkan b < 1 dan b > 0

(ii). Observe the other model: C = α + β YD + δ YD 2 + ε Bila model ini diestimasi dengan OLS, kita akan memperoleh: C = a + b YD + d YD 2 MPC = b + 2d YD Jika b > 0 dan d < 0, MPC akan menurun bila pendapatan meningkat. Akan tetapi, bila d >0, hipotesis tersebut tidak dapat dibuktikan.

2. Sebagai alternatif, digunakan model tidak linier dalam parameter berikut: C = α + β YD δ + ε Bila α, β dan δ sudah terestimasi masing-masing dengan a, b dan d, maka, persamaannya menjadi: C = a + b YD d ;akibatnya, MPC = b d YD d-1 ;tidak konstan

Dengan menggunakan data-data kuartalan dari 1947(1) s/d 1995(3) dan dengan menggunakan teknik linierisasi serta nilai awal parameter (α 0, β 0, δ 0 ) = (1,1,1) diperoleh: a = 256,33 ; standard error SE (a) = 16,71 b = 0,195 SE (b) = 0,0211 d = 1,180 SE (d) = 0,0126

Sehingga persamaannya menjadi C = 256,33 + 0.195 YD 1,180 Semua parameter signifikan pada tingkat kepercayaan 5% dan R 2 = 0,999 MPC = (0,195)(1,180) YD 0,180 = 0,2301 YD 0,180

Comments: 1. MPC menurun(?) pada saat YD meningkat 2. Pada saat YD = 600, MPC=0,805 3. Dengan menggunakan data yang sama, MPC untuk model linier = 0.918 (konstan)

Maximum Likelihood Estimation Perhatikan model regresi linier Y i = α + β X i + ε i Y i berdistribusikan normal dengan mean α + β X i dan varians σ 2. Distribusi probabilitas, P(Y i ) = (2πσ 2 ) -1/2 exp { - (Y i - α - β X i ) 2 /2σ 2 } Fungsi likelihood merupakan perkalian masingmasing probabilitas dan untuk model ini besarannya adalah:

L( Y 1,Y 2,..., Y N, α, β, σ 2 ) = P(Y 1 ) P(Y 2 )..., P(Y N ) = (2πσ 2 ) -N/2 exp [ - Σ {(Y i - α - β X i ) /(2σ 2 )} 2 ]

Fungsi log likelihood: ln L= - (N/2) ln (2π) - (N/2) ln(σ 2 ) -{ Σ (Y i - α - β X i ) 2 } / 2σ 2 Akan di cari estimator α, β dan σ 2 yang memaksimumkan fungsi likelihood atau fungsi ln likelihood dengan cara:

ln L / α = 0 1/σ 2 Σ (Y i - α - β X i ) = 0 ln L / β = 0 1/σ 2 Σ [ X i (Y i - α - β X i )] = 0 ln L / σ 2 = 0 -N/2σ 2 + 1/2σ 4 Σ (Y i -α -β X i ) 2 = 0

Estimator yang diperoleh: a = Y rata bx rata b = Σ (X i -X rata ) (Y i -Y rata ) / Σ (X i -X rata ) 2 S 2 = Σ (Y i -a -b X i ) 2 / N Ternyata Estimator ini sama dengan estimator OLS. Apakah selalu sama?

Comments (i). Bila ada asumsi bahwa ε i berdistribusi normal dengan mean 0 dan varians σ 2, maka estimator yang diperoleh dengan metode OLS akan sama dengan estimator yang diperoleh dengan metode maksimum likelihood (ii). Sifat-sifat estimator yang dicari dengan Maximum Likelihood (a) konsisten (b) Efisien asimptotis

Likelihood Ratio Test Model 1: Y i = β 0 + β 1 X i + β 2 X 2i +β 3 X 3i + ε i ; UR 2: Y i = β 0 + ε i ; R Perhatikan bahwa Model 2 adalah model 1 bila β 1 = β 2 = β 3 = 0 Untuk mengetes apakah memang benar β 1 = β 2 = β 3 = 0, lakukanlah tes berikut λ = L(Model 2) / L(Model 1 ) L (Model i): fungsi likelihood model i.

Comments 1. Kalau H 0 benar, β 1 = β 2 = β 3 = 0, maka λ akan mendekati 1 2. Bila H 0 tidak benar, λ akan mendekati nol 3. Kita akan menolak H 0 bila λ kecil sekali 4. Tes rasio ini dapat digunakan dengan memperhatikan hasil / fakta berikut: G = - 2 ( L(Model 2) L(Model 1) ) X 2 m Khi kuadrat dengan derajat bebas m; m: banyaknya restriksi, banyaknya parameter yang diduga sama dengan nol.

5. Bila hasil perhitungan G > tabel X 2 m,α, tolak H 0 ; berarti tidak semua β i = 0 pada tingkat signifikansi α 6. Uji ini disebut juga uji G dan mempunyai kesamaan dengan uji F dalam OLS.

WALD TEST Uji Wald: Uji signifikansi tiap-tiap parameter. H 0 : β j = 0 untuk suatu j tertentu H 1 : β j 0 Statistik uji yang digunakan: W j = [ β j / SE ( β j ) ] 2 Fakta: W j X 2 1 ; Khi Kuadrat dgn derajat bebas 1 H 0 ditolak jika W j > X2 α,1 ; α = tingkat signifikansi yang dipilih

The end of the lesson Prepared by Nachrowi D Nachrowi