Time series Linier Models We have learned simple extrapolation techniques for deterministic and stochastic time series models. In addition, we also have learned stationery and non stationery time series data. We will develop models that can explain the movement of time series data by relating the data with : (i). Previous data (autoregressive) and / or (ii). Current and past random deviation (moving average)
The models focus on linear models for practical reason, simple and easy. These models can be used to analyze stationery data and not stationery data but homogeneous. The models that we are studying assume that the parameters are time invariant More specifically the models that we are analyzing: (i). Moving average models for stasionery process (ii). Autoregresive models - for stasionery process (iii). Mixed between moving average and autoregressive models - for stasionery process (iv). Integrated models between moving average and autoregresive - for stasionery process.
Moving average models Moving Average model order q, MA(q), assumes that each observation is a weighted average of deviation (disturbances) of the last q periodes. Mathematically, MA(q) is represented as: y t = μ + e t e t-1 - θ e t- -... - θ q e t-q While θ 1,θ...θ q the parameters that can be positive or negative
Dalam hal ini, diasumsikan pula bahwa: e t i i d N ( 0, σ e ); kovarians γ k = 0, k 0 atau E(e t ) = 0; E(e t ) = Var (e t ) = σ e ; E(e t e t-k ) = 0 Dengan asumsi ini, mean dari proses moving average tidak tergantung pada waktu yaitu E(y t ) = μ. Apakah MA (q) stasioner? Proses MA (q) dapat ditentukan melalui q + parameter yaitu: μ, σ e, θ 1, θ,..., θ q. Bagaimana karakteristik dari θ i?
Secara khusus, varians dari proses moving average dapat dilihat sebagai: Var (y t ) = γ 0 = E(y t - μ) = E( e t e t-1 - θ e t- -... - θ q e t-q ) = E( et + θ 1 e t-1 + θ e t- +... + θ q e t-q ) = σ e + θ 1 σ e + θ σ e +...+ θ q σ = σ e (1+ θ 1 + θ +...+ θ q ); Hasil ini menggunakan fakta bahwa e t iid dan E(e t e t-k ) = 0
Perhatikan bahwa besaran var (y t ) tergantung pada besar Σθ i yang cenderung besar kalau tidak kita batasi. Oleh karena itu, jika y t merupakan suatu realisasi dari proses random yang stasioner, maka Σθ i <. Untuk model MA(q) dan q tidak besar, persyaratan tersebut mudah dipenuhi. Bagaimana untuk MA dengan order yang sangat besar (q ). Hal ini bisa dipenuhi bila θ i mengecil seiring dengan membesarnya indeks i. Jika persyaratan terakhir ini terpenuhi, maka akan diperoleh bahwa Σθ i akan konvergen ke suatu nilai. Dari diskusi ini dapat ditarik kesimpulan bahwa bila kita mengharapkan y t dari suatu model MA, model ini akan stasioner jika θ i mengecil pada saat indeks i membesar.
The simplest moving average models MA (1) y t = μ + e t e t-1 Mean: μ, Variance: σ e (1 + θ 1 ) Lag 1 Covariance: γ 1 = E [(y t -μ) (y t-1 -μ)] = E [(e t e t-1 ) (e t-1 e t- )] = E [ e t e t-1 e t e t- e t-1 e t-1 + θ 1 e t-1 e t- ] = E(e t-1 ) = σ e for k ; γ k = E [(e t e t-1 )( e t-k e t-k-1 )] = 0
Autocorelation Function (ACF) of MA (1) ρ k = γ k / γ 0 = / (1 + θ 1 ); untuk k = 1 = 0; for k > 1 Remark: For k>1, Covariance and ACF of MA(1) is zero. It means, MA(1) only has memory for 1 period only; that is, y t only correlates with y t-1 or y t+1.
Observe the following MA (1): y t = + e t + 0.8 e t-1 ρ 1 = / ( 1 + θ 1 ) = + 0.8/1+0.8 = 0.8/1.64 = 0.5 ρ k = 0; k > 1 Moving Average order, MA() y t = μ + e t e t-1 - θ e t- The mean, E(y t )=μ and the Var (y t ) = γ 0 = σ e (1+θ 1 + θ ).
While, lag k covariance: k=1, γ 1 = E [( e t e t-1 - θ e t- ) ( e t-1 e t- - θ e t-3 )] = E(e t-1 ) + θ 1 θ E(e t- ) = -θ 1 (1-θ ) σ e k =, γ = E [( e t e t-1 - θ e t- ) ( e t- e t-3 - θ e t-4 )] k >, γ k = 0 = - θ E(e t- ) = - θ σ e
ACF: ρ 1 = γ 1 / γ 0 = ( 1- θ ) / ( 1+ θ 1 + θ ) ρ = γ / γ 0 = - θ / ( 1+ θ 1 + θ ) ρ k = 0 ; k Illustration: MA (): y t = + e t + 0.6 e t-1 0.3 e t- μ =, θ 1 = -0.6; θ = 0.3 ρ 1 = (1- θ )/(1+ θ 1 + θ ) = 0.6 (1-0.3)/(1.45) = 0.4/1.45 = 0.9 ρ = - θ / (1+ θ 1 + θ ) = -0.3/1.45 = -0.1 ρ k = 0; k >
Moving Average Order q y t = μ + e t e t-1 - θ e t- -... - θ q e t-q mean, y t = E(y t ) = μ variance, y t = var(y t ) = γ 0 = σ e ( 1 + θ 1 +θ +...+θ q ) covariance, γ k = - θ k + θ 1 θ k+1 +... + θ q-k θ q ACF: ρ k = γ k / γ 0 ρ k = (-θ k + θ 1 θ k+1 +...+ θ q-k θ q ) / (1 + θ 1 +θ +...+θ q ) k = 1,,..., q ρ k = 0; k > q
Pengamatan 1. untuk MA(1); hanya satu fungsi autokorelasi yang tidak nol. untuk MA(); hanya dua fungsi autokorelasi yang tidak nol 3. untuk MA(q); sebanyak q fungsi autokorelasi yang pertama yang tidak nol 4. fungsi autokorelasi dapat digunakan untuk menentukan order dari proses moving average.
Autoregresive models Untuk model autoregresive order p, pengamatan y t dibentuk dari rata-rata tertimbang pengamatanpengamatan masa lalu, p periode ke belakang dan deviasi periode sekarang. Proses tersebut dinyatakan sebagai AR(p) dan modelnya: y t y t-1 + φ y t- +... +φ p y t-p + δ + e t
Properties of Autoregresive Models Bila proses autoregresive stasioner, maka mean, E(y t ) = E (y t-1 ) = E (y t- ) =... = E (y t-p ) = μ tidak tergantung pada waktu. (Apakah AR(p) Stasioner?). Akibatnya, E(y t ) = E(φ 1 y t-1 + φ y t- +... +φ p y t-p + δ + e t ) μ μ + φ μ +... φ p μ + δ atau μ = δ / (1 - φ 1 - φ -... -φ p ) Supaya nilai μ berhingga, dan untuk menjaga stasioneritas, φ 1 + φ +... φ p < 1
Comments: Ingat pada diskusi terdahulu,model Random-Walk dengan tren y t = y t-1 + δ + e t Model ini dapat juga kita lihat sebagai model autoregresive dengan φ 1 = 1. Akan tetapi, karena prosesnya cenderung naik (δ>0) maka μ akan besar sekali dan bisa mendekati. Sehingga y t tidak stasioner.
Autoregresive Order 1, AR (1) y t = (φ 1 y t-1 + δ + e t ) mean, E(y t ) E(y t-1 ) + δ Untuk proses yang stasioner, μ μ + δ atau μ = δ /(1 -φ 1 ) dan agar mean μ berhingga, syaratnya φ 1 < 1
Dengan mengasumsikan δ = 0 (tanpa tren) akibatnya μ = 0 juga var(y t ) = γ 0 = E(y t -μ ) = E(φ 1 y t-1 + e t ) = E(φ 1 y t-1 + e t + φ 1 y t-1 e t ) γ 0 γ 0 + σ e atau γ 0 = σ e / (1- φ 1 )
Kovarians y t γ 1 = E(y t-1. y t ) = E [y t-1 (φ y t-1 + e t )] = E (φ 1 y t-1 ) σ e / (1- φ 1 ) γ = E(y t-. y t ) = E [y t- (φ 1 y t-1 + e t )] = E (y t- (φ 1 y t- ) + φ 1 e t-1 + e t )]; karena y t-1 y t- + e t - 1 E(y t- ) = φ 1 γ 0 = φ 1 σ e ( 1 -φ 1 ) Secara analog, untuk k > γ k = φ k 1 γ 0 k σ e / (1- φ 1 ) Dengan demikian, fungsi autokorelasi dari AR(1), ρ 0 = 1 dan ρ k = γ k / γ 0 k
Observe the following AR (1): y t = 0.9 y t-1 + + e t Fungsi autokorelasi, ρ 0 = 1 ρ 1 = 0.9 ρ = φ 1 = 0.81 ρ 3 3 = 0.79 : : ρ = k (0.9)k See Fig: 17.5
AR () y t y t-1 +φ y t- + δ + e t mean dari y t, E(y t ) E(y t-1 ) + φ E(y t- ) + δ μ μ + φ μ + δ μ = δ (1 - φ 1 - φ ) -1 Syarat stasioner: φ 1 + φ < 1 Varians, γ 0 γ 1 + φ γ + σ e Kovarians, γ 1 γ 0 + φ γ 1 γ γ 1 + φ γ 0 : γ k γ k-1 + φ γ k- ; k
Fungsi autokorelasi, ρ 1 (1 - φ ) -1 ρ = φ +φ 1 (1 - φ ) -1 ρ k ρ k-1 + φ ρ k- ; k Ilustrasi AR () y t = 0.9 y t-1 + 0.7 y t- + + e t Fungsi autokorelasi: ρ 1 (1 - φ ) -1 = 0.9 (1 + 0.7) -1 =0.53 ρ = φ +φ 1 (1 - φ ) -1 = -0.7 +0.81(1+0.7) -1 =-0.4 ρ 3 ρ + φ ρ 1 = 0.9(-0.4) + (-0.7)(0.53) = See Fig.: 17.7
Comments 1. Pada model MA, fungsi autokorelasi dapat digunakan untuk menentukan order dari proses MA tersebut.. Sedangkan pada model AR, fungsi autokorelasi tidak dapat dengan mudah menentukan order dari proses AR Tersebut. 3. Oleh sebab itu, perlu dicari cara lain untuk menentukan order dari AR. Fungsi Autokorelasi parsial Fungsi autokorelasi parsial diharapkan dapat membantu menentukan order dari proses AR Untuk mengetahui fungsi autokorelasi parsial seperti apa, ikuti diskusi berikut.
Untuk AR(p), kovarians dapat dinyatakan: γ 0 γ 1 + φ γ +... + φ p γ p + σ e γ 1 γ 0 + φ γ 1 +... + φ p γ p-1 : γ p γ p-1 + φ γ p- +... + φ p γ 0 : k > p; γ k γ k-1 + φ γ k- +... + φ p γ k-p Dan fungsi autokorelasi dinyatakan: ρ 1 + φ ρ 1 +... + φ p ρ p-1 : ρ p ρ p-1 + φ ρ p- +... + φ p : ρ k ρ k-1 + φ ρ k- +... + φ p ρ k-p Persamaan tersebut diatas disebut persamaan Yule-Walker.
Bila ρ 1,... ρ p diketahui, maka φ 1,... φ p dapat dicari. Tetapi, kita tidak tahu berapa order p? Untuk itu perlu disiasati sebagai berikut: 1. Misalkan, kita duga p =1, maka ρ 1 Bila φ 1 terhitung 0, berarti AR paling tidak berorder 1 Nyatakan a 1 sebagai estimasi dari φ 1. Proses dilanjutkan, misal p =, maka diperoleh φ 1 dan φ Nyatakanlah estimasi dari φ dengan a 3. Proses dilanjutkan terus, diperoleh a 1, a, a 3,..... Series ini disebut fungsi parsial autokorelasi 4. Bila AR berorder p maka a j = 0 untuk j > p; a j N (0, 1/T); Tes: a j > / T
ARMA (p,q) models Adakalanya proses random yang stasioner tidak dapat dimodel melalui AR (p) atau MA (q) karena proses tersebut mempunyai karakteristik dua-duanya. Oleh karenanya, proses yang semacam ini perlu didekati dengan model campuran antara autoregresive dan moving average yang dikenal dengan model ARMA (p,q) Model ini dinyatakan dalam bentuk: y t y t-1 +... +φ p y t-p + δ + e t e t-1 -... - θ q e t-q Karena diasumsikan prosesnya stasioner, maka meannya akan konstan sepanjang masa dan μ μ +... + φ p μ + δ atau μ = δ (1 - φ 1 -... - φ p ) -1 dengan syarat φ 1 + φ... + φ p < 1
Untuk ARMA (1,1), modelnya: y t y t-1 + δ + e t e t-1 Bagaimana mencari varians dan kovariannya? Untuk memudahkan, diasumsikan δ = 0 sehingga? Varians, γ 0 = E(y t. y t ) = E[(φ 1 y t-1 + e t -θ 1 e t-1 ) ] γ 0 + σ e + θ 1 σ e -φ 1 θ 1 E( y t-1. e t-1 ) γ 0 (1- φ 1 )= σ e (1 + θ 1 -φ 1 θ 1 ) karena E( y t-1. e t-1 )= σ e atau γ 0 = (1 + θ 1 -φ 1 θ 1 ) (1 - φ 1 ) -1 σ e
Kovarians, γ 1 = E(y t-1. y t ) = E( y t-1 (φ 1 y t-1 + e t -θ 1 e t-1 ) γ 0 σ e = (1 - φ 1 θ 1 )(φ 1 )(1 - φ 1 ) -1 σ e (setelah dijabarkan) γ = E[ y t- (φ 1 y t-1 + e t -θ 1 e t-1 )] γ 1 Secara analog, untuk k, γ k γ k-1 Fungsi autokorelasi, ρ 1 = γ 1 / γ 0 = (1- φ 1 θ 1 )(φ 1 )(1+ θ 1 -φ 1 θ 1 ) -1 dan untuk k ρ k ρ k-1 Komentar Fungsi autokorelasi bermula dari ρ 1 kemudian menyusut secara geometris. Ini membawa sifat MA (1) yang hanya ingat satu periode saja.
Illustration: ARMA (1,1) : y t = 0.8 y t-1 + + e t 0.9 e t-1 ρ 1 = γ 1 / γ 0 = (1- φ 1 θ 1 )(φ 1 )(1+ φ 1 -φ 1 θ 1 ) -1 = (1-0.8(+0.9))(0.8-0.9)(1+0.81-(0.8)(09)) -1 ρ ρ 1 = 0.8 ρ 1 Fungsi autokorelasinya dapat dilihat pada Gambar 17.9. Terlihat bahwa ρ 1 < 0 dan untuk k 0, ρ k menurun secara geometris.
Another Example, ARMA (1,1): y t = 0.8 y t-1 + + e t 0.9 e t-1 Fungsi autokorelasinya dapat dilihat pada Gambar 17.10. Tampak bahwa ρ 1 < 0, ρ = 0, ρ 3 < 0 dan seterusnya karena φ 1 berharga negatif. Bagaimana kalau proses yang akan dianalisis merupakan proses yang tidak stasioner. Apakah pendekatan dengan menggunakan ARMA masih dapat digunakan?
Simplification in writing Models: AR, MA dan ARMA Karena notasi matematik untuk model AR,MA dan ARMA cenderung tidak terkontrol (boros), maka dicari upaya untuk memudahkan penulisan model tersebut dengan memperkenalkan operator B sebagai berikut. e t-1 = B e t e t- = B e t : e t-n = B n e t Dengan operator B ini, model MA (q) dapat dinyatakan dalam bentuk sederhana: y t = μ + e t e t-1 - θ e t- -... - θ q e t-q = μ + (1 B - θ B -... -θ q B q )e t y t = μ + θ (B)e t ; θ(b): fungsi polinomial operator B.
Sedangkan, model AR(p) dapat dinyatakan dalam: y t y t-1 + φ y t- +...+ φ p y t-p + δ + e t (1 - φ 1 B - φ B -... -φ p B p ) y t = δ + e t φ(b) y t = δ + e t Dengan cara yang sama, ARMA (p,q) dapat dinyatakan dalam bentuk sederhana: y t y t-1 +... + φ p y t-p + δ + e t e t-1 -...- θ q e t-q φ(b) y t = δ + θ (B) e t
ARIMA Models: Homogeneous Non Stasioner Process Berhubung model ARMA hanya dapat digunakan untuk memodel proses yang stasioner, maka perlu dicari model lain yang dapat memodel proses yang tidak stasioner yang sering muncul pada data-data time series. Istilah dan notasi Bila y t tidak stasioner, tetapi w t = Δ d y t stasioner maka y t disebut tidak stasioner homogen order d. Sedangkan Δy t = y t - y t-1 ; Δ y t = Δy t - Δy t-1 ; dst. Bila w t = Δ d y t stasioner dan w t merupakan suatu proses ARMA(p,q), dikatakan bahwa y t adalah proses ARIMA (p,d,q) singkatan dari autoregresive integrated moving average order (p,d,q).
Sedangkan model dari proses ARIMA(p,d,q) dinyatakan dalam: φ(b) Δ d y t = δ + θ(b) e t φ(b) = 1 - φ 1 B - φ B -... -φ p B p θ (B) = 1 B - θ B -... -θ q B q Kadangkala, series w t = Δ d y t tidak merupakan campuran antara AR dan MA. Dalam hal demikian, modelnya dapat dinyatakan sebagai ARIMA (p,d,0) yaitu tanpa MA atau dapat dinyatakan sebagai ARIMA (0,d,q) yaitu tanpa AR. Mean dari model ARIMA (p,d,q) dinyatakan dalam μ w = δ(1 - φ 1 - φ -... -φ p ) -1 ; dengan w t = Δ d y t
Dari rumusan tersebut, bila δ 0, y t cenderung punya tren. Misalkan saja, bila d =1 dan δ > 0, y t, cenderung punya tren naik. Hal ini terlihat pada Gambar 17.11 Gambar ini menunjukkan adanya tren linier yang deterministik. Sedangkan Gambar 17.1 menunjukkan adanya tren yang tidak deterministik karena slopnya cenderung meningkat. Model ini bisa jadi terbentuk dari proses ARIMA dengan d = dan δ > 0 (setelah di difference dua kali, baru tren nya hilang).
ARIMA Model specification: Pada intinya, setiap data timeseries tidak stasioner yang homogen dapat dimodel dengan ARIMA (p,d,q). Persoalannya adalah bagaimana menentukan order dari p, d dan q. Penentuan order tesebut dapat dibantu dengan mengamati fungsi autokorelasi dan fungsi autokorelasi parsial dari time series tersebut.
Tahapan identifikasi timeseries y t yang tidak stasioner 1. Amati ρ k dari w t = Δ d y t Bila ρ k mendekati nol pada saat k membesar, maka w t sudah stasioner dan y t homogen tingkat d. Amati ρ k dari y t Bila ρ k = 0 untuk k > q, maka bagian MA nya berorde q. 3. ρ k dari AR menyusut secara geometris 4. Karakteristik ARMA: ρ k mengikuti MA pada periode q-p yang pertama, kemudian mengikuti karakteristik AR.
Comments: 1. In general, it is not easy to determine order p and q, especially for the higher order. For ARMA with low order like AR(1), AR(), MA(1), MA() and ARMA (1,1), the identification process is relatively easy. Alternatively, determining p and q by trial and error can be done. After p and q are determined, then the model will be tested whether the model is good or not.