Analitik Data Tingkat Lanjut (Regresi)

Transkripsi

1 0 Oktober 206 Analtk Data Tngkat Lanut (Regres) Imam Cholssodn

2 Pokok Bahasan. Konsep Regres 2. Analss Teknkal dan Fundamental 3. Regres Lnear & Regres Logstc (Optonal) 4. Regres Non-Lnear o Extreme Learnng Machne (ELM) untuk Bg Data o Support Vector Machne (SVM) untuk Regres (Support Vector Regresson (SVR)) 5. Stud Kasus 6. Tugas

3 Konsep Regres (Just Revew) Regres adalah membangun model untuk mempredks nla (satu target atau mult-target) dar data masukan (dengan dmens tertentu) yang telah ada. Goal : Membangun model regres untuk mencar hubungan antara satu atau lebh varabel ndependen atau predktor (X atau X, X 2,.., X n ) dengan varabel dependen atau respon sngle atau mult-target (Y atau Y, Y 2,.., Y n ). Vsualsas Hasl Peramalan Iteras SVR aktual ramalan

4 Konsep Regres (Just Revew) Predks berbeda dengan klasfkas (dalam machne learnng, klasfkas danggap sebaga salah satu ens dar predks). Klasfkas dgunakan untuk mempredks label kelas/kategor. Klasfkas dapat dbag lag menad dua macam, yatu: supervsed classfcaton (Klasfkas) dan unsupervsed classfcaton (Clusterng sudah dbahas pada pertemuan sebelumya) Predks versus Peramalan (Jangka waktu merupakan kata kunc untuk membedakan antara predks dan peramalan)

5 Analss Teknkal dan Fundamental Ada beberapa ens pendekatan yang dlakukan untuk meramalkan, msal pada nla tukar uang dantaranya (Madura, 20): o Analss Teknkal o Melbatkan data hstors nla tukar untuk meramalkan nla d masa yang akan datang. Prnsp yang basanya danut oleh para teknkals, bahwa nla kurs sudah menad nla yang representatf dar seluruh nformas yang relevan mempengaruh kurs tersebut, kurs akan bertahan pada trend tertentu, dan nla kurs merupakan nla yang repettf berulang dar pola sebelumnya (Neely et al., 20). Namun terkadang peramalan secara tekns tdak terlalu membantu untuk angka waktu yang cukup lama. Banyak penelt yang berselsh pendapat mengena peramalan tekns, meskpun secara umum peramalan tekns memberkan konsstens yang bak. Analss Fundamental

6 Analss Teknkal dan Fundamental Ada beberapa ens pendekatan yang dlakukan untuk meramalkan, msal pada nla tukar uang dantaranya (Madura, 20): o Analss Fundamental Ddasar hubungan fundamental antara varabel varabel ekonom terhadap nla tukar tersebut, sepert faktor faktor yang mempengaruh nla tukar. Msalnya saa: Tngkat nflas Suku bunga Neraca Perdagangan (log pembayaran dar hasl ual bel barang dan asa antara negara) Hutang Publk (Publc Debt), Raso Harga Ekspor dan Harga Impor, dan Kestablan Poltk dan Ekonom. Dar uraan sebelumnya, apakah bsa dlakukan penggabungan Analss Teknkal dan Fundamental?

7 Regres Lnear & Regres Logstk Perhatkan dataset berkut: No (X) (Y) Bagamana Membangun model regres yatu dengan mencar hubungan antara satu atau lebh varabel ndependen atau explanatory varable atau predktor (X) dengan varabel dependen atau respon (Y)?

8 Regres Lnear & Regres Logstk Regres Lnear: b n n xy x yˆ b0 b x x y y - b x b y b x x 0 n

9 Extreme Learnng Machne (ELM) untuk Bg Data Metode ELM n pertama kal dperkenalkan oleh Huang (2004) (Huang, Zhu, & Sew, 2004). ELM merupakan arngan syaraf truan (JST) feedforward dengan sngle hdden layer atau dsebut dengan Sngle Hdden Feedforward Neural Networks (SLFNs) (Sun, Cho, Au, & Yu, 2008). ftur ke- ftur ke-2 Hasl Predks ftur ke-k k Input Hdden Output Arstektur ELM

10 Extreme Learnng Machne (ELM) untuk Bg Data Metode pembelaaran ELM dbuat untuk mengatas beberapa kelemahan dar arngan syaraf truan feedforward, terutama dalam hal learnng speed. Menurut Huang (2004), JST feedforward mash memlk kelemahan dalam learnng speed karena semua parameter pada arngan dtentukan secara teratve dengan menggunakan metode pembelaaran satu persatu untuk setap data.

11 Extreme Learnng Machne (ELM) untuk Bg Data Langkah-langkah tranng algortma Extreme Learnng Machne (ELM):. Buat random W k sebaga bobot masukan. 2. Htung matrk keluaran hdden layer H = /(+exp(-x.w T )) 3. Htung output weght ˆ H.Y dmana H + =(H T.H) -.H T 4. Htung Yˆ H.ˆ ftur ke- ftur ke-2 ftur ke-k k W k y Hasl Predks Langkah testng ELM:. Dketahu W k, dan ˆ. 2. Htung H = /(+exp(-x test.w T )) 3. Htung Yˆ H.ˆ 4. Htung nla evaluas, msal dengan MAPE. Input Hdden Output

12 Extreme Learnng Machne (ELM) untuk Bg Data Langkah-langkah tranng ELM dengan bas:. Buat random W k sebaga bobot masukan dan nla bas b ka ada. Ukuran matrk bas b adalah [ x ] 2. Htung matrk keluaran hdden layer H = /(+exp(-(x.w T + ones(n tran,)*b))). Dan N tran adalah banyaknya data tranng. 3. Htung output weght ˆ H.Y dmana H + =(H T.H) -.H T 4. Htung Yˆ H.ˆ ftur ke- ftur ke-2 ftur ke-k bas k Input W k Hdden y Output Hasl Predks Langkah testng ELM:. Dketahu W k, nla bas b ka ada, dan ˆ. 2. Htung H = /(+exp(-(x test.w T + ones(n test,)*b))) 3. Htung Yˆ H.ˆ 4. Htung nla evaluas, msal dengan MAPE.

13 ELM vs ANN Arstektur Artfcal Neural Network Backpropagaton (ANN):

14 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data tranng (terdapat 3 ftur dan sngle target) sebaga berkut: Data Ftur 2 3 Target ftur ke- ftur ke-2 W k y Hasl Predks Dketahu, N : Banyaknya data tranng = 9 k : Banyaknya dmens nput layer = 3 : Banyaknya dmens output layer = Msal dset, : Banyaknya dmens hdden layer= 3 Penyelesaan:. Men-generate bobot nput (W x k ) antara nput layer dan hdden layer. Ukuran W adalah [ x k], yang nlanya d-generate antara [-0.5,0.5]. W = ftur ke-k k Input Hdden Output

15 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data tranng (terdapat 3 ftur dan sngle target) sebaga berkut: Penyelesaan: X = ftur ke- ftur ke-2 ftur ke-k k Hasl Predks. Men-generate bobot nput (W x k ) antara nput layer dan hdden layer. Ukuran W adalah [ x k], yang nlanya d-generate antara [-0.5,0.5]. 0.4 W Htung matrk nsalsas output hdden layer (H nt = X.W T ) H nt = Input Hdden Output

16 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data tranng (terdapat 3 ftur dan sngle target) sebaga berkut: Penyelesaan: X = ftur ke- 2. Htung matrk nsalsas output hdden layer (H nt = X.W T ) H nt = ftur ke-2 3. Htung matrk H = /(+exp(-h nt )) ftur ke-k k Input Hdden Output Hasl Predks H =

17 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data tranng (terdapat 3 ftur dan sngle target) sebaga berkut: Penyelesaan: X = Y = ftur ke- 3. Htung matrk H = /(+exp(-h nt )) H = ftur ke-2 4. Htung matrk H + =(H T.H) -.H T Hasl Predks H + = ftur ke-k k Input Hdden Output

18 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data tranng (terdapat 3 ftur dan sngle target) sebaga berkut: Penyelesaan: X = Y = ftur ke- ftur ke-2 ftur ke-k k Input Hdden Output Hasl Predks 4. Htung matrk H + =(H T.H) -.H T H + = ˆ 5. Htung beta top atau hasl nla beta yang destmas ˆ H. Y Menghtung Y predks ˆ H.ˆ Y Yˆ

19 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data tranng (terdapat 3 ftur dan sngle target) sebaga berkut: Penyelesaan: X = Y = ftur ke- ftur ke-2 ftur ke-k k Input Hdden Output Hasl Predks 6. Menghtung Y predks ˆ H.ˆ Y 7. Htung MAPE MAPE N N 30. Yˆ yˆ y y Pada proses tranng, ddapatkan hasl testng menggunakan data tranng sendr mash memlk error MAPE sebesar 30.

20 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data tranng (terdapat 3 ftur dan sngle target) sebaga berkut: Penyelesaan: X = Y = ftur ke- ftur ke-2 ftur ke-k k Input Hdden Output Hasl Predks 6. Menghtung Y predks ˆ H.ˆ Y 7. Htung MAPE MAPE N 30. Yˆ N Pada proses tranng, ddapatkan hasl testng menggunakan data tranng sendr mash memlk error MAPE sebesar 30. yˆ y y

21 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data testng sebaga berkut: Data tranng: X = Y = Data testng: Dketahu, N : Banyaknya data tranng = 9 k : Banyaknya nput layer = 3 : Banyaknya output layer = Msal dset, : Banyaknya hdden layer = 3 W = ˆ Xtest = Ytest = Penyelesaan:. Htung matrk nsalsas output hdden layer (H nt = Xtest.W T ) H nt =

22 Stud Kasus Sederhana dengan ELM Msalkan dketahu, data testng sebaga berkut: Data tranng: X = Y = Data testng: 0 Xtest = Ytest = 3 Penyelesaan: 2. Htung matrk output hdden H = /(+exp(-h nt )) H = Menghtung Y predks ˆ H.ˆ Y Yˆ , dketahu, maka 4. Htung MAPE N 3 ˆ y y MAPE N 3 y Pada proses testng, ddapatkan hasl predks denganerror MAPE sebesar ˆ

23 Algortma Support Vector Regresson (SVR) Konsep SVR ddasarkan pada rsk mnmzaton, yatu untuk mengestmas suatu fungs dengan cara memnmalkan batas dar generalzaton error, sehngga SVR mampu mengatas overfttng. Fungs regres dar metode SVR adalah sebaga berkut (Sethu Vayakumar & S Wu, 999) ALGORITMA SEKUENSIAL TRAINING SVR :. Insalsas parameter SVR yang dgunakan 2. Rumus memperoleh Matrk Hessan R ( K( x, x 2 ) ) 3. Untuk tap tranng pont lakukan: l * E y ( ) R 4. Kembal ke langkah ketga, sampa pada konds teras maksmum atau max * dan max 5. Dengan mengunakan fungs peramalan berkut: mn max * *, E, mn max E,, C * * l * * f ( x) ( )( K( x C 2, x) ) *

24 Tugas Kelompok. Dketahu data berkut: x a b x 2 a b 2 2 Tentukan hasl Φ(x ) dan Φ(x 2 ) dengan menggunakan kernel Polynomal dengan c = dan d = Pada Stud Kasus Sederhana proses tranng dengan ELM, ka dketahu hasl random W adalah sebaga berkut: W = Tentukan nla MAPE dar data testng berkut Xtest = Ytest =

25 0 Oktober 206 Termakash Imam Cholssodn