TUGAS AKHIR - ST 1325 PERBANDINGAN HASIL PEMODELAN ARTIFICIAL NEURAL NETWORKS DAN KERNEL SMOOTHING PADA DATA REGRESI NON LINIER ADITYA HIDAYAT JATI NRP 1302100044 Dosen Pembimbing Dra. Kartika Fitriasari, M.Si Adatul Mukarromah, S.Si JURUSAN STATISTIKA Fakultas Matematika Dan Ilmu Pengetahuan Alam Institut Teknologi Sepuluh Nopember Surabaya 2007
FINAL PROJECT - ST 1325 A COMPARISON OF ARTIFICIAL NEURAL NETWORKS AND KERNEL SMOOTHING MODEL ON NON LINEAR REGRESSION DATA ADITYA HIDAYAT JATI NRP 1302100044 Supervisors Dra. Kartika Fitriasari, M.Si Adatul Mukarromah, S.Si DEPARTMENT Of STATISTICS Faculty Of Mathematics And Natural Sciences Sepuluh Nopember Institute Of Technology Surabaya 2007
PERBANDINGAN HASIL PEMODELAN ARTIFICIAL NEURAL NETWORKS DAN KERNEL SMOOTHING PADA DATA REGRESI NON LINIER TUGAS AKHIR Diajukan Untuk Memenuhi Salah Satu Syarat Kelulusan Di Program Studi Strata Satu Statistika Fakultas Matematika Dan Ilmu Pengetahuan Alam Institut Teknologi Sepuluh Nopember Surabaya Oleh: ADITYA HIDAYAT JATI NRP 1302100044 Disetujui oleh Pembimbing Tugas Akhir : 1. Dra. Kartika Fitriasari, M.Si... (Pembimbing I) 2. Adatul Mukarromah, S.Si... (Pembimbing II) SURABAYA, JANUARI 2007
PERBANDINGAN HASIL PEMODELAN ARTIFICIAL NEURAL NETWORKS DAN KERNEL SMOOTHING PADA DATA REGRESI NON LINIER Nama Mahasiswa : Aditya Hidayat Jati NRP : 1302100044 Jurusan : Statistika FMIPA-ITS Dosen Pembimbing : Dra. Kartika Fitriasari, M.Si Co-Pembimbing : Adatul Mukarromah, S.Si Abstrak Analisis kurva regresi menggambarkan suatu pola hubungan umum antara variabel penjelas dan variabel respon (Hardle, 1990). Ada dua pendekatan di dalam analisis kurva regresi yaitu pendekatan parametrik dan pendekatan nonparametrik (Hardle, 1990). Beberapa metode nonparametrik yang dapat digunakan untuk mengestimasi pola hubungan antar variabel yaitu Artificial Neural Networks dan Kernel Smoothing. Perbandingan antara jaringan syaraf tiruan dan metode regresi yang lain telah dilakukan oleh beberapa peneliti seperti Li et al (2001), Lefevre et al (2005) serta Smith dan Mason (1996). Penelitian ini difokuskan untuk membandingkan metode jaringan syaraf tiruan (multilayer perceptron dan radial basis function networks) dan Kernel Smoothing menggunakan data kasus yang diambil dari penelitian yang dilakukan oleh Suyatno (2006). Selain itu juga digunakan data simulasi f(t) = (sin(1+πt)) 2 untuk mengetahui perbandingan metode-metode tersebut dalam mengestimasi pola hubungan yang non linier. Model terbaik yang dihasilkan untuk data training pada masing-masing kasus adalah sebagai berikut : Mesin D13A tabung lampu ujung kanan menghasilkan model MLP (1,5,1), Mesin D13A tabung lampu ujung kiri menghasilkan model Kernel Smoothing dengan bandwidth 0.02, Mesin D13B tabung lampu ujung kanan menghasilkan model Kernel Smoothing dengan bandwidth 0.025, Mesin D13B tabung lampu ujung kiri menghasilkan model MLP vii
viii (1,4,1), Data Simulasi Sin100 menghasilkan model MLP (1,5,1), Data Simulasi Sin150 menghasilkan model MLP (1,7,1), dan Data Simulasi Sin200, menghasilkan model MLP (1,4,1). Sedangkan model terbaik yang dihasilkan untuk data testing pada masing-masing kasus adalah model Kernel Smoothing. Diantara dua metode tersebut metode Kernel Smoothing merupakan metode terbaik dalam mengestimasi pola hubungan yang non linier karena kemampuannya dalam menaksir data yang akan datang cukup baik. Kata kunci : Bootstrap, Kernel Smoothing, MLP, Neural Network, RBF, Undulasi recutting, Undulasi shouldering.
A COMPARISON OF ARTIFICIAL NEURAL NETWORKS AND KERNEL SMOOTHING MODEL ON NON LINEAR REGRESSION DATA Name : Aditya Hidayat Jati NRP : 1302100044 Department : Statistics FMIPA-ITS Supervisor : Dra. Kartika Fitriasari, M.Si Co-Supervisor : Adatul Mukarromah, S.Si Abstract Analysis of regression curve describes a general relationship between an explanatory variable and response variable (Hardle, 1990). There are two approach in analysis of regression curve that is parametric approach and nonparametric approach (Hardle, 1990). Artificial Neural Networks and Kernel Smoothing are some nonparametric method that can be used to estimate relationship between variable. Comparison between artificial neural networks and other regression method have been conducted by some researcher like Li et al (2001), Lefevre et al (2005) and also Smith & Mason (1996). This research is focussed to compare artificial neural networks method (multilayer perceptron and radial basis function networks) and kernel smoothing using case data which taken from a research conducted by Suyatno (2006). Beside that, this research also use simulation data f(t) = (sin(1+πt)) 2 to know the comparison of that methods in estimating non linear pattern. Best model which yielded for data training on each case is as follows : Machine D13A right-end lamp tube result a MLP (1,5,1) model, Machine D13A left-end lamp tube result a Kernel Smoothing model with bandwidth 0.02, Machine D13B right-end lamp tube result a Kernel Smoothing model with bandwidth 0.025, Machine D13B left-end lamp tube result a MLP (1,4,1) model, Simulation data Sin100 result a MLP (1,5,1) model, Simulation data Sin150 result a MLP (1,7,1) model, and Simulation data Sin200 result a ix
x MLP (1,4,1) model. While the best model which yielded for data testing on each case are Kernel Smoothing model. Between these two method, Kernel Smoothing method is the best method in estimating non linear pattern because its ability on estimate the future data is quite good. Key words: Bootstrap, Kernel Smoothing, MLP, Neural Network, RBF, Recutting undulation, Shouldering undulation.
KATA PENGANTAR Puji syukur kehadirat Allah SWT atas segala limpahan rahmat, hidayah, dan bimbingannya sehingga penulis dapat menyelesaikan tugas akhir ini dengan judul : PERBANDINGAN HASIL PEMODELAN ARTIFICIAL NEURAL NETWORKS DAN KERNEL SMOOTHING PADA DATA REGRESI NON LINIER. Penulis menyadari bahwa dalam penyusunan laporan tugas akhir ini tidak terlepas dari bantuan dan dukungan dari berbagai pihak. Oleh karena itu, penulis mengucapkan terima kasih yang sebesar-besarnya kepada : 1. Ibu Dra. Kartika Fitriasari, M.Si, selaku dosen pembimbing yang dengan sabar memberikan saran dan bimbingan kepada penulis hingga terselesaikannya laporan tugas akhir ini. 2. Ibu Adatul Mukarromah, S.Si, selaku dosen co-pembimbing. 3. Ibu Dra. Agnes Tuti Rumiati, M.Sc, selaku dosen wali selama perkuliahan. 4. Seluruh Dosen Statistika ITS atas ilmu yang diberikan. 5. Kedua Orang tua serta adik-adikku tercinta (Danik dan Wiwit) yang senantiasa memberikan doa, perhatian, dan kasih sayang kepada penulis. 6. Teman-teman S1 2002 serta Anggota Trio Kwek Kwek, Anang dan Dani. 7. Semua pihak yang telah membantu kami dalam penyelesaian tugas akhir ini yang tidak mungkin disebutkan satu persatu. Penulis menyadari bahwa laporan tugas akhir ini, masih jauh dari kesempurnaan dan sangat diharapkan saran dan kritik membangun dari berbagai pihak. Akhir kata, penulis berharap semoga apa yang telah ditulis ini dapat bermanfaat dan berguna bagi masyarakat, khususnya di kalangan statistika. xi Surabaya, Januari 2007 Penulis
DAFTAR ISI Halaman JUDUL... i HALAMAN PENGESAHAN...v ABSTRAK... vii ABSTRACT... ix KATA PENGANTAR... xi DAFTAR ISI... xiii DAFTAR TABEL... xvii DAFTAR GAMBAR... xix BAB I. PENDAHULUAN 1.1 Latar Belakang...1 1.2 Perumusan Masalah...3 1.3 Tujuan...3 1.4 Manfaat...3 1.5 Batasan Permasalahan...3 BAB II. TINJAUAN PUSTAKA 2.1 Jaringan Syaraf Tiruan...5 2.1.1 Pengertian jaringan syaraf tiruan...5 2.1.2 Arsitektur jaringan...9 2.1.3 Multilayer perceptrons...10 2.1.4 Penentuan model terbaik...15 2.1.5 Radial basis function networks...16 2.2 Kernel smoothing...17 2.3 Tinjauan Non Statistika...20 2.3.1 Undulasi pada proses recutting dan shouldering...20 BAB III. METODOLOGI PENELITIAN 3.1 Bahan dan Alat Penelitian...23 3.2 Identifikasi Variabel...23 3.3 Langkah-langkah Analisis...23 xiii
xiv BAB IV. ANALISIS DATA DAN PEMBAHASAN 4.1 Data Kasus... 25 4.1.1 Model mesin D13A tabung lampu ujung kanan... 27 4.1.1.1 Model MLP mesin D13A tabung lampu ujung kanan... 27 4.1.1.2 Model RBF mesin D13A tabung lampu ujung kanan... 29 4.1.1.3 Model kernel smoothing mesin D13A tabung lampu ujung kanan... 29 4.1.2 Model mesin D13A tabung lampu ujung kiri... 31 4.1.2.1 Model MLP mesin D13A tabung lampu ujung kiri... 31 4.1.2.2 Model RBF mesin D13A tabung lampu ujung kiri... 33 4.1.2.3 Model kernel smoothing mesin D13A tabung lampu ujung kiri... 34 4.1.3 Model mesin D13B tabung lampu ujung kanan... 35 4.1.3.1 Model MLP mesin D13B tabung lampu ujung kanan... 35 4.1.3.2 Model RBF mesin D13B tabung lampu ujung kanan... 37 4.1.3.3 Model kernel smoothing mesin D13B tabung lampu ujung kanan... 38 4.1.4 Model mesin D13B tabung lampu ujung kiri... 39 4.1.4.1 Model MLP mesin D13B tabung lampu ujung kiri... 40 4.1.4.2 Model RBF mesin D13B tabung lampu ujung kiri... 41 4.1.4.3 Model kernel smoothing mesin D13B tabung lampu ujung kiri... 42 4.2 Data Simulasi... 43 4.2.1 Model data simulasi sin100... 45 4.2.1.1 Model MLP data simulasi sin100... 45 4.2.1.2 Model RBF data simulasi sin100... 46
xv 4.2.1.3 Model kernel smoothing data simulasi sin100...47 4.2.2 Model data simulasi sin150...48 4.2.2.1 Model MLP data simulasi sin150...48 4.2.2.2 Model RBF data simulasi sin150...49 4.2.2.3 Model kernel smoothing data simulasi sin150...50 4.2.3 Model data simulasi sin200...52 4.2.3.1 Model MLP data simulasi sin200...52 4.2.3.2 Model RBF data simulasi sin200...53 4.2.3.3 Model kernel smoothing data simulasi sin200...54 4.3 Pembahasan...55 BAB V. KESIMPULAN DAN SARAN 5.1 Kesimpulan...61 5.2 Saran...62 DAFTAR PUSTAKA...63 LAMPIRAN A1. Data Undulasi Mesin D13A Tabung Lampu Ujung Kanan...65 LAMPIRAN A2. Data Undulasi Mesin D13A Tabung Lampu Ujung Kiri...67 LAMPIRAN A3. Data Undulasi Mesin D13B Tabung Lampu Ujung Kanan...69 LAMPIRAN A4. Data Undulasi Mesin D13B Tabung Lampu Ujung Kiri...71 LAMPIRAN A5. Data Simulasi Sin100...73 LAMPIRAN A6. Data Simulasi Sin150...75 LAMPIRAN A7. Data Simulasi Sin200...77 LAMPIRAN B. Macro Minitab untuk Membangkitkan Data Simulasi...79 LAMPIRAN C. Program Matlab untuk Model MLP...80 LAMPIRAN D. Program Matlab untuk Model RBF...83 LAMPIRAN E. Program Matlab untuk Menghitung GCV...86
xvi LAMPIRAN F. Program Matlab untuk Model Kernel Smoothing... 88 LAMPIRAN G. Program Matlab untuk Bootstrap Model MLP... 90 LAMPIRAN H1. Output Bobot dan Bias Model MLP... 91 LAMPIRAN H2. Output Bobot dan Bias model RBF... 94 RIWAYAT HIDUP
DAFTAR GAMBAR Gambar Judul Halaman 2.1 Representasi Jaringan Syaraf Tiruan...6 2.2 Fungsi Aktivasi Identitas...7 2.3 Fungsi Aktivasi Step Biner...7 2.4 Fungsi Aktivasi Sigmoid Biner...8 2.5 Fungsi Aktivasi Sigmoid Bipolar...8 2.6 Fungsi Aktivasi Gaussian...9 2.7 Jaringan dengan Lapisan Tunggal...10 2.8 Jaringan dengan Banyak Lapisan...11 2.9 Undulasi Proses Recutting (a) dan Undulasi Proses Shouldering (b)...20 4.1 Plot Mesin D13A Tabung Lampu Ujung Kanan...25 4.2 Plot Mesin D13A Tabung Lampu Ujung Kiri...26 4.3 Plot Mesin D13B Tabung Lampu Ujung Kanan...26 4.4 Plot Mesin D13B Tabung Lampu Ujung Kiri...27 4.5 Kurva RBF Mesin D13A Tabung Lampu Ujung Kanan...29 4.6 Kurva Kernel Smoothing Mesin D13A Tabung Lampu Ujung Kanan...31 4.7 Kurva RBF Mesin D13A Tabung Lampu Ujung Kiri...33 4.8 Kurva Kernel Smoothing Mesin D13A Tabung Lampu Ujung Kiri...35 4.9 Kurva RBF Mesin D13B Tabung Lampu Ujung Kanan...37 4.10 Kurva Kernel Smoothing Mesin D13B Tabung Lampu Ujung Kanan...39 4.11 Kurva RBF Mesin D13B Tabung Lampu Ujung Kiri...41 4.12 Kurva Kernel Smoothing Mesin D13B Tabung Lampu Ujung Kiri...43 4.13 Plot Data Simulasi Sin100...44 4.14 Plot Data Simulasi Sin150...44 4.15 Plot Data Simulasi Sin200...44 4.16 Kurva RBF Data Simulasi Sin100...46 4.17 Kurva Kernel Smoothing Data Simulasi Sin100...48 xix
Gambar Judul Halaman 4.18 Kurva RBF Data simulasi Sin150... 50 4.19 Kurva Kernel Smoothing Data Simulasi Sin150... 51 4.20 Kurva RBF Data Simulasi Sin200... 53 4.21 Kurva Kernel Smoothing Data Simulasi Sin200... 55 4.22 Kurva MLP, RBF, & Kernel Smoothing Data D13A Tabung Lampu Ujung Kanan... 56 4.23 Kurva MLP, RBF, & Kernel Smoothing Data D13A Tabung Lampu Ujung Kiri... 56 4.24 Kurva MLP, RBF, & Kernel Smoothing Data D13B Tabung Lampu Ujung Kanan... 57 4.25 Kurva MLP, RBF, & Kernel Smoothing Data D13B Tabung Lampu Ujung Kiri... 57 4.26 Kurva MLP, RBF, & Kernel Smoothing Data Simulasi Sin100... 59 4.27 Kurva MLP, RBF, & Kernel Smoothing Data Simulasi Sin150... 59 4.28 Kurva MLP, RBF, & Kernel Smoothing Data Simulasi Sin200... 60 xx
DAFTAR TABEL Tabel Judul Halaman 4.1 Hasil Perhitungan Kriteria Model MLP Terbaik untuk Mesin D13A Tabung Lampu Ujung Kanan...28 4.2 Nilai Bandwidth dan GCV Mesin D13A Tabung Lampu Ujung Kanan....30 4.3 Hasil Perhitungan Kriteria Model MLP Terbaik untuk Mesin D13A Tabung Lampu Ujung Kiri...32 4.4 Nilai Bandwidth dan GCV Mesin D13A Tabung Lampu Ujung Kiri....34 4.5 Hasil Perhitungan Kriteria Model MLP terbaik untuk Mesin D13B Tabung Lampu Ujung Kanan...36 4.6 Nilai Bandwidth dan GCV Mesin D13B Tabung Lampu Ujung Kanan....38 4.7 Hasil Perhitungan Kriteria Model MLP Terbaik untuk Mesin D13B Tabung Lampu Ujung Kiri...40 4.8 Nilai Bandwidth dan GCV Mesin D13B Tabung Lampu Ujung Kiri....42 4.9 Hasil Perhitungan Kriteria Model MLP Terbaik untuk Data Sin100...45 4.10 Nilai Bandwidth dan GCV Data Sin100...47 4.11 Hasil Perhitungan Kriteria Model MLP Terbaik untuk Data Sin150...48 4.12 Nilai Bandwidth dan GCV Data Sin150...50 4.13 Hasil Perhitungan Kriteria Model MLP Terbaik untuk Data Sin200...52 4.14 Nilai Bandwidth dan GCV Data Sin200...54 4.15 Perbandingan Model Studi Kasus antara MLP, RBF, dan Kernel Smoothing...55 4.16 Perbandingan Model Data Simulasi antara MLP, RBF, dan Kernel Smoothing...58 xvii