BAB 3 METODOLOGI PENELITIAN

Transkripsi

1 BAB 3 METODOLOGI PENELITIAN 31 Pendahuluan Algoritma Resilient Backpropagation (RPROP) dibagi menjadi dua bagian proses yaitu forward pass dan backward pass Forward pass berfungsi untuk mendapatkan nilai error dari algoritma artificial neural network, dimana nilai error tersebut harus konvergen nilai nol yaitu nilai error mendekati nilai nol Backward pass berfungsi untuk melakukan update pada nilai weight agar nilai yang dihasilkan pada waktu proses forward pass berikutnya menghasilkan nilai error yang konvergen terhadap nilai nol Kedua bagian ini merupakan bagian terpenting pada algoritma RPROP karena merupakan bagian untuk melakukan pembelajaran terhadap algoritma RPROP yang bertujuan untuk mengenali lingkungan yang akan diproses Proses algoritma RPROP pada kedua bagian tersebut dapat dioptimalkan pada waktu training, dengan cara melakukan komputasi parallel pada algoritma RPROP Pada proses RPROP dibagi menjadi beberapa sub-proses, dan sub-proses tersebut dijalankan pada waktu yang bersamaan Penelitian yang dilakukan adalah menganalisa waktu pada pembelajaran dengan cara membuat tiga model komputasi parallel algoritma RPROP yang dijalankan pada sebuah komputer menggunakan multithreading Multithreading adalah teknik untuk menjalankan beberapa proses secara bersamaan dengan menggunakan satu buah processor Pada bab ini metodologi dibagi menjadi beberapa bagian yaitu tahapan tahapan penelitian yang berisikan tahapan yang dilakukan pada penelitian ini, dataset adalah menjelaskan dataset yang digunakan pada penelitian ini, perancangan algoritma RPROP parallel processing, dan yang terakhir cara melakukan analisis data yang dihasilkan

2 22 32 Tahapan Tahapan Penelitian Tahapan tahapan penelitian bertujuan penelitian yang dilaksanakan tidak keluar dari jalur yang ditentukan Tahapan penelitian yang dilakukan dijabarkan pada Gambar31 Dataset yang Digunakan Perancangan Arsitektur Resilient Backpropagation Parallel Berdasarkan Thread Training Algoritma Resilient Backpropagation Parallel CPU Time Pembelajaran Berdasarkan Pengunaan Thread Gambar 3 1 Diagram Tahapan Tahapan Penelitian 33 Data yang Digunakan Dataset adalah kumpulan data yang digunakan untuk pembelajaran dan ujicoba pada artificial neural network Dataset yang digunakan berasal dari UCI Machine Learning dengan data HAR (Human Activity Recognition) Dataset HAR ini berisi data data sensor dari accelerometer dan gyroscope menggunakan smartphone jenis Samsung Galaxy S II yang diletakan pada pinggang Penelitian yang dilakukan menggunakan data dari sensor accelerometer dan gyroscope Dataset HAR terdiri dari dua jenis data sensor dan data yang diambil adalah sensor accelerometer dan gyroscope, pada dataset ini telah disedikan dataset untuk training dan testing

3 23 Dataset sensor accelerometer dan gyroscope didapatkan tiga buah nilai axial yaitu nilai x, y, dan z Jumlah kasus pada masing masing nilai axial tersebut adalah 7352 kasus Kasus tersebut adalah aktifitas yang dilakukan oleh volunteers berjumlah 30 volunteers Aktifitas yang dilakukan oleh volunteers yaitu berjalan, menaiki tangga, menuruni tangga, duduk, berdiri, dan tidur Dari setiap aktifitas yang dilakukan tersebut menghasilkan nilai axial nya yaitu x, y, dan z Nilai triaxial tersebut diekstrak menjadi 561 feature data yang ditampilkan pada Tabel 31 yang hanya menampilkan beberapa fitur dataset saja untuk fitur dataset yang lebih lengkapnya akan ditampilkan pada Lampiran A Tabel 3 1 Fitur Dataset Triaxial No Nama Feature No Nama Feature 1 tbodyacc-mean()-x 281 fbodyacc-sma() 2 tbodyacc-mean()-y 282 fbodyacc-energy()-x 3 tbodyacc-mean()-z 283 fbodyacc-energy()-y 4 tbodyacc-std()-x 284 fbodyacc-energy()-z 5 tbodyacc-std()-y 285 fbodyacc-iqr()-x 6 tbodyacc-std()-z 286 fbodyacc-iqr()-y 7 tbodyacc-mad()-x 287 fbodyacc-iqr()-z 8 tbodyacc-mad()-x 288 fbodyacc-entropy()-x 9 tbodyacc-mad()-z 289 fbodyacc-entropy()-y 10 tbodyacc-max()-x 290 fbodyacc-entropy()-z 11 tbodyacc-max()-y 291 fbodyacc-maxinds-x 12 tbodyacc-max()-z 292 fbodyacc-maxinds-y 13 tbodyacc-min()-x 293 fbodyacc-maxinds-z 14 tbodyacc-min()-y 294 fbodyacc-meanfreq()-x 15 tbodyacc-min()-z 295 fbodyacc-meanfreq()-y 16 tbodyacc-sma() 296 fbodyacc-meanfreq()-z 17 tbodyacc-energy()-x 297 fbodyacc-skewness()-x 18 tbodyacc-energy()-y 298 fbodyacc-kurtosis()-x 19 tbodyacc-energy()-z 299 fbodyacc-skewness()-y 20 tbodyacc-iqr()-x 300 fbodyacc-kurtosis()-y 21 tbodyacc-iqr()-y 301 fbodyacc-skewness()-z 22 tbodyacc-iqr()-z 302 fbodyacc-kurtosis()-z 23 tbodyacc-entropy()-x 303 fbodyacc-bandsenergy()-1,8 24 tbodyacc-entropy()-y 304 fbodyacc-bandsenergy()-9,16 25 tbodyacc-entropy()-z 305 fbodyacc-bandsenergy()-17,24 26 tbodyacc-arcoeff()-x,1 306 fbodyacc-bandsenergy()-25,32 27 tbodyacc-arcoeff()-x,2 307 fbodyacc-bandsenergy()-33,40 28 tbodyacc-arcoeff()-x,3 308 fbodyacc-bandsenergy()-41,48 29 tbodyacc-arcoeff()-x,4 309 fbodyacc-bandsenergy()-49,56

4 24 Tabel 3 2 Fitur Dataset Triaxial (Lanjutan) No Nama Feature No Nama Feature 30 tbodyacc-arcoeff()-y,1 310 fbodyacc-bandsenergy()-57,64 31 tbodyacc-arcoeff()-y,2 311 fbodyacc-bandsenergy()-1,16 32 tbodyacc-arcoeff()-y,3 312 fbodyacc-bandsenergy()-17,32 33 tbodyacc-arcoeff()-y,4 313 fbodyacc-bandsenergy()-33,48 34 tbodyacc-arcoeff()-z,1 314 fbodyacc-bandsenergy()-49,64 Feature dataset yang sebanyak 561 dijadikan sebagai nilai input pada algoritma neural network, nilai input pada bilangan tersebut adalah bilangan real Dataset target sensor disikan nilai menggunakan 1 dan 0 Node ouput dari algoritma artificial neural network (ANN) sebanyak aktifitas yang diklasifikasikan yaitu ada enam aktifitas yang harus diklasifikasikan Setiap aktifitas mempunyai nilai output pada setiap node ouput pada algoritma ANN yang dijabarkan pada Tabel 38 Tabel 3 3 Nilai Target Output Aktifitas Manusia No Aktifitas Nilai Target 1 Jalan Naik Tangga Turun Tangga Duduk Berdiri Tidur Arsitektur Artificial Neural Network Rancangan arsitektur artificial neural network ini bertujuan untuk menentukan jumlah neuron pada masing masing layer 341 Input Layer Input Layer merupakan layer untuk memasukan nilai yang digunakan untuk dipelajari oleh artificial neural network Node pada input layer disediakan sebanyak 561 node,

5 25 sesuai dengan dataset yang dihasilkan dari kedua sensor tersebut yang menghasilkan nilai feature sebanyak 561 node yang telah dijabarkan pada Tabel Hidden Layer Hidden Layer merupakan layer melakukan proses nilai input menghasilkan nilai function yang diteruskan ke layer output Node atau neuron yang disediakan pada hidden layer di penelitian ini ditentukan berdasarkan (Heaton, 2008): 1 Jumlah neuron pada hidden layer harus diantara jumlah neuron pada input layer dan jumlah neuron pada output layer 2 Jumlah neuron pada hidden layer harus 2/3 jumlah neuron pada input layer, dan ditambahkan dengan jumlah neuron pada output layer 3 Jumlah neuron pada hidden layer harus kurang dari dua kali jumlah neuron pada input layer Neuron hidden layer yang digunakan pada penelitian ini adalah menggunakan peraturan pada no 2 yaitu jumlah neuron pada hidden layer adalah 2/3 dari jumlah neuron input layer dan output layer Jumlah neuron pada hidden layer yang digunakan adalah Jumlah neuron hidden = 2 (Jumlah neuron input + jumlah neuron output) 3 Jumlah neuron hidden = 2 ( ) 3 Jumlah neuron hidden = Jumlah neuron hidden = 378 Jumlah neuron hidden layer yang digunakan sebanyak 378 neuron pada hidden layer 343 Output Layer Output Layer merupakan layer memproses nilai dari hidden layer dan menghasilkan nilai error, yang digunakan sebagai nilai untuk mengupdate nilai weight Neuron pada layer output sesuai dengan dataset target yaitu 6 buah node Pada masing masing node tersebut mengenal beberapa aktivitas manusia yaitu jalan, naik tangga, turun tangga, duduk, berdiri dan tidur

6 Rancangan Arsitektur Neural Network Berdasarkan data yang telah disebutkan maka rancangan neural network dijelaskan melalui Gambar 33 Feed Forward Y1 X1 Z1 X2 X 561 Y2 Y377 Z2 Z6 Input Layer Y378 Output Layer Hidden Layer Backward Gambar 3 2 Arsitektur Neural Network Resilient Backpropagation Gambar 33 merupakan rancangan arsitektur standar tanpa menerapkan teknik parallel di dalamnya Input pada rancangan arsitektur disesuakian banyak feature dataset dari UCI Machine Learning yaitu sebanyak 561 neuron pada input layer Pada hidden layer berdasarkan perhitungan yang telah didapatkan maka neuron pada hidden layer disediakan sebanyak 378 neuron Dan untuk output layer sesuai dengan data yang disebut pada output layer yaitu sebanyak 6 buah neuron 35 Parallel Resilient Backpropagation Parallel pada resilient backpropagation difokuskan pada waktu proses feedforward Proses feedforward untuk parallel menggunakan multithreading ini difokuskan pada bagian hidden layer Implementasi parallel resilient backpropagation maka digunakan teknologi multithreading Neuron yang berada pada bagian hidden layer akan dibagi

7 27 berdasarkan jumlah thread Penelitian yang akan dilakukan menggunakan jumlah thread dimulai dari 1 buah thread sampai 7 buah thread Pembatasan sampai 7 buah thread ini disebabkan oleh waktu karena pada pengujian yang dilakukan pada setiap arsitektur resilient backpropagation dengan parallel processing sehingga membutuhkan waktu untuk memprosesnya Pada penelitian ini difokuskan pada kecepatan waktu proses dari resilient backpropagation dalam menyelesaikan satu itreasi Waktu yang akan diambil untuk menentukan kecepatan proses tersebut akan berdasarkan pada waktu di komputer (CPU Time) 36 Rancangan Arsitektur Resilient Backpropagation Parallel Rancangan arsitektur resilient backpropagation parallel ada sebanyak tujuh buah model, berdasarkan pada thread yang digunakan yaitu dari satu buah thread sampai tujuh buah thread yang berfokus pada proses feedforward Gambar arsitektur neural network akan ditampilkan pada Gambar 33 sampai Gambar 39 Feed Forward 1 Thread Y1 X1 Z1 Y2 X2 Y377 Z2 X561 Z6 Y378 Gambar 3 3 Arsitektur Neural Network Parallel dengan 1 Thread Gambar 33 arsitektur neural network ini satu buah thread memproses sebanyak 378 neuron pada hidden layer

8 28 Feed Forward 1 Thread X1 Y1 Y188 Z1 X2 X561 Y189 Z2 Z6 Y378 2 Thread Gambar 3 4 Arsitektur Neural Network Parallel dengan 2 Thread Gambar 34 thread yang digunakan yaitu sebanyak 2 buah dan 1 buah thread memproses sebanyak 189 neuron Feed Forward X1 Y1 Y125 1 Thread Z1 X2 X561 Y126 Y251 2 Thread Y252 Y378 3 Thread Z2 Z6 Gambar 3 5 Arsitektur Neural Network Parallel dengan 3 Thread

9 29 Gambar 35 pada arsitektur neural network dibentuk 3 thread untuk memproses neuron pada hidden layer Pada masing masing thread memproses sebanyak 126 thread Feed Forward Y1 Y93 1 Thread X1 X2 X561 Y94 Y187 2 Thread Y188 Y281 3 Thread Z1 Z2 Z6 Y282 Y378 4 Thread Gambar 3 6 Arsitektur Neural Network Parallel dengan 4 Thread Gambar 36 pada arsitektur neural network ini ada 4 thread yang dibuat untuk memproses neuron yang berada pada hidden layer Pada thread 1 sampai 3 memproses sebanyak 94 neuron Pada thread 4 memproses neuron sebanyak 96 neuron, ini disebabkan jumlah total neuron yang dibagi dengan banyak thread bukan menghasilkan bilangan bulat Sehingga pada thread ke empat neuron yang diproses bertambah 2 neuron

10 30 Feed Forward Y1 Y74 1 Thread X1 Y75 Y149 2 Thread Z1 X2 X561 Y150 Y224 3 Thread Y225 Y299 4 Thread Z2 Z6 Y299 Y378 5 Thread Gambar 3 7 Arsitektur Neural Network Parallel dengan 5 Thread Gambar 38 arsitektur neural network neural network ini menggunakan 5 thread untuk memproses neuron pada hidden layer Pada thread 1 sampai 4 memproses 75 neuron, dan thread ke 5 memproses sebanyak 78 thread

11 31 Feed Forward Y1 Y62 1 Thread Y63 Y125 2 Thread X1 X2 X561 Y126 Y188 3 Thread Y189 Y251 4 Thread Z1 Z2 Z6 Y252 Y314 5 Thread Y315 Y378 6 Thread Gambar 3 8 Arsitektur Neural Network Parallel dengan 6 Thread Gambar 38 arsitektur neural network ini menggunakan 6 thread untuk memproses neuron pada hidden layer, pada masing masing thread memproses 63 neuron

12 32 Feed Forward Y1 Y53 1 Thread Y54 Y107 2 Thread X1 X2 X561 Y108 Y161 3 Thread Y162 Y205 4 Thread Y206 Y259 5 Thread Z1 Z2 Z6 Y260 Y313 6 Thread Y314 Y378 7 Thread Gambar 3 9 Arsitektur Neural Network Parallel dengan 7 Thread Gambar 39 arsitektur ini menggunakan 7 buah thread untuk memproses neuron pada hidden layer Pada masing masing thread memproses neuron sebanyak 54 neuron 37 Analisis Waktu Pembelajaran Analisa waktu training yang dilakukan berdasarkan pada CPU time Pengambilan waktu CPU time yang diambil dari setiap iterasi yang diproses Waktu yang didapat pada setiap iterasi ditotal untuk mendapatkan waktu keseluruhan pada setiap proses training resilient backpropagation

13 33 Pengujian yang dilakukan dibagi menjadi beberapa bagian berdasarkan thread yang dibentuk pada multithreading yang dijabarkan pada Tabel 34 Tabel 3 4 Pembagian Neuron Hidden Layer Berdasarkan Jumlah Thread Thread yang terbentuk Hidden Neuron pada sebuah Thread Total Neuron pada Hidden Layer Berdasarkan pada Tabel 34 hasil dari jumlah neuron hidden yang diproses pada sebuah thread menggunakan rumus sederhana yaitu Nh Nh adalah jumlah neuron pada hidden layer dibagi dengan t yaitu thread yang akan digunakan pada sebuah processor Pada penelitian ini dibentuk hanya sampai 7 thread karena terbatas sumber daya untuk memproses semua dan waktu yang dibutuhkan untuk pembelajaran tersebut t Analisa waktu yang dilakukan berdasarakan Tabel 34 yang telah dibagikan jumlah neuron berdasarkan jumlah thread maka setiap pembagian tersebut dilakukan pengujian ke dalam komputer untuk mengetahui pembagian thread mana yang cepat selesai berdasarkan pada CPU time Total waktu selesai tersebut akan diambil dari waktu selesai pada satu iterasi dan ditotal keseluruhannya sebagai contoh ada 6 iterasi dan epoch 10 maka 6 dikalikan 10 yang menghasilkan sebanyak 60 iterasi dari 60 iterasi tersebut akan dihasilkan waktu CPU time pada masing masing iterasi tersebut dimana semua waktu tersebut akan di jumlah untuk mendapatkan total waktu CPU time 38 Analisis Parallel Resilient Backpropagation Pada proses perhitungan parallel ini dijabarkan terlebih dahulu proses kerja dari algoritma resilient backpropagation secara garis besar terlebih dahulu yaitu proses kerja parallel resilient backpropagation Proses kerja parallel algoritma resilient backpropagation dijabarkan sebagai berikut: 1 Pengisian data awal Pada bagian ini memasukan data berupa weight dan input data yang digunakan untuk melakukan training

14 34 2 Proses feedforward Pada proses feedforward pada masing masing thread yang dibentuk mengeksekusi neuron neuron yang telah ditetapkan pada masing masing thread Setelah nilai function pada masing masing neuron di hidden layer telah terkumpul, maka dilanjutkan ke output layer Pada output layer setiap neuron pada output layer menerima jumlah dari nilai function neuron pada hidden layer dikalikan dengan weight yang menuju ke neuron output layer Setelah itu nilai function output dikurangi dengan nilai target untuk mendapatkan nilai error 3 Proses backward Pada proses backward dari nilai error yang dihasilkan dari output layer akan digunakan sebagai penentuan learning rate yang digunakan untuk melakukan update weight dari output layer ke hidden layer dan ini sama juga dengan melakukan update weight dari hidden layer menuju ke output layer Pada proses diatas setelah mencapai proses backward maka balik ke proses feedforward dan dilakukan secara berulang ulang berdasarkan pada nilai epoch yang ditetapkan ataupun berdasarkan nilai error yang telah ditetapkan sampai proses pembelajaran tersebut selesai Proses perhitungan algoritma resilient backpropagation ditunjukan sebagai berikut Pada proses perhitungan ini hanya menggunakan 6 input saja untuk memudahkan perhitungan yang dilakukan Arsitektur yang ditetapkan adalah yaitu 6 neuron pada input layer, 8 neuron pada hidden layer, dan 6 neuron pada output layer Pada hidden layer menggunakan 2 thread, jadi pada 1 thread terdapat 4 neuron Nilai input ditampilkan pada Tabel 35 berserta dengan targetnya Tabel 3 5 Nilai Input dan Target Iterasi X1 X2 X3 X4 X5 X6 Target 1-0, , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ,

15 35 Nilai masing masing weight neuron dari input layer ke hidden layer ditunjukan pada Tabel 36 Tabel 3 6 Nilai Weight dari Input Layer ke Hidden Layer W1 W2 W3 W4 W5 W6 Neuron Neuron Neuron Neuron Neuron Neuron Neuron Neuron Nilai masing masing weight neuron dari hidden layer ke output layer ditunjukan pada Tabel 37 Tabel 3 7 Nilai Weight dari Hidden Layer ke Output Layer W1 W2 W3 W4 W5 W6 W7 W8 Neuron Neuron Neuron Neuron Neuron Neuron Proses perhitungan dibagi menjadi 2 thread Pada thread pertama memproses neuron 1 sampai neuron 4, sedangkan thread kedua memproses neuron 5 sampai neuron 6 Thread tersebut akan berjalan secara bersamaan dan proses perhitungan adalah sebagai berikut: Proses perhitungan pada thread 1 Ny1 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(ny1) = e Nh1 = 1 = e ( )

16 36 Ny2 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(ny2) = e Nh1 = 1 = e ( ) Ny3 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(ny3) = e Nh1 = 1 = e ( ) Ny4 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(ny4) = e Nh1 = 1 = e ( ) Proses perhitungan pada thread 2 Ny5 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(ny5) = e Nh1 = 1 = e ( ) Ny6 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) =

17 37 f(ny6) = e Nh1 = 1 = e ( ) Ny7 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(ny7) = e Nh1 = 1 = e ( ) Ny8 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(ny8) = e Nh1 = 1 = e ( ) Nilai function neuron pada hidden layer dijabarkan pada Tabel 38 Threa d 1 Threa d 2 Tabel 3 8 Nilai Function Neuron pada Hidden Layer f(ny1) f(ny2) f(ny3) f(ny4) f(ny5) f(ny6) f(ny7) f(ny8) Nilai function yang telah dihasilkan dari hidden layer pada masing masing thread dilanjutkan ke output layer Proses perhitungan hidden layer ke output layer disajikan sebagai berikut Nz1 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) =

18 38 f(nz1) = e No1 = 1 = e ( ) e o (Nz1) = y target (Nz1) f(nz1) = = δ o (Nz1) = f(nz1) [1 f(nz1)] e o (Nz1) = [ ] = Nz2 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(nz2) = e Nz2 = 1 = e ( ) e o (Nz2) = y target (Nz2) f(nz2) = = δ o (Nz2) = f(nz2) [1 f(nz2)] e o (Nz2) = [ ] =

19 39 Nz3 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(nz3) = e Nz3 = 1 = e ( ) e o (Nz3) = y target (Nz3) f(nz3) = = δ o (Nz3) = f(nz3) [1 f(nz3)] e o (Nz3) = [ ] = Nz4 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(nz4) = e Nz4 = 1 = e ( ) e o (Nz4) = y target (Nz4) f(nz4) = =

20 40 δ o (Nz4) = f(nz4) [1 f(nz4)] e o (Nz4) = [ ] = Nz5 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(nz5) = e Nz5 = 1 = e ( ) e o (Nz5) = y target (Nz5) f(nz5) = = δ o (Nz5) = f(nz5) [1 f(nz5)] e o (Nz5) = [ ] = Nz6 = ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) + ( ) = f(nz6) = e Nz6 = 1 = e ( )

21 41 e o (Nz6) = y target (Nz6) f(nz6) = = δ o (Nz5) = f(nz5) [1 f(nz5)] e o (Nz5) = [ ] = Nilai function neuron pada output layer ditampilkan pada Tabel 39 Tabel 3 9 Nilai Function, Error, dan Gradien Error Neuron Output Layer Neuron Function Error Gradien Error Nilai gradien error yang telah didapatkan pada masing masing neuron output layer, dilanjutkan ke fase backward yaitu melakukan update weight pada jaringan neural network tersebut Update weight yang pertama kali dimulai dari weight hidden layer ke output layer Resilient backpropagation menggunakan nilai gradien error untuk menentukan learning rate yang akan digunakan dan menentukan delta weight apakah ditambah atau dikurangi pada waktu melakukan update weight tersebut, jika gradien error lebih besar dari 0 maka nilai weight ditambah dengan nilai delta dan sebaliknya jika nilai gradien error lebih kecil dari 0 maka nilai weight akan dikurangi dengan nilai weight Karena ini merupakan iterasi yang pertama maka gradien error terdahulu diberi nilai 0 dan dikalikan dengan nilai gradien error output sekarang, maka dilanjutkan ke perhitungan update weight dengan penjabaran sebagai berikut wo1 = sign( ) 01 = 01 wo 11 = ( 01) = wo 12 = ( 01) = wo 13 = ( 01) = wo 14 = ( 01) =

22 42 wo 15 = ( 01) = wo 16 = ( 01) = wo 17 = ( 01) = wo 18 = ( 01) = Proses perhitungan tersebut dilanjutkan sampai neuron output ke enam dan hasil dari weight tersebut disajikan pada Tabel 310 Neuron 1 Neuron 2 Neuron 3 Neuron 4 Neuron 5 Neuron 6 Tabel 3 10 Nilai Weight Baru dari Hidden Layer ke Output Layer W1 W2 W3 W4 W5 W6 W7 W Setelah mengupdate weight hidden layer menuju ke output layer, maka dilanjutkan ke bagian weight input layer ke hidden layer Untuk mengupdate weight tersebut diperlukan gradien error pada setiap neuron di hidden layer, maka perhitungan sebagai berikut δ h (Ny1) = f(ny1) [1 f(ny1)] δ o (p) w 1o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) =

23 43 δ h (Ny2) = f(ny2) [1 f(ny2)] δ o (p) w 2o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) = δ h (Ny3) = f(ny3) [1 f(ny3)] δ o (p) w 3o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) = δ h (Ny4) = f(ny4) [1 f(ny4)] δ o (p) w 4o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) =

24 44 δ h (Ny5) = f(ny5) [1 f(ny5)] δ o (p) w 5o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) = δ h (Ny6) = f(ny6) [1 f(ny6)] δ o (p) w 6o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) = δ h (Ny7) = f(ny7) [1 f(ny7)] δ o (p) w 7o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) =

25 45 δ h (Ny8) = f(ny8) [1 f(ny8)] δ o (p) w 8o (p) l o=1 = [ ] (( ) + ( ) + ( ) + ( ) + ( ) + ( )) = Nilai gradien error neuron pada hidden layer ditampilkan pada Tabel 311 Tabel 3 11 Nilai Gradien Error Neuron pada Hidden Layer Neuron Nilai Gradien Error Setelah didapatkan nilai gradien error masing masing neuron pada hidden layer, maka dilanjutkan ke update weight yang berada diantara input layer dan hidden layer Perhitungan update weight untuk hidden layer sama dengan update weight pada output layer dengan perhitungan sebagai berikut wh1 = sign( ) 01 = 01 wh 11 = ( 01) = wh 12 = ( 01) = wh 13 = ( 01) =

26 46 wh 14 = ( 01) = wh 15 = ( 01) = wh 16 = ( 01) = Proses perhitungan update weight tersebut dilanjutkan sampai neuron ke 8 dan hasil update weight tersebut akan ditampilkan pada tabel 312 Tabel 3 12 Nilai Weight Baru dari Input Layer ke Hidden Layer W1 W2 W3 W4 W5 W6 Neuron Neuron Neuron Neuron Neuron Neuron Neuron Neuron Setelah didapatkan nilai weight baru dari iterasi pertama maka dilanjutkan ke iterasi berikutnya sampai ke iterasi ke enam, lalu setelah semua iterasi selesai maka diulangi sampai nilai error mendekati dengan nilai nol 38 CPU Time untuk Parallel Processing Analisis CPU Time jaringan arsitektur neural network parallel processing ini difokuskan pada setiap iterasi yang diproses oleh jaringn neural network Hasil CPU Time yang dihasilkan adalah waktu per iterasi, dan total CPU Time pemebelajaran aka didapatkan dari total dari seluruh iterasi n T = I i 31 T adalah total waktu jaringan neural network I i adalah waktu iterasi Waktu yang dihasilkan sebanyak 7 total waktu dari masing masing thread yang diuji Pengujian yang dilakukan adalah sebanyak 3 kali ini dilakukan karena hasil CPU Time yang dihasilkan tidaklah sama pada setiap waktu karena tergantung pada proses komputer tersebut, sehinga harus dilakukan tiga kali pengujian untuk memastikan jumlah thread yang cepat melakukan pembelajaran neural network Pengujian yang dilakukan i=1

27 47 sebanyak tiga kali maka harus dicari rata rata nilai tersebut dengan menggunakan rumus sebagai berikut: RT = 3 i=1 T i RT adalah merupakan rata rata waktu, dan i=1 T i merupakan jumlah total dari 3 pengujian tersebut dan dibagi dengan banyak pengujian tersebut dilakukan yaitu

28 BAB 4 HASIL DAN PEMBAHASAN 41 Pendahuluan Pada bab ini menjelaskan hasil penelitian dari penerapan parallel processing ke dalam resilient backpropagation terhadap waktu training yang dihasilkan Dataset tersebut diambil sample hanya 100 kasus, nilai iterasi yaitu 100 dan nilai epoch yaitu 200 Analisis waktu pelatihan resilient backpropagation dengan penerapan parallel processing berdasarkan pada CPU time, pada setiap iterasi dihasilkan CPU time ini digunakan sebagai total keseluruhan waktu proses pembelajaran tersebut dimulai sampai proses pembelajaran tersebut selesai 42 Peralatan Pengujian Hardware yang digunakan dalam pengujian adalah 1 buah komputer dengan speksifikasi: 1 Processor Core i3 2 Ram 1 GB Software yang digunakan dalam penelitian ini adalah: 1 Sistem Operasi : Windows 7 Profesional 2 Bahasa Pemograman : Python Hasil Penelitian Dalam melakukan pengujian ini dilakukan sebanyak 7 pengujian berdasarkan jumlah thread yang telah ditentukan pada metode penelitian Pengujian yang dilakukan ini berdasarkan banyak thread yang digunakan pada arsitektur neural network Pengujian yang diberikan dilakukan sebanyak tiga kali testing untuk mendapatkan waktu rata rata pada ketujuh pengujian tersebut

29 49 Hasil proses update weight pada penelitian ini akan ditampilkan dalam tabel 41 sebagai berikut Iterasi Tabel 4 1 Proses update weight berserta dengan CPU Time / iterasi Weight Hidden Weight Output CPU Time W1 W2 W3 W1 W2 W3 1 thread 3 thread 5 thread 7 thread 1-4, , , , , , ,5288 1, ,4508 1, , , , , , , ,3416 1, ,3416 1, , , , , , , ,3728 1, ,3416 1, , , , , , , ,3572 1, ,3416 1, , , , , , , ,3728 1, ,2948 1, , , , , , , ,3884 1, ,2168 1, , , , , , , ,4352 1, , ,248 Pada Tabel 41 hanya mengambil beberapa sampel untuk bagian weight untuk hidden dan weight output, demikian pada CPU Time nya Pengambilan sample ini disebabkan total weight yang cukup banyak yaitu proses dari input layer ke hidden layer ada sebanyak weight pada hidden layer ke output layer ada sebanyak 2268 weight Hasil waktu dari algoritma resilient backpropagation dengan menggunakan teknik parallel processing menggunakan threading ditampilkan dalam bentuk tabel, hasil pengujian dilakukan sebanyak tiga kali sehingga ditampilkan tiga bentuk tabel pengujian dengan bentuk pengujian yang sama yaitu pada setiap tabel akan menampilkan tujuh bagian yang diselesaikan oleh masing masing thread bertujuan untuk mengetahui waktu yang diselesaikan pada masing masing thread dan dibandingkan thread manakah yang memiliki waktu proses yang paling cepat selesai Pengujian pada pertama kali resilient backpropagation disajikan dalam Tabel 42 dan Tabel 43 sebagai lanjutannya Tabel 4 2 Hasil Pengujian I Resilient Backpropagation Parallel Multithreading Thread Waktu Selesai Rata Rata Waktu Iterasi / detik / detik / detik / detik / detik / detik / detik / detik

30 50 Tabel 4 3 Hasil Pengujian I Resilient Backpropagation Parallel Multithreading (lanjutan) Thread Waktu Selesai Rata Rata Waktu Iterasi / detik / detik / detik / detik / detik / detik Tabel 42 dan Tabel 43 menunjukan pada pengujian pertama kali mendapatkan bahwa dengan menggunakan 3 buah thread pada arsitektur neural network resilient backpropagation pada dapat diselesaikan dalam waktu 23914, / detik atau 6, jam Sedangkan pada pada proses yang menggunakan 1 buah thread dan 7 buah thread menunjukan hasil yang hampir sama yaitu 27293, / detik untuk 1 buah thread dan 27292, / detik untuk 7 buah thread, hanya menunjukan perbedaan 1 detik saja Pada tabel 41 pada pengujian pertama ini menunjukan terjadi kecepatan penyelesaian yang dimulai dari penggunaan 1 buah thread sampai 3 buah thread tapi setelah 4 buah thread menunjukan perlambatan waktu penyelesaian dan ini terjadi pada terus pada 5 buah thread sampai 7 buah thread Untuk hasil visual dari peningkatan kecepatan pada penggunaan thread ditunjukan pada Gambar CPU Time / detik Thread Gambar 4 1 Grafik Peningkatan Kecepatan Waktu Berdasarkan Peningkatan Jumlah Thread Pengujian I Pada pengujian yang kedua menunjukan hasil sama pada pengujian pertama yaitu 3 buah thread cepat dalam penyelsaian tapi berbeda waktu penyelesaiannya pada pengujian yang pertama yaitu pada pengujian yang pertama menunjukan CPU time

31 51 yang diselesaikan 23914, / detik pada pengujian yang kedua waktu penyelesaiannya 23910, / detik, lebih cepat 4 detik dalam penyelesaian waktunya Hasil dari pengujian yang kedua ini ditampilkan dalam Tabel 44 dan untuk grafik ditampilkan pada Gambar 42 Tabel 4 4 Hasil Pengujian II Resilient Backpropagation Parallel Multithreading Thread Waktu Selesai Rata Rata Waktu Iterasi / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik CPU Time / detik Thread Gambar 4 2 Grafik Peningkatan Kecepatan Waktu Berdasarkan Peningkatan Jumlah Thread Pengujian II Pada pengujian yang ketiga menampilkan hasil sama yaitu dengan menggunakan 3 buah thread pada arsitektur neural network resilient backpropagation menunjukan kecepatan waktu penyelesaian yang lebih cepat daripada thread lainnya, tetapi waktu penyelesaian berbeda pada yaitu pada pengujian ketiga waktu diselesaikn dalam / detik, penggujian kedua waktu penyelesaiannya / detik, dan pengujian pertama waktu penyelesaiannya

32 / detik Hasil pengujian ini akan ditampilkan pada Tabel 45 dan untuk grafik waktu akan ditampilkan pada Gambar 43 Tabel 4 5 Hasil Pengujian III Resilient Backpropagation Parallel Multithreading Thread Waktu Selesai Rata Rata Waktu Iterasi / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik / detik CPU Time / detik Thread Gambar 4 3 Grafik Peningkatan Kecepatan Waktu Berdasarkan Peningkatan Jumlah Thread Pengujian II Hasil pengujian pada Tabel 41, Tabel 42, dan Tabel 43 menunjukan hasil waktu yang bervariasi Karena hasil yang bervariasi maka ketiga pengujian tersebut digabungkan dengan rata rata waktu penyelesaian dari hasil pengujian tersebut Hasil pengujian yang telah ditampilkan digabungkan menjadi sebuah tabel dengan menjumlahkan waktu selesai dari masing masing proses dan hasil penjumlahan dibagi dengan banyak pengujian tersebut Rata Rata Waktu = n i=1 w i n

33 53 Hasil rata rata pengujian tersebut ditunjukan pada Tabel 46 sebagai berikut Tabel 4 6 Hasil Pengujian Rata Rata Resilient Backpropagation Parallel Multithreading Rata Rata Waktu Iterasi / Thread Waktu Selesai / detik detik , , , , , , , , , , , , , , Pada pengujian pertama sampai pengujian ketiga bahwa dengan menggunakan 3 thread pada arsitektur neural network menunjukan waktu proses pembelajaran pada jaringan tersebut lebih dibandingkan dengan enam pengujian thread lainnya Pada pengabungan waktu berfungsi untuk melihat hasil rata rata waktu penyelesaian masing masing thread pada tiga pengujian tersebut Hasil tampilan grafik waktu rata rata waktu tersebut ditampilkan pada Gambar CPU Time / second Thread Gambar 4 4 Grafik Rata Rata Waktu Selesai Pembelajaran Resilient Backpropagation Hasil penelitian yang telah dilakukan pada (Stubbemann, Kramer, & Treiber, 2015)bagian diatas menunjukan 3 buah thread membantu dalam mempercepat waktu training, dengan jumlah neuroan pada hidden layer sebanyak 378 neuron

34 54 44 Pembahasan Hasil pengujian yang telah dilakukan mendapatkan bahwa jaringan neural network yaitu resilient backpropagation dengan menambahkan teknik parallel processing yang diimplementasikan menggunakan multithreading menunjukan membantu kinerja pembelajaran dari jaringan neural network resilient backpropagation Ini ditunjukan dari hasil rata rata waktu pengujian kecepatan pembelajaran yaitu dibuktikan dari thread 1 sampai thread 3 didapatkan penurunan waktu ini menunjukan kecepatan pembelajaran thread 3 lebih cepat dari pada thread 1 dan thread 2 Tetapi thread 4 menunjukan waktu yang berangsur angsur naik sampai thread ke 7, ini menunjukan waktu pembelajaran menjadi lebih lambat Penurunan kecepatan yang dimulai dari penggunaan 4 buah thread ini dapat disebabkan oleh kemampuan hardware yang digunakan dan pergantian antar thread yang terjadi Pengunaan hardware yaitu Core i3 dengan dua core pada masing masing core dapat menjalankan 2 thread sekaligus, karena kemampuan ini dapat memproses 4 thread pada waktu yang bersamaan Proses pada jaringan neural network menggunakan parallel processing dengan teknik multithreading, pada 1 thread maka yang terjadi ada adanya penggunaan 2 thread yaitu 1 thread untuk memproses semua neuron pada hidden layer dan 1 thread sebagai melakukan pengecekan terhadap proses neuron pada hidden layer apakah sudah selesai semua Pada saat 2 thread maka yang terjadi adalah pembentukan sebanyak 2 thread untuk memproses neuron pada hidden layer dan 1 thread sebagai pengecekannya Pada saat 3 thread maka yang berjalan adalah 4 thread yaitu 3 thread memproses neuron pada hidden layer dan 1 thread sebagai pengecekan Pada setiap thread yang digunakan maka ditambah satu thread sebagai pengecekan proses pada hidden layer Oleh sebab itu pemanfaatan thread yang paling optimal adalah 3 thread karena penggunaan seluruh kemampuan hardware Tetapi pada saat penggunaan 4 thread maka yang terjadi adalah pengantian proses antar thread yaitu thread diproses secara bergantian pada hardware secara berulang ulang sampai proses tersebut selesai Oleh sebab itu terjadi kenaikan waktu proses karena perpindahaan antar thread tersebut

35 BAB 5 KESIMPULAN DAN SARAN 51 Kesimpulan Kesimpulan dari hasil penelitian yang dilakukan yaitu: 1 Parallel processing menggunakan multithreading yang diterapakan ke dalam arsitektur resilient backpropagation membantu kinerja waktu pembelajaran resilient backpropagation dengan hanya memanfaatkan 3 thread pada kasus pengenalan aktifitas manusia 2 Pengunaan lebih dari 3 thread pada arsitektur resilient backpropagation menyebabkan penurunan waktu pembelajaran yaitu lebih lambat, ini disebabkan oleh terjadi proses perpindahaan antar thread sehingga terjadi penambahaan waktu pada setiap perpindahaan thread tersebut 52 Saran Saran yang diberikan oleh penulis adalah sebagai berikut: 1 Penggunaan parallel dengan multithreading terhadap arsitektur resilient backpropagation harus memperhatikan jumlah thread yang dapat diproses pada waktu bersamaan pada sebuah CPU karena ini berpengaruh terhadap eksekusi thread yang dapat menyebabkan waktu delay pada perpindahaan antar thread tersebut 2 Untuk meningkatkan kemampuan parallel processing pada arsitektur resilient backpropagation dapat menggunakan multiprocessor yaitu menggunakan beberapa processor pada waktu bersamaan