LEARNING ARTIFICIAL INTELLIGENT

Transkripsi

1 LEARNING ARTIFICIAL INTELLIGENT

2 OUTLINE Decision tree learning Jaringan Syaraf Tiruan K-Nearest Neighborhood Naïve Bayes

3 JARINGAN SYARAF TIRUAN (JST) Intro Definisi ANN Model Matematis Neuron Fungsi Aktivasi Arsitektur ANN Proses Belajar (Learning) Perceptron ANN dengan Supervised Learning ANN dengan Unsupervised Learning Permasalahan pada ANN

4 JARINGAN SARAF TIRUAN (JST) o Otak terdiri dari neuron-neuron dan penghubung yang disebut sinapsis o Neuron bekerja berdasarkan sinyal/impuls yang diberikan pada neuron o Neuron memiliki 3 komponen penting yaitu dendrit, soma dan axon Dendrit Badan Sel Treshold Akson

5 o jaringan saraf tiruan adalah paradigma pengolahan informasi yang terinspirasi oleh sistem saraf secara biologis o JST dibentuk sebagai generalisasi model matematika dari jaringan syaraf biologi, dengan asumsi bahwa : 1. Pemrosesan informasi terjadi pada panyak elemen sederhana (neuron). 2. Sinyal dikirim diantara neuron-neuron melalui penghubung-penghubung. 3. Penghubung antar neuron memiliki bobot yang akan memperkuat atau memperlemah sinyal. 4. Untuk menentukan output, setiap neuron menggunakan fungsi aktivas. Besarnya output ini selanjutnya dibandingkan dengan suatu batas ambang. o JST juga ditentukan oleh 3 hal : a. Pola hubungan antar neuron (disebut aritektur jaringan). b. Metode untuk menentukan bobot penghubung (disebut metode training/learning). c. Fungsi aktivasi, yaitu fungsi yang digunakan untuk menentukan keluaran suatu neuron.

6 KOMPONEN JST ojaringan saraf tiruan memiliki komponen yang digunakan dalam membangun suatu arsitektur-arsitektur jaringan oneuron dikelompokkan ke dalam beberapa lapisan yang mana saling memiliki hubungan satu dengan yang lainnya yang disebut dengan lapisan (layer) 1. Lapisan Masukan (Input Layer), berisi node-node yang masing-masing menyimpan sebuah nilai masukan 2. Lapisan Tersembunyi (Hidden Layer), proses pada fase pelatihan dan fase pengenalan dijalankan di lapisan ini 3. Lapisan Keluaran (Output Layer), menampilkan hasil perhitungan sistem

7 ARSITEKTUR JST ojaringan dengan lapisan tunggal (single layer network)

8 ojaringan dengan banyak lapisan (Multi layer network)

9 PERCEPTRON Neuron: Sel syaraf biologis Perceptron: Sel syaraf buatan Input function Activation function Output

10

11 Perceptron x1 w x2... xp w y

12 PERCEPTRON Jika manusia punya 10 milyar neuron, apa yang bisa dilakukan? Sangat banyak hal bisa dilakukan Apalagi jika Multiple Intelligence Perceptron = MODEL SEDERHANA dari neuron Apa yang bisa dilakukan oleh satu perceptron? Klasifikasi Prediksi Optimasi,

13 AND 1 x2 x1 x2 y x1 0 1 x1 + x2 1,5 = 0 w1.x1 + w2.x2 1,5 = 0

14 AND x1 x2 y (v) 1 1 ( v) 0 if v if v v p v i 1 w i x i x1 w = 1 y y x2 w = 1 θ = 1,5

15 OR 1 x2 x1 x2 y x1 0 1 x1 + x2 0,5 = 0

16 OR x1 x2 y (v) 1 1 ( v) 0 if v if v v p v i 1 w i x i x1 w = 1 y y x2 w = 1 θ = 0,5

17 XOR 1 x2 x1 - x2 + 0,5 = 0 x1 x2 y x1 0 1 x1 - x2-0,5 = 0

18 XOR x1 x2 y θ = 0, x1 w = -1 y w = 1 w = 1 y y x2 w = 1 w = -1 θ = 0,5 y w = 1 θ = 0,5

19 PERCEPTRON NETWORK x1 w y x2... xp w y y

20 LEARNING Bagaimana menemukan weights yang tepat? Meminimumkan error

21 x 2 x 1 w 1 x 1 + w 2 x 2 - θ= 0

22 x 2 x 1

23 ACTIVATION FUNCTIONS Hard Limit Threshold Linear (Identity) Sigmoid Radial Basis Function (RBF)

24 HARD LIMIT (v) 1 ( v) 1 0 if if v 0 v 0 0 v

25 THRESHOLD (v) 1 ( v) 1 0 if if v v 0 v

26 SYMETRIC HARD LIMIT (v) 1 ( v) 1 if v 0 0 if v 0 1 if v 0 0 v -1

27 BIPOLAR THRESHOLD (v) 1 ( v) 1 if v 0 if v 1 if v 0 v -1

28 LINEAR (IDENTITY) (v) ( v) v v -1

29 PIECEWISE-LINEAR (v) 1 ( v) 1 v 0,5 0 jika v 0,5 jika 0,5 v 0,5 jika v 0,5-0,5 0 0,5 v

30 SYMETRIC PIECEWISE-LINEAR (v) 1 ( v) 1 v 1 jika v 1 jika1 v 1 jika v v -1

31 SIGMOID (v) 1 ( v) 1 1 e av 0 v

32 SYMETRIC (BIPOLAR) SIGMOID (v) 1 ( v) 1 1 e e av av 0 v -1

33 RADIAL BASIS FUNCTION (RBF) (v) ( v) e av v

34 ARSITEKTUR ANN Para ahli memodelkan sel syaraf otak manusia ke dalam berbagai arsitektur ANN (susunan neuron) yang berbeda-beda. Masing-masing arsitektur menggunakan algoritma belajar khusus.

35 SINGLE-LAYER FEEDFORWARD NETWORKS Input layer of source node Output layer of neurons

36 MULTI-LAYER FEEDFORWARD NETWORKS Input layer of source node Layer of hidden neurons Layer of output neurons

37 PROSES BELAJAR (LEARNING) Learning process Learning algorithm (rules) Learning paradigms Error-correction learning Bolzman learning Thorndike's law of effect Hebbian learning Competitive learning Supervised learning Reinforcement learning Self-organized (unsupervised) learning

38 PERCEPTRON: MODEL

39 PERCEPTRON: SIGNAL-FLOW GRAPH p v i 1 w i x i Decision boundary p i 1 w x i i 0

40 x 2 x 1 w 1 x 1 + w 2 x 2 - θ= 0 Decision boundary

41 Pelamar IPK Psikologi Wawancara Diterima P1 Bagus Tinggi Baik Ya P2 Bagus Sedang Baik Ya P3 Bagus Sedang Buruk Ya P4 Bagus Rendah Buruk Tidak P5 Cukup Tinggi Baik Ya P6 Cukup Sedang Baik Ya P7 Cukup Sedang Buruk Ya P8 Cukup Rendah Buruk Tidak P9 Kurang Tinggi Baik Ya P10 Kurang Sedang Buruk Tidak P11 Kurang Rendah Baik Ya

42 Pelamar IPK Psikologi Wawancara Diterima P P P P P P P P P P P

43 Wawancara IPK Psikologi 3 4

44

45 Pola Pix 1 Pix 2 Pix 3 Pix 4 Pix 5 Pix 100 E F G O O

46 MULTI-LAYER PERCEPTRON (MLP)

47 ALGORITMA BELAJAR PROPAGASI BALIK Definisikan masalah Matriks pola masukan (P) matriks target (T) Inisialisasi parameter jaringan Arsitektur jaringan (misalkan I-H-O) Synaptic weights acak (atau dengan metode tertentu) Learning rate (lr) laju belajar Threshold MSE untuk menghentikan learning

48 ALGORITMA BELAJAR PROPAGASI BALIK Pelatihan Jaringan Perhitungan Maju A 1 1 ( W1* P B1) 1 e A2 W2* A1 B2 E T A2 MSE E N 2

49 ALGORITMA BELAJAR PROPAGASI BALIK Pelatihan Jaringan Perhitungan Mundur 2 D 2 (1 A2 ) * E D1 (1 A1 2 ) *( W2* D2) dw1 dw1 ( lr * D1* P) dw 2 dw 2 ( lr * D2* P) db1 db1 ( lr * D1) db2 db2 ( lr * D2)

50 ALGORITMA BELAJAR PROPAGASI BALIK Pelatihan Jaringan Perhitungan Mundur W1 W1 dw1 B1 B1 db1 W 2 W2 dw 2 B2 B2 db2

51 ALGORITMA BELAJAR PROPAGASI BALIK Langkah-langkah di atas adalah untuk satu kali siklus pelatihan (satu epoch). Biasanya, pelatihan harus diulang-ulang lagi hingga jumlah siklus tertentu atau telah tercapai MSE yang diinginkan. Hasil akhir dari pelatihan jaringan adalah bobot-bobot W1, W2, B1 dan B2.

52

53 PENGENALAN KARAKTER E, F, G, O Pola Pix 1 Pix 2 Matriks P Pix 3 Pix 4 Pix 5 Pix 100 E F G O E O Matriks T N1 N2 N3 N4 Kelas E F G O E O

54 Training W1 & W2: Random W A1 0.7 W A2 0.9 T 1 E 0.1 F2, G2, O2, dan seterusnya hingga pola O

55 Testing W1 & W2: Trained W W A2 0.8 Kelas

56 Metode Konvensional (Template Matching) Memory besar Waktu lama!!!

57 PERMASALAHAN PADA MLP Bagaimana struktur ANN yang optimal? Jumlah hidden layer Jumlah neuron pada hidden layer Jumlah neuron pada output layer Fungsi aktivasi yang optimal Learning Rate Kapan Menghentikan Learning

58 ALGORITMA BELAJAR PROPAGASI BALIK Pelatihan Jaringan Perhitungan Mundur 2 D 2 (1 A2 ) * E D1 (1 A1 2 ) *( W2* D2) dw1 dw1 ( lr * D1* P) dw 2 dw 2 ( lr * D2* P) db1 db1 ( lr * D1) db2 db2 ( lr * D2)

59 PENGENALAN TANDA TANGAN MENGGUNAKAN METODE JARINGAN SARAF TIRUAN PERCEPTRON DAN BACKPROPAGATION

60 PENGUMPULAN DATA ojenis data yang digunakan pada penelitian ini adalah jenis data kuantitatif ojumlah data sebanyak 500 data tanda tangan dari 10 orang yang terdiri dari 400 data training dan 100 data testing.

61 ARSITEKTUR PROGRAM

62 AKUISISI CITRA oakuisisi citra digital merupakan proses menangkap (capture) atau memindai (scan) citra analog sehingga diperoleh citra digital. oalat yang dapat digunakan untuk mengakuisisi citra digital antara lain: kamera digital, web cam, smart phone, scanner, mikroskop digital, pesawat rontgen, pesawat sinar X, pesawat MRI, pesawat CT Scan, atau pesawat radiodiagnostik lainnya.

63

64 PREPROCESSING opemotongan (Cropping) oresize ocitra keabuan (grayscale) ocitra biner

65 PEMOTONGAN (CROPPING) oproses croping dilakukan untuk mendapatkan masing-masing citra digital dari hasil scanning

66 RESIZE oproses resize adalah merubah ukuran piksel pada semua citra

67 CITRA RGB o Inputan citra digital awal masih berbentuk citra RGB. RGB adalah suatu model warna yang terdiri dari merah, hijau, dan biru digabungkan dalam membentuk suatu susunan warna yang luas. Setiap warna memiliki range Dengan cara ini, akan diperoleh warna campuran sebanyak 256 x 256 x 256 = jenis warna.

68

69

70 CITRA KEBUAN (GRAYSCALE)

71

72 CITRA BINER o Citra biner adalah citra digital yang hanya memiliki dua kemungkinan nilai pixel yaitu hitam dan putih. Hanya dibutuhkan 1 bit untuk mewakili nilai setiap pixel dari citra biner.

73 osetelah nilai warna citra diubah dalam biner, nilai biner tersebut akan diubah yang sebelumnya bernilai 0 menjadi 1 dan 1 menjadi 0. Dengan tujuan mengubah latar gambar menjadi nilai 0 dan objek menjadi nilai 1, karena pola dari nilai 1 yang akan dipelajari nantinya.

74

75 LABELING o Setelah preprocessing selesai maka akan didapat nilai biner dalam bentuk matrix. Sebelum masuk proses pemberian label data matrix diubah menjadi vector (matrix satu baris).

76 o Proses pemberian label ini adalah proses klasifikasi pada setiap vector dari semua 400 citra latih yang sudah didapatkan o Pemberian label ini bertujuan agar vector yang sudah dilatih dapat dikenali sebagai vector dari citra tanda tangan yang tepat Citra Tanda Tangan Label Target 1 40 Afi Andri Candra Damar Dian Enjang Rama Restu Riqza Rizki

77

78 PROSES PELATIHAN operceptron obackpropagation

79 PERCEPTRON o Model jaringan perceptron ditemukan oleh Rosenblatt (1926) dan Minsky Papert (1969). Model tersebut merupakan model yang memiliki aplikasi dan pelatihan yang paling baik di era tersebut.

80

81 ARSITEKTUR JST ojaringan dengan lapisan tunggal (single layer network)

82 ACTIVATION FUNCTIONS (FUNGSI AKTIVASI) Hard Limit Threshold Linear (Identity) Sigmoid Radial Basis Function (RBF)

83 FUNGSI AKTIVASI PERCEPTRON

84

85 PROSES PEMBELAJARAN PERCEPTRON Misalkan: s adalah vektor masukan dan t adalah target keluaran α adalah laju pemahaman (learning rate) yang ditentukan. Ɵ adalah threshold yang ditentukan.

86 ket: y_in = nilai output sebelum dimasukan ke dalam fungsi aktivasi y = nilai output

87 Ket : Δw = nilai pembaruan bobot Δb = nilai pembaruan bias

88 Ada beberapa hal yang perlu diperhatikan dalam algoritma tersebut : Iterasi dilakukan terus hingga semua pola memiliki keluaran jaringan yang sama dengan targetnya (jaringan sudah memahami pola). Pada langkah 2(c), perubahan bobot hanya dilakukan pada pola yang mengandung kesalahan (output target). Kecepatan iterasi ditentukan pula oleh laju pemahaman yang dipakai. Semakin besar harga α, semakin sedikit iterasi yang diperlukan. Akan tetapi jika α terlalu besar, makan akan merusak pola yang sudah benar sehingga pemahaman menjadi lambat.

89 BACKPROPAGATION o Kelemahan JST terdiri dari layer tunggal membuat perkembangan JST menjadi berhenti pada sekitar tahhun 1970-an. o JST dengan layer tunggal memiliki keterbatasan dalam pengenalan pola. o Kelemahan ini bisa ditanggulangi dengan menambahkan satu/beberapa layer tersembunyi diantara layer masukan dan keluaran. o backpropagation melatih jaringan untuk mendapatkan keseimbangan antara kemampuan jaringan untuk mengenali pola yang digunakan selama pelatihan serta kemampuan jaringan untuk memberikan respon yang benar terhadap pola masukan yang serupa (tapi tidak sama) denga pola yang dipakai selama pelatihan.

90 ARSITEKTUR BACKPROPAGATION o Backpropagation adalah metode penurunan gradien untuk meminimalkan kuadrat error keluaran. o Ada tiga tahap yang harus dilakukan dalam pelatihan jaringan, yaitu tahap perambatan maju (forward propagation), tahap perambatan balik, dan tahap perubahan bobot dan bias.

91 FUNGSI AKTIVASI Dalam backpropagation, fungsi aktivasi yang sering dipakai adalah : ofungsi sigmoid biner yang memiliki range (0 hingga 1). o Fungsi sigmoid bipolar yang memiliki range (1 hingga -1).

92 FUNGSI SIGMOID BINER

93 FUNGSI SIGMOID BIPOLAR

94 PROSES PEMBELAJARAN BACKPROPAGATION Proses ini menggambarkan contoh tiga lapisan dengan dua input dan satu output yang ditampilkan Ket: x = input V = bobot yang menuju hidden layer Z = hidden layer W = bobot yang menuju output layer Y = output layer

95 Ket : z_net = nilai bayangan hidden layer/nilai hidden layer yang belum masuk fungsi aktivasi Z = nilai hidden layer Proses perambatan maju / feed forward (mecari nilai hidden layer)

96 Ket : y_net = nilai bayangan output layer/nilai output layer yang belum masuk fungsi aktivasi y = nilai hidden layer Proses perambatan maju / feed forward (mecari nilai output layer)

97 Proses perambatan mundur / backpropagation (mecari nilai titik pembaruan bobot output layer)

98 Proses perambatan mundur / backpropagation (mecari nilai titik pembaruan bobot hidden layer)

99 Proses pembaruan bobot

100 o Lakukan langkah-langkah tersebut hingga nilai kesalahan terpenuhi atau hingga jumlah iterasi telah mencai batas maksimum. o Setelah pelatihan selesai dilakukan, jaringan dapat dipakai untutk pengenalan pola. o Apabila fungsi aktivasi yang dipakai bukan sigmoid biner, maka langkah harus disesuaikan lagi.

101 MENGHITUNG MSE Ket : e = error n = jumlah data

102 MODEL PENGETAHUAN omodel pengetahuan pada dasarnya adalah sebuah wadah yang menyimpan arsitektur jaringan dari kedua algoritma yang sudah dilatih dengan data latih hingga mendapakan akurasi tertentu. odi dalam model pengetahuan disimpan pengetahuan berupa jumlah layer, banyaknya neuron, target, bobot, fungsi aktivasi dan error

103 PROSES PENGUJIAN odata uji akan melewati proses awal yang sama seperti pada data latih yaitu proses preprocessing (pemotongan, resize, citra keabuan, citra biner dan vector) osetelah vector data uji di dapat,vector tersebut akan dimasukan ke dalam model pengetahuan dan selanjutnya akan dilihat seberapa akurat model pengetahuan yang sudah dibuat

104 HASIL opelatihan opengujian okebutuhan jaringan sebagai berikut : 1. Batas epoch / iterasi maksimal adalah 1000 epoch 2. Target error (MSE) sebesar 0, Learning rate sebesar 0,1 hingga 0,9 4. Untuk bobot jaringan ditentukan secara acak oleh komputer dengan mengambil nilai acak yang cukup kecil

105 Citra Label Target Target (desimal) Jumlah citra Citra dikenali Citra tidak dikenali PELATIHAN afi1 afi40 Afi Perceptron andri1 andri40 candra1 candra40 Andri Candra damar1 damar40 Damar dian1 dian40 Dian Berdasarkan evaluasi hasil latih terhadap data latih, didapatkan rata rata akurasi untuk proses pelatihan menggunakan algoritma Perceptron sebesar 100%. enjang1 enjang40 rama1 rama40 restu1 restu40 riqza1 riqza40 Enjang Rama Restu Riqza rizki1 rizki40 Rizky jumlah

106 Citra Label Target Target (desimal) Jumlah citra Citra dikenali Citra tidak dikenali PELATIHAN afi1 afi40 Afi Backpropagation andri1 andri40 Andri candra1 candra40 Candra damar1 damar40 Damar dian1 dian40 Dian Berdasarkan evaluasi hasil latih terhadap data latih, didapatkan rata rata akurasi untuk proses pelatihan menggunakan algoritma backpropagation sebesar 100%. Dengan rata rata error akhir (MSE) adalah 0, pada epoch ke enjang1 enjang40 Enjang rama1 rama40 Rama restu1 restu40 Restu riqza1 riqza40 Riqza rizki1 rizki40 Rizky jumlah

107

108 Citra Jumlah Citra dikenali Citra tidak dikenali PENGUJIAN Perceptron Afi41 afi Andri41 andri Candra41 candra Damar41 damar Dian41 dian Enjang41 enjang Rama41 rama Restu41 restu didapatkan rata rata akurasi untuk proses pengujian terhadap hasil latih yang menggunakan algoritma Perceptron sebesar 76%. Dan rata- rata kesalahan untuk setiap 10 data uji adalah 2 data. Riqza41 riqza Rizki41 rizki jumlah

109 Citra Jumlah Citra dikenali Citra tidak dikenali PENGUJIAN Backpropagation Afi41 afi Andri41 andri Candra41 candra Damar41 damar Dian41 dian Enjang41 enjang Rama41 rama Restu41 restu didapatkan rata rata akurasi untuk proses pengujian terhadap hasil latih yang menggunakan algoritma Backpropagation sebesar 86%. Dan rata- rata kesalahan untuk setiap 10 data uji adalah 1 data. Riqza41 riqza Rizki41 rizki jumlah

110 Referensi : Suyanto Artificial Intelligence: Searching, Reasoning, Planning and Learning. Informatika, Bandung Indonesia. ISBN: Russel, Stuart and Norvig, Peter Artificial Intelligence: A Modern Approach. Prentice Hall International, Inc.