Simple ANN (Multilayer Perceptron) dengan Keras. Alfan F. Wicaksono Fakultas Ilmu Komputer Universitas Indonesia

Ukuran: px

Mulai penontonan dengan halaman:

Download "Simple ANN (Multilayer Perceptron) dengan Keras. Alfan F. Wicaksono Fakultas Ilmu Komputer Universitas Indonesia"

Yulia Budiman
6 tahun lalu
Tontonan:

1 Simple ANN (Multilayer Perceptron dengan Keras Alfan F. Wicaksono Fakultas Ilmu Komputer Universitas Indonesia

2 Disclaimer Ini bukan tutorial untuk mempelajari ANN & Deep Learning secara detail. Tujuan tutorial ini adalah memahami kulit dari ANN dan bisa menggunakan tool Keras untuk mengaplikasikannya.

3 Tips Jika memang ingin mendalami Deep Learning dan bisa mengikuti tutorial Deep Learning yang tersedia, tahap awal adalah memahami dengan baik 5 topik berikut: Optimasi dengan gradient descent/ascent & algoritma lain Linear Regression Logistic Regression Multilayer Neural Networks Konsep Backpropagation

4 Tools Sebuah tool untuk membangun arsitektur deep learning dengan cukup mudah.

5 Logistic Regression Berbeda dengan Linear Regression, Logistic Regression digunakan untuk permasalahan Binary Classification. Jadi output yang dihasilkan adalah diskrit! ( atau 0, (ya atau tidak. Misal, diberikan 2 hal:. Unseen data yang ingin diprediksi labelnya, yaitu y. 2. Model logistic regression dengan parameter θ 0, θ,, θ n yang sudah ditentukan. 9 September z n i i i n n e z y P y P y P ( ; ( ; 0 ( (... ( ; ( 0 0

6 Logistic Regression Bisa digambarkan dalam bentuk single neuron. 9 September z n i i i n n e z y P y P y P ( ; ( ; 0 ( (... ( ; ( θ θ2 θ3 θ0 Dengan fungsi sigmoid sebagai activation function How to learn the parameters?

7 Logistic Regression Merupakan sebuah Linear Model! Garis pemisah adalah garis lurus! A non-linearly separable data 9 September 206 7

8 Logistic Regression Cocok untuk data di bawah?? Merupakan sebuah Linear Model! Garis pemisah adalah garis lurus! 9 September 206 8

9 Neural Network: Non-Linear Model

10 Multilayer Neural Network (Multilayer Perceptron Misal, ada 3-layer NN, dengan 3 input unit, 2 hidden unit, dan 2 output unit. 2 3 ( W ( W 2 ( W 2 ( W 22 ( W 3 ( W 23 b ( b 2 ( (2 W (2 W 2 (2 W 2 (2 W 22 (2 (2 b b W (, W (2, b (, b (2 adalah parameter! 9 September 206 0

11 Multilayer Neural Network, Cara Melakukan Prediksi Misal, untuk activation function, kita gunakan fungsi hyperbolic tangent. f ( tanh( Untuk menghitung output di hidden layer: z z (2 (2 2 W W ( ( 2 W W ( 2 ( W W ( 3 ( b b ( ( 2 a a (2 (2 2 f f ( z ( z (2 (2 2 Ini hanyalah perkalian matri! ( ( ( ( (2 ( ( W W2 W3 b z W b 2 ( ( ( ( W2 W22 W23 b2 9 September 206 3

12 Multilayer Neural Network, Cara Melakukan Prediksi Jadi, Proses feed-forward secara keseluruhan hingga menghasilkan output di kedua output unit adalah: z a z h (2 (2 (3 W, b W W ( f ( z (2 ( a b (2 a (2 (3 ( b (2 softma ( z (3 Learning Parameters? See Backpropagation Algorithm! 9 September 206 2

13 ANN dengan Keras Misal, ini fully-connected Input: 779 unit 256 unit 64 unit Output: 0 unit

14 ANN dengan Keras Sequential API from keras.models import Sequential from keras.layers import Dense, Activation (num_samples, 779 model = Sequential( model.add(dense(output_dim=256, input_dim=779 model.add(activation("relu" model.add(dense(output_dim=64 model.add(activation("relu" model.add(dense(output_dim=0 model.add(activation("softma" Dense Layer (num_samples, 256 Dense Layer (num_samples, 64 Dense Layer (num_samples, 0

15 Kompilasi Model from keras.optimizers import SGD model.compile(loss='categorical_crossentropy', \ optimizer=sgd(lr=0.0, momentum=0.9, nesterov=true, \ metrics=['accuracy'] Dalam proses estimasi parameter pada ANN, kita perlu loss-function. Tujuan estimasi parameter melalui data adalah mencari nilai parameter sehingga lossfunction kita menjadi minimal. categorical_crossentropy adalah loss-function yang sering digunakan seandainya ada minimal 2 output unit pada layer terakhir.

16 Gradient Descent (GD: salah satu optimizer yang digunakan Problem: carilah nilai sehingga fungsi f( = mencapai titik local minimum. Misal, kita pilih dimulai dari =2.0: Algoritma GD konvergen pada titik = 0.699, yang merupakan local minimum. Local minimum 9 September 206 6

17 Training/Estimasi Parameter dengan Data model.fit(x_train, Y_train, \ nb_epoch=50, \ batch_size=32, \ verbose=, \ validation_data=(x_test, Y_test EPOCH: banyaknya iterasi yang dilakukan oleh Stochastic Gradient Descent (atau Optimizer yang lain untuk mencari parameter yang meminimalkan loss-function.

18 Evaluasi & Prediksi #Evaluasi di testing data, menggunakan akurasi loss_and_metrics = model.evaluate(x_test, Y_test, batch_size=32 print (loss_and_metrics #Prediksi kelas dari data baru (unseen data classes = model.predict_classes(x_test, batch_size=32 #Nilai probabilitas masing-masing kelas proba = model.predict_proba(x_test, batch_size=32

19 Apa yang perlu di-import sejauh ini? from keras.models import Sequential from keras.layers import Dense, Activation from keras.optimizers import SGD

20 Data MNIST Kita Kita akan gunakan kembali data MNIST berformat SVMLIB yang diberikan di tutorial sebelumnya Perlu import beberapa tools dari Scikit-Learn & numpy: from sklearn.datasets import load_svmlight_file from sklearn import preprocessing from sklearn.cross_validation import train_test_split import numpy as np

21 One-Hot Vector #toonehot(np.array([0,3,], n #convert [0,3,] to one-hot vector -> [[, 0, 0, 0,...], # [0, 0, 0,,...], # [0,, 0, 0,...]] def toonehot(np_arrayd, n_labels: np_arrayd = np_arrayd.astype(int np_array2d = np.zeros((np_arrayd.shape[0], n_labels np_array2d[np.arange(np_arrayd.shape[0], np_arrayd] = return np_array2d

22 Load Data & Preprocess #load dataset in svmlib format X, y = load_svmlight_file("dataset.tt" X = X.toarray( y = toonehot(y, 0 # label ada 0 di MNIST data #scaling to [0,] min_ma_scaler = preprocessing.minmascaler( X_scaled = min_ma_scaler.fit_transform(x #split train-testing X_train, X_test, Y_train, Y_test = train_test_split(x_scaled, y, test_size=0.3

23 Dengan Keras Functional API from keras.layers import Input, Dense from keras.models import Model # mengembalikan tensor inputs = Input(shape=(779, # callable pada sebuah tensor, dan mengembalikan tensor = Dense(256, activation='relu'(inputs = Dense(64, activation='relu'( predictions = Dense(0, activation='softma'( # model dengan Input layer dan 3 Dense layers model = Model(input=inputs, output=predictions model.compile(optimizer='sgd', loss='categorical_crossentropy', metrics=['accuracy'] model.fit(x_train, Y_train # starts training

24 Belajar Sendiri Keras Sequential API: Keras Functional API: Daftar layer pada keras: [warning] Butuh belajar tentang teori Deep Learning dahulu

25 Simpan Arsitektur Model #save as json json_string = model.to_json( print(json_string #save as yaml yaml_string = model.to_yaml( print(yaml_string

26 Rekonstruksi Model from models import model_from_json from models import model_from_yaml json_string = model.to_json( model = model_from_json(json_string yaml_string = model.to_yaml( model = model_from_yaml(yaml_string

27 Melihat Parameter/Weight Model weights = model.get_weights( #bisa set weights #shape sama dengan yang dikembalikan di atas model.set_weights(weights

28 Visualisasi Layer Plot graf dari model, dan menyimpan di sebuah file citra from keras.utils.visualize_util import plot plot(model, to_file='model.png'

29 Simpan & Baca Parameter Model Harus ada modul untuk mendukung baca-tulis ke file HDF5 model.save_weights('parameter_model.h5' model.load_weights('parameter_model.h5'

dokumen-dokumen yang mirip

BAB III LANDASAN TEORI

BAB III LANDASAN TEORI 3.1. Citra Digital Citra digital adalah suatu citra elektronik yang diambil dari dokumen, seperti foto, buku, maupun sebuah video. Proses perubahan citra analog menjadi citra digital