Metode Kernel. Machine Learning

Transkripsi

1 MMA10991 Topik Khusus Machine Learning Metode Kernel Dr. rer. nat. Hendri Murfi Intelligent Data Analysis (IDA) Group Departemen Matematika, Universitas Indonesia Depok Telp / , Fax , . Machine Learning Input Metode Output x 1 x 2 : x D y(x,w) Klasifikasi, regresi, clustering, dll Preprocessing: representasi data (dalam bentuk vektor), pemilihan/ekstraksi fitur dari data, misal x i = (x 1, x 2,.., x D ) T Learning: pemilihan model dan penentuan parameter metode, misal w, berdasarkan data pelatihan (training data) Testing: pengujian metode dengan data penguji (testing data) yang tidak sama dengan data pelatihan, sehingga didapat nilai estimasi untuk kapabilitas generalisasi dari metode. 2

2 Learning Diberikan data pelatihan x i, i = 1 sd N, dan/atau t i, i = 1 sd N Supervised Learning. Data pelatihan disertai target, yaitu {x i, t i }, i = 1 sd N. Tujuan pembelajaran adalah membangun model yang dapat menghasilkan output yang benar untuk suatu data input, misal untuk regresi, klasifikasian, regresi ordinal, ranking, dll Unsupervised Learning. Data pelatihan tidak disertai target, yaitu x i, i = 1 sd N. Tujuan pembelajaran adalah membagun model yang dapat menemukan komponen/variabel/fitur tersembunyi pada data pelatihan, yang dapat digunakan untuk: pengelompokan (clustering), reduksi dimensi (dimension reduction), rekomendasi, dll 3 Supervised Learning Regresi Nilai output t i bernilai kontinu (riil) Bertujuan memprediksi output dari data baru dengan akurat Klasifikasi Nilai output t i bernilai diskrit (kelas) Bertujuan mengklasifikasi data baru dengan akurat 4

3 Model Linear Model yang umum digunakan untuk menyelesaikan masalah klasifikasi dan regresi adalah model linear, yaitu model yang merupakan kombinasi linear dari fungsi basis: Dimana x = (x 1, x 2,..., x D ) T adalah variabel input, dan w = (w 0, w 1,..., w D ) T adalah parameter, φ(x) adalah fungsi basis, M adalah jumlah total parameter dari model Biasanya, φ 0 (x) = 1, sehingga w 0 berfungsi sebagai bias Ada banyak pilihan yang mungkin untuk fungsi basis φ(x), misal fungsi linear, fungsi polinomial, fungsi gaussian, fungsi sigmoidal, dll 5 Model Linear Kutukan Dimensi Model linear memiliki sifat-sifat yang penting baik dari aspek komputasi maupun analitik. Penggunaan model linear dengan pendekatan parametrik pada metode klasik memiliki keterbatasan pada aplikasi praktis disebabkan oleh kutukan dimensi (curse of dimensionality) y x, w =w 0 w 1 x w 2 x 2 w 3 x 3 1 D 3 untuk model beorde M, maka pertumbuhan jumlah parameter w proposional dengan D M 6

4 Model Linear Pendekatan Alternatif Pendekatan alternatif adalah menentukan jumlah fungsi basis didepan, akan tetapi masing-masing fungsi basis tersebut adaptif terhadap semua data pembelajaran. Dengan kata lain, menggunakan bentuk parametrik tidak linear dimana nilai-nilai parameter adaptif selama proses training. Contoh metode yang menggunakan pendekatan ini adalah neural networks (NN). 7 Model Linear Pendekatan Nonparametrik Untuk menerapkan metode ini pada masalah skala besar, pendekatan umum yang dilakukan adalah membuat fungsi basis dapat beradaptasi dengan data pembelajaran, dan menetapkan data pembelajaran tersebut sebagai pusat fungsi basis. Selanjutnya, memilih sebagian dari data pembelajaran tersebut selama proses pelatihan (nonparametrik). Dasarnya adalah bahwa data real biasanya memiliki sifat mulus, artinya perubahan sedikit pada data input hanya akan memberikan sedikit perubahan pada output Penggunaan fungsi kernel sebagai fungsi basis adalah salah satu contoh pendekatan seperti ini yang banyak digunakan saat ini. 8

5 Fungsi Kernel : Contoh Salah satu contoh fungsi kernel yang banyak digunakan adalah Gaussian radial basis function (RBF), yaitu: k(x,x') = φ( x-x' ) = exp(- x-x' 2 / 2s 2 ) dimana x' adalah inti yang dipilih dari data pelatihan. Contoh: fungsi basis dengan pusat/inti x' = 5 dan bobot w = 0.04 dapat digambarkan sbb: w * k(x,5) = 0.04 * φ( x-5 ) Metode Kernel = 0.04 * exp(- x-5 2 / 2s 2 ) 9 Fungsi Kernel Definisi Fungsi kernel adalah suatu fungsi k yang mana untuk semua vektor input x,z akan memenuhi kondisi k(x,z) = φ(x) T φ(z) dimana φ(.) adalah fungsi pemetaan dari ruang input ke ruang fitur Dengan kata lain, fungsi kernel adalah fungsi hasil kali dalam (inner product) pada ruang fitur. 10

6 Fungsi Kernel Contoh Contoh 1: k(x,z) = (x T z) 2 adalah fungsi kernel untuk x, z R 2 Bukti: misal x=(x 1,x 2 ), z=(z 1,z 2 ) maka (x T z) 2 = (x 1 z 1 + x 2 z 2 ) 2 = x 12 z x 1 z 1 x 2 z 2 + x 22 z 2 2 = (x 12, 2 x 1 x 2, x 22 ) T (z 12, 2 z 1 z 2, z 22 ) = φ(x) T φ(z) sehingga k(x,z) = (x T z) 2 adalah suatu fungsi kernel dengan fungsi pemetaan φ(x) = (x 12, 2 x 1 x 2, x 2 ), yaitu suatu fungsi pemetaan dari R 2 ke R Fungsi Kernel Aproksimasi Nilai Inner Product Dari definisi dan contoh sebelumnya maka terlihat bahwa jika kita memiliki suatu fungsi kernel maka kita dapat menghitung inner product pada ruang fitur secara langsung dari ruang input tanpa secara eksplisit menghitung koordinat proyeksi masing-masing vektor input pada ruang fitur Inner product adalah operasi yang sangat penting karena sangat erat kaitannya dengan persoalan geometri dari data pada ruang fitur, misal untuk menghitung jarak: φ(x)-φ(z) 2 = φ(x) T φ(x) + φ(z) T φ(z) - 2φ(x) T φ(z) = k(x,x) + k(z,z) - 2k(x,z) 12

7 Fungsi Kernel Konstruksi 1 Pendekatan pertama adalah memilih suatu fungsi pemetaan φ(x) dan kemudian menggunakannya untuk mengkonstruksi kernel dengan cara sbb: M k x, x ' = x T x ' = i x i x ' i=1 i x =x i k x, x ' untuk x ' = 0 13 Fungsi Kernel Konstruksi 1 Contoh lain untuk fungsi basis Gaussian: M k x, x ' = x T x ' = i x i x ' i=1 i x =exp{ x i 2 2s 2 } k x, x ' untuk x ' = 0 14

8 Contoh lain untuk fungsi basis sigmoid: Fungsi Kernel Konstruksi 1 M k x, x ' = x T x ' = i x i x ' i=1 i x = x i s dimana a = 1 1 exp a k x, x ' untuk x ' = 0 15 Pendekatan alternatif adalah dengan cara mengkonstruksi fungsi kernel secara langsung. Selanjutnya, kita harus memastikan bahwa fungsi tersebut adalah suatu fungsi kernel yang benar, yaitu suatu inner product pada ruang fitur. Contoh: Fungsi Kernel Konstruksi 2 Pada Contoh 1, k(x,x') = (x T x') 2 adalah suatu fungsi kernel, karena ia merupakan juga suatu inner product, yaitu k(x,x') = φ(x) T φ(x'), pada ruang fitur yang didefiniskan oleh fungsi pemetaan φ(x) = (x 12, 2 x 1 x 2, x 22 ) Secara umum, untuk menunjukan bahwa k(x,x') adalah fungsi kernel tanpa secara eksplisit mendefiniskan φ(x) adalah berdasarkan kondisi berikut ini: Kondisi cukup dan perlu untuk suatu fungsi k(x,x') menjadi suatu fungsi kernel yang valid adalah bahwa matrix Gram K, dimana elemen-elemenya adalah k(x n,x m ), harus semidefinit positip untuk semua pemilihan yang mungkin dari himpunan {x n } 16

9 Fungsi Kernel Konstruksi 3 Pendekatan lain untuk mengkonstruksi fungsi kernel baru, misal k(x,x'), adalah menggunakan fungsi kernel yang lebih sederhana yang sudah ada, misal k 1 (x,x') dan k 2 (x,x'), berdasarkan sifat-sifat berikut ini: 1. k(x,x') = c k 1 (x,x') 2. k(x,x') = f(x) k 1 (x,x') f(x') 3. k(x,x') = q (k 1 (x,x')) 4. k(x,x') = exp(k 1 (x,x')) 5. k(x,x') = k 1 (x,x') + k 2 (x,x') 6. k(x,x') = k 1 (x,x') k 2 (x,x') 7. k(x,x') = k 3 (φ(x),φ(x')) 8. k(x,x') = x T A x' 9. k(x,x') = k a (x a,x a ') + k b (x b,x b ') 10.k(x,x') = k a (x a,x a ') k b (x b,x b ') dimana c > 0 adalah konstanta, f(.) adalah suatu fungsi, q(.) adalah suatu polinomial dengan koefisien nonnegatif, φ(x) adalah suatu fungsi dari x ke R M, k 3 (.,.) adalah suatu kernel pada R M, A adalah suatu matrik simetri semidefinit positip, x a dan x b adalah variabel x = (x a,x b ), dan k a dan k b adalah fungsi kernel pada ruang yang bersesuaian 17 Fungsi Kernel Konstruksi 3 Contoh: k(x,x') = exp(- x - x' 2 /2σ 2 ) adalah suatu fungsi kernel dikenal juga dengan nama fungsi kernel 'Gaussian' atau kernel radial basis function (RBF). Bukti: Karena x x' 2 = x T x + (x') T x' 2 x T x, maka k(x,x') = exp(-x T x/2σ 2 ) exp(x T x'/σ 2 ) exp(-(x') T x'/2σ 2 ). Dengan menggunakan kondisi 1, 2 dan kondisi 4, dan bahwa k 1 (x,x') = x T x adalah fungsi kernel, maka k(x,x') adalah suatu fungsi kernel 18

10 Fungsi Kernel Contoh Populer Linear : T k(x i, x j ) = x i x j Polynomial : T k(x i, x j ) = (γ x i x j + r) d, dimana γ > 0 Radial basis function (RBF) : Sigmoid : k x i, x j =exp{ x i x j } k x i, x j = tanh x T i x j r, 1 dimana tanh a =2 a 1, dan a = 1 exp a 19 Metode Kernel Keuntungan Fungsi kernel memungkinkan kita untuk mengimplementasikan suatu model pada ruang dimensi lebih tinggi (ruang fitur) tanpa harus mendefinisikan fungsi pemetaan dari ruang input ke ruang fitur (Contoh pada halaman 11) Sehingga, untuk kasus yang nonlinearly separable pada ruang input, diharapkan akan menjadi linearly separable pada ruang fitur Selanjutnya, kita dapat menggunakan hyperplane sebagai decision boundary secara efisien 20

11 Metode Kernel Penggunaan Secara umum, ada dua cara penggunaan metode kernel pada machine learning, yaitu: Penggunaan langsung, yaitu fungsi kernel digunakan sebagai fungsi basis dari model machine learning tersebut, contoh: radial basis function networks Penggunaan tidak langsung melalui kernel trick, yaitu merepresentasikan suatu model kedalam representasi dual yang mengandung inner product dari fungsi pemetaan, contoh: support vector machine, kernel linear regression, kernel Perceptron, dll arg min w,b s.t. L a = 1 2 n=1 N N N m=1 = a n 1 n=1 2 n=1 N 1 2 w 2 t n w T x n b 1, n=1,.., N = a n 1 n=1 2 n=1 Metode Kernel Kernel Trick N N a n a m t n t m x n T x n n=1 m=1 N N m=1 N N m=1 a n a m t n t m x n T x m a n a m t n t m k x n, x m arg max a s.t. N N a n a m t n t m x n T x n b n=1 m=1 N L a = a n 1 n=1 2 n=1 a n 0, n=1,.., N N a n t n =0 n=1 N N m=1 N a n n=1 a n t n a n a m t n t m k x n, x m

12 Referensi Bishop, C. H., Pattern Recognition and Machine Learning, Springer, 2006 (Bab 6.1, Bab 6.2) Shawe-Taylor, J., Cristianini, N., Kernel Method for Pattern Analysis, Cambridge University Press, 2004