Support Vector Machine Teori dan Aplikasinya

Transkripsi

1 UNS Sebeas Maret, 28 Agustus 2017 Support Vector Machine Teori dan Apikasinya Dr. Anto Satriyo Nugroho Emai : anto.satriyo@bppt.go.id h:p://asnugroho.net Pusat Teknoogi Informasi & Komunikasi Badan Pengkajian & Penerapan Teknoogi

2 Review singkat mengenai : Pa:ern recogniron Machine earning Feature / a:ribute Cass / category Decision funcron Decision/discriminaRon boundary Learning phase TesRng / recogniron phase

3 x 2 Tinggi badan (feature) Cass : sumo Cass : soccer payer x 1 Berat badan (feature)

4 x 2 Tinggi badan Learning phase 4 Hasi proses pearhan : menemukan persamaan garis pemisah sumo vs soccer f (x) = 4x 1 + 3x x 1 Berat badan

5 4 x 2 feature f (x) = 4x 1 + 3x 2 12 Decision funcron Learning phase Decision boundary f (x) = 0 Proses earning Input : training set output : decision funcron yang mampu dipakai untuk membedakan dua keas yang berbeda f (x) > 0 f (x) < x 1 feature

6 4 x 2 feature ( 2.5, 4 ) TesRng/RecogniRon phase Decision boundary Sumo or soccer? f (x) = 4x 1 + 3x 2 12 x 1 = 2.5 x 2 = 4 f (x 1, x 2 ) =10 f (x) > 0 is 0 3 x 1 feature

7 Contoh ain, bagaimana decision boundary terbentuk oeh proses training pada murayer Perceptron URL: h:p://payground.tensorfow.org/

8 Agenda Apakah SVM itu? Bagaimana hyperpane oprma diperoeh? Hard margin vs So_ margin Non inear SVM Training & TesRng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan MuRayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada murcass probem So_ware-so_ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

9 Agenda Apakah SVM itu? Bagaimana hyperpane op7ma diperoeh? Hard margin vs So< margin Non inear SVM Training & TesRng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan MuRayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada murcass probem So_ware-so_ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

10 Support Vector Machine? Diperkenakan oeh Vapnik (1992) di internarona conference: A training agorithm for oprma margin cassifiers, BOSER, Bernhard E., Isabee M. GUYON, and Vadimir N. VAPNIK, COLT 92: Proceedings of the Fi_h Annua Workshop on ComputaRona Learning Theory. New York, NY, USA: ACM Press, pp Support Vector Machine memenuhi 3 syarat utama sebuah metode Pa:ern RecogniRon Robustness TheoreRcay Anaysis Feasibiity Pada prinsipnya bekerja sebagai binary cassifier. Berbagai peneiran diakukan untuk memakainya daam murcass probem Structura-Risk MinimizaRon

11 Binary Cassification DiscriminaRon boundaries Cass -1 Cass +1

12 Optima hyperpane by SVM d Margin Cass -1 Cass +1

13 Optima hyperpane by SVM Margin (d) = minimum distance antara hyperpane and training sampes Hyperpane yang paing baik diperoeh dengan memaksimakan niai margin Hyperpane yang paing baik itu akan meewar pertengahan antara kedua cass Sampe yang paing dekat okasinya terhadap hyperpane disebut support vector Proses earning daam SVM : mencari support vector untuk memperoeh hyperpane yang terbaik

14 Optima hyperpane by SVM d 1

15 Optima hyperpane by SVM d 2 d 2 > d 1

16 Optima hyperpane by SVM bukan d 3 d 3 d 3 >d 2 > d 1

17 Optima hyperpane by SVM d 4 d 4 d 4 >d 3 >d 2 > d 1

18 Optima hyperpane by SVM " x = x, x,, ) ( 1 2! x d f (x) =<! w,! x > +b = T dim j=1 w j x j + b margin d w! f ( x) > + 1 bias (1) b! w f ( x) = 1 f ( x) = + 1 f ( x) < 1 f ( x) = 0

19 Optima hyperpane by SVM Margin (d) = minimum distance antara hyperpane and training sampes. Hyperpane terbaik diperoeh dengan memaksimakan d. Bagaimana memaksimakan d? Training set:!! ( x, y1),( x2, y2! ),",( x, y 1 ) pa:ern cass-abe (+1 atau -1) distance antara hyperpane dengan pa:ern x pada training set <! w,! x > +b! w (2) Minimum distance antara hyperpane dengan training set min i=1,..., <! w, " x i > +b " w (3)

20 Optima hyperpane by SVM min i=1,..., <! w,! x i > +b =1 Constraint : (4) SubsRtusi (4) ke (3) diperoeh, maka minimum distance antara hyperpane dengan training set menjadi harus dimaksimakan w!1 (5) Minimize 2 PRIMAL FORM w! (6) Subject to y i (<! w,! x i > +b) 1 (i =1, 2,...,) (7) (7) : data diasumsikan 100% dapat terkasifikasikan dg benar

21 Optima hyperpane by SVM Lagrange MuRpier dipakai untuk menyederhanakan (6) dan (7) menjadi L( w,! b,α) = 1! w 2 α i (y i (< x! i, w! > +b) 1) 2 Sehingga diperoeh i=1 L b i= 1 = 0, L! = 0 w α dimana i y i = 0 (8) α i 0 (9) w,b Sousi dapat diperoeh dengan meminimakan L terhadap (prima variabes) dan memaksimakan L terhadap α i (dua variabes) Pada saat sousi itu diperoeh (RRk oprma), gradient L = 0 Dengan demikian! w = i= 1 α y i i! x i (10) (11) (12)

22 Optima hyperpane by SVM (11) dan (12) disubsrtusikan ke (8), sehingga diperoeh (13), (14) i= 1 α i y i = 0 " (11) w = α i yixi (12) i= 1! L(! w, b,α) = 1 2! w 2 i=1 α i (y i (<! x i, " w > +b) 1) (8) Maximize α Subject to i=1 α i 1 satu variabe α i α j y i y j < x! α i, x! j > 2 α 0 ( i = 1,2,..., ) α y i i, j=1 Fungsi yg diperoeh hanya memaksimakan saja i= 1 i i = 0 (13) (14)

23 L(! w, b,α) = 1 2! w 2 i=1! w 2 = <! w,! w >!! = α i y i xi, α j y j x j i=1 α i (y i (<! x i, " w > +b) 1) j=1 = α i α j y i y j <! x i,! x j > i, j=1 A α i (y i (< x! i, w " > +b) 1) = α i y i < x! i, w " > + α i y i b α i i=1 i=1 i=1 i=1!! = α i y i xi, α j y j x j + 0 α i i=1 j=1 i=1 = α i α j y i y j! xi,! x j + 0 α i i=1 A i=1 B

24 L(! w, b,α) = 1 2! w 2 i=1! w 2 = <! w,! w >!! = α i y i xi, α j y j x j i=1 α i (y i (<! x i, " w > +b) 1) j=1 ½ A (A-B) = B- ½ A = α i α j y i y j <! x i,! x j > i, j=1 A α i (y i (< x! i, w " > +b) 1) = α i y i < x! i, w " > + α i y i b α i i=1 i=1 i=1 i=1!! = α i y i xi, α j y j x j + 0 α i i=1 j=1 i=1 = α i α j y i y j! xi,! x j + 0 α i i=1 A i=1 B

25 L(! w, b,α) = 1 2! w 2 i=1 α i (y i (<! x i, " w > +b) 1) L ( w!, b, α) =! α i α i α j y i y j xi, x! j i=1 i=1

26 Optima hyperpane by SVM DUAL FORM Maximize α Subject to i=1 α 0 ( i = 1,2,..., ) α y i Fungsi yg diperoeh hanya memaksimakan satu variabe saja α i 1 α i α j y i y j < x! i, x! j > (13) 2 i, j=1 α i= 1 i i = 0 (14) Formua di atas merupakan masaah QuadraRc Programming, yang sousinya α i kebanyakan berniai 0. Data xi dari training set yang αi Rdak berniai 0 ituah yang disebut Support Vector (bagian training set yang paing informarf) Proses training daam SVM ditujukan untuk mencari niai α i

27 Optima hyperpane by SVM Apabia α teah diperoeh, maka w! dan dapat dihitung sbb. b " w = i= 1 α y i i! x i (12) b = 1 ( 2 < w,! x! 1 > + < w,! x! +1 > ) t! dihitung sbb. f ( t! ) = sgn α i y i < t!, x! i > +b i=1,x i SV Kasifikasi pa:ern sgn ( k) 1 = 1 k < 0 k 0 (15) (16)

28 Catatan Ada dua ha penrng yg peru diingat: 1. Persamaan (13) hanya memiiki sebuah singe goba maximum yang dapat dihitung secara efisien 2. Data Rdak ditampikan secara individua, meainkan daam bentuk dot product dari dua buah data

29 Hard Margin vs Soft Margin Minimize 2 w! (6) Subject to y i (<! w,! x i > +b) 1 (i =1, 2,...,) (7) Pada perhitungan sebeumnya, sesuai dengan pers. (7), data diasumsikan 100% dapat terkasifikasikan dg benar (Hard Margin). Padaha kenyataannya Rdak demikian. Umumnya data Rdak dapat terkasifikasikan 100% benar, sehingga asumsi di atas Rdak beraku dan sousi Rdak dapat ditemukan. So_ Margin: Meunakkan constraint dengan memberikan toeransi data Rdak terkasifikasi secara sempurna.

30 Separating hyperpane for 2D-data f ( x) > + 1 y i (<! w,! x i > +b) 1 f ( x) < 1 f ( x) = 1 f f ( x) = + 1 ( x) = 0

31 Hard Margin vs Soft Margin Minimize 2 w! (6) Subject to y i (<! w,! x i > +b) 1 (i =1, 2,...,) (7) Pada perhitungan sebeumnya, sesuai dengan pers. (7), data diasumsikan 100% dapat terkasifikasikan dg benar (Hard Margin). Padaha kenyataannya Rdak demikian. Umumnya data Rdak dapat terkasifikasikan 100% benar, sehingga asumsi di atas Rdak beraku dan sousi Rdak dapat ditemukan. So_ Margin: Meunakkan constraint dengan memberikan toeransi data Rdak terkasifikasi secara sempurna.

32 >1 ξ mengindikasikan bahwa training exampe teretak di sisi yang saah dari hyperpane x! i ξ i ξ j x! j

33 Soft Margin So_ margin diwujudkan dengan memasukkan sack variabe ξ i (ξ i > 0) ke persamaan (7), sehingga diperoeh y i (<! w,! x i > +b) 1 ξ i (i =1, 2,...,) (17) Sedangkan objecrve funcron (6) yang dioprmisasikan menjadi minimize 1 2! w + C C merupakan parameter yang mengkontro tradeoff antara margin dan error kasifikasi ξ. Semakin besar niai C, berarr penaty terhadap kesaahan menjadi semakin besar, sehingga proses training menjadi ebih ketat. 2 i= 1 ξ i Maximize α Subject to i=1 α i 1 α i α j y i y j < x! i, x! j > (13) 2 0 α C ( i = 1,2,..., ) α y i i, j=1 i= 1 i i = 0 (18)

34 Soft Margin Berdasarkan Karush-Kuhn-Tucker compementary condiron, sousi (13) memenuhi ha-ha sbb. α i = i i 0 y f ( x ) > 1 0 α < C y f ( x ) = 1 < i i i αi = C yi f ( xi ) < 1 (unbounded SVs) (bounded SVs) (19) Pease read : CrisRanini-Tayor: Support Vector Machines and other kerne-based earning methods, Cambridge Univ.Press (2000) p.107 Vapnik, V. (1998): StaRsRca Learning Theory, Wiey, New York

35 Penentuan parameter C Parameter C ditentukan dengan mencoba beberapa niai dan dievauasi efeknya terhadap akurasi yang dicapai oeh SVM (misanya dengan cara Cross-vaidaRon) Penentuan parameter C bersama-sama parameter SVM yang ain dapat diakukan misanya memakai DOE (Design of Experiments) yang dijeaskan di side seanjutnya

36 Kerne dan Non Linear SVM Latar beakang Keemahan Linear Learning-Machines Representasi data & Kerne Non inear SVM

37 Latar Beakang Machine Learning Supervised earning: berikan satu set input-output data, dan buatah satu mode yang mampu memprediksi dengan benar output terhadap data baru. Contoh : pa:ern cassificaron, regression Unsupervised earning: berikan satu set data (tanpa output yang bersesuaian), dan ekstrakah suatu informasi bermanfaat. Contoh : custering, Principa Component Anaysis Apabia banyaknya data yang diberikan cukup banyak, metode apapun yang dipakai akan menghasikan mode yang bagus Tetapi jika data yang diberikan sangat terbatas, untuk mendapatkan performa yang baik, mutak peru memakai informasi spesifik masaah yang dipecahkan (prior knowedge of the probem domain). Contoh : masaah yg dipecahkan apakah berupa character recogniron, anaisa sekuens DNA, voice dsb. Prior knowedge seperr masaah yg dianaisa adaah DNA ini Rdak dapat dinyatakan dengan angka.

38 Latar Beakang Pemanfaatan prior knowedge : Fungsi Kerne (kemiripan sepasang data) ProbabiisRc mode of data distriburon (Gaussian, Markov mode, HMM, dsb) Pemakaian Kerne : user memanfaatkan pengetahuannya mengenai domain masaah yang dipecahkan dengan mendefinisikan fungsi kerne untuk mengukur kemiripan sepasang data

39 Linear Learning Machine Keebihan : Agoritma pembeajarannya simpe dan mudah dianaisa secara matemars Keemahan Perceptron (saah satu contoh inear earning machine) hanya mampu memecahkan probem kasifikasi inear (Minsky & Papert) Umumnya masaah dari rea-word domain bersifat noninear dan kompeks, sehingga inear earning machines Rdak mampu dipakai memecahkan masaah rii.

40 Representasi Data & Kerne Representasi data seringkai mampu menyederhanakan satu masaah Formua sebagaimana pada persamaan (20) Rdak dapat dipecahkan dengan inear machines Representasi dengan ( 2 m 1, m, r)! ( x, y, z) menghasikan (21) yang berupa persamaan inear, sehingga bisa dipecahkan dengan inear machines g( x, Newton s aw gravitaron f ( m = C y, z) = = 1, m2, r) n = c + m1m 2 r nc + nm x + 2 f ( m, m nm (20) 2, r) 2 y 2z (21) 2nr

41 Representasi Data & Kerne 2 2 ( x 1, x2)! ( x1, x2, 2x1 x2 ) Stuart Russe, Peter Norwig, Ar7ficia Inteigence A Modern Approach 2 nd Ed, Pren7ce Ha, 2003

42 Representasi Data & Kerne 2 2 ( x 1, x2)! ( x1, x2, 2x1 x2 ) Stuart Russe, Peter Norwig, Ar7ficia Inteigence A Modern Approach 2 nd Ed, Pren7ce Ha, 2003

43 Representasi Data & Kerne Representasi data seringkai mampu menyederhanakan satu masaah Data yang dipetakan ke ruang vektor berdimensi ebih Rnggi, memiiki potensi ebih besar untuk dapat dipisahkan secara inear (Cover theorem) Masaah : semakin Rnggi dimensi suatu data, akan mengakibatkan terrmpa kutukan dimensi Rnggi Curse of dimensionaity. turunnya generaisasi mode meningkatnya komputasi yang diperukan Pemakaian konsep Kerne akan mengatasi masaah di atas

44 Perceptron vs SVM Singe ayer networks (perceptron) memiiki agoritma earning yang simpe dan efisien, tetapi kemampuannya terbatas. Hanya mampu menyeesaikan inear probem MuRayer networks (MLP) mampu mewujudkan non-inear funcrons, tetapi memiiki keemahan pada sisi oca minima & Rngginya dimensi weight-space SVM: dapat diarh secara efficient, dan mampu merepresentasikan non-inear funcrons

45 Non inear cassification daam SVM X! φ Hyperpane φ(x! ) Input Space High-dimensiona Feature Space

46 Pemetaan impisit ke feature space " w Linear earning machines dapat dituis daam dua bentuk: prima form & dua form = i= 1 (12) α y i i! x i prima dua f (! x) =<! w,! ϕ(x) > +b = dim i=1 w i ϕ i (x)+ b f (! x) = α i y i < ϕ(! x i ),ϕ(! x) > +b i=1 (22) (23) Hypotheses funcron dapat direpresentasikan sebagai kombinasi inear training points. Sehingga decision rue dapat dievauasi berdasarkan inner product (dot product) antara test point & training points Keuntungan dua form : dimensi feature space Rdak mempengaruhi perhitungan. Informasi yang dipakai hanya Gram matrix

47 Gram Matrix G = (< x! i, x! j >) i, j=1 (24) <! x 1,! x 1 >! < " x,! x 1 >! "! < # x 1,! x >! < " x,! x >

48 Fungsi Kerne Representasi dua form i=1 f (! x) = α i y i < ϕ(! x i ),ϕ(! x) > +b < ϕ(! x i ),ϕ(! x) > Bisa dihitung secara IMPLISIT. Yaitu Rdak peru mengetahui wujud fungsi pemetaan φ meainkan angsung menghitungnya ewat fungsi KERNEL < ϕ(! x i ),ϕ(! x) >= K(! x i,! x) (25)

49 Contoh fungsi Kerne Poynomia K(! x,! y) =<! x,! y > d (26) Gaussian!! K( x, y) where exp σ > 0!! x y = 2 2σ 2 (27) Sigmoid K(! x,! y) = tanh(κ <! x,! y > +ϑ ) where κ > 0 and ϑ < 0 (28)

50 Representasi Data & Kerne 2 2 ( x 1, x2)! ( x1, x2, 2x1 x2 ) Stuart Russe, Peter Norwig, Ar7ficia Inteigence A Modern Approach 2 nd Ed, Pren7ce Ha, 2003

51 Representasi Data & Kerne 2 2 ( x 1, x2)! ( x1, x2, 2x1 x2 ) < ϕ( x) ϕ(! y)! > = (x 2 1, x 2 2, 2x 1 x 2 )(y 2 1, y 2 2, 2y 1 y 2 ) T = ((x 1, x 2 )(y 1, y 2 ) T ) 2 = (< x,! y! >) 2 =: K( x,! y)!

52 Representasi Data & Kerne Umumnya data direpresentasikan secara individua. Misanya, untuk membedakan atit Sumo dan atit sepakboa, bisa dengan mengukur berat badan dan Rnggi mereka 67 kg 167 cm A1

53 Representasi Data & Kerne Metode Kerne : data Rdak direpresentasikan secara individua, meainkan ewat perbandingan antara sepasang data A1 A2 A3 B1 B2 B3 A1 K(A1,A1) K(A1,A2) K(A1,A3) K(A1,B1) K(A1,B2) K(A1,B3) A2 K(A2,A1) K(A2,A2) K(A2,A3) K(A2,B1) K(A2,B2) K(A2,B3) A3 K(A3,A1) K(A3,A2) K(A3,A3) K(A3,B1) K(A3,B2) K(A3,B3) B1 K(B1,A1) K(B1,A2) K(B1,A3) K(B1,B1) K(B1,B2) K(B1,B3) B2 K(B2,A1) K(B2,A2) K(B2,A3) K(B2,B1) K(B2,B2) K(B2,B3) B3 K(B3,A1) K(B3,A2) K(B3,A3) K(B3,B1) K(B3,B2) K(B3,B3)

54 Representasi Data & Kerne Representasi berupa square matrix Rdak tergantung dimensi data, dan seau berukuran nxn (n:banyaknya data). Ha ini menguntungkan jika dipakai untuk merepresentasikan data yang berdimensi sangat Rnggi. Misanya 10 Rssue yg masing-masing dikarakterisasikan oeh 10,000 gen. Matriks yang diperoeh cukup 10x10 saja Adakaanya komparasi dua buah object ebih mudah daripada merepresentasikan masing-masing objek secara ekspisit (Contoh : pairwise sequence comparison mudah diakukan, tetapi representasi sekuens protein ke daam bentuk vektor Rdakah mudah. Padaha neura network memerukan representasi data secara ekspisit)

55 Non inear cassification daam SVM Struktur SVM berupa unit inear Kasifikasi non-inear diakukan dengan 2 tahap d 1. Data dipetakan dari origina feature space R ke q ruang baru yang berdimensi Rnggi R memakai suatu fungsi non-inear φ, sehingga data terdistribusikan menjadi ineary separabe Φ : R d R 2. Kasifikasi diakukan pada ruang baru tersebut secara inear Pemakaian Kerne Trick memungkinkan kita untuk Rdak peru menghitung fungsi pemetaan secara ekspisit q d < q φ K(! x,! x ') =< ϕ(! x),ϕ(! x ') > (19) (20)

56 Non inear cassification daam SVM Decision funcron pada non inear cassificaron: yang dapat dituis sebagaimana pers. (12) f (ϕ(! x)) =<! w,ϕ(! x) > +b (21) n i=1,x i SV f (ϕ(! x)) = α i y i < ϕ(! x),ϕ(! x i ) > +b n i=1,x i SV = α i y i K(! x,! x i )+ b (22) (23) KarakterisRk fungsi pemetaan Kerne Trick memakai K(! x,! x i ) φ(x! ) suit untuk dianaisa sebagai ganr kakuasi φ(x! )

57 Agenda Apakah SVM itu? Bagaimana hyperpane oprma diperoeh? Hard margin vs So_ margin Non inear SVM Training & Tes7ng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan MuRayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada murcass probem So_ware-so_ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

58 Fase training pada Non Linear SVM Maximize α α i 1 i=1 2 i, j=1 α i α j y i y j K(! x i,! x j ) (24) Subject to 0 α C ( i = 1,2,..., ) α y i i= 1 i i = 0 (18) Hasi training phase : diperoeh Support Vectors ( α i 0 ) CassificaRon of test pa:ern t f ( t! ) = sgn n i=1,x i SV α i y i K( t!, x! i )+ b (23)

59 Fase testing pada Non Linear SVM CassificaRon of test pa:ern t f ( t! ) = sgn sgn i=1,x i SV ( ) 1 = 1 α i y i K( t!, x! i )+ b k k < 0 0 (23) k (24) Typica Kerne funcrons!!!! x x' Gaussian K( x, x') = exp 2 2σ Poynomia K( x,! x! ') = (< x,! x! ' > +1) p Sigmoid K( x,! x! ') = tanh( α < x,! x! ' > +β) 2 (25) (26) (27)

60 Metode sekuensia Penyeesaian fase training pada SVM dapat memakai berbagai metode, a.. SMO, Sekuensia dsb. 1. IniRaizaRon α i = 0 Hitung matriks D ij = y i y j (K(! x i,! x j )+ λ 2 ) 2. Lakukan step (a), (b) dan (c ) di bawah untuk (a) (b) α j ij j= 1 { ( ), α i,c α i } E i = D δα i = min max γ 1 E i i =1,2,..., γ mengkontro kecepatan earning (c) α = α + δα i i i 3. Kembai ke step-2 sampai niai α i konvergen (Rdak ada perubahan signifikan)

61 Agenda Apakah SVM itu? Bagaimana hyperpane oprma diperoeh? Hard margin vs So_ margin Non inear SVM Training & TesRng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan Mu7ayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada murcass probem So_ware-so_ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

62 Two spiras benchmark probem Carnegie Meon AI Repository α = iπ 104γ x = R cosα y = Rsinα x i = 1,2,!,n n γ R : density : radius + + = x y = y : num of pa:erns Data generaron : + ( x, y) with R = 3.5 γ = 1.0 n = 100 n = 100

63 Spira Dataset Cass 1 Cass +1

64 MLP with 10 hidden units Cass +1 Cass 1 (bue dots) Cass +1 (yeow dots) Cass 1

65 MLP with 50 hidden units Cass +1 Cass 1 (bue dots) Cass +1 (yeow dots) Cass 1

66 MLP with 100 hidden units Cass +1 Cass 1 (bue dots) Cass +1 (yeow dots) Cass 1

67 MLP with 500 hidden units Cass +1 Cass 1 (bue dots) Cass +1 (yeow dots) Cass 1

68 SVM (Poynomia Kerne) Cass +1 Cass 1 (bue dots) Cass +1 (yeow dots) Cass 1

69 Agenda Apakah SVM itu? Bagaimana hyperpane oprma diperoeh? Hard margin vs So_ margin Non inear SVM Training & TesRng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan MuRayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada murcass probem So_ware-so_ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

70 Parameter Tuning Design of Experiments dipakai untuk mencari niai oprma parameter SVM (C dan σ pada Gaussian Kerne) Car Staein, Parameter SeecRon for Support Vector Machines, HP Laboratories Israe, HPL h:p://

71 Parameter Tuning DOE

72 Agenda Apakah SVM itu? Bagaimana hyperpane oprma diperoeh? Hard margin vs So_ margin Non inear SVM Training & TesRng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan MuRayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada mu7cass probem So_ware-so_ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

73 Muticass Probem Pada prinsipnya SVM adaah binary cassifier Expansion to murcass cassifier: 1. One vs Others Approach 2. One vs One : tree structured approach 1. Bo:om-up tree (Pairwise) 2. Top-down tree (Decision Directed Acycic Graph) Dari sisi training effort : One to Others ebih baik daripada One vs One RunRme : keduanya memerukan evauasi q SVMs (q = num. of casses)

74 One vs Others Cass 1 Cass 2 Cass 3 Cass 4 Cass 1 Cass 2 Cass 3 Cass 4 Cass 2 Cass 1 Cass 3 Cass 4 Cass 3 Cass 1 Cass 2 Cass 4 max Cass 4 Cass 1 Cass 2 Cass3

75 Bottom-up Tree Cass 1 Cass 2 Cass 3 Cass 4 Cass 5 Cass 6 Cass 7 Cass 8 Proposed by PonR and Verri

76 Top DownTree vs vs 4 not 1 not vs 3 not 2 not 4 not 1 not vs vs vs 2 Proposed by Pa: et a.

77 Agenda Apakah SVM itu? Bagaimana hyperpane oprma diperoeh? Hard margin vs So_ margin Non inear SVM Training & TesRng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan MuRayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada murcass probem So<ware-so<ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

78 Weka h:p:// Terdapat impementasi SMO SVM ight Software/Library SVM h:p://svmight.joachims.org/ Mampu dipakai pada probem skaa besar (ratusan ribu training set) Memakai sparse vector representaron, sangat sesuai untuk text cassificaron SMO (SequenRa Minima OpRmizaRon) h:ps:// Large QuadraRc Programming oprmizaron probem diseesaikan dengan memecahnya ke banyak QP probem yang ebih keci Memory yang diperukan bertambah inear sesuai dengan training-set, sehingga dapat dipakai pada arge scae probem

79 Agenda Apakah SVM itu? Bagaimana hyperpane oprma diperoeh? Hard margin vs So_ margin Non inear SVM Training & TesRng Fase training pada SVM Memakai SVM untuk kasifikasi Bagaimana mencari sousi fase training pada SVM? Eksperimen perbandingan SVM dan MuRayer perceptron pada spira data Parameter tuning SVM memakai DOE (Design of Experiment) Bagaimana memakai SVM pada murcass probem So<ware-so<ware SVM Studi kasus: prediksi efekrfitas terapi interferon pada penderita penyakit HepaRRs C kronis Beberapa catatan

80 Prediction of interferon efficacy in Hepatitis C treatment Deveoping a predictor of the resut of treatment using interferon to the chronica heparrs C parents The input informaron is the bood observarons of the parents taken before the interferon injecron CoaboraRon with Nagoya University Graduate Schoo of Medicine Reated PubicaRon: Efficacy of Interferon Treatment for Chronic HepaRRs C Predicted by Feature Subset SeecRon and Support Vector Machine, Journa of Medica Systems, Springer US (h:p://dx.doi.org/ /s )

81 Menurut data WHO, jumah penderita 170 juta (3% dari seuruh popuasi dunia). SeRap tahun bertambah 3 s/d 4 juta orang. Di Jepang : 1 atau 2 dari > Kokuminbyo Repikasi virus sangat Rnggi, disertai angka mutasi generk yang cukup Rnggi HepaRRs C di Indonesia Hepatitis C Jumah penderita sudah mencapai 7 juta dan 90% penderita tidak ( 2006 mengetahuinya (I Nyoman Kadun, 7 Oktober ( 2007 Depkes petakan Hepatitis C (7 Sep Efek samping terapi interferon: Fu-ike syndrome, menurunnya se darah purh (eucocyte),rambut rontok (IFN-apha), abuminuria (IFN-beta), dsb

82 Cinica Dataset The dataset used in this experiment is provided by Nagoya University (Prof.Yamauchi s group ) ObservaRon of the parents was conducted from August 1997 March parents (M:80 F:32) of age : yrs. Two cass probem: posirve cass six months a_er the treatment finished, HCV-RNA was negarve 66 sampes negarve cass six months a_er the treatment finished, HCV-RNA was posirve 46 sampes

83 Proposed Mode Sex Age HCV-RNA Fisher Criterion Based FSS SVM with Gaussian Kerne positive cass OR negative cass Ribavirin

84 List of 30 cinica markers

85 INVIDUAL MERIT BASED FEATURE SELECTION Individua Merit based Feature Seection Purpose : Reduce the dimensionaity of the data Seection of the usefu features Improving the cassifier performance Fisher Criterion attempts to seect one feature that best discriminating the two casses F( x j ) = n Score of the j th feature of vector x 2 n (, 1, 1) + 1 n µ 1 j + µ j n 1 n j, + 1σ j, n j, 1σ j, 1 Num. of patterns in Negative Cass Feature No. 1 Num. of patterns in Positive Cass F(Ftr.1) = 2.9 F(Ftr.2) = 0.7 F(Ftr.1) > F(Ftr.2) Ftr. No.1 is better than No.2 Feature No. 2 σ1 = 3 σ = 50 2

86 List of features sorted based on its significance

87 K-NN Cassifier resuts Dim. k ( best ) Tota RR [%] NegaRve Cass Errors RR[%] PosiRve Cass Errors RR[%]

88 Dim PosiRve Cass NegaRve Cass Tota RR[%] Support Vectors SVM Parameter RR [%] Errors RR [%] Errors σ C SVM resuts

89 Referensi 1. Tsuda K., Overview of Support Vector Machine, Journa of IEICE, Vo.83, No.6, 2000, pp CrisRanini N., Tayor J.S., An IntroducRon to Support Vector Machines and Other Kerne-Based Learning Methods, Cambridge Press University, Vijayakumar S, Wu S, SequenRa Support Vector Cassifiers and Regression, Proc. InternaRona Conference on So_ CompuRng (SOCO'99),Genoa, Itay, pp , Byun H., Lee S.W., A Survey on Pa:ern RecogniRon AppicaRons of Support Vector Machines, InternaRona Journa of Pa:ern RecogniRon and ArRficia Inteigence, Vo.17, No.3, 2003, pp Efficacy of Interferon Treatment for Chronic HepaRRs C Predicted by Feature Subset SeecRon and Support Vector Machine, Journa of Medica Systems, 2007 Apr, 31(2), pp , Springer US, PMID: , dapat diakses dari : h:p://dx.doi.org/ /s