BAB II TINJAUAN PUSTAKA

Transkripsi

1 BAB II TINJAUAN PUSTAKA II. Pengertan Klasfkas Klasfkas adalah proses untuk menemukan model atau fungs yang menelaskan atau membedakan konsep atau kelas data dengan tuuan untuk memperkrakan kelas yang tdak dketahu dar suatu obek. Dalam pengklasfkasan data terdapat dua proses yang dlakukan yatu:. Proses tranng Pada proses tranng dgunakan tranng set yang telah dketahu label-labelnya untuk membangun model atau fungs.. Proses testng Untuk mengetahu keakuratan model atau fungs yang akan dbangun pada proses tranng, maka dgunakan data yang dsebut dengan testng set untuk mempredks label-labelnya. Klasfkas dokumen adalah pemberan kategor yang telah ddefnskan kepada dokumen yang belum memlk kategor (Goller, 000). Mengklasfkas dokumen merupakan salah satu cara untuk mengorgansaskan dokumen. Dokumen-dokumen yang memlk s yang sama akan dkelompokkan ke dalam kategor yang sama. Dengan demkan, orang-orang yang melakukan pencaran nformas dapat dengan mudah meleatkan kategor yang tdak relevan dengan nformas yang dcar atau yang tdak menark perhatan (Feldman, 004). Penngkatan umlah dokumen yang begtu pesat telah mendorong berkembangnya metode pengklasfkasan secara otomats. Metode n dapat melakukan klasfkas dengan cara belaar dar sekumpulan contoh dokumen yang telah dklasfkas sebelumnya. Keuntungan dar metode n adalah dapat menghemat aktu kera dan memperoleh hasl yang lebh bak. Metode n adalah metode support vector machne. Unverstas Sumatera Utara

2 II. Support Vector Machne II.. Defns Support Vector Machne (SVM) Support Vector Machne (SVM) dkembangkan oleh Boser, Guyon, Vapnk, dan pertama kal dpresentaskan pada tahun 99 d Annual Workshop on Computatonal Learnng Theory. Konsep dasar SVM sebenarnya merupakan kombnas harmons dar teor-teor komputas yang telah ada puluhan tahun sebelumnya, sepert margn hyperplane (Duda & Hart tahun 973, Cover tahun 965, Vapnk 964, dan lanlannya), kernel dperkenalkan oleh Aronszan tahun 950, dan demkan uga dengan kosep-konsep pendukung yang lan. Akan tetap hngga tahun 99, belum pernah ada upaya merangkakan komponen-komponen tersebut. Konsep SVM dapat delaskan secara sederhana sebaga usaha mencar hyperplane terbak yang berfungs sebaga pemsah dua buah kelas pada nput space. pattern yang merupakan anggota dar dua buah kelas : + dan - dan berbag alternatve gars pemsah (dscrmnaton boundares). Margn adalah arak antara hyperplane tersebut dengan pattern terdekat dar masng-masng kelas. Pattern yang palng dekat n dsebut sebaga support vector. Usaha untuk mencar lokas hyperplane n merupakan nt dar proses pembelaaran pada SVM (Chrstann, 000). Data yang terseda dnotaskan sebaga x dnotaskan {, + } d R sedangkan label masng-masng y untuk =,,,l, yang mana l adalah banyaknya data. Dasumskan kedua kelas - dan + dapat terpsah secara sempurna oleh hyperplane berdmens d, yang ddefnskan :. x + b = 0 () Pattern x yang ternasuk kelas - (sampel negatf) dapat drumuskan sebaga pattern yang memenuh pertdaksamaan. x + b () Unverstas Sumatera Utara

3 Sedangkan pattern x yang termasuk kelas + (sampel postf) memenuh pertdaksamaan :. x + b + (3) Margn terbesar dapat dtemukan dengan memaksmalkan nla arak antara hyperplane dan ttk terdekatnya, yatu /. Hal n dapat drumuskan sebaga Quadratc Programmng (QP) Problem, yatu mencar ttk mnmal persamaan (4) dengan memperhatkan constrant persamaan (8). mn ( ) τ = (4) y ( x + b) 0,. (5) Problem n dapat dpecahkan dengan berbag teknk komputas, dantaranya dengan Lagrange Multpler. L l (, b, α ) = α ( y (( x. + b) ) ) (,,3,...,l) = = (6) α adalah Lagrange multplers, yang bernla nol atau postf ( α 0 ). Nla optmal dar Persamaan (6) dapat dhtung dengan memnmalkan L terhadap dan b, dan memaksmalkan L terhadap α. Dengan memperhatkan sfat baha pada ttk optmal gradent L = 0, persamaan (6) dapat dmodfkas sebaga maksmalsas problem yang hanya mengandung α, sebagamana persamaan (7) berkut. Maksmas : l Dengan Constrant : l α α α y y x x (7) =, = Unverstas Sumatera Utara

4 ( =,,3,..., l) l α 0 α y = 0 (8) = Dar hasl perhtungan n dperoleh α yang kebanyakan bernla postf. Data yang berkorelas dengan α yang postf nlah yang dsebut sebaga support vector (Vapnk, 995). Penelasan d atas berdasarkan asums baha kedua belah kelas dapat terpsah secara sempurna oleh hyperplane (lnear separable). Akan tetap, pada umumnya dua belah kelas pada nput space tdak dapat terpsah secara sempurna (non lnear separable). Hal n menyebabkan constrant pada persamaan (8) tdak dapat terpenuh, sehngga optmsas tdak dapat dlakukan. Untuk mengatas masalah n, SVM drumuskan ulang dengan memperkenalkan teknk softmargn. Dalam softmargn, Persamaan (5) dmodfkas dengan memasukkan slack varable ξ ( ξ > 0) sebaga berkut : y ( x b) +,. ξ (9) Dengan demkan persamaan (4) dubah menad : l mnτ (, ξ ) = + C ξ (0) = Parameter C dplh untuk mengontrol tradeoff antara margn dan error klasfkas ξ. Nla C yang besar berart akan memberkan penalty yang lebh besar terhadap error klasfkas tersebut (Sembrng, 007). II... Non-Lnear Classfcaton (Klasfkas yang tdak Lner) Pada umumnya masalah dalam doman duna nyata (real orld problem) arang yang bersfat lnear separable (tdak terpsahkan secara lnear), tetap bersfat non-lnear. Untuk menyelesakan problem non-lnear, SVM dmodfkas dengan memasukkan fungs kernel. Dalam non-lnear SVM, pertama-tama data x dpetakan oleh fungs Φ ( x) ke ruang vektor yang berdmens lebh tngg. Hyperplane yang memsahkan kedua kelas tersebut dapat dkontrukskan. Selanutnya gambar (.) menunukkan baha fungs Φ memetakan tap data pada nput space tersebut ke ruang vektor baru yang berdmens lebh tngg (dmens 3), sehngga kedua kelas dapat dpsahkan Unverstas Sumatera Utara

5 secara lnear oleh sebuah hyperplane. Notas matematka dar mappng n adalah sebaga berkut : d d Φ : R R d < q () Gambar. Fungs Φ memetakan data ke ruang vector yang berdmens lebh tngg Selanutnya proses pembelaaran pada SVM dalam menemukan ttk-ttk support vector, hanya bergantung pada dot product dar data yang sudah dtransformaskan pada ruang baru yang berdmens lebh tngg, yatu ( x ) Φ( x ) Φ.. Karena umumnya transformas Φ n tdak dketahu, dan sangat sult untuk dfaham secara mudah, maka perhtungan dot product dapat dgantkan dengan fungs kernel K ( x, x ) yang mendefnskan secara mplst transformas Φ. Hal n dsebut sebaga Kernel Trck, yang drumuskan : K ( x, x ) = ( x ) Φ( x ) Φ. () ( Φ ( x ). ( x ) + b f = n =, X SV Φ (3) = α y Φ ( x ). Φ( x ) + b (4) Unverstas Sumatera Utara

6 n = =, X SV α K( x x ) + b y, (5) SV pada persamaan d atas dmaksudkan dengan subset dar tranng set yang terplh sebaga support vector, dengan kata lan data x yang berkorespondens pada α 0. Peneltan n menggunakan package (e07) dar perangkat lunak R open source vers.3. (Dmtradou, 007) II..3. Karakterstk Support Vector Machne (SVM) Menurut (Nugroho,003), karakterstk SVM secara umum drangkumkan sebaga berkut:. Secara prnsp SVM adalah lnear classfer.. Pattern recognton dlakukan dengan mentransformaskan data pada nput space ke ruang yang berdmens lebh tngg, dan optmsas dlakukan pada ruang vector yang baru tersebut. Hal n membedakan SVM dar solus pattern recognton pada umumnya, yang melakukan optmsas parameter pada ruang hasl transformas yang berdmens lebh rendah darpada dmens nput space. 3. Menerapkan strateg Structural Rsk Mnmzaton (SRM). 4. Prnsp kera SVM pada dasarnya hanya mampu menangan klasfkas dua kelas. II..4 Multclass Support Vector Machne (SVM) Ada dua plhan untuk mengmplementaskan multclass SVM yatu dengan menggabungkan beberapa SVM bner atau menggabungkan semua data yang terdr dar beberapa kelas ke dalam sebuah bentuk permasalahn optmal. Namun pada pendekatan yang kedua permasalahn optmas yang harus dselesakan auh lebh rumt. Berkut n adalah metode yang umum dgunakan untuk mengmplementaskan multclass SVM dengan pendekatan yang pertama:. Metode one-aganst-all (satu laan semua) Dengan menggunakan metode n, dbagun k buah model SVM bner (k adalah umlah kelas) Unverstas Sumatera Utara

7 . Metode one-aganst-one (satu laan satu) Dengan menggunakan metode n, dbagun k(k-)/ buah model klasfkas bner (k adalah umlah kelas). Terdapat beberapa metode untuk melakukan penguan setelah keseluruhan k(k-)/ model klasfkas selesa dbagun. Salah satunya adalah metode votng (Santosa, 007). II..5 Kelebhan Support Vector Machne (SVM) Adapun beberapa keuntungan dar metode SVM adalah sebaga berkut:. Generalsas Generalsas ddefnskan sebaga kemampuan suatu metode untuk mengklasfkaskan suatu pattern, yang tdak termasuk data yang dpaka dalam fase pembelaaran metode tu.. Curse of dmensonalty Curse of dmensonalty ddefnskan sebaga masalah yang dhadap suatu metode pettern recognton dalam mengestmaskan parameter dkarenakan umlah sampael data yang relatve lebh sedkt dbandngkan dengan dmensonal ruang vektor data tersebut. 3. Feasblty SVM dapat dmplementaskan relatve mudah, karena proses penentuan support vector dapat drumuskan dalam QP problem (Nugroho, 003) II..6 Kekurangan Support Vector Machne (SVM) Adapun beberapa kerugan dar metode SVM adalah sebaga berkut :. Sult dpaka problem berskala besar. Dalam hal n dmaksudkan dengan umlah sampel yang dolah.. SVM secara teortk dkembangkan untuk problem klasfkas dengan dua kelas. Deasa n SVM telah dmodfkas agar dapat menyelesakan masalah dengan lebh dar dua kelas (Nugroho, 003). II.3 Metode Kernel Pada mulanya teknk machne learnng dkembangkan dengan asums kelnearan. Sehngga algortma yang dhaslkan terbatas untuk kasus-kasus yang lnear saa. Akan tetap untuk menghadap kasus yang tdak lnear maka dapat menggunakan bantuan Unverstas Sumatera Utara

8 berbaga macam fungs kernel. Kernel trck memberkan berbaga kemudahan, karena dalam proses pembelaaran SVM, untuk menentukan support vector, maka cukup dengan mengetahu fungs kernel yang dpaka, dan tdak perlu mengetahu uud dar fungs non-lnear. Menurut (Karatzouglou, dkk, 004) ada beberapa fungs kernel yang serng dgunakan dalam lterature SVM anatara lan sebaga berkut: a. Kernel lnear adalah kernel yang palng sederhana dar semua fungs kernel. Kernel n basa dgunakan dalam kasus klasfkas teks. b. Kernel Radal Bass Gaussan adalah kernel yang umum dgunakan untuk data yang sudah vald (avalable) dan merupakan default dalam tools SVM. c. Kernel Polynomnal adalah kernel yang serng dgunakan untuk klasfkas gambar. d. Kernel Tangent Hyperbolc adalah kernel yang serng dgunakan untuk neural netorks. II.4 Recever Operatng Characterstc (ROC) Kurva ROC pertama kal dgunakan pada perang duna II untuk menganalss snyal radar sebelum dkembangkan dalam sgnal detecton theory. Berdasarkan serangan d Pearl Harbon tahun 94, tentara Amerka melakukan rset untuk menngkatkan ketepatan predks dalam mendeteks snyal radar pesaat Jepang. Akhr-akhr n penggunaan kurva ROC semakn popular dalam berbaga aplkas terutama dalam bdang meds, radolog, dan processng mage. Recever Operatng Characterstc (ROC) adalah hasl pengukuran klasfkas dalam bentuk -dmens. Berkut ada empat peluang yang dapat dformulaskan dalam tabel kontngens x untuk menganalss ROC : Tabel. Tabel Kontngens ROC Kelas Sebenarnya Benar Salah Postf Benar Postf Salah Postf Kelas Predks Negatf Benar Negatf Salah Negatf Unverstas Sumatera Utara

9 Adapun krtera ROC adalah sebaga berkut: True Postve Rate dsebut uga Senstvty (TPR)=TP/(TP+FN) True Negatve Rate dsebut uga Specfty (TNR)= TN/(TN+FP) Accuracy = (TP+TN)/(TP+FP+TN+FN). Dmana: TP = True Postve yatu klasfkas yang dar kelas yang postf FN = False Negatve yatu kesalahan Type II FP = False Postve atau kesalahan Type I Gambar. Krtera ROC (MedCalc Softare bvba, 00) Jka nla krtera yang dplh lebh tngg, maka bagan FP akan menurun dan specfty akan menngkat, namun TP dan senstvty akan menurun. Sebalknya ka nla crtera yang dplh lebh rendah, maka bagan TP akan menngkat, namun bagan TN dan specfcty akan menurun (MedCalc Softare bvba, 00). AUC (Area Under Curva) adalah luas daerah d baah kurva ROC.bla nlanya mendekat satu, maka model yang ddapat lebh akurat. Berdasarkan gambar datas maka dapat dlhat karakterstk dar AUC adalah sebaga berkut: - Area maksmum adalah - Jka ROC = 0,5 maka model yang dhaslkan belum terlhat optmal - Sedangkan ka ROC > 0,5 maka model yang dhaslkan akan lebh bak Formula AUC : Unverstas Sumatera Utara

10 AUC = + n n = f n + n + ( x ) f ( x ) Keterangan : F(.) = nla suatu fungs x + dan x = sampel postf dan negatf n + dan n = umlah sampel postf dan negatve (Brefeld, 005) Peneltan n menggunakan package (catools) dar perangkat lunak R vers.3. (Tuszynsk, 007). II.5 Implementas Masalah Berkut n adalah contoh kasus SVM dengan dua kelas dan empat data. Problem n merupakan problem lnersehngga tdak dperlukan Kernelsas. Formulas masalahnya adalah sebaga berkut : Tabel. Contoh Kasus X X y Optmas masalah sebaga berkut : mn ( + ) + C ( t + t + t + t ) Konstran : + + b + t b + t + b + t3 + b + t4 t, t, t3, t Unverstas Sumatera Utara

11 Karena merupakan kasus klasfkas lnear, maka bsa dpastkan nla varabel slack t = 0. Jad bas dmasukkan nla C = 0. Setelah menyelesakan problem optmas d atas, maka ddapat solus : =, =, b = Jad Persamaan fungs pemsahnya adalah : f ( x) = x + x Sehngga semua nla ( x) < 0 (Santosa, 007). f dber label - sedangkan yang lannya dber label + Unverstas Sumatera Utara