Klasifikasi Berita Online Menggunakan Metode Support Vector Machine dan K- Nearest Neighbor

Transkripsi

1 JURNAL SAINS DAN SENI IS Vol. 5 No. (16) 7-5 (1-98X Prnt) D-17 Klaskas Berta Onlne Menggunakan Metode Support Vector Machne dan K- Nearest Neghbor St Nur Asyah dan Kartka Fthrasar Jurusan Statstka, Fakultas MIPA, Insttut eknolog Sepuluh Nopember (IS) Jl. Are Rahman Hakm, Surabaya 6111 Indonesa e-mal: kartka_@statstka.ts.ac.d, stnurasyah@lve.com Abstrak eknolog normas merupakan salah satu hal yang tdak akan lepas dar kehdupan manusa. anpa adanya teknolog, manusa akan kesultan dalam berkomunkas dan menyampakan normas. Perlu adanya sstem yang secara otomats yang dapat mengelompokkan berta sesua dengan kategor berta dengan menggunakan text mnng. Dalam peneltan n, metode yang dgunakan dalam klaskas adalah SVM dan KNN. KNN memlk kelebhan dalam hal data tranng yang cukup banyak. Sebaga komparas, dalam peneltan n juga menggunakan SVM karena metode n merupakan salah satu metode yang banyak dgunakan untuk klaskas data, khususnya data teks. Kedua metode n akan dbandngkan untuk mengetahu hasl ketepatan klaskas yang palng bak. Hasl dar peneltan n bahwa SVM kernel lner dan kernel polynomal menghaslkan ketepatan klaskas yang palng bak adalah kernel polynomal. Apabla dbandngklan dengan KNN maka SVM lebh bak darpada KNN dengan hasl nla akuras, recall, precson dan F-Measure sebesar 9.%, 9.%, 9.6% dan 9.14%. Kata Kunc K-Nearest Neghbor, Support Vector Machne,ext Mnng. I. PENDAHULUAN eknolog normas melput segala hal yang berkatan dengan proses, penggunaan sebaga alat bantu, dan pengelolaan normas. Sedangkan teknolog komunkas adalah segala sesuatu yang berkatan dengan penggunaan alat bantu untuk memproses dan mentranser data dar perangkat satu ke perangkat lannya. Awalnya, banyak nstans menyalurkan normas kepada masyarakat melalu meda televs, koran, majalah atau rado. Kn, serng berkembangnya teknolog, normas dsampakan menggunakan sstem berbass web secara update. Kementeran Komunkas dan Inormatka menyatakan bahwa pengguna nternet d Indonesa hngga saat n telah mencapa 8 juta orang. Dengan capaan tersebut, Indonesa berada pada perngkat ke-8 d duna [1]. Pada umumnya, berta yang dsampakan dalam webste terdr dar beberapa kategor sepert berta poltk, olahraga, ekonom, kesehatan, dan lan-lan (sebaga contoh pada webste kompas.com, detk.com, dan vvanews.com). Sejauh n, mengelompokkan berta dalam beberapa kategor tersebut dlakukan oleh edtor secara manual. Prosesnya, sebelum dunggah harus terlebh dahulu dketahu s berta secara keseluruhan untuk selanjutnya dkelompokkan dalam kategor yang tepat. Jka jumlah artkel berta yang dunggah semakn banyak, hal n akan merepotkan bag pengunggah berta. erlebh jka dokumen sangat banyak dengan kategor yang cukup beragam. Hal tersebut akan menjad beban kerja edtor dalam mengelompokkan kategor berta. Permasalahan lan muncul ketka dokumen yang akan dkelompokkan dalam masng-masng kategor memlk kemrpan s. Hal n membutuhkan keteltan dan waktu yang tdak sebentar dalam sstem pengelompokkan. Oleh karena tu, perlu adanya sstem yang secara otomats dapat mengelompokkan berta sesua dengan kategor berta dengan menggunakan text mnng. ext mnng merupakan salah satu cabang lmu data mnng yang menganalss data berupa dokumen teks. Menurut Han, Kamber, dan Pe (dalam Prlant dan Wjaya, 14), text mnng adalah satu langkah dar analss teks yang dlakukan secara otomats oleh komputer untuk menggal normas yang berkualtas dar suatu rangkaan teks yang terangkum dalam sebuah dokumen. Ide awal pembuatan text mnng adalah untuk menemukan pola-pola normas yang dapat dgal dar suatu teks yang tdak terstruktur []. Sebelum suatu data teks danalss menggunakan metode dalam text mnng perlu dlakukan pre processng text dantaranya adalah tokenzng, case oldng, stopwords, dan stemmng. Setelah dlakukan pre processng maka selanjutnya dlakukan metode klaskas dalam mengelompokkan dalam masng-masng kategor. Klaskas merupakan suatu metode untuk mempredks kategor atau kelas dar suatu tem atau data yang telah ddenskan sebelumnya. Berbaga macam metode klaskas banyak dgunakan dalam melakukan klaskas berupa teks dantaranya adalah Naϊve Bayes Classer (NBC), K-Nearest Negbour (KNN), Artcal Neural Network (ANN), dan Support Vector Machnes (SVM). Peneltan sebelumnya yang berkatan adalah oleh Arad (15) tentang klaskas berta Indonesa menggunakan metode NBC dan SVM dengan Conx Strppng Stemmer menghaslkan ketepatan klaskas sebesar 88,1%[]. Selan tu oleh Buana dan Putra (1) tentang kombnas KNN dan K-Mean untuk klaskas Koran Indonesa menghaslkan ketepatan klaskas sebesar 87%[4]. Peneltan tentang text mnng dlakukan oleh Wdhanngsh (16) tentang aplkas text mnng untuk automatsas klaskas artkel dalam majalah onlne wanta menggunakan NBC dan ANN [5]. Dalam peneltan n, metode yang dgunakan dalam klaskas adalah SVM dan KNN. KNN memlk kelebhan dalam hal data tranng yang cukup banyak.

2 D-18 JURNAL SAINS DAN SENI IS Vol. 5 No. (16) 7-5 (1-98X Prnt) Sebaga komparas, dalam peneltan n juga menggunakan SVM karena metode n merupakan salah satu metode yang banyak dgunakan untuk klaskas data, khususnya data teks. Salah satu kelebhan SVM dapat dmplementaskan relatve mudah, karena proses penentuan support vector dapat drumuskan dalam QP problem. Selanjutnya akan dlakukan perbandngan dar kedua metode tersebut pada data berta onlne. II. ext Mnng INJAUAN PUSAKA ext mnng merupakan salah satu cabang lmu data mnng yang menganalss data berupa dokumen teks. Menurut Han, Kamber, dan Pe (dalam Prlant dan Wjaya), text mnng adalah satu langkah dar analss teks yang dlakukan secara otomats oleh komputer untuk menggal normas yang berkualtas dar suatu rangkaan teks yang terangkum dalam sebuah dokumen[6]. Ide awal pembuatan text mnng adalah untuk menemukan polapola normas yang dapat dgal dar suatu teks yang tdak terstruktur. Dengan demkan, text mnng mengacu juga kepada stlah text data mnng atau penemuan pengetahuan dar bass data teks. Saat n, text mnng telah mendapat perhatan dalam berbaga bdang, antara lan dbdang keamanan, bomeds, pengembangan perangkat lunak dan aplkas, meda onlne, pemasaran, dan akademk. Sepert halnya dalam data mnng, aplkas text mnng pada suatu stud kasus, harus dlakukan sesua prosedur analss. Langkah awal sebelum suatu data teks danalss menggunakan metode-metode dalam text mnng adalah melakukan pre processng teks. Selanjutnya, setelah ddapatkan data yang sap dolah, analss text mnng dapat dlakukan. Pre Processng ext ahapan pre processng n dlakukan agar dalam klaskas dapat dproses dengan bak. ahapan dalam pre processng text adalah sebaga berkut: a. Case Foldng, merupakan proses untuk mengubah semua karakter pada teks menjad huru kecl. Karakter yang dproses hanya huru a hngga z dan selan karakter tersebut akan dhlangkan sepert tanda baca ttk (.), koma (,), dan angka.[7] b. okenzng, merupakan proses memecah yang semula berupa kalmat menjad kata-kata atau memutus urutan strng menjad potongan-potongan sepert kata-kata berdasarkan tap kata yang menyusunnya. c. Stopwords, merupakan kosakata yang bukan merupakan kata unk atau cr pada suatu dokumen atau tdak menyampakan pesan apapun secara sgnkan pada teks atau kalmat [8]. Kosakata yang dmaksudkan adalah kata penghubung dan kata keterangan yang bukan merupakan kata unk msalnya sebuah, oleh, pada, dan sebaganya. d. Stemmng, yakn proses untuk mendapatkan kata dasar dengan cara menghlangkan awalan, akhran, sspan, dan conxes (kombnas dar awalan dan akhran). erm Frequency InverseDocument Frequency erm Frequency Inverse Document Frequency (F- IDF) merupakan pembobot yang dlakukan setelah ekstras artkel berta. Proses metode F-IDF adalah menghtung bobot dengan cara ntegras antara term requency (t) dan nverse document requency (d). Langkah dalam F-IDF adalah untuk menemukan jumlah kata yang kta ketahu (t) setelah dkalkan dengan berapa banyak artkel berta dmana suatu kata tu muncul (d). Rumus dalam menentukan pembobot dengan F-IDF adalah sebaga berkut: wj t j d (1) N d log d j dengan : = 1,,,p ( Jumlah varabel) j =1,,,N (Jumlah data) Dmana w j adalah bobot dar kata pada artkel ke j, N merupakan jumlah seluruh dokumen, t j adalah jumlah kemunculan kata pada dokumen j, d j adalah jumlah artkel j yang mengandung kata. F-IDF dlakukan agar data dapat danalss dengan menggunakan support vector machne. Support Vector Machne Support Vector Machne (SVM) adalah sstem pembelajaran yang menggunakan hpotess ungs lnear dalam ruang berdmens tngg dan dlath dengan algortma berdasarkan teor optmas dengan menerapkan learnng bas yang berasal dar teor statstk [9]. ujuan utama dar metode n adalah untuk membangun OSH (Optmal Separatng Hyperplane), yang membuat ungs pemsahan optmum yang dapat dgunakan untuk klaskas. Gambar 1. Konsep Hyperplane pada SVM Data yang berada pada bdang pembatas dsebut dengan support vector. Dalam Gambar 1, dua kelas dapat dpsahkan oleh sepasang bdang pembatas yang sejajar. Bdang pembatas pertama membatas kelas pertama sedangkan bdang pembatas kedua membatas kelas kedua, sehngga dperoleh: x w b 1, y 1 () x w b 1, y 1 w adalah normal bdang dan b adalah poss bdang alternat terhadap pusat koordnat. Nla margn (jarak) antara bdang pembatas (berdasarkan rumus jarak gars ke ttk pusat) adalah. 1 b ( 1 b) w = w Nla margn n dmaksmalkan dengan tetap memenuh persamaan (). Dengan mengalkan b dan w dengan sebuah konstanta, akan dhaslkan nla margn yang dkalkan dengan konstata yang sama. Oleh karena tu, konstran pada persamaan () merupakan scalng constrant yang dapat dpenuh dengan rescalng b dan w. Selan tu karena memaksmalkan 1 w sama dengan memnmumkan w dan jka kedua bdang pembatas pada persamaan () drepresentaskan dalam pertdaksamaan (), y x w b 1 () maka pencaran bdang pemsah terbak dengan nla margn terbesar dapat drumuskan menjad masalah optmas konstran, yatu:

3 JURNAL SAINS DAN SENI IS Vol. 5 No. (16) 7-5 (1-98X Prnt) D-19 1 mn w (4) dengan y w b1 x Untuk mengklaskaskan data yang tdak dapat dpsahkan secara lner ormula SVM harus dmodkas karena tdak akan ada solus yang dtemukan. Oleh karena tu, kedua bdang pembatas () harus dubah sehngga lebh leksbel dengan penambahan varabel ξ (ξ, : ξ = jka x dklaskaskan dengan benar) menjad X W + b 1 ξ untuk kelas 1 dan X W + b 1 + ξ untuk kelas. Pecaran bdang pemsah terbak dengan penambahan varabel ξ serng dsebut dengan sot margn hyperplane. Dengan demkan ormula pencaran bdang pemsah terbak berubah menjad: n 1 mn w C (5) 1 y 1 dengan x w b C adalah parameter yang menentukan besar penalt akbat kesalahan dalam klaskas data dan nlanya dtentukan oleh pengguna. Sehngga peran dar C adalah memnmalkan kesalahan pelathan dan mengurang komplekstas model. Fungs kernel yang umum dgunakan pada metode SVM adalah 1. Kernel Lner K x, x x. Kernel Polynomal p x, x x x r, K. Kernel Radal Bass Functon (RBF) K x x exp 4. Sgmod Kernel Kx, x tanh x x r Dalam peneltan n memlk kategor lebh dar atau multclass makan dgunakan metode One Aganst One (OAO) dalam menyelesakan permasalahan tersebut. K-Nearest Neghbor KNN merupakan salah satu pendekatan yang sederhana untuk dmplementaskan dan merupakan metode lama yang dgunakan dalam pengklaskasan. Menurut Y. Hamamoto, dkk dan E.Alpaydn menyebutkan bahwa KNN memlk tngkat esens yang tngg dan dalam beberapa kasus memberkan tngkat akuras yang tngg dalam hal pengklaskasan [1]. Dalam stlah lan, K-Nearest Neghbor merupakan salahsatu metode yang dgunakan dalam pengklaskasan. Prnsp kerja K-Nearest Neghbor (KNN) adalah melakukan klaskas berdasarkan kedekatan lokas (jarak) suatu data dengan data yang lan [11]. Dekat atau jauhnya lokas (jarak) bsa dhtung melalu salah satu dar besaran jarak yang telah dtentukan yakn jarak Eucldean, jarak Mnkowsk, dan jarak Namun dalam penerapannya serngkal dgunakan jarak Eucldean karena memlk tngkat akuras dan juga productvty yang tngg. Jarak Eucldean adalah besarnya jarak suatu gars lurus yang menghubungkan antar objek. Rumus jarak Eucldean adalah sebaga berkut: d p x x j xp jp n1, (6) Dengan: x p = data testng ke- pada varabel ke-p x jp = data tranng ke-j pada varabel ke-p d(x,x j ) = jarak eucldean p = dmens data varabel bebas Pengukuran Perorma Pengukuran perorma dlakukan untuk melhat hasl yang ddapatkan dar klaskas. erdapat beberapa cara untuk mengukur perorma, beberapa cara yang serng dgunakan adalah dengan menghtung akuras total, recall, dan precsson [1]. F F F44 F55 akuras total F1 F1 F14 F15 F51 F5 F5 F54 F55 recall F F F F F F precson F1 F recall precson F recall precson 11 1 K-Fold Cross Valdaton 15 F 41 F K- old cross valdaton adalah sebuah teknk yang menggunakan keseluruhan dataset yang ada sebaga tranng dan testng [1]. eknk n mampu melakukan pengulangan data tranng dan data testng dengan algortma k pengulangan dan parts 1/k dar dataset, yang mana 1/k tersebut akan dgunakan sebaga data testng. Sebaga analog msalkan keseluruhan dataset dbag menjad k buah subbagan Ak dengan ukuran sama, yang mana Ak merupakan hmpunan bagan dar dataset. Kemudan dar data tu dlakukan teras sebanyak k kal. Pada teras ke k, subset Ak menjad data testng, sedangkan subbagan lan menjad data tranng. Hal n dtujukan agar mendapatkan tngkat kepercayaan yang tngg karena semua dataset dlbatkan sebaga data tranng maupun testng. III. Sumber Data 51 MEODOLOGI PENELIIAN Sumber data yang akan dgunakan dalam peneltan n adalah artkel berta pada koran onlne detk.com yang terdr dar 5 kategor. Kategor tersebut adalah news, nance,hot, sport, dan oto. ap kategor akan dambl sebanyak 1 artkel sehngga data artkel keseluruhan berjumlah 5 dengan varabel bebas sebanyak 784 word vector. Berkut merupakan struktur data artkel yang telah dlakukan pre processng ABEL 1. SRUKUR DAA No Y X 1 X X x 1,1,1 x 1,1, x 1,1,784 1 x,1,1 x,1, x,1,784 1 x,1,1 x,1, x,1, x 5,5,1 x 5,5, x 5,5,784 Langkah Analss Langkah analss data yang dlakukan pada peneltan n adalah sebaga berkut. 1. Menyapkan data artkel

4 Word Vector Word Vector D- JURNAL SAINS DAN SENI IS Vol. 5 No. (16) 7-5 (1-98X Prnt). Melakukan pre processng text yatu stemmng, stopword, caseoldng dan tokenzng. a) Proses stemmng menyapkan data artkel dalam bentuk excel kemudan dlakukan runnng dengan menggunakan xampp b) ahap stopword dan caseoldng yatu hasl dar stemmng d runnng menggunakan sotware R. Datar stopwords dambl dar tess F. ala yang berjudul A Study o Stemmng Eect on Inormaton Retreval n Bahasa Indonesa. c) Pada tahap tokenzng hasl dar caseoldng dlakukan runnng data pada sotware Weka. d) Merubah teks menjad vector dan pembobotan kata dengan t-d.. Membag data menjad data tranng dan data testng. Melakukan klaskas menggunakan SVM a) Menentukan pembobot parameter pada SVM tap jens kernel b) Membangun model SVM menggunakan ungs kernel. c) Menghtung nla akuras dar model yang terbentuk. 4. Melakukan klaskas menggunakan KNN a) Menentukan nla k. b) Menghtung kuadrat jarak eucld (query nstance) masng-masng objek terhadap tranng data yang dberkan. c) Mengumpulkan label class Y (klaskas Nearest Neghbor). 5. Membandngkan perormans antara metode SVM dengan metode KNN berdasarkan tngkat akuras ketepatan klaskas. IV. HASIL DAN PEMBAHASAN Support Vector Machne Pada peneltan klaskas berta onlne dgunakan metode support vector machne. Fungs kernel yang akan dgunakan adalah kernel lner dan polynomal. Berkut merupakan pembahasan dar kernel lner dan kernel polynomal. Pada kernel lner dgunakan parameter c pada rentang 1 - sampa dengan 1 untuk data tranng. ABEL. KEEPAAN KLASIFIKASI SVM KERNEL LINIER PADA DAA RAINING Ketepatan Klaskas (%) C Berdasarkan abel 1 dapat dketahu bahwa dengan menggunakan kernel lner untuk setap word vector dengan menggunakan k-old cross valdaton sebesar 1 old ddapatkan nla ketepatan palng besar 1% pada semua word vector 784 dengan menggunakan c=.1 sampa c=1. Pada c=.1 ddapatkan hasl ketepatan klaskas yang berbeda-beda. Parameter c = 1 akan dgunakan pada data testng dengan word vector sebanyak 784. Selanjutnya dlakukan ketepatan klaskas pada kernel polynomal dengan menggunakan parameter c pada rentang 1 - sampa 1 dengan parameter γ=1, r=6 dan p=. ABEL. KEEPAAN KLASIFIKASI SVM KERNEL POLYNOMIAL PADA DAA RAINING Ketepatan Klaskas (%) C abel menunjukkan bahwa setelah dlakukan percobaan dengan menggunakan c 1 - sampa 1 ddapatkan hasl pada c =.1 sampa 1 memlk nla akuras sebesar 1%. Hal n menunjukkan bahwa pada saat c =.1 ddapatkan nla akuras yang sudah konvergen. Selanjutnya dgunakan c=.1 untuk dgunakan pada data testng. ABEL 4. PERFORMANSI KERNEL LINIER 1-FOLD PADA DAA ESING Fold Akuras otal Recall Precson F-Measure 1-Fold 9% 9% 9.41% 9.94% abel menunjukkan bahwa dar hasl pengukuran perormans untuk 1 old ddapatkan rata-rata dar akuras total, recall, precson dan F-Measure sebesar 9%, 9%, 9.41% dan 9.94%. Dar 1 old tersebut dambl old ke 1 untuk melhat perormans akuras tap kategor. Berkut merupakan hasl dar pengukuran perormans tap kategor yang dtamplkan pada abel 4 ABEL 5. PERFORMANSI KERNEL LINIER IAP KAEGORI PADA DAA ESING Kategor Recall Precson F-Measure 1 Fnance 1% 9.9% 95.% Hot 1% 9.9% 95.% News 8% 1% 88.89% 4 Oto 9% 9% 9% 5 Sport 1% 1% 1% Rata-rata 94% 94.6% 9.87% abel 4 dapat dketahu bahwa hasl ketepatan klaskas dengan menggunakan kernel lner pada word vector 784 ddapatkan nla rata-rata dar 1 old ddapatkan recall, precson, dan F-Measure sebesar 94%, 94.6% dan 9.87%. Kategor yang memlk nla akuras sebesar 1% yatu kategor nance, hot dan sport. Dar tabel tersebut maka dapat dperoleh conuson matrx yang dtamplkan pada abel 5. ABEL 6. CONFUSION MARIX KERNEL LINIER Kelas Predks Kelas Asl a b c d e a News b Fnance 1 c Hot 1 d Sport 1 e Oto 1 9 abel 5 menunjukkan bahwa kategor nance, hot dan sport tdak terdapat kesalahan klaskas pada kategor tersebut. Sedangkan pada kategor news dan oto terdapat artkel berta yang dkategorkan kedalam kategor lannya terdapat artkel dan 1 artkel. Berkut merupakan hasl

5 JURNAL SAINS DAN SENI IS Vol. 5 No. (16) 7-5 (1-98X Prnt) D-1 dar pengukuran perormans pada kernel polynomal dengan menggunakan parameter c yang sudah terplh yatu c=.1 dengan 1, r=6 dan p=. ABEL 7. PERFORMANSI KERNEL POLYNOMIAL 1-FOLD PADA DAA ESING Fold Akuras otal Recall Precson F-Measure 1-Fold 9.% 9.% 9.6% 9.14% abel 6 dapat dketahu bahwa hasl nla rata-rata 1- old ddapatkan nla akuras total, recall, precson, dan F-Measure sebesar 9.%, 9.%, 9.6% dan 9.14%. Untuk melhat perormans tap kategor dambl old ke agar dapat dketahu tngkat akuras tap kategor. ABEL 8. PERFORMANSI KERNEL POLYNOMIAL IAP KAEGORI PADA DAA ESING Kategor Recall Precson F-Measure 1 Fnance 9% 1% 94.74% Hot 1% 9.91% 95.4% News 9% 1% 94.74% 4 Oto 1% 9.91% 95.4% 5 Sport 1% 1% 1% Rata-rata 96% 96.6% 95.99% abel 7 menunjukkan bahwa hasl ketepatan klaskas dengan menggunakan kernel polynomal pada word vector 784 ddapatkan rata-rata nla dar 1 old ddapatkan recall, precson, dan F-Measure sebesar 96%, 96.6% dan 95.99%. Kategor hot, oto dan sport memlk nla akuras 1%. Sedangkan kategor nance, sport dan news memlk nla precson sebesar 1%. Selanjutnya ddapatkan hasl conuson matrx pada abel 8. ABEL 9.CONFUSION MARIX KERNEL POLYNOMIAL Kelas Asl Kelas Predks a b c d e a News 9 1 b Fnance 9 1 c Hot 1 d Sport 1 e Oto 1 abel 8 menunjukkan bahwa dar 1 artkel berta, kategor news terdapat 1 artkel berta yang dklaskaskan kedalam kategor lan. Sedangkan kategor nance terdapat 1 artkel berta yang dklaskaskan kedalam kategor nance. Pada kategor hot, sport dan oto tdak terdapat artkel berta yang dklaskaskan kedalam kategor lannya. ABEL 1. PENGUKURAN PERFORMANSI SVM Akuras otal Recall Precson F-Measure Lner 9% 9% 9.41% 9.94% Polynomal 9.% 9.% 9.6% 9.14% abel 9 merupakan hasl dar rata-rata tap old untuk tap nla dar akuras total, recall, precson dan F- Measure. Dapat dlhat bahwa pada kernel tersebut memlk nla yang sama baknya akan tetap nla akuras kernel polynomal lebh tngg dar pada lner. Untuk dbandngkan dengan KNN maka dgunakan SVM dengan menggunakan kernel polynomal. Setelah ddapatkan kernel polynomal lebh bak dar pada lner dengan menggunakan persamaan kernel polynomal K = (x, x) = (γ x x + r ) p menjad K = (x, x) = (γφ(x ) φ(x) + r ) p dengan menggunakan metode one aganst one ddapatkan 1 persamaan bner SVM sebaga berkut SVM Bner kategor 1 vs 1 (1 x 6), y x SVM Bner kategor 1 vs (1 x 6) y x SVM Bner kategor 1 vs 4 (1 x 6) y x SVM Bner kategor 1 vs 5 (1 x 6) y x SVM Bner kategor vs (1 x 6) y x SVM Bner kategor vs 4 (1 x 6) y x SVM Bner kategor vs 5 (1 x 6) y x SVM Bner kategor vs 4 4 y (1 x x 6) SVM Bner kategor vs 5 5 y (1 x x 6) SVM Bner kategor 4 vs 5 45 (1 x 6) y K-Nearest Neghbor x Peneltan n menggunakan -NN, -NN dan 5-NN untuk dlakukan analss. Berkut merupakan hasl dar ketepatan klaskas KNN dengan menggunakan data tranng. ABEL 11. KEEPAAN KLASIFIKASI KNN PADA DAA RAINING Akuras otal Recall Precson F-Measure -NN 8.97% 8.97% 9.7% 87.% -NN 75.6% 75.6% 87.48% 81.8% 5-NN 68.86% 68.86% 85.97% 76.4% abel 1 dapat dketahu bahwa tngkat akuras yang tertngg dengan menggunakan -NN ddapatkan hasl nla rata-rata akuras total,recall, precson dan F- Measure masng-masng sebesar 8.97%, 8.97%, 9.7% dan 87%. Semakn besar k yang dgunakan akan menghaslkan nla akuras semakn kecl. Maka akan dgunakan -NN untuk dlanjutkan kedalam analss menggunakan data testng. Berkut merupakan hasl dar pengukuran perormans rata-rata 1-old. ABEL 1. PERFORMANSI KNN 1-FOLD PADA DAA ESING Fold Akuras otal Recall Precson F-Measure 1-Fold 6% 6% 81.15% 6.15% abel 11 dengan menggunakan word vector 784 dengan k= ddapatkan hasl nla rata-rata akuras total, recall, precson, dan F-Measure yatu sebesar 6%, 6%, 81.15% dan 6.15%. Untuk melhat pengukuran perorma tap kategor maka dambl salah satu old agar ddapatkan nla akuras tap kategor. Berkut merupakan perormans per kategor pada old ke 4 ABEL 1. PERFORMANSI KNN IAP KAEGORI PADA DAA ESING Kategor Recall Precson F-Measure 1 Fnance 7% 1% 8.5% Hot 1% 8.46% 55.55%

6 D- JURNAL SAINS DAN SENI IS Vol. 5 No. (16) 7-5 (1-98X Prnt) News 4% 1% 57.14% 4 Oto 5% 1% 66.67% 5 Sport 8% 1% 88.89% Rata-rata 68% 87.69% 7.1% abel 1 dapat dketahu bahwa dengan word vector 784 ddapatkan hasl dar nla rata-rata dar akuras total, recall, precson, dan F-Measure sebesar 68%, 68%, 87.69% dan 7.1%. Kategor hot memlk nla akuras sebesar 1% sedangkan kategor news memlk nla akuras yang palng rendah yatu sebesar 4%. Pada kategor hot memlk nla precson palng rendah yatu 8.46%. Selanjutnya akan ddapatkan conuson matrx pada abel 1 ABEL 14.CONFUSION MARIX KNN Kelas Asl Kelas Predks a b c d e a News 4 6 b Fnance 7 c Hot 1 d Sport 8 e Oto 5 5 Berdasarkan abel dapat dketahu bahwa kategor hot tdak terdapat kesalahan klaskas. Pada kategor news, artkel yang dklaskaskan dengan tepat hanya 4 artkel ssanya terdapat kesalahan klaskas pada kategor hot sebanyak 6 artkel. Kategor nance terdapat 7 artkel yang tepat dklaskaskan. Pada kategor sport terdapat 8 artkel yang tepat dklaskaskan pada kategor tersebut dan kategor oto terdapat 5 artkel yang dklaskaskan dengan benar. Perbandngan Antara SVM dan KNN Setelah ddapatkan hasl ketepatan klaskas pada kedua metode maka langkah selanjutnya adalah membandngkan. Berkut merupakan perbandngan antara kedua metode berdasarkan akuras total, precson, recall, dan F-Measure. ABEL 15. PERBANDINGAN SVM DAN KNN Metode Akuras otal Recall Precson F-Measure SVM 9.% 9.% 9.6% 9.14% KNN 6% 6% 81.15% 68.9% abel 14 dapat dlhat bahwa dar hasl pengukuran perormans yang dlhat dar akuras, precson, recall, dan F-Measure SVM kernel lner lebh bak dar pada KNN. Hasl dar KNN memberkan tngkat akuras palng kecl dbandngkan dengan metode SVM. V. KESIMPULAN DAN SARAN Kesmpulan Berdasarkan analss dan pembahasan yang telah dlakukan dapat dambl kesmpulan dar peneltan n. Metode Support Vector Machne dengan menggunakan kernel lner dan polynomal ddapat hasl kernel lner sama bak dengan kernel polynomal pada word vector 784. Untuk dbandngkan dengan hasl KNN dgunakan kernel polynomal dengan hasl yang ddapatkan pada data testng untuk masng-masng pengukuran perorma nla rata-rata 1 old ddapatkan akuras total, recall, precson, dan F-Measure sebesar 9.%, 9.%, 9.6% dan 9.14%. Metode K-Nearest Neghbor dengan menggunakan - NN pada data testng dengan word vector sebesar 784 ddapatkan hasl dar tap nla rata-rata dar 1 old perorma akuras total, recall, precson, dan F-Measure adalah 6%, 6%, 81.15%, 68.9%. Perbandngan antara kedua metode SVM dan K-NN ddapatkan hasl SVM kernel lner lebh bak dbandngkan dengan K-NN. Saran Saran untuk peneltan selanjutnya adalah agar ddapatkan perormans lebh bak maka menggunakan kernel yang sesua dengan jens data. Untuk predks kelas pada multclass SVM hanya menggunakan metode one aganst one dmana terdapat metode lannya sepert one aganst all pada kasus multclass. DAFAR PUSAKA [1] Kementran Komunkas dan Inormatka. (14). Pengguna Internet D Indonesa Capa 8 Juta. Dakses pada Januar 16, dar URL: [] Hamzah, A. (1). Klaskas eks dengan Naïve Bayes Classer (NBC) untuk Pengelompokan eks Berta dan Abstract Akadems. In Prosdng Semnar Nasonal [] Arad, D. & Fthrasar, K. (15). Klaskas Berta Indonesa Menggunakan Metode Naïve Bayessan Classcaton dan Support Vector Machne dengan Conx Strppng Stemmer. Jurnal Sans dan Sen IS, 4(), 7-5. [4] Buana, P. W., & Putra, I. K.G.D. (1). Combnaton o K-Nearest Neghbor and K-Means based on erm Re-weghtng or Classy Indonesan News. Internatonal Journal o Computer Applcatons 11(5) [5] Wdhanngsh,.D.A. & Fthrasar, K. (16). Aplkas ext Mnng untuk Automatsas Klaskas Artkel dalamnmajalah Onlne Wanta Menggunakan Naïve Bayessan Classcaton (NBC) Dan Artcal Neural Network (ANN). Jurnal Sans dan Sen IS, 5(1). [6] Prlant, K. R., & Wjaya, H. (14). Aplkas ext Mnng untuk Automas Penentuan ren opk Skrps dengan Metode K-Means Clusterng. Jurnal Cybermatka, (1). [7] Wess, S. M. (1). ext mnng: Predctve Methods or Analyzng Unstructured Inormaton. New York: Sprnger. [8] Dragut, E., Fang, F., Sstla, P., Yu, C., & Meng, W. (9). Stop Word and Related Problems n Web Interace Integraton. VLDB Endowment. [9] Crstann, N., & Shawe-aylor, J. (). An Introducton to Support Vector Machne. Cambrdge: Cambrdge Unversty Press. [1] Y. Hamamoto, S. Uchmura, and S. omta.(1997) "A Bootstrap echnque or Nearest Neghbours Classer Desgn," IEEE RANSACIONS ON PAERN ANALYSIS AND MACHINE INELLIGENCE, vol. 19, no. 1, pp [11] Prasetyo, E. (1). Data Mnng Konsep dan Aplkas Menggunakan MALAB. Yogyakarta: ANDI Yogyakarta. [1] Hotho, A., Nurnberger, A., & Paass, G. (5). A Bre Survey o ext Mnng. Kassel: Unversty o Kassel. [1] Bengo, Y. (4). No Unbased Estmator o the Varance o K-Fold Cross-Valdaton. Journal o Machne Learnng Research 5 (4)