Materi III Praktikum Data Mining Program Studi Matematika FMIPA Universitas Syiah Kuala

Transkripsi

1 Materi III Praktikum Data Mining Program Studi Matematika FMIPA Universitas Syiah Kuala Dosen Pengasuh Dr. Taufik Fuadi Abidin, M.Tech Dr. Muhammad Subianto, M.Si PENDAHULUAN Praktikum ini berkaitan dengan penggunaan perangkat lunak R ( yang dapat diperoleh secara bebas pada The Comprehensive R Archive Network (CRAN) archive di alamat Penggunaan perangkat lunak R pada praktikum ini dikhususkan pada pemahaman mengenai cara menggunakan R dalam memahami Support Vector Machine (SVM) dan Receiver Operating Characteristic (ROC). Tujuan dari praktikum ini adalah: a. Mengetahui dan memahami cara menggunakan R khususnya penerapan library yang berkaitan dengan SVM dan ROC. b. Melatih mahasiswa menyelesaikan masalah-masalah klasifikasi sederhana menggunakan SVM dan ROC. Catatan: Diasumsikan bahwa semua mahasiswa yang mengikuti praktikum ini telah mengetahui dasardasar pengoperasian komputer dan sistem operasi linux (dan/atau windows). Penjelasan dan contoh program dalam materi praktikum ini telah sukses dijalankan dengan menggunakan sistem operasi linux (Ubuntu 10.10). PRAKTIKUM 1. Pada command prompt ketik: subianto@uithof:~$ R pada linux akan ditampilkan version R seperti gambar berikut ini, 1

2 Perangkat lunak R pada dasarnya tidak mempunyai editor sebagai sarana dalam menulis syntax program sebagaimana perangkat lunak statistik lainnya. Untuk menulis syntax program telah banyak tersedia berbagai program editor diantaranya Tinn-R (windows) dan rkward (linux). Pada Ubuntu 10.10, klik pada menu Applications > Science > RKWard dan tampilan rkward dapat dilihat pada gambar berikut ini, 2

3 2. Dalam R ada beberapa library yang berkaitan dengan Support Vector Machine (SVM) dan Receiver Operating Characteristic (ROC). Dalam praktikum ini akan digunakan library-library diantaranya adalah: "e1071", "kernlab", "klar", "ROC", dan "catools". Untuk menginstal library-library tersebut lakukan perintah berikut ini: subianto@uithof:~$ sudo R Pada command prompt R, lakukan perintah: ## Install library khususnya yang berkenaan dengan SVM dan ROC installpacks <- c("e1071","kernlab","klar", "ROC", "catools") install.packages(installpacks, dependencies=true) 3. Selanjutnya unduh perangkat lunak SVM-Light pada alamat website: Unduh SVM-Light sesuai dengan system operasi yang digunakan, Windows : Linux : Kemudian ekstrak file SVM-Light tersebut pada sebuah direktori, misalkan: Windows: Linux: C:/ProgramFiles/SVM-Light /home/subianto/desktop/svmlight 4. Setelah tahap instalasi selesai, kini lakukan generate data dengan perintah: ## simulasi data (normal) dengan dua klass data std2 <- 0.7 x1 <- c(rnorm(15, -1, std2), rnorm(15, 1, std2)) x2 <- c(rnorm(15, 1, std2), rnorm(15, -1, std2)) x1 <- (x1-mean(x1))/sd(x1) x2 <- (x2-mean(x2))/sd(x2) y <- c(rep(1, 15), rep(-1, 15)) mydata <- data.frame(x1=x1, x2=x2, y=as.factor(y)) x1min <- min(x1) x1max <- max(x1) x2min <- min(x2) x2max <- max(x2) plot(x2, x1, type="n") points(x2[y==1], x1[y==1], col="red", lwd=2) points(x2[y==-1], x1[y==-1], col="blue", lwd=2) 5. Selanjutnya dengan menggunakan library(e1071) dibuat sebuah model SVM dengan cost=0.1. Lakukan analisa untuk nilai cost lainnya seperti 100, 1000, 10000, dll. 3

4 library(e1071) model <- svm(y ~., scale=false, cost=0.1, data=mydata, kernel="linear") points(x2[model$index], x1[model$index], pch=4); ## plot the support vectors coef1 <- sum(model$coefs*x1[model$index]); coef2 <- sum(model$coefs*x2[model$index]); lines(c(x2min,x2max), (model$rho-coef2*c(x2min, x2max))/coef1) lines(c(x2min,x2max), (model$rho+1-coef2*c(x2min, x2max))/coef1, lty=2) lines(c(x2min,x2max), (model$rho-1-coef2*c(x2min, x2max))/coef1, lty=2) title(main="svm with cost = 0.1") Lakukan untuk library(kernlab) dan library(klar). library(kernlab) model1 <- ksvm(y ~., data=mydata, kernel="rbfdot", kpar=list(sigma=0.05), C=5, cross=3) model1 library(klar) model2 <- svmlight(y ~., data=mydata, svm.options = "-c 10 -t 2 -g 0.1 -v 0", pathsvm = " /home/subianto/desktop/svmlight") 6. Selanjutnya dengan menggunakan library(catools), lakukan simulasi data seperti perintah berikut ini. ## another simulated example theta = runif(150, 0,1)*2*pi; x1=c(2*sin(theta[1:80])+rnorm(80,0,0.2),sin(theta[81:150])+rnorm(70,0, 0.1)) x2=c(2*cos(theta[1:80])+rnorm(80, 0, 0.2),cos(theta[81:150])+rnorm(70, 0, 0.1)) x1 = (x1-mean(x1))/sd(x1); x2 = (x2-mean(x2))/sd(x2); y =c(rep(-1,80), rep(1,70)) plot(x2, x1, type="n"); points(x2[y==1], x1[y==1], col="red", lwd=2) points(x2[y==-1], x1[y==-1], col="blue", lwd=2) title(main="contoh Simulasi lainnya") mydata <- data.frame(x1=x1, x2=x2, y=as.factor(y)) mydata # choosing training data and testing data sets N <- dim(mydata)[1] N tr.index <- sample(n,round(n/1.5)) tr.index # train set train.dat <- mydata[-tr.index,] train.dat dim(train.dat) 4

5 Kemudian buat model SVM dan hitung ROC dari model tersebut. # model library(e1071) model3 <- svm(y ~., cost=10, data=train.dat, kernel="polynomial", probability =TRUE) summary(model3) plot(model3, train.dat) #test svm test.dat <- mydata[tr.index,] test.dat dim(test.dat) # compute decision values and probabilites pred1 <- predict(model3, test.dat[,-3], probability = TRUE) attr(pred1, "probabilities") #tabel kontingensi tabel1 <- table(pred1, test.dat[,3]) tabel1 #plot ROC library(catools) colauc(attr(pred1, "probabilities"), test.dat[,3], plotroc=true) Happy Mining