BAB 4 IMPLEMENTASI DAN EVALUASI 4.1 Spesifikasi Sistem Sistem aplikasi yang kami kembangkan adalah sistem pengklasifikasian jenis kanker payudara apakah tergolong normal atau abnormal (benign atau malignant) berdasarkan query mammogram image yang dimasukkan. Aplikasi ini kami buat menggunakan Microsoft Visual C# 2010 Express Edition (Version 10.0.30319.1 RTMRel), Microsoft.NET Framework Version 4.0.30319 RTMRel dengan pertimbangan: 1. Banyak framework yang sudah disediakan berbasiskan C#. Contohnya adalah EMGU CV yang kami pakai dalam membuat aplikasi ini 2. C# menggunakan bahasa OOP yang robust sehingga dapat mempermudah programmer dalam pembuatan sistem skala kecil, menengah maupun besar 3. Menurut survey yang dilakukan oleh TIOBE Programming Community, C# merupakan bahasa pemrograman nomor 3 terpopuler di dunia. Hal ini akan mempermudah kami mencari tutorial maupun snippet. (Sumber: http://www.tiobe.com/index.php/content/paperinfo/tpci/index.html) 4. C# dicompile ke dalam intermediate language (CIL) sehingga bisa berjalan di semua arsitektur komputer dan sistem operasi 5. Program berjalan lebih cepat dan efisien di dalam Windows karena menggunakan.net Framework 50
51 Untuk dapat melalukan implementasi sistem secara optimum, maka dibutuhkan spesifikasi sistem software ataupun hardware yang memadai. Recommended Requirement: Processor : 3.0GHz Memory : 2 GB Harddisk : 2 GB OS : Windows XP / Windows 7 4.2. Prosedur Operasional Aplikasi ini terdiri dari MDI halaman utama yang berisi dua menu utama, yaitu File dan Forms. Dengan otomatis, saat pertama kali dibuka, program akan mengecek ada atau tidaknya data SVM dan me-loadnya bila ditemukan. Gambar 4.2 MDI utama
52 4.2.1. Menu File Di dalam menu file, terdapat 4 macam submenu yaitu Load Image, Load SVM, Save SVM, dan Exit. Gambar 4.2.1 Menu File 4.2.1.1. Load Image Di dalam submenu ini, kita dapat membuka file yang kita inginkan. File yang dapat kita buka, hanya mempunyai 2 tipe extensi file, yaitu.pgm (Portable Gray Map) dan.mamm (Mammogram Image). Perbedaannya yaitu : file berextensi.pgm merupakan file image yang masih murni dari data MIAS, sedangkan file berextensi.mamm merupakan file image dari mammogram yang telah diedit (diflip, dihilangkan labelnya, dan telah diatur ROI-nya). Jika image berhasil diload, maka akan muncul pesan berhasil.
53 Gambar 4.2.1.1a Load image Gambar 4.2.1.1b Pesan berhasil
54 4.2.1.2. Load SVM Program yang kami buat akan otomatis me-load SVM saat dijalankan apabila file SVM tersedia di dalam directory SVM. Dialog box akan muncul apabila user mencoba me-load SVM lain. Gambar 4.2.1.2 Dialog box warning saat load SVM 4.2.1.3. Save SVM Fungsi Save SVM akan menyimpan SVM yang sudah ditraining kedalam file. Apabila file SVM lain sudah tersimpan sebelumnya, maka ada dialog box konfirmasi seperti gambar di bawah ini, gunanya untuk memastikan agar tidak terjadi kesalahan dari user. Gambar 4.2.1.3 Dialog box warning saat save SVM 4.2.1.4. Exit Untuk keluar dari program (bisa juga dengan menekan shorcut ALT + F4).
55 4.2.2. Menu Forms Training. Di dalam menu forms, terdapat 2 macam submenu form, yaitu Classifier dan Gambar 4.2.2 Menu form 4.2.2.1. Classifier Gambar 4.2.2.1a Tampilan menu Classifier
56 Di dalam form Classifier ini, kita dapat juga melakukan fungsi meload image seperti fungsi pada menu bar file, Load Image. Setelah gambar diload, maka akan muncul list image yang dipilih di kolom sebelah kiri. Gambar 4.2.2.1b Tampilan setelah load gambar Jika kita memilih salah satu image, maka akan muncul keterangan dari image yang kita pilih tersebut (lihat pada bagian MIAS info). Gambar 4.2.2.1c Tampilan setelah memilih salah satu image
57 Kita dapat menghilangkan label pada gambar mammogram dengan menekan button remove label. Kita juga dapat meningkatkan tingkat erosi maupun dilasi dari proses penghilangan label tersebut dengan menyesuaikan parameter yang disediakan, Selain itu kita juga dapat melakukan flip image yang akan kita training maupun image yang akan kita uji sehingga semuanya menghadap posisi yang sama. Gambar 4.2.2.1d Tampilan setelah image di-flip dandi-remove label Jika kita mengklik pada gambar, maka akan muncul sebuah kotak untuk menentukan ROI serta hasil gambar yang telah di-enhanced.
58 Gambar 4.2.2.1e Tampilan setelah memilih ROI Setelah kita memilih ROI, maka kita dapat memilih button get features untuk mendapatkan fitur yang terdapat pada ROI tersebut. Gambar 4.2.2.1f Tampilan setelah memilih button Get Features Tombol Classify berfungsi untuk mengklasifikasi ROI yang dipilih, hanya dapat dilakukan apabila SVM sudah ditraining.
59 Gambar 4.2.2.1g Tampilan setelah memilih Button Classify Tombol save changes untuk menyimpan informasi gambar yang telah diubah oleh user, sedangkan cancel untuk membatalkan perubahan yang dilakukan. 4.2.2.2. Training Di dalam form training ini, user dapat menentukan image mana saja yang mau ditraining ke dalam SVM.
60 Gambar 4.2.2.2 Tampilan form Training Lalu tombol Train berfungsi untuk melakukan training image image tersebut ke dalam SVM dengan input feature dari GLCM dan output berdasarkan info dari MIAS. Status training dapat dilihat pada label yang bertuliskan Status :. Tombol Clear SVM digunakan untuk membersihkan data training yang sudah ada pada SVM. Hal ini dilakukan agar user dapat melakukan training dari awal. 4.3 Evaluasi Hasil Percobaan Data MIAS yang kami uji terdiri dari 60 mammogram image dengan ekstensi *.mamm terbagi menjadi 37 image normal, 13 image dengan tingkat severitas malignant, dan 10 image dengan tingkat severitas benign. Dari keseluruhan sample ini, kami membaginya menjadi 36 training sample dan 24 testing sample.
61 4.3.1 Training Mammogram MIAS Information SVM Classification Calcification Severity Calcification Severity mdb201 negative negative mdb202 negative negative mdb203 negative negative mdb204 negative negative mdb205 negative negative mdb206 negative negative mdb207 negative negative mdb208 negative negative mdb209 positive malignant positive malignant mdb210 negative negative mdb211 positive malignant positive malignant mdb212 negative negative mdb213 positive malignant positive malignant mdb214 negative negative mdb215 negative negative mdb216 positive malignant positive malignant mdb217 negative negative mdb218 positive benign positive benign mdb219 positive benign positive benign mdb220 negative negative mdb221 negative negative mdb222 positive benign positive benign mdb223 positive benign positive benign mdb224 negative negative mdb225 negative negative mdb226 positive benign positive benign mdb227 positive benign positive benign mdb228 negative negative mdb229 negative negative mdb230 negative negative mdb231 positive malignant positive malignant mdb232 negative negative mdb233 positive malignant positive malignant mdb234 negative negative mdb235 negative negative mdb238 positive malignant positive malignant Terdapat calcification (text berwarna merah malignant, berwarna hijau benign) Tidak terdapat calcification Tabel 4.3.1 Cuplikan data MIAS yang dipakai
62 Detail dari training samplenya yaitu : Training sample : 36 images Training positive calcification : 13 images Training negative calcification : 23 images Training calcification malignant : 7 images Training calcification benign : 6 images 4.3.2 Testing Gambar hasil testing ada di bawah ini. Gambar 4.3.2a Diagnosis normal (calcification: negative)
63 Gambar 4.3.2b Diagnosis abnormal dengan tingkat severitas malignant Gambar 4.3.2c Diagnosis abnormal dengan tingkat severitas benign
64 Gambar 4.3.2d Salah satu jenis kesalahan diagnosis (Tingkat severitas yang sebenarnya adalah malignant namun hasil diagnosis menyatakan benign) Gambar 4.3.2e Salah satu jenis kesalahan dalam mendiagnosis abnormalitas. Seharusnya tingkat calcification adalah negative tapi hasil diagnosis menyatakan positive dengan tingkat severitas malignant.
Gambar 4.3.2f Salah satu jenis kesalahan dalam diagnosis yaitu false negative. 65
66 Data hasil testing gambar mammogram untuk 24 sample Mammogram MIAS Information SVM Classification Calcification Severity Calcification Severity mdb236 positive benign positive benign mdb237 negative negative mdb239 positive malignant positive malignant mdb240 positive benign positive benign mdb241 positive malignant positive benign mdb242 negative negative mdb243 negative negative mdb244 negative positive malignant mdb245 positive malignant positive malignant mdb246 negative negative mdb247 negative negative mdb248 positive benign positive benign mdb249 positive malignant positive malignant mdb250 negative negative mdb251 negative negative mdb252 positive benign negative mdb253 positive malignant positive malignant mdb254 negative negative mdb255 negative negative mdb256 positive malignant negative mdb257 negative negative mdb258 negative negative mdb259 negative negative mdb260 negative negative Tabel 4.3.2 Hasil Testing Detail dari testing sample: Testing sample : 24 images True positives : 8 images True negatives : 13 images False positives : 1 image False negatives : 2 images True Benign : 3 images True Malignant : 4 images False Benign : 1 image False Malignant : 1 images
67 Dari data testing tersebut maka kami mendapat prosentase keberhasilan untuk mendeteksi kanker ini berdasarkan microcalcification adalah: Prosentase keberhasilan pendeteksian keabnormalitasan = = = 87.5% Sedangkan prosentase keberhasilan untuk menentukan tingkat severitas berdasarkan calcificationnya adalah: Prosentase keberhasilan penentuan tingkat severitas = = = 87.5% Sensitivity atau true positive rate (TPR) = = = 80% False positive rate (FPR) = = = 7.14%
68 Accuracy (ACC) = = = 87.5% Specificity (SPC) atau true negative rate (TNR) = = = 92.86% Presisi atau positive predictive value (PPV) = = Negative predictive value (NPV) = = 88.89% = = 86.67% False discovery rate (FDR) = = = 11.11%
69 Evaluasi Kesalahan Klasifikasi Dari keempat kesalahan klasifikasi yang terjadi, kami melakukan analisis dari feature yang didapat dari setiap mammogram yang dianalisis. Hasilnya adalah sebagai berikut: 1. Fitur yang didapat merupakan confusion matrix di mana fitur tersebut menyebrangi threshold dari hyperplane SVM pada feature vector 2. Proses image preprocessing yang dilakukan dibasiskan pada ROI yang dipilih saja, sehingga hasilnya kurang menggambarkan keseluruhan tekstur dari gambar mammogram. Ketika ROI digeser, ada kemungkinan hasil dari klasifikasi berubah 3. SVM yang kami gunakan berbasiskan bidang lurus atau linear, sehingga klasifikasi yang terjadi masih kaku dan rentang terjadi kesalahan klasifikasi.