BENCHMARKING ALGORITMA PEMILIHAN ATRIBUT PADA KLASIFIKASI DATA MINING

Transkripsi

1 BENCHMARKING ALGORITMA PEMILIHAN ATRIBUT PADA KLASIFIKASI DATA MINING Intan Yuniar Purbasari 1, Budi Nugroho 2 1,2 Jurusan Teknik Informatika, Fakultas Teknologi Industri, UPN Veteran Jatim Jl. Rungkut Madya, Surabaya 1 intan@upnvjatim.ac.id, intan.yuniar@gmail.com, 2 budinug80@yahoo.com Abstract: In data mining, the process of information retrieval success is influenced by several factors. One key factor is the quality of the data. If the data has too much noise, or a lot of data is redundant and irrelevant, the training process of information discovery will be troublesome. Attribute selection technique is one technique for selecting data attributes to identify and eliminate irrelevant and redundant information. This study compared the performance of six attribute selection algorithms available in Weka to classify 25 datasets, using two classification algorithms: Naïve Bayes and C4.5. From the test results, it obtained Wrapper technique which has the best performance on both types of classification algorithms, which provides improved correct datasets classification on 13 and 8, respectively. Keywords: benchmarking, attribute selection algorithms, data mining, classification 1. PENDAHULUAN Di dalam data mining, kesuksesan proses penemuan informasi dipengaruhi oleh beberapa faktor. Salah satu faktor kuncinya adalah kualitas data. Jika data memiliki terlalu banyak noise, atau banyak data yang redundant dan tidak relevan, proses pelatihan penemuan informasi akan mengalami kesulitan. Teknik pemilihan atribut adalah salah satu teknik untuk menseleksi atribut data dengan mengidentifikasi dan menghilangkan informasi yang tidak relevan dan redundan. Dengan mengurangi dimensi data, ruang hipotesis akan mengecil dan algoritma learning akan berjalan lebih cepat. Dengan demikian, pemilihan teknik seleksi atribut yang tepat akan mempercepat proses pembelajaran pada klasifikasi data pada data mining. Banyak algoritma pemilihan atribut yang menggunakan pendekatan permasalahan searching dimana setiap subset dari solusi permasalahan merupakan kelompok atribut yang terpilih [1]. Ukuran ruang hipotesis yang eksponensial menjadikan diperlukannya pencarian heuristik untuk seluruh dataset. Dalam prosesnya, setelah sejumlah atribut terpilih menjadi kandidat, diperlukan evaluator tingkat utilitas atribut untuk menilai kelayakan terpilihnya kandidat atribut tersebut. Ini menyebabkan terbentuknya permutasi yang sangat besar sehingga proses penilaian atribut ini akan memakan waktu yang cukup lama. Hal inilah yang menyebabkan tidak banyaknya studi yang dilakukan tentang benchmarking algoritma pemilihan atribut pada dataset nontrivial. Beberapa studi yang telah dilakukan antara lain di [1], [2], dan [3]. Di [2], dataset yang digunakan adalah dataset artifisial yang berukuran kecil dan beberapa algoritma pemilihan atribut dinilai kekurangan dan kelebihannya terhadap noise, perbedaan tipe atribut, dataset multiclass, dan kompleksitas waktu komputasi. Pada [3], percobaan dilakukan pada 25 dataset UCI 1 yang sering digunakan pada proses klasifikasi dan mengujicobanya dengan menggunakan algoritma klasifikasi Naïve-Bayes dan C45. Penelitian ini membandingkan kinerja enam algoritma seleksi atribut dalam meningkatkan kesuksesan hasil klasifikasi dengan menggunakan algoritma klasifikasi Naïve-Bayes dan C4.5. Penelitian ini banyak mengacu pada tahapan-tahapan yang dilakukan di [3], dalam hal dataset yang digunakan, algoritma pemilihan atribut, dan algoritma klasifikasi yang digunakan dengan penambahan 10 dataset baru untuk memberikan referensi yang lebih lengkap tentang performa setiap algoritma pemilihan atribut yang ada terhadap dataset yang lebih banyak. 2. MODEL, ANALISIS, DESAIN, DAN IMPLEMENTASI Penelitian ini menggunakan software tool untuk data mining Weka 2 versi 3.6.6, yang merupakan software gratis yang memiliki fitur lengkap untuk machine learning dan data mining. Berikut dibahas secara singkat tentang dataset yang digunakan serta masing-masing algoritma pemilihan atribut yang digunakan dalam penelitian ini. Teknik Informatika / Universitas Surabaya Halaman C-47

2 2.1. Dataset Penelitian sebelumnya menggunakan dataset UCI 1, namun dataset tersedia dalam beberapa versi dan dalam format C4.5 (dengan ekstensi.data dan.names). Karena Weka paling baik bekerja pada dataset berekstensi.arff, beberapa dataset mengalami kesulitan ketika di-load ke dalam Weka, walaupun telah menggunakan converter yang disediakan. Oleh karena itu, dataset yang sama dengan ekstensi.arff telah diperoleh dari [4] sebanyak 25 dataset seperti pada tabel Tahap pra-pemrosesan Tiga dari enam teknik pemilihan atribut pada tabel 1 hanya beroperasi pada atribut yang bertipe diskrit. Oleh karena itu, agar teknik tersebut dapat dioperasikan pada atribut bertipe numerik, perlu dilakukan tahap diskretisasi sebagai tahap pra-pemrosesan. Penelitian ini menggunakan teknik supervised discretization yang digagas oleh Fayyad dan Irani [5] yang telah tersedia di dalam Weka pada class weka.filters.supervised.attribute.discretize sebagai teknik diskretisasi default. Tabel 1. Dataset Data Set Train size Test size Num. Nom. Classes anneal 898 CV audiology 226 CV autos 205 CV breast-c 286 CV car 1728 CV credit-g (German credit data) 1000 CV dermatology 366 CV diabetes 768 CV glass CV horse colic 300 CV heart-c(cleve) 303 CV heart-stat 270 CV hepatitis 155 CV ionosphere 351 CV iris 150 CV labor-neg 57 CV lymph 148 CV segment 2310 CV sonar 208 CV soybean 683 CV tic-tac-toe 958 CV train 10 CV vote 435 CV vowel 990 CV zoo 101 CV Teknik Seleksi Atribut Menurut [3], ada dua kategori utama pada teknik seleksi atribut: filter dan wrapper. Teknik filter menggunakan karakteristik umum dari data untuk mengevaluasi atribut dan beroperasi secara independen terhadap sembarang algoritma pembelajaran. Teknik wrapper mengevaluasi atribut dengan menggunakan estimasi akurasi dari algoritma pembelajaran target. Jenis kategori yang lain membagi teknik seleksi atribut menjadi kategori teknik yang mengevaluasi atribut secara individual dan kategori yang mengevaluasi subset atribut sekaligus. Weka menyediakan beberapa evaluator atribut dan metode pencarian yang digunakan. Metode pencarian BestFirst merupakan metode pencarian hill climbing dengan opsi backtracking. Metode GreedyStepwise melakukan teknik greedy dengan menambahkan satu-persatu atribut ke dalam subset solusi dan berhenti ketika penambahan atribut baru menyebabkan penurunan pada penilaian evaluasi atribut. Metode Teknik Informatika / Universitas Surabaya Halaman C-48

3 LinearForwardSelection merupakan modifikasi dari BestFirst dengan penambahan sejumlah k atribut ke dalam penilaian. Metode RankSearch melakukan perangkingan atribut dengan menggunakan evaluator atribut/subset Teknik Information Gain (IG) Teknik ini merangking atribut dengan menghitung entropi dari sebuah kelas C sebelum dan setelah mengamati sebuah atribut A. Nilai penurunan entropi disebut information gain. Persamaan (1) dan (2) menghitung entropi kelas sebelum dan sesudah pengamatan terhadap atribut A. Setiap atribut diberikan sebuah skor berdasarkan information gain-nya. Rumus perhitungan information gain terdapat pada persamaan (3). (1) (2) (3) Teknik ini mengharuskan data numerik didiskritkan terlebih dahulu. Pada Weka, fungsi ini tersedia dalam class weka.attributeselection.infogainattributeeval dan dipasangkan dengan metode pencarian Ranker Relief (RLF) Relief adalah metode perangkingan atribut berbasis instance yang secara acak mengambil sampel sebuah instance data dan mencari nearest neighbor pada class yang sama dan berlawanan. Pada awalnya, metode ini digunakan pada permasalahan klasifikasi 2 class. Nilai atribut dari nearest neighbor dibandingkan dengan sampel instance data dan digunakan untuk menghasilkan skor untuk setiap atribut. Proses ini diulangi untuk m instance, dimana nilai m dapat ditentukan oleh user. Versi pengembangan dari Relief adalah ReliefF dan dapat digunakan untuk menangani noise dan dataset dengan banyak class. Noise data dihaluskan dengan merata-rata kontribusi dari k nearest neighbors dari class yang sama dan berlawanan dari setiap sampel instance. Pada Weka, teknik ini tersedia dalam class weka.attributeselection.relieffattributeeval dan dipasangkan dengan metode pencarian Ranker. Gambar 1 merupakan algoritma dari ReliefF. Gambar 1. Algoritma ReliefF Principal Component (PC) Analisis Principal Component menggunakan perhitungan statistik untuk mengurangi dimensionalitas data dengan menghasilkan eigenvector dari atribut. Eigenvector tersebut lalu dirangking berdasarkan jumlah variasi dalam data asli yang mereka wakili. Hanya sedikit dari beberapa atribut pertama yang berkontribusi terhadap variasi data yang akan diambil. Pada Weka, teknik ini terdapat dalam class weka.attributeselection.principalcomponents dan dipasangkan dengan metode pencarian Ranker. Teknik Informatika / Universitas Surabaya Halaman C-49

4 2.3.4 Correlation-Based Feature Selection (CFS) Teknik ini termasuk ke dalam kategori seleksi fitur yang mengevaluasi subset dari atribut. Teknik ini mempertimbangkan kegunaan atribut individual untuk memprediksi class dan juga level inter-korelasi di antara mereka. Sebuah fungsi heuristik (4) memberikan skor tinggi kepada subset yang berisi atribut-atribut yang berkorelasi tinggi dengan class-nya dan memiliki inter-korelasi rendah dengan satu sama lain. (4) CFS mengharuskan atribut numerik didiskritkan terlebih dahulu sebelum menggunakan symmetrical uncertainty untuk mengestimasi derajat asosiasi antara dua fitur diskrit. Pada Weka, teknik ini tersedia dalam class weka.attributeselection.cfssubseteval dan dipasangkan dengan metode pencarian ForwardSelection Consistency-Based Subset Evaluation (CNS) Teknik ini menggunakan konsistensi class sebagai metrik evaluasi (5) yang mencari kombinasi atribut yang nilainya membagi data ke dalam subset yang berisi class mayoritas tunggal yang kuat. (5) Teknik ini juga mengharuskan atribut numerik didiskritkan terlebih dahulu sebelum diproses. Dalam Weka, fitur ini tersedia dalam class weka.attributeselection.consistencysubseteval dan dipasangkan dengan metode pencarian ForwardSelection Wrapper Subset Evaluation (WRP) Pada implementasi teknik ini di Weka, dilakukan 5-fold cross validation untuk estimasi akurasi. Cross validation diulangi selama standar deviasi yang didapat lebih besar dari 1% dari rata-rata akurasi atau hingga lima repetisi telah dilakukan. Pada Weka, teknik ini tersedia di class weka.attributeselection.wrappersubseteval dan dipasangkan dengan metode pencarian ForwardSelection Reduksi Dimensionalitas Sebelum dataset diberikan kepada algoritma learning, setiap selektor atribut mengurangi dimensionalitas berdasarkan ranking atribut. Karena metode 10-fold cross validation digunakan, setiap training set dari pemisahan set train-test digunakan untuk mengestimasi kelayakan dari n rangking atribut tertinggi untuk dipilih sebagai subset atribut terbaik. Nilai n didapat dengan menggunakan forward selection hill climbing search untuk mencari subset atribut terbaik Algoritma Klasifikasi C4.5 dan Naïve-Bayes Mengikuti teknik yang diterapkan pada [3], digunakan 2 jenis algoritma klasifikasi, yakni C4.5 dan Naïve-Bayes. Alasan digunakan 2 jenis ini adalah karena keduanya menggunakan pendekatan yang berbeda dan memiliki waktu running yang relatif cepat, serta keduanya telah tersedia di dalam Weka. Algoritma Naïve-Bayes menghitung probabilitas nilai atribut secara independen di dalam setiap class dari training instance. Ketika sebuah training instance datang, probabilitas posterior dari setiap class dihitung menggunakan nilai atribut dari instance tersebut dan instance akan dimasukkan ke dalam class yang memiliki probabilitas tertinggi. Sementara itu, algoritma C4.5 secara rekursif mempartisi training data berdasarkan tes yang dilakukan pada nilai atribut untuk memisahkan class. Tes atribut ini dipilih satu-persatu dengan pendekatan greedy dan bergantung pada hasil yang didapat dari tes sebelumnya Metodologi Seluruh 25 dataset diberikan perlakuan yang sama dengan menerapkan 6 teknik pemilihan atribut untuk masing-masing dataset. Setelah atribut diseleksi, dataset diproses dengan 2 algoritma learning, yakni Naïve- Teknik Informatika / Universitas Surabaya Halaman C-50

5 Bayes dan C4.5. Dataset ini bervariasi dari segi ukuran, mulai puluhan hingga ribuan, yang masing-masingnya memiliki kurang dari 100 atribut. Untuk membandingkan hasil klasifikasi, digunakan mode Weka Experimenter pada Weka. Persentase kebenaran klasifikasi dirata-rata dari 10 kali 10-fold cross validation dan untuk setiap tekniknya, dibandingkan antara hasil sebelum dan sesudah dilakukan pemilihan atribut. Weka memiliki class weka.classifiers.meta.attributeselectedclassifier yang memungkinkan untuk menerapkan teknik pemilihan atribut dan mengurangi dimensi data sebelum dilewatkan pada sebuah algoritma classifier. Setting parameter yang akan digunakan pada penelitian ini adalah setting default dari Weka. 3. HASIL DAN PEMBAHASAN Seperti yang telah dijelaskan pada subbab metodologi, penerapan teknik pemilihan atribut dan hasil klasifikasi dilakukan dalam mode Weka Experimenter. Untuk keduapuluhlima dataset, persentase kebenaran klasifikasi dari masing-masing algoritma learning dirata-rata dari 10 kali 10-fold cross validation. Tabel 2 menunjukkan hasil benchmark dari 6 algoritma terhadap 25 dataset dengan menggunakan algoritma klasifikasi Naïve-Bayes dan Tabel 4 menunjukkan hasil benchmark dengan menggunakan algoritma klasifikasi C4.5. Tabel 2. Hasil untuk Seleksi Atribut dengan Naïve Bayes No (1) Dataset (2) NB (3) IG (4) RLF (5) PC (6) CNS (7) CFS (8) WRP (9) 1 anneal v v * v v v 2 audiology * * v 3 autos v v v v v v 4 breast-cancer * car horse-colic v v v 7 german_credit * * * 8 dermatology * * pima_diabetes v v v v v v 10 Glass v v v v v v 11 cleve-heart-disease * * 12 heart-statlog hepatitis v v v v v 14 ionosphere v v v v v v 15 iris * * * 16 labor * * * 84.1 * * * 17 lymphography v v * * * * 18 segment v * v v v 19 sonar v v v v v v 20 soybean * * tic-tac-toe v v v v 22 trains * * * vote v v v 24 vowel v v v v v v 25 zoo * * * * * * v=menaik secara signifikan, *=menurun secara signifikan Tabel 2 menunjukkan perbandingan performa masing-masing algoritma (kolom 4-9) terhadap tiap dataset dalam melakukan klasifikasi dengan Naïve Bayes dibandingkan dengan yang tanpa menggunakan seleksi fitur sama sekali (kolom 3). Keterangan * dan v menunjukkan selisih yang signifikan secara statistik (lebih dari 1%), sesuai hasil uji-t 2 pasang. Dari tabel 2, dapat dilihat bahwa hasil terbaik dilakukan oleh Wrapper yang memberikan peningkatan kebenaran klasifikasi pada 13 dataset dan penurunan pada 6 dataset. CNS berada pada peringkat kedua, dengan kenaikan pada 12 dataset dan penurunan pada 5 dataset. Peringkat ketiga adalah CFS dengan kenaikan pada 12 dataset dan penurunan pada 7 dataset. Metode Information Gain (IG) memberikan kenaikan pada 10 dataset dan penurunan pada 3 dataset sedangkan RLF naik untuk 9 dataset dan turun untuk 3 Teknik Informatika / Universitas Surabaya Halaman C-51

6 dataset. Yang terburuk adalah Principal Component (PC) dengan kenaikan pada 7 dataset dan penurunan pada 12 dataset. Tabel 3 menggambarkan ranking dari seluruh teknik seleksi atribut terhadap keakuratan kebenaran klasifikasi dengan algoritma Naïve Bayes pada 25 dataset. Beberapa teknik seleksi atribut memiliki kebenaran klasifikasi yang sama dan tertinggi di antara yang lain, sehingga teknik-teknik seleksi tersebut dihitung bersamasama sebagai pemenang. Dari tabel 3, terlihat bahwa Wrapper tetap yang paling unggul dibandingkan metode lainnya dengan 10 kemenangan, sedangkan CFS secara mengejutkan berada pada posisi terakhir dengan hanya menang di 1 dataset saja (dataset 12) bersama-sama dengan IG dan RLF. Tabel 3. Ranking Teknik Seleksi Atribut pada algoritma Naïve Bayes Teknik Menang WRP 10 IG 8 RLF 8 NB 6 CNS 3 PC 2 CFS 1 Tabel 4 menunjukkan hasil benchmark dari 6 teknik seleksi atribut dan tanpa seleksi atribut dengan menggunakan algoritma klasifikasi C4.5 terhadap 25 dataset. Tabel 4. Hasil untuk Seleksi Atribut dengan C4.5 No (1) Dataset (2) NB (3) IG (4) RLF (5) PC (6) CNS (7) CFS (8) WRP (9) 1 anneal * * audiology * * autos * * * * 4 breast-cancer * * * car * horse-colic * * german_credit * v v dermatology * pima_diabetes v v v v v v 10 Glass v v v v v v 11 cleve-heart-disease v v v heart-statlog v v v v v v 13 hepatitis v v v v v v 14 ionosphere * v 15 iris * labor v v v v v v 17 lymphography * * v 18 segment * * * * * * 19 sonar v v v v v v 20 soybean * * * tic-tac-toe * * trains * * * 23 vote * * 24 vowel * * zoo * * * * * v=menaik secara signifikan, *=menurun secara signifikan Tabel 4 menunjukkan perbandingan performa masing-masing algoritma (kolom 4-9) terhadap tiap dataset dalam melakukan klasifikasi dengan C4.5 dibandingkan dengan yang tanpa menggunakan seleksi atribut sama sekali (kolom 3). Wrapper masih merupakan teknik seleksi atribut yang terunggul dibandingkan yang lainnya Teknik Informatika / Universitas Surabaya Halaman C-52

7 dengan memberikan kenaikan kebenaran klasifikasi pada 8 dataset dan penurunan pada 5 dataset. CNS menjadi yang terbaik kedua dengan memberikan kenaikan pada 8 dataset dan penurunan pada 9 dataset, sedangkan CFS berada sedikit di bawah CNS dengan kenaikan pada 8 dataset dan penurunan pada 10 dataset. Dua teknik memiliki posisi yang sama, yakni IG dan RLF, yang sama-sama memiliki kenaikan pada 6 dataset dan penurunan pada 2 dataset. Di posisi terbawah adalah PC dengan kenaikan pada 7 dataset dan penurunan pada 15 dataset. Walaupun IG dan RLF sama-sama memiliki nilai kenaikan dataset yang lebih rendah dibandingkan Wrapper, namun keduanya memiliki selisih naik-turun yang terbesar (yakni 4) dibandingkan dengan Wrapper yang sebesar 3. Tabel 5 menggambarkan ranking dari seluruh teknik seleksi atribut terhadap keakuratan kebenaran klasifikasi dengan algoritma C4.5 pada 25 dataset. Beberapa teknik seleksi atribut memiliki kebenaran klasifikasi yang sama dan tertinggi di antara yang lain, sehingga teknik-teknik seleksi tersebut dihitung bersama-sama sebagai pemenang. Tabel 5. Ranking Teknik Seleksi Atribut pada algoritma C4.5 Teknik Menang WRP 7 CNS 6 RLF 5 C4.5 4 PC 3 IG 1 CFS 1 Dari tabel 5, dapat dilihat bahwa Wrapper masih lebih unggul dari teknik lainnya dengan menang pada 7 dataset, sedangkan CFS kembali menempati posisi terakhir dengan unggul hanya pada 1 dataset saja (dataset 7). Hasil ini sedikit berbeda dengan [3] dimana yang menjadi pemenang adalah RLF. Hal ini dimungkinkan karena adanya perbedaan pada jumlah dataset yang dijadikan ujicoba. Setiap dataset memiliki karakteristik tersendiri yang dapat mempengaruhi baik tidaknya kinerja teknik seleksi atribut yang diterapkan. Kemungkinan penyebab lain adalah penggunaan metode pencarian yang berbeda. Pada penelitian ini, untuk IG, RLF, dan PC digunakan metode pencarian Ranker, karena metode tersebut adalah satu-satunya metode pencarian pada Weka yang dapat dipasangkan dengan ketiganya. Sedangkan untuk CFS, CNS, dan WRP digunakan metode pencarian Linear Forward Selection sesuai dengan metode yang digunakan pada [3] dan merupakan pendekatan greedy sederhana yang secara sekuensial menambahkan sebuah atribut yang memiliki nilai tertinggi ketika dikombinasikan dengan sejumlah atribut lain yang sudah terpilih. Sebagai perbandingan pula dari segi running time, percobaan pertama dengan 25 dataset, 6 algoritma seleksi atribut dan menggunakan algoritma klasifikasi Naïve Bayes, dibutuhkan waktu 2 jam dan 37 menit. Sedangkan percobaan kedua dengan jumlah dataset dan algoritma seleksi atribut yang sama dan menggunakan algoritma klasifikasi C4.5, dibutuhkan waktu 4 jam dan 56 menit. Proses dengan algoritma C4.5 membutuhkan waktu lebih lama karena algoritma tersebut membangun model tree terlebih dahulu dari dataset yang ada, baru kemudian melakukan proses klasifikasi. Semakin banyak jumlah atribut dari sebuah dataset, semakin lama proses menghasilkan model tree-nya. Lingkungan ujicoba penelitian ini menggunakan prosesor Intel 1.8GHz dengan memori 4GB. 4. KESIMPULAN Penelitian ini telah melakukan studi perbandingan terhadap kinerja 6 teknik seleksi atribut pada 25 dataset. Berdasarkan hasil ujicoba yang telah dilakukan, diperoleh kesimpulan bahwa teknik seleksi atribut Wrapper adalah yang terbaik dari 5 teknik lainnya, sekaligus merupakan teknik yang membutuhkan waktu paling lama, baik dengan algoritma klasifikasi Naïve Bayes maupun C4.5. Hasil yang diperoleh tidak menjustifikasi bahwa teknik Wrapper adalah yang paling baik digunakan pada dataset apapun, namun hanya memberikan rujukan umum bagi peneliti yang akan menerapkan teknik seleksi atribut pada datasetnya. Teknik Informatika / Universitas Surabaya Halaman C-53

8 5. SARAN Proses ujicoba yang cukup memakan waktu merupakan salah satu kendala yang menyebabkan kurang menyeluruhnya pembandingan faktor-faktor lainnya untuk dilakukan, selain ketepatan hasil klasifikasi, seperti sensitivitas masing-masing teknik terhadap missing data serta noise, juga jumlah tree yang dihasilkan oleh tiap teknik pada penggunaan algoritma klasifikasi C4.5. Untuk selanjutnya, peneliti akan memasukkan faktor-faktor tersebut sebagai kinerja yang diukur pada penelitian berikutnya. 6. Daftar Pustaka [1] A. Blum and P. Langley, Selection of Relevant Features and Examples in Machine Learning, Artificial Intelligence, vol. 97, nos. 1-2, pp , [2] M. Dash and H. Liu, Feature Selection for Classification, Intelligent Data Analysis, vol. 1, no. 3, [3] Hall and Holmes, Benchmarking Attribute Selection Techniques for Discrete Class Data Mining, IEEE Transactions on Knowledge and Data Engineering, Vol. 15, No. 6, IEEE Computer Society, [4] Repository of Software Environment for the Advancement of Scholarly Research (SEASR). [Online]. Available: [5] U.M. Fayyad and K.B. Irani, Multiinterval Discretisation of Continuous-Valued Attributes, Proc. 13th Int l Joint Conf. Artificial Intelligence, pp , 1993., E., Brohee, S. & van Helden, J., "Regulatory Sequence Analysis Tools (RSAT) Nucleic Acids Res., Available: Acids Res.," Available: Teknik Informatika / Universitas Surabaya Halaman C-54