BAB III ANALISIS DAN PERANCANGAN SISTEM

Transkripsi

1 BAB III ANALISIS DAN PERANCANGAN SISTEM Bab ini menjelaskan tentang analisis dan perancangan dalam membangun Aplikasi Data Mining. Analisis meliputi analisis data mining, analisis lingkungan sistem serta analisis dalam membangun aplikasi. 3.1 Analisis Data Mining Dalam penulisan tugas akhir ini akan mencoba mengelompokan pelanggan yang pernah berbelanja ditoko online tersebut dengan menggunakan metode pengelompokan (clustering) dan menggunakan algoritma k-means. Algoritma ini digunakan untuk mengelompokan pelanggan yang pernah berbelanja di toko online ini. Algoritma ini mengelompokan pelanggan berdasarkan banyaknya transaksi yang mereka lakukan. Hasil dari algoritma ini akan berguna untuk : 1. Mengelopokan pelanggan Pelanggan dapat dikelompokan menjadi beberapa kelompok sesuai kebutuhan. 2. Pengelompokan pelanggan berdasarkan atribut Pelanggan dapat dikelompokan berdasarkan atribut yang diinginkan, contoh : jumlah order, jumlah produk yang dibeli atau jumlah beberapa banyak customer melakukan pengembalian Sumber Data Data yang digunakan dalam tugas akhir ini terdiri dari 2 sumber data yaitu data pelanggan, data produk, data kategori dan data transaksi. 1. Data pelanggan Data pelanggan disini adalah data pelanggan yang pernah registrasi dan bertransaksi di toko online ini.

2 2 TABEL 1 Data pelanggan Atribut ID_pelanggan Nama pelanggan Jenis kelamin Alamat Tempat tanggal lahir Ordered Keterangan Id pelanggan ini berfungsi untuk membedakan setiap pelanggan. Merupakan nama pelanggan ditoko online tersebut Merupakan jenis kelamin dari pelanggan Merupakan alamat tempat tinggal pelanggan yang berfungsi alamat dikirimkannya barang yang dibeli. Nama Kota lahir dan tanggal lahir dari pelanggan Untuk menandakan kategori yang berkaitan pada produk ini.

3 3 2. Transaksi Data transaksi ini berisikan data pembelian produk oleh pelanggan di toko online ini. TABEL 2. Data Transaksi Atribut Transaksi id Tanggal transaksi Id produk Jumlah total transaksi Id pelanggan Jumlah produk Jumlah total produk Metode pembayaran Status transaksi Keterangan Pengkodean tiap transaksi agar tidak ada yang sama tiap transaksinya Berisi tanggal pelanggan melakukan pembelian atau transaksi di toko online Id dari produk yang ada di transaksi Jumlah pembayaran yang harus pelanggan bayarkan atas pembelian produk Id pelanggan yang melakukan transaksi Jumlah tiap produk yang pelanggan beli Jumlah Total banyaknya produk yang pelanggan beli Berisi tentang cara pelanggan melakukan pembayaran atas produk yang dibeli Setiap transaksi mempunyai status (sukses, batal dan menunggu pembayaran) karena metode pembayaran yang bermacammacam dan membutuhkan waktu. Data pelanggan, produk dan data ketegori yang akan digunakan diambil dari tahun 2013 sampai saat ini Data Yang Digunakan Dalam penulisan tugas akhir kali ini dicari hubungan beberapa atribut dari data pelanggan, produk dan kategori. Karena tidak semua atribut digunakan maka perlu dilakukan pembersihan data agar data yang diolah benar-benar relevan. Pembersihan ini penting guna meningkatkan performa dalam proses mining. Cara pembersihan

4 4 dengan menghapus atribut yang tidak terpakai dan menghapus datadata yang tidak lengkap isiannya. atribut yang digunakan terdiri dari atribut pada data pelanggan produk dan kategori Integrasi Data Dalam penulisan tugas akhir kali ini diasumsikan bahwa data yang diambil sudah berupa tabel-tabel dalam satu server. Untuk proses mining. Data pelanggan dan transaksi digabungkan dengan primary key id_pelanggan. Setelah itu baru dilakukan proses mining. Proses integrasi data dilakukan ketika proses ETL (ekstract, transform, and Load) ketika membangun data warehouse, dalam proses ETL data dalam data source digabungkan menjadi satu dalam data warehouse dengan key id_pelanggan, ETL ini dilakukan diluar sistem Transformasi Data Transformasi data merupakan proses pengubahan atau penggabungan data ke dalam format yang sesuai untuk diproses dalam data mining. Seringkali data yang akan digunakan dalam proses data mining mempunyai format yang belum langsung bisa digunakan, oleh karena itu perlu dirubah formatnya Penggunaan Algoritma K-MEANS CLUSTER ANALYSIS Cluster Analysis merupakan salah satu metode objek mining yang bersifat tanpa latihan (unsupervised analysis), sedangkan K-Means Cluster Analysis merupakan salah satu metode cluster analysis non hirarki yang berusaha untuk mempartisi objek yang ada kedalam satu atau lebih cluster atau kelompok objek berdasarkan karakteristiknya, sehingga objek yang mempunyai karakteristik yang sama dikelompokan dalam satu cluster yang sama dan objek yang mempunyai karakteristik yang berbeda dikelompokan kedalam cluster yang lain. Tujuan pengelompokan adalah untuk meminimalkan objective function yang di set dalam proses clustering, yang pada dasarnya berusaha untuk

5 5 meminimalkan variasi dalam satu cluster dan memaksimalkan variasi antar cluster. Metode cluster ini meliputi sequential threshold, pararel threshold dan optimizing threshold. Sequential threshold melakukan pengelompokan dengan terlebih dahulu memilih satu objek dasar yang akan dijadikan nilai awal cluster, kemudian semua cluster yang ada dalam jarak terdekat dengan cluster ini akan bergabung, lalu dipilih cluster kedua dan semua objek yang mempunyai kemiripan dengan cluster ini akan digabungkan, demikian seterusnya sehingga terbentuk beberapa cluster dengan keseluruhan objek yang terdapat didalamnya. Jika diberikan sekumpulan objek X = (x 1,x 2,..x n ) maka algoritma K-Means Cluster Analysis akan mempartisi X dalam k buah cluster, setiap cluster memiliki centroid dari objek-objek dalam cluster tersebut. Pada tahap awal algoritma K-Means Cluster Analysis dipilih secara acak k buah objek sebagai centroid, kemudian jarak antara objek dengan centroid dihitung dengan menggunakan jarak euclidian, objek ditempatkan dalam cluster yang terdekat dihitung dari titik tengah cluster. Centroid baru ditetapkan jika semua objek sudah ditempatkan dalam cluster terdekat. Proses penentuan centroid dan penempatan objek dalam cluster diulangi sampai nilai centroid konvergen (centroid dari semua cluster tidak berubah lagi). Pada penerapan metode K-Means Cluster Analysis, data yang bisa diolah dalam perhitungan adalah data numerik yang berbentuk angka. Sedangkan data selain angka juga bisa diterapkan tetapi terlebih dahulu harus dilakukan pengkodean untuk mempermudah perhitungan jarak/kesamaan karakteristik yg dimiliki dari setiap objek. Setiap objek dihitung kedekatan jaraknya berdasarkan karakter yang dimiliki dengan pusat cluster yang sudah ditentukan sebelumnya, jarak terkecil antara objek dengan masing-masing cluster merupakan anggota cluster yang terdekat. Setelah jumlah cluster ditentukan, selanjutnya dipilih sebanyak 3 objek secara acak sesuai jumlah cluster yang dibentuk sebagai pusat cluster awal untuk dihitung jarak kedekatannya terhadap semua objek yang ada. Berikut contoh perhitungan menggunakan k-means :

6 6 TABEL 3 Data awal Jumlah Cluster : 2 Centroid 1 : 20 Centroid 2 : 43 No. cust total order 1 cus1 4 2 cus cus3 6 4 cus cus cus cus cus cus cus cus cus cus13 43 Dari data diatas akan dilakukan perhitungan menggunakan algoritma Euclidian distance jarak ke-i (xi) pada pusat kluster ke-k (ck), diberi nama (dik). jarak antara data ke-1 dengan titik pusat cluster 1 d ik = (20-4) 2 = 16 jarak antara data ke-1 dengan titik pusat cluster 2 d ik = (43-4) 2 = 39 Setelah melakukan perhitungan menggunakan algoritma Euclidian distance maka akan didapatkan data sebagai berikut :

7 7 TABEL 4 Jarak antara data ke centroid(titik pusat) total order Jarak ke c1 Jarak ke c2 cus cus cus cus cus cus cus cus cus cus cus cus cus Dari data diatas maka didapatkan anggota kelompok setiap cluster TABEL 5. Hasil pengelompokan dari iterasi pertama C1 Cus1 Cus 2 Cus 3 Cus 4 Cus 8 Cus 10 Cus11 Cus12 C2 Cus 5 Cus 6 Cus 7 Cus 9 Cus 13 Nilai pusat kluster yang baru dapat dihitung dengan cara mencari nilai rata-rata dari data-data yang menjadi anggota pada kluster tersebut, dengan menggunakan rumus berikut:

8 8 Titik baru pusat cluster 1(centroid 1) = ( ) / 8 = Titik baru pusat cluster 2 (centroid 1) = ( ) / 5 = 41 Hasil dari algoritma di atas maka didapatkan pusat cluster baru, yaitu : Cluster 1 : cluster 2 : 41 Setelah didapatkan pusat cluster baru maka dilakukan lagi perhitungan jarak data ke cluster yang baru, setelah didapatkan jarak baru maka dihitung kembali jarak antar data dengan pusat cluster yang baru. jarak antara data ke-1 dengan titik baru pusat cluster 1 d ik = (16,75-4) 2 = jarak antara data ke-1 dengan titik baru pusat cluster 2 d ik = (41-4) 2 = 37

9 9 TABEL 6 Jarak data iterasi ke 2 total order Jarak ke c1 Jarak ke c2 cus cus cus cus cus cus cus cus cus cus cus cus cus Dari data diatas maka didapatkan anggota kelompok setiap cluster TABEL 7 Hasil pengelompokan dari iterasi pertama C1 Cus1 Cus 2 Cus 3 Cus 4 Cus 8 Cus 10 Cus11 Cus12 C2 Cus 5 Cus 6 Cus 7 Cus 9 Cus 13 Nilai pusat kluster yang baru dapat dihitung dengan cara mencari nilai rata-rata dari data-data yang menjadi anggota pada kluster tersebut, Titik baru pusat cluster 1(centroid 1) : = ( ) / 8 = Titik baru pusat cluster 2 (centroid 1) : = ( ) / 5 = 41

10 10 Hasil dari algoritma di atas maka didapatkan pusat cluster baru, yaitu : Cluster 1 : Cluster 2 : 41 Didapatkan pusat cluster ke-3 ternyata tidak ada perubahan terhadap pusat cluster ke-2, maka iterasi dihentikan dan didapatkan kelompok dari data pelanggan adalah sebagai berikut : TABEL 8 hasil terakhir pengelompokan pelanggan C1 Cus1 Cus 2 Cus 3 Cus 4 Cus 8 Cus 10 Cus11 Cus12 C2 Cus 5 Cus 6 Cus 7 Cus 9 Cus 13 Berikut psedocode algoritma k-means : 1. Randomly initialize k centroid : µ 1, µ 2 µ n 2. Cluster Assigment Step For all x j D a. For all i [1,k], compute δ (x j,µ 1 ) b. Assign x j to closest centroid, C' i = arg min{δ(x j, µ i )} 3. Recompute the means/centroid For all I [1,k], µ' i = 4. Covergence Condition If i µ' i - µ i < then stop, else goto (2). 3.2 Analisis Lingkungan Sistem Dalam kasus kali ini system bertugas hanya untuk memproses data yang sudah di ekstraksi atau dibersihkan atribut-atribut yang tidak terpakai agar pada saat mining bisa berlangsung lebih cepat. Proses pembersihan atribut-atribut yang tidak terpakai dari beberapa sumber data dilakukan secara manual, setelah dibersihkan data baru bisa input ke system dan

11 11 kemudian dilakukan mining. Untuk gambarannya bisa dilihat pada gambar dibawah ini. Data pelanggan Data Transaksi Data hasil ekstraksi Proses manual pembersihan data proses pengelompokan GAMBAR 1 Batasan Sistem 3.3 Analisis Perangkat Lunak Deskripsi Umum Perangkat Lunak Perangkat Lunak yang dikembangkan dalam Aplikasi Data Mining ini berbasis dekstop, dengan database local. Sebagai suatu rangkaian proses, data mining dibagi dalam beberapa tahap seperti yang sudah diterangkan pada sub bab 3.1. Begitu juga dalam membangun perangkat lunak diperlukan tahapan-tahapan dari analisis, perancangan sampai aplikasi. Sehingga dalam membangun Aplikasi Data Mining, tahapan data mining sejalan dengan tahapan dalam membangun perangkat lunak. Analisis dari tahapan data mining menjadi acuan dalam analisis dan perancangan Aplikasi Data Mining ini Spesifikasi Kebutuhan Fungsional Spesifikasi kebutuhan fungsional pada Aplikasi Data Mining ini merujuk pada kebutuhan akan perancangan data mining, seperti yang tertera berikut ini : 1. Dapat menggabungkan data yang akan diproses mining dari data pelanggan, produk, kategori dan transaksi

12 12 2. Dapat menghapus data-data yang tidak relevan serta atribut yang tidak dipakai 3. Dapat merubah data menjadi data yang siap diproses System Flow System Flow merupakan suatu gambaran aliran kerja yang terdapat dalam suatu sistem. Untuk System Flow mengenai pembahasan masalah ini dapat dijelaskan pada gambar.

13 13 Pengelompokan pelanggan User Sistem Mulai Input nama proses Simpan nama proses Pilih data pelanggan (xml) Data proses Input jumlah cluster Upload data pelanggan (xml) Input pusat cluster, field unik dan field proses Data pelanggan Hitung centroid Hitung jarak objek ke centroid Pengelompokan berdasarkan jarak terdekat Ada objek yang berpindah kelompok Hasil pengelompokan Data yang sudah dikelompokan Selesai GAMBAR 2 System flow

14 Pemodelan Data Dari data yang diperoleh dari 2 sumber data akan di jadi satu agar mudah dalam melakukan proses mining. Proses penyatuan ini dilakukan diluar system, jadi sebelum melakukan proses mining data harus sudah disatukan dan dibersihkan atributatribut yang tak terpakai dalam proses mining nantinya. Berikut contoh data sudah dibersihkan dan dapat dilakukan proses mining: TABEL 9 data yang akan diproses Atribut Pelanggan Total Order keterangan Not null, char(50), primary key Integer Perancangan database Dalam system ini mempunyai database yang berguna untuk menyimpan histori proses perhitungan agar dapat dilihat kembali tanpa melakukan ulang proses pengelompokan pelanggan yang dapat menyita waktu. Berikut perancangan database dalam system pengelompokan pelanggan: pelanggan_master_temp PK id_pelanggan_temp _pelanggan total_order PK FK1 tabel_proses id_proses id_pelanggan_temp nama_proses jumlah_cluster PK tabel_cluster id_cluster nama_cluster posisi_centroid anggota_cluster PK tabel_user id_user PK tabel_hasil id_hasil 1..* nama_user password * FK1 FK2 FK3 id_proses id_cluster id_user 1..1 GAMBAR 3 Perancangan database sistem

15 15 Fungsi tabel_proses adalah untuk menyimpan setiap proses yang dilakukan agar dapat disimpan dan dimudahkan ketika ingin melihat kembali proses-proses yang sudah dilakukan, berikut detail table proses : TABEL 10 Detail tabel_proses Atribut keterangan Id_proses Not null, integer, primary key Nama_proses Char (50) Jumlah_cluster Integer Dalam tabel_cluster akan digunakan untuk menyimpan anggota dan pusat cluster disetiap proses agar dimudahkan dalam menyimpan ke dalam bentuk pdf atau xml, berikut detail tabel cluster: TABEL 11 Detail tabel_cluster Atribut keterangan Id_cluster Not null, integer, primary key Nama_cluster Char (50) Pisisi centroid Integer Anggota_cluster Text Id_proses Not null, Integer, foreign_key Untuk menyimpan data external yang diupload untuk di gunakan proses mining di dalam system menggunakan tabel pelanggan_master_temp. untuk atribut dalam tabel ini tergantung dari data yang diupload ke dalam system dan untuk penulisan kali ini saya hanya menggunakan 2 atribut, yaitu atribut dan atribut total order. Berikut detail tabel pelanggan_master_temp :

16 16 TABEL 12 Detail tabel pelanggan_master_temp Atribut keterangan Id_pelanggan_temp Not null, integer, primary key _pelanggan Char (50) Total_order Integer Id_proses Not null, Integer, foreign_key Setiap ingin melakukan proses pengelompokan dalam system, maka pengguna harus melakukan login kedalam system dan data pengguna yang menggunakan system akan disimpan dalam tabel_user, berikut detail tabel user: TABEL 13 Detail tabel_user Atribut keterangan Id_user Not null, integer, primary key Nama_user Char (50) password Char(20) 3.4 Interaksi sistem Dalam system pengelompokan ini terdapat beberapa aktifitas proses yang dapat dilakukan antara pengguna dengan sistem, seperti proses pengelompokan, proses melihat histori pengelompokan dan hapus proses pengelompokan. Untuk lebih detail setiap proses saya gambarkan melalui diagram usecase dan diagram sequence.

17 17 System pengelompoka n pelanggan «uses» pengelompokan «uses» Top Package::user «uses» lihat proses hapus proses GAMBAR 4 Diagram usecase sistem pengelompokan pengguna controller halaman list_proses halaman_detail_proses lihat history proses show_page() view_proses() show_page() GAMBAR 5 Lihat history proses pengelompokan

18 18 form_upload_data tabel_proses pengguna controller form_proses form detail_kelompok proses baru call form() post nama_proses() simpan() call form() input jumlah_kelompok input file data_pelanggan post jumlah_kelompok() post data_pelanggan() simpan data_pelanggan() simpan jumlah_kelompok() cal form() input atribut_key input pusat_cluster tabel_hasil input atribut_data post atribut_key() post pusat_cluster() pos atribut_data() input hasil_kelompok GAMBAR 6 Proses pengelompokan pelanggan

19 19 pengguna controller halaman list_proses halaman_detail_proses lihat history proses show_page() view_proses() show_page() delete_proses() view_page() GAMBAR 7 Delete proses