PERKIRAAN BIAYA PERANGKAT LUNAK DENGAN JARINGAN SARAF TIRUAN PROPAGASI BALIK YOHAN WAHYUDI

Transkripsi

1 PERKIRAAN BIAYA PERANGKAT LUNAK DENGAN JARINGAN SARAF TIRUAN PROPAGASI BALIK YOHAN WAHYUDI DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR BOGOR 2009

2 PERKIRAAN BIAYA PERANGKAT LUNAK DENGAN JARINGAN SARAF TIRUAN PROPAGASI BALIK Skripsi Sebagai salah satu syarat untuk memperoleh gelar Sarjana Komputer pada Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor YOHAN WAHYUDI G DEPARTEMEN ILMU KOMPUTER FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM INSTITUT PERTANIAN BOGOR 2009 ii

3 ABSTRACT YOHAN WAHYUDI. Perkiraan Biaya Perangkat Lunak dengan Jaringan Saraf Tiruan Propagasi Balik. Supervised by PANJI WASMANA. In line with the advance of technology, human needs for software are also growing. Software is used to help people to lighten their work. This has caused the software becomes increasingly complex and the production cost also become increasingly expensive. No wonder if the software developers need a method of cost estimation that estimates accurately for the efficiency and effectiveness of the company. With this, the company can be protected from loss due to incorrect cost estimates. This study uses data from the COCOMO 81 derived from the Boehm journals in 1981, entitled Software engineering economics. This data group consists of 63 projects each have 17 main attributes, namely, a numerical type of 15 Cost Driver (CD), the size of the project in Kilo Lines of Code (KLOC), and the actual cost of the project in the Person of the Month (PM). Data are grouped into two parts, namely training data and test data in the form of 15 types of Cost Drivers and the size of the project (KLOC), this data is transformed into the range [0.1, 0.9] according to the sigmoid function of range. In this research, the neural network is used to do the software cost estimation. The network architecture used was the multilayer perceptron with a back propagation learning algorithm. The number of neuron in the hidden layer is determined from the optimal architecture which provides a best estimation value. Once found the best architecture which is has the optimal number of neuron, conducted the evaluation. The evaluation method used is the Mean Magnitude Error (MRE) and Pred (l). MRE is the error between the actual and estimated value while Pred (l) is prediction at the level L. Results of research indicate that there are relation between the types of project with the MRE. There is a tendency for this technique provides a high accuracy if the actual value of the test data is big. Poor accuracy obtained at the small value of actual test data. This research resulted in the value of Mean MRE (MMRE) of 76%, Median MRE (MRE Med) of 23% and Pred (0.25) of 52%. On this research, normalization of the target data has not been conducted so that the error generated in the process of evaluation is big. Keyword: Software Cost Estimation, Neural Network, Backpropagation, k-fold cross validation iii

4 Judul Nama NIM : Perkiraan Biaya Perangkat Lunak dengan Jaringan Saraf Tiruan Propagasi Balik : Yohan Wahyudi : G Menyetujui: Pembimbing, Panji Wasmana, S.Kom, M.Si NIP Mengetahui: Dekan Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor Dr. Drh. Hasim, DEA NIP Tanggal Lulus: iv

5 RIWAYAT HIDUP Penulis dilahirkan di Purworejo pada tanggal 10 Oktober 1986 dari pasangan Trisno Djunaedi dan Suwarni. Penulis merupakan anak pertama dari empat bersaudara. Pada tahun 1998, penulis lulus dari SDK Penabur Purworejo, lalu pada tahun yang sama melanjutkan pendidikan di SLTP NEGERI 1Purworejo. Pada tahun 2001, penulis lulus dari SLTP dan melanjutkan sekolah di SMU Negeri 1 Purworejo hingga tahun Pada tahun yang sama lulus seleksi masuk IPB melalui jalur Seleksi Penerimaan Mahasiswa Baru IPB. Penulis memilih Program Studi Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam. Pada akhir masa perkuliahan, penulis melaksanakan kerja praktek di Balai Besar Industri Agro selama dua bulan dari tanggal 2 Juli 2007 sampai dengan 25 Agustus Kegiatan utama dalam rangka kerja praktek tersebut adalah pengembangan Sistem Informasi Perpustakaan Balai Besar Industri Agro. Selama menuntut ilmu di IPB, penulis aktif dalam beberapa kegiatan kemahasiswaan, yaitu sebagai Wakil Koordinator Komisi Kesenian Unit Kegiatan Mahasiswa Persekutuan Mahasiswa Kristen IPB periode 2005/2006 dan anggota Himpunan Mahasiswa Ilmu Komputer (HIMALKOM) periode 2005/2006. v

6 PRAKATA Puji syukur kepada Tuhan Yang Maha Esa atas berkat dan karunia-nya sehingga penulis dapat menyelesaikan tugas akhir yang berjudul Perkiraan Biaya Perangkat Lunak dengan Jaringan Saraf Tiruan Propagasi Balik. Tugas akhir ini merupakan salah satu syarat untuk menyelesaikan jenjang pendidikan Strata Satu Program Studi Ilmu Komputer di Institut Pertanian Bogor. Penulis mengucapkan terima kasih kepada ayah, ibu, dan adik-adikku tercinta (Dewi, Sari, dan Montes) atas doa, kasih dan dukungan yang selalu diberikan. Penulis juga mengucapkan terima kasih kepada Bapak Panji Wasmana, S.Kom, M.Si selaku pembimbing yang telah membimbing penulis dalam menyelesaikan tugas akhir. Penulis juga mengucapkan terima kasih kepada Dr. Ir. Bapak Agus Buono, M.Si, M.Kom dan Bapak Aziz Kustiyo, S.Si, M.Kom yang bersedia menjadi penguji pada tugas akhir penulis. Penyelesaian karya ilmiah ini tidak lepas dari bantuan beberapa pihak, oleh karena itu penulis mengucapkan terima kasih kepada teman-teman Komkes, terutama Komkes 41 atas doa dan dukungan yang diberikan, Maryo, Andri, Mas Irwan, dan saudara-saudara kelompok kecil, temanteman Ilkomerz 41 atas semangat yang diberikan, William, Martin, Edo, Afris, Jefry, Mada, Sandro, Sammy, dan teman-teman satu kos lainnya atas kebersamaannya selama ini serta Semua pihak lain yang telah membantu penulis dan tidak dapat disebutkan satu persatu. Akhir kata, semoga penelitian ini dapat bermanfaat. Bogor, Agustus 2009 Yohan Wahyudi vi

7 DAFTAR ISI Halaman DAFTAR TABEL...viii DAFTAR GAMBAR...viii DAFTAR LAMPIRAN...viii PENDAHULUAN... 1 Latar Belakang... 1 Tujuan... 1 Ruang Lingkup... 1 Manfaat... 1 TINJAUAN PUSTAKA... 1 Perkiraan Biaya Perangkat Lunak... 1 Cost Driver... 2 Effort Multipliers... 2 Model Pengembangan Proyek... 2 Intermediate COCOMO (Cost Constructive Model)... 2 JST Propagasi Balik... 3 Perkiraan Biaya Perangkat Lunak dengan JST... 4 K-Fold Cross Validation... 4 Evaluasi Model Perkiraan Biaya Perangkat Lunak... 4 METODE PENELITIAN... 5 Kerangka Pemikiran... 5 Studi Literatur... 5 Pengambilan Data... 5 Pelatihan... 6 Pengujian... 6 Lingkungan Pengembangan... 6 HASIL DAN PEMBAHASAN... 6 Setting Jaringan Saraf Tiruan... 6 Pemilihan Jumlah hidden layer yang optimal... 7 Karakteristik Jaringan Saraf Tiruan... 9 DAFTAR PUSTAKA vii

8 DAFTAR TABEL Halaman 1. Daftar CD (Saliu 2003) Koefisien Model Pengembangan Proyek Struktur Jaringan Propagasi Balik standar Nilai MMRE, Med MRE dan Pred(0.25) pada 10-fold cv Nilai MMRE, Med MRE dan Pred(0.25) pada 15-fold Perbandingan galat antara data set 1 dan data set DAFTAR GAMBAR Halaman 1. Grafik fungsi sigmoid biner Grafik fungsi linear Model Perkiraan Biaya dengan JST Metode Penelitian Grafik Nilai MMRE pada 10-fold crossvalidation Grafik Nilai Median MRE pada 10-fold cross validation Grafik Perbandingan Antara Nilai Aktual dan Nilai Estimasi Grafik Nilai MRE Grafik Scatter antara MRE dan Nilai Aktual Proyek.. 11 DAFTAR LAMPIRAN Halaman 1. Kelompok data COCOMO Tabel Effort Multiplier pada COCOMO Agregat Galat COCOMO 81 pada 10-fold cross validation Grafik Boxplot Min MRE dan Pred(0.25) pada 10-fold cross validation Grafik Boxplot MMRE pada 10-fold cross validation Grafik Boxplot Median MRE pada 10-fold cross validation Boxplot Max MRE pada 10-fold cross validation Agregat Galat COCOMO 81 pada 15-fold cross validation Grafik Boxplot Min MRE dan Pred(0.25) pada 15-fold cross validation Grafik Boxplot Mean MRE dan Med MRE pada 15-fold cross validation Grafik Boxplot Max MRE pada 15-fold cross validation Hasil Pengujian dan Nilai MRE dengan Data Latih yang Diperbanyak Agregat Galat Grafik Boxplot Nilai Aktual, Nilai Estimasi dan Nilai MRE viii

9 Latar Belakang PENDAHULUAN Dewasa ini kebutuhan manusia semakin meningkat seiring dengan berkembangnya teknologi. Majunya perkembangan teknologi memberi warna tersendiri bagi peradaban manusia. Berbicara tentang teknologi tentu tidak akan terlepas dari perangkat lunak karena merupakan salah satu komponen penyusunnya. Sejalan dengan majunya teknologi, kebutuhan manusia akan perangkat lunak juga semakin bertambah. Perangkat lunak sering digunakan untuk membantu pekerjaan manusia yang makin berat. Hal ini menyebabkan perangkat lunak menjadi semakin kompleks dan biaya pembuatannya pun menjadi semakin mahal. Tidak heran kalau pihak pengembang software memerlukan metode perkiraan biaya pengembangan yang akurat untuk menghindari kerugian akibat perkiraan biaya yang salah. Perkiraan biaya pengembangan perangkat lunak yang terlalu tinggi atau terlalu rendah akan menyebabkan proyek ditolak karena terlalu mahal, terpaksa membuang fitur yang penting dan mungkin proyek jadi terbengkalai (Al-Sakran 2006). Perkiraan biaya yang akurat akan membuat pekerjaan menjadi efektif dan efisien. Peneliti konvensional menggunakan metode algoritmik seperti Constructive Cost Model (COCOMO, COCOMOII, SLIM) dan perkiraan biaya dengan analogi dalam memperkirakan biaya pembuatan perangkat lunak. Pada kenyataannya metode yang disebutkan di atas tidak bisa memperkirakan hasil biaya dengan akurat (Hasan Al-Sakran 2006). Alternatif lain dalam memodelkan perkiraan biaya software adalah dengan menggunakan metode non-algoritmik seperti jaringan saraf tiruan, logika fuzzy dan algoritme genetika (Saliu 2003). Metode diatas diharapkan dapat memperkirakan biaya dengan akurat. Dalam penelitian ini, diterapkan jaringan saraf tiruan untuk melakukan perkiraan biaya perangkat lunak. Metode jaringan saraf tiruan ini diharapkan dapat memperkirakan biaya dengan lebih akurat. Tujuan Tujuan dari penelitian ini adalah mengembangkan model perkiraan biaya perangkat lunak berbasis jaringan saraf tiruan kemudian menganalisis kinerja penerapan jaringan saraf tiruan dalam memperkirakan biaya pembuatan suatu perangkat lunak. Ruang Lingkup Penelitian ini hanya menitikberatkan pada pengembangan model perkiraan biaya perangkat lunak dengan menggunakan model jaringan saraf tiruan. Dalam penelitian ini, digunakan suatu Backpropagation Neural Network untuk melakukan learning dan testing terhadap pola himpunan data COCOMO. Data yang digunakan pada penelitian ini adalah kelompok data COCOMO 81 versi intermediate. Manfaat Penelitian ini memberi manfaat berupa pemodelan perkiraan biaya perangkat lunak menggunakan jaringan saraf tiruan propagasi balik. Penelitian ini juga memberikan informasi kinerja jaringan saraf tiruan untuk perkiraan biaya perangkat lunak. TINJAUAN PUSTAKA Perkiraan Biaya Perangkat Lunak Perkiraan biaya perangkat lunak adalah suatu proses untuk memperkirakan biaya yang diperlukan dalam pengembangan perangkat lunak (Leung 1990). Perkiraan biaya perangkat lunak mengacu pada perkiraan jumlah biaya, waktu dan staffing level yang diperlukan untuk membangun perangkat lunak (Saliu 2003). Secara umum metode perkiraan biaya perangkat lunak dibagi menjadi dua pemodelan yaitu, metode pemodelan algoritmik dan non-algoritmik (Saliu 2003). Pemodelan algoritmik diturunkan dari analisis statistik proyek-proyek yang pernah ada, contohnya, Constructive Cost Model (COCOMO) dan Software Life Cycle Management (SLIM). Metode pemodelan non-algoritmik meliputi Price to win, Parkinson, expert judgement dan machine learning approaches (fuzzy, neural network, analogy based). 1

10 Cost Driver Dalam pengembangan perangkat lunak terdapat faktor-faktor yang mempengaruhi biaya pengembangan yang disebut dengan Cost Driver (CD). Jumlah CD sebanyak 15 yang dikelompokkan dalam empat grup. Daftar CD dapat dilihat pada Tabel 1. Tabel 1 Daftar CD (Saliu 2003) Grup Cost Driver Simbol Produk Platform Keandalan perangkat lunak Ukuran basis data Kompleksitas produk Batasan waktu eksekusi Batasan tempat penyimpanan utama Mesin Virtual Waktu turnaround komputer Rely Data Cplx Time Stor Virt Turn Personil Kemampuan analisis Acap Proyek Effort Multipliers Pengalaman dalam aplikasi Kemampuan programer Pengalaman dalam mesin virtual Pengalaman dalam bahasa pemrograman Penggunaan program modern Penggunaan peralatan perangkat lunak Jadwal pengembangan yang diperlukan Aexp Pcap Vexp Lexp Modp Tool Sced Tiap tiap CD pada perkiraan biaya perangkat lunak memiliki kategori. Kategori tersebut dinyatakan dalam variabel linguistik: very low, low, nominal, high dan very high. Kategori kategori tersebut mewakili sebuah nilai, nilai tersebut adalah effort multipliers. Daftar effort multipliers dapat dilihat pada Lampiran 1 (Saliu 2003). Model Pengembangan Proyek Ada tiga macam model pengembangan dalam proyek pembuatan perangkat lunak dalam COCOMO, yaitu: 1 Organik Dalam model organik, perangkat lunak dikembangkan oleh tim yang terdiri atas orang-orang yang berpengalaman dalam sistem terkait. Ukuran perangkat lunak yang dihasilkan mencapai lebih dari 50 Kilo Delivery Source Instruction (50 KDSI). 2 Semidetached Model pengembangan semidetached berupa campuran dari karakteristik model organik dan embedded. Ukuran dari produk yang dihasilkan dapat mencapai 300 KDSI. 3 Embedded Faktor utama yang membedakan model embedded dengan model lainnya adalah pengoperasian dengan batasan yang ketat. Produk harus dioperasikan dalam hubungan perangkat keras, perangkat lunak, regulasi dan prosedur operasional yang kuat. Setiap model pengembangan proyek memiliki suatu nilai koefisien. Nilai koefisien tersebut digunakan dalam menghitung perkiraan biaya perangkat lunak. Nilai koefisien untuk tiap-tiap model pengembangan proyek dapat dilihat pada Tabel 2 dimana A adalah B adalah scaling coefficient untuk effort. Tabel 2 Koefisien model pengembangan proyek Model A B Organik Semidetached Embedded Intermediate COCOMO (Cost Constructive Model) Model Intermediate COCOMO adalah pengembangan lebih lanjut dari versi basic yang menghitung biaya perkiraan perangkat lunak hanya dengan mengunakan ukuran 2

11 perangkat lunak dan model pengembangan proyek saja. Dalam Intermediate COCOMO terdapat penambahan atribut perhitungan yang digunakan yaitu Cost Driver, yang terdiri atas 15 jenis. Dengan demikian, perkiraan biaya perangkat lunak tidak hanyaa berdasarkan ukuran dan model proyek tapi juga bergantung dari lingkungan pengembangan. Persamaanya untuk perkiraan biaya perangkat lunak pada Intermediate COCOMO adalah sebagai berikut: dengan adalah biaya estimasi (dalam Man-Months), SIZE adalah ukuan perangkat lunak dalam KLOC (Kilo Lines Of Codes), A dan B adalah koefisien untuk tiap model proyek (organik, semi-detached, dan embedded) dan adalah effort multiplier untuk tiap-tiap atribut pada Cost Driver. JST Propagasi Balik Menurut Fauset (1994), ada tiga tahap pelatihan pada JST propagasi balik, yaitu pelatihan input yang bersifat umpan maju (feed forward), penghitungan propagasi balik galat yang diperoleh, dan penyesuaian bobot. Jaringan ini menggunakan metode pembelajaran terbimbing (supervised learning). Adapun cara kerja JST diawali dengan inisialisasi bobot dan bias. Selanjutnya pola input dan target dimasukkan ke dalam jaringan. Pola masukan ini akan berubah bersamaan dengan propagasi pola tersebut ke lapisan-lapisan berikutnya hingga menghasilkan output. Output ini akan dibandingkan dengan target,, jika hasil perbandingan menghasilkan galat yang minimum maka proses pembelajaran akan berhenti. Jika galatnya belum minimum maka JST akan mengubah bobot yang ada pada hubungan antar neuron dengann suatu aturan tertentu agar nilai keluaran lebih mendekati nilai target. Proses pengubahan bobot dilakukan dengan cara mempropagasikan kembali nilai koreksi galat keluaran JST ke lapisan-lapisan sebelumnya (propagasi balik). Kemudian dari lapisan masukan, pola akan diproses lagi untuk mengubah nilai bobot sampai akhirnya memperoleh keluaran JST baru. Demikian seterusnya proses ini dilakukan berulangatau ulang sampai nilai yang sama minimal sesuai dengan galat yang didefinisikan. Proses penyesuaian ini disebut pembelajaran. Dalam metode pembelajaran propagasi balik, fungsi aktivasi pada masukan dan keluaran haruslah berbentuk fungsi yang dapat dideferensialkan. Hal ini disebabkan pada tahap propagasi balik, fungsi yang digunakan adalah fungsi deferensial dari fungsi aktivasi tersebut. Fungsi aktivasi yang digunakan dalam penelitian ini adalah sigmoid biner pada lapisan tersembunyi dan fungsi linear pada lapisan keluaran. Fungsi sigmoid ini mempunyai daerah hasil dalam interval 0 sampai 1. Berikut adalah grafik fungsi sigmoid biner. Gambar 1. Grafik fungsi sigmoid biner. Persamaan fungsi sigmoid biner adalah sebagai berikut: =, dengan turunannya,. Berikut adalah grafik dari fungsi linear Gambar 2. Grafik fungsi linear. Persamaan fungsi liear adalah sebagai berikut dengan turunannya, 3

12 Perkiraan Biaya Perangkat Lunak dengan JST Banyak model jaringan saraf tiruan yang digunakan untuk memprediksi biaya perangkat lunak. Model ini dapat dikelompokkan ke dalam dua kategori utama. Kategori pertama adalah feed-forward networks yang tidak memiliki loop dalam jaringan tersebut. Kategori kedua adalah jaringan dengan feedback yang memiliki loop rekursif. Dari berbagai model jaringan saraf tiruan, yang sering digunakan adalah model JST feedforward multi layer perceptron dengan algoritme pembelajaran backpropagation (Ali Idri et al. 2002). Model jaringan ini menghasilkan output (effort) dengan mempropagasikan input mula-mula (cost drivers) dari layer masukan hingga layer terakhir. Tiap neuron dalam jaringan tersebut menghitung fungsi non linear dari input dan meneruskan hasilnya sampai ke layer output. Fungsi aktivasi yang sering digunakan adalah fungsi Sigmoid. memperkirakan biaya perangkat lunak. Metode ini menghasilkan MMRE sebesar %. K-Fold Cross Validation K-Fold Cross Validation dilakukan untuk membagi data penelitian dan data pengujian. K-Fold Cross Validation membagi data contoh secara acak ke dalam K subset yang saling bebas. Satu subset digunakan sebagai data pengujian dan K-1 subset sebagai data pelatihan. Proses cross validation akan diulang sampai K kali. Data awal dibagi menjadi K subset yang saling bebas secara acak, yaitu S 1, S 2,, S k, dengan ukuran setiap subset kira-kira sama. Pelatihan dan pengujian dilakukan sebanyak K kali. Pada proses ke-i, subset S i diperlakukan sebagai data pengujian dan subset lainnya diperlakukan sebagai data pelatihan. Pada proses pertama S 2,, S k menjadi data pelatihan dan S 1 menjadi data pengujian, Pada proses kedua S 1, S 3,, S k menjadi data pelatihan dan S 2 menjadi data pengujian, dan seterusnya (Fu 1994, diacu dalam Noorniawati 2007). Evaluasi Model Perkiraan Biaya Perangkat Lunak Standar untuk evaluasi biaya perangkat lunak adalah Magnitude of Relative Error (MRE) (Briand et al. 1999)., MRE dihitung untuk setiap pengujian i yang biayanya telah diperkirakan. Agregat nilai MRE pada banyak pengujian, misal N, dapat diperoleh melalui Mean MRE (MMRE) (Briand et al. 1998). Gambar 3. Model Perkiraan Biaya dengan JST Penelitian sejenis menggunakan JST dilakukan oleh Wittig dan Finnie pada tahun Mereka mencoba memprediksi biaya pengembangan perangkat lunak dengan menggunakan metrik set Desharnias dan Australian Software Metrics Association (ASMA). Hasilnya cukup memuaskan dengan mendapatkan MMRE 29% untuk Desharnais dan 17% untuk ASMA. Ardiansyah, (2007) menggunakan metode analogy based estimation untuk, Nilai MMRE sensitif pada pengujian individual yang memiliki MRE yang sangat besar. Untuk itu, agregat yang tidak sensitif pada nilai pencilan besar perlu digunakan, yaitu median dari MRE pada N pengujian (MdMRE) (Briand et al. 1998). Variable lainnya adalah MRE minimal (min MRE), MRE maksimal (max MRE), dan standar deviasi MRE (SDMRE) (Idri et al. 2001). Pengujian dapat dikatakan makin baik jika 4

13 nilai MMRE, MdMRE, min MRE, dan max MRE makin kecil. Standar evaluasi lain yang sering digunakan adalah prediksi pada level l, disebut juga Pred(l). Prediksi level l mengukur persentasi dari suatu hasil perkiraan yang mempunyai MRE l% dari nilai aktualnya. Hasil evaluasi dikatakan acceptable jika setelah dilakukan penghitungan dengan l yang bernilai 0.25 menghasilkan akurasi yang bernilai kurang dari atau sama dengan 0.75 (Conte et al. 1986). Berikut ini adalah persamaan untuk mencari nilai Prediksi pada level l., dengan N adalah jumlah total dari data latih dan k adalah banyaknya hasil perkiraan yang mempunyai nilai MRE kurang dari atau sama dengan l. METODE PENELITIAN Kerangka Pemikiran Tahapan yang dilakukan pada penelitian ini secara garis besar terdiri atas beberapa langkah, seperti yang ditunjukkan oleh skema penelitian pada Gambar 4 : Gambar 4. Metode penelitian Studi Literatur Studi pustaka dilakukan untuk membantu memahami langkah-langkah dalam metode yang digunakan dalam penelitian ini. Selain itu, perlu dipelajari sistem dan cara kerja jaringan saraf tiruan serta metode evaluasi yang digunakan. Referensi-referensi yang digunakan pada penelitian ini dapat dilihat dalam daftar pustaka. Pengambilan Data Data yang dipakai pada penelitian ini adalah data dari kelompok data COCOMO 81. Data ini berasal dari jurnal Boehm pada tahun 1981 yang berjudul Software engineering economics. Kelompok data ini terdiri atas 63 proyek masing-masing memiliki 17 atribut utama, yaitu, 15 jenis CD (Cost Driver) yang bertipe numerik, ukuran dari proyek dalam satuan Kilo Lines of Code (KLOC), dan biaya aktual proyek dalam satuan Person Month (PM). Satu atribut tambahan berupa nomor id proyek. Daftar atribut utama untuk kelompok data COCOMO 81 dapat dilihat pada Lampiran1. Preprocessing Data Data yang akan digunakan adalah data COCOMO 81 yang terdiri atas 63 proyek pengerjaan perangkat lunak. Data ini diproses terlebih dahulu sebelum digunakan oleh sistem. Prosesnya meliputi pengacakan data, normalisasi data (mengonversi data menjadi berinterval ) dan mengelompokkan data menjadi suatu dataset. Pada tahap normalisasi data, data ditransformasi sehingga range data menjadi [ ]. Persamaan perubahan rangenya sebagai berikut : , dengan a adalah data minimum dan b adalah data maksimum. Pada penelitian ini tidak dilakukan normalisasi pada kelompok data effort. Normalisasi hanya dilakukan pada 15 jenis Cost Driver dan ukuran proyek (KLOC). Selanjutnya data ini akan dibagi menjadi dua yaitu data latih dan data uji. Pengujian dan pelatihan dilakukan dengan metode k-fold cross validation. Dalam penelitian ini digunakan 10-fold dan 15-fold cross validation. 5

14 Pelatihan Arsitektur jaringan saraf tiruan yang digunakan untuk pelatihan adalah multilayer perceptron dengan algoritme pembelajaran backpropagation dan fungsi aktivasinya yaitu sigmoid. Pelatihan Jaringan Saraf tiruan dalam MATLAB dapat dilakukan dengan berbagai macam algoritme training seperti trainlm, traingd, traincgb dan lain sebagainya. Pada penelitian ini digunakan algoritme training trainlm karena menurut Hagan, M. T. (1994) algoritme ini lebih cepat kali dibandingkan dengan algoritma gradien biasa. Pada ukuran network yang moderat algoritme ini juga memiliki waktu konvergensi tercepat dan dapat menghasilkan mean square error yang terkecil jika dibandingkan dengan algoritma lainnya. Pengujian Pengujian dilakukan dengan membandingkan hasil perkiraan yang diberikan jaringan saraf tiruan dengan data aktualnya. Pada tahap pengujian ini, dilakukan validasi berulang kali sampai jaringan saraf tiruan menujukkan hasil terbaiknya. Dalam penelitian ini dilakukan perulangan sampai tiga kali. Tingkat akurasi pendugaan dihitung dengan menggunakan fungsi MRE seperti berikut ini : Selain digunakan fungsi MRE sebagai evaluasi, tingkat akurasi juga akan ditentukan dengan nilai MMRE, MdMRE dan Pred(l). Lingkungan Pengembangan Perangkat lunak yang digunakan dalam penelitian ini adalah sebagai berikut : Mircrosoft Windows XP Profesional Microsoft Office Excel 2007 MATLAB Perangkat keras yang digunakan adalah sebagai berikut : PC Intel Pentium IV 2.8 GHz DDRAM 512 MB hardisk dengan kapasitas 80 GB monitor VGA dengan resolusi 1024x768 pixel HASIL DAN PEMBAHASAN Bab ini terdiri atas tiga bagian yaitu: 1. Setting Jaringan Saraf Tiruan 2. Pemilihan Jumlah Hidden Layer Optimal 3. Karakteristik Jaringan Saraf tiruan Setting Jaringan Saraf Tiruan Model jaringan saraf tiruan dapat dibedakan menurut arsitektur jaringan, algoritme learning dan fungsi aktifasinya (Idri et al. 2002). Pada penelitian ini digunakan arsitektur jaringan multilayer perceptron dengan algoritme pembelajaran backpropagation dan fungsi aktivasinya adalah sigmoid. Arsitektur backpropagation sendiri umumnya memliki tiga lapis beserta neuronneuronnya. Lapisan pertama adalah lapisan input, lapisan kedua adalah lapisan tersembunyi (hidden layer) dan lapisan ketiga adalah lapisan output. Lapisan tersembunyi bisa terdiri atas satu atau lebih lapisan dan memiliki jumlah neuron yang bervariasi. Jumlah neuron pada lapisan tersembunyi akan dicari nilai optimalnya. Hal ini dilakukan dengan cara melakukan perubahan jumlah neuron pada lapisan tersembunyi secara iterasi. Pada pembahasan ini akan terlihat kinerja arsitektur jaringan saraf tiruan yang dipilih dalam memperkirakan biaya perangkat lunak. Jaringan Saraf Tiruan ini memiliki 16 neuron input, satu buah neuron output dan neuron pada layer tersembunyi yang diiterasi. Pada proses pelatihan, digunakan algoritme training trainlm, batas toleransi 10-4, learning rate 0.01, dan maksimal epoch dibatasi Struktur jaringan saraf tiruan selengkapnya dapat dilihat pada Tabel 3. Tabel 3 Struktur jaringan propagasi balik standar yang digunakan dalam penelitian KARAKTERISTIK Neuron input SPESIFIKASI Ada 16 neuron yaitu, Cost driver yang berjumlah 15 jenis dan ukuran dari proyek dalam KLOC 6

15 Lanjutan Tabel 3 KARAKTERISTIK Neuron layer Neuron layer Fungsi Aktivasi hidden layer hidden output Fungsi aktivasi output layer SPESIFIKASI Dilakukan iterasi jumlah neuron mulai dari 1 sampai 63 1 yaitu perkiraan biaya software dalam person month Sigmoid biner Linear Toleransi galat 10-4 Target epoch Learning rate 0.01 Algoritme training Trainlm Pemilihan Jumlah hidden layer yang optimal Seperti yang disebutkan dalam metode penelitian, dari penelitian ini dapat juga diperoleh artistektur terbaik dari jaringan saraf tiruan yang dipilih. Dalam hal ini penelitian hanya difokuskan untuk mencari jumlah neuron yang optimal pada lapisan layer tersembunyi. Untuk mencari jumlah neuron yang optimal, pelatihan dilakukan dengan jumlah neuron yang bervariasi (diiterasi dari 1 sampai 63). Pengujian dilakukan dengan metode 10 dan 15-fold cross validation. Jumlah neuron pada lapisan tersembunyi yang optimal diindikasikan oleh hasil nilai mean mre, median mre, dan Pred(l) yang diperoleh pada saat pengujian data. Semakin akurat nilai pendugaannya, nilai mmre akan semakin mendekati angka nol. Nilai yang ekstrem atau nilai yang berbeda jauh dari data yang lainnya akan sangat berpengaruh pada hasil mean mre oleh karena itu digunakan perhitungan dengan median mre (MdMRE) untuk mengatasi masalah distorsi data tersebut. Prediksi level l mengukur persentasi dari suatu hasil perkiraan yang mempunyai MRE l% dari nilai aktualnya. Seperti yang telah dijabarkan sebelumnya, untuk validasi digunakan metode k-fold cross validation. Penelitian ini menggunakan 10 dan 15-fold cross validation sebagai perbandingan. Grafik uji 10-fold cross validation untuk nilai mean MRE dapat dilihat pada Gambar 5 berikut ini. Dari Gambar 5 tersebut dapat dilihat bahwa nilai mean MRE berubah seiring dengan pertambahan hidden layer. Nilai mean MRE yang paling tinggi terdapat pada arsitektur dengan 1 hidden neuron, nilai mean MRE yang dihasilkan sangat besar yaitu mencapai 1748,7 hal ini dikarenakan jaringan belum dapat mengenali pola dengan benar. Nilai mean MRE terendah dihasilkan pada neuron dengan jumlah hidden layer 2 yaitu 5,677. Nilai mean MRE setalah itu berfluktuatif dan grafik menunjukkan bahwa nilai mean MRE cenderung membesar. Semakin tinggi nilai mean MRE semakin besar pula kemungkinan sistem untuk melakukan kesalahan dalam pendugaan. MMRE Hidden Layer Gambar 5. Grafik Nilai MMRE pada 10-fold cross validation 7

16 Dari grafik pada Gambar 5 di atas juga dapat dilihat bahwa ada satu nilai mean MRE yang sangat tinggi, jauh melebihi nilai lainnya. Nilai mean MRE yang sangat tinggi pada beberapa hidden layer selain disebabkan oleh banyaknya pendugaan yang kurang akurat, disebabkan juga oleh terdapatnya nilai pencilan yang berbeda jauh dari hasil rata-rata. Seperti grafik pada Gambar 5 yang memperlihatkan adanya nilai MMRE yang ekstrim melebihi nilai yang lainnya. Hal ini dikarenakan sistem melakukan perkiraan yang menghasilkan output Di sinilah kelemahan pengukuran menggunakan mean MRE dimana mean sensitif terhadap nilai pencilan. Oleh karena adanya distorsi/nilai pencilan dalam data maka digunakan juga median MRE dan Pred(l) untuk mencari nilai terbaik. Grafik nilai median MRE untuk 10- fold dapat dilihat pada Gambar 6 berikut ini Median MRE Hidden Layer Gambar 6. Grafik Nilai Median MRE pada 10-fold cross validation Seperti yang terlihat dalam grafik pada Gambar 6, nilai median MRE yang terkecil dicapai oleh arsitektur yang memiliki 6 buah neuron pada hidden layer. Nilai median MRE terbaik yang dihasilkan adalah 0,875 yaitu pada jumlah hidden neuron sama dengan 6. Nilai median MRE yang paling besar dihasilkan oleh arsitektur dengan 58 hidden neuron yaitu 31,216. Nilai pred(0.25) yang paling baik berada pada arsitektur yang memiliki 2 buah hidden neuron yaitu sebesar 17,46%. Prediksi pada level l didefinisikan sebagai persentase jumlah dari hasil data testing yang memiliki nilai galat tidak lebih dari l% dibagi total data testing. Dalam hal ini pred(0.25)=17,46% artinya sebanyak 17,46% data testing memiliki nilai MRE 0.25 dari nilai aktualnya. Tabel perbandingan antara MMRE, Median MRE dan Pred(l) dapat dilihat pada Tabel 4. Sebagai pembanding disertakan juga hasil tes menggunakan 15-fold cross validation. Pada tabel di bawah ini hanya disertakan 10 buah data yang memiliki tingkat akurasi paling baik. Peringkat akurasi diurutkan berdasarkan nilai Pred(l), cetakan hitam menunjukkan tingkat akurasi yang terbaik dalam kolom tersebut. Data selengkapnya dapat dilihat pada Lampiran 3. Tabel 4 Nilai MMRE, Med MRE dan Pred(0.25) pada 10-fold cv Hidden Layer MMRE Med MRE Pred(0.25)

17 Tabel 5 Nilai MMRE, Med MRE dan Pred(0.25) pada 15-fold cv Hidden Layer MMRE Med MRE Pred(0.25) Tabel 5 menunjukkan perbandingan antara nilai MMRE, Median MRE dan Pred(0.25) pada 15-fold cv. Uji validasi dengan menggunakan 15-fold cv menunjukkan bahwa nilai MMRE dan Pred(0.25) yang terbaik berada pada arsitektur yang memiliki jumlah neuron dua pada layer tersembunyi. Di lain pihak, nilai Median MRE pada 15-fold cv terbaik berada pada arsitektur dengan lima buah hidden neuron. Dari kedua uji validitas dapat ditarik kesimpulan bahwa arsitektur jaringan saraf tiruan yang paling optimal adalah arsitektur yang menggunakan dua buah neuron pada lapisan layer tersembunyinya. Hal ini dikarenakan nilai MMRE dan nilai Pred(0.25) paling baik ditemukan pada arsitektur dengan dua hidden neuron. Kita tidak memilih nilai Median MRE yang paling kecil karena pada neuron dimana didapati nilai Median MRE yang paling kecil didapati juga nilai MMRE yang besar dan nilai Pred(0.25) yang kecil. Disamping itu nilai Median MRE pada neuron dengan dua layer tersembunyi juga tidak terpaut jauh dengan nilai Median MRE yang terkecil. Karakteristik Jaringan Saraf Tiruan Pada kedua pengujian sebelumnya didapat nilai rata-rata galat/ kesalahan yang cukup besar. Selanjutnya akan diterapkan metode yang seperti leave-one-out cross validation untuk melakukan validasi. Pertama-tama data dibagi ke dalam dua kategori yaitu data latih dan data uji. Satu buah data dijadikan sebagai data uji sedangkan sisanya digunakan sebagai data latih. Proses pengujian ini dilakukan sebanyak 21 kali secara bergantian. Hasil pengujian dapat dilihat pada Gambar 7 berikut ini. Untuk data hasil pengujian selengkapnya dapat dilihat dalam Lampiran 12. Grafik pada Gambar 7 adalah grafik perbandingan antara nilai aktual dan nilai estimasi. Secara keseluruhan, untuk pengujian pada tahap ini menunjukkan kinerja yang lebih baik dibandingkan dengan kedua pengujian sebelumnya. Hal ini dapat dilihat dari grafik nilai estimasi yang sudah sangat mendekati nilai aktualnya juga pada galat/ MRE yang didapat. Grafik MRE dapat dilihat pada Gambar 8. Estimasi Nilai Aktual Nilai Estimasi Data Set Gambar 7. Grafik Perbandingan Antara Nilai Aktual dan Nilai Estimasi 9

18 MRE Data Set MRE Grafik pada Gambar 8 menunjukkan nilai MRE yang didapat pada saat pengujian. Jika dibandingkan dengan grafik pada pengujian sebelumnya dapat dilihat bahwa MRE yang dihasilkan pada percobaan ini menunjukkan angka yang lebih kecil. Hal ini berarti galat yang terjadi juga kecil sehingga menghasilkan perkiraan yang lebih akurat. Berikut ini adalah Tabel 6 yang menunjukkan nilai MRE dan Pred(l) yang dihasilkan oleh sistem. Tabel 6 Nilai MRE dan Pred(0.25) Nilai Min MRE 7.38x10-12 Max MRE 5.90 Median MRE 0.23 Mean MRE 0.76 Pred(0.25) 0.52 Nilai Pred(0.25) pada tahap ini mencapai nilai 52% berarti hasil estimasi sistem yang memiliki nilai MRE di bawah 25% adalah sebanyak 52%. Angka yang cukup tinggi bila dibandingkan dengan nilai Pred(0.25) yang sebelumnya yaitu 15.9% untuk 15-fold cross validation dan 17.5% untuk 10-fold cross validation. Yang membedakan percobaan ini dengan yang sebelumnya yaitu jumlah data latih yang jauh lebih banyak. Hal ini membuktikan bahwa secara umum keakuratan jaringan bertambah sejalan dengan makin Gambar 8. Grafik Nilai MRE banyaknya proyek yang digunakan sebagai data latih. Menurut Conte, Dunsmore dan Sen suatu model perkiraan biaya perangkat lunak yang bagus harus mempunyai nilai Pred(0.25) kurang dari sama dengan 75%. Pada penelitian ini diperoleh nilai MMRE terbaik sebesar 76% dan nilai Pred(0.25) terbaik sebesar 52%. Nilai-nilai ini ternyata masih jauh dari ukuran baik menurut standar ukur di atas. Jaringan saraf tiruan bekerja berdasarkan prinsip pembelajaran dimana sistem mencoba mengenali pola masukan dari data training untuk mengetahui nilai keluaran. Karena bekerja berdasarkan prinsip tersebut jaringan saraf tiruan membutuhkan data training yang sangat besar. (Hasan Al-Sakran, 2006). Banyak studi membuktikan bahwa pendekatan dengan jaringan saraf tiruan menghasilkan output yang kurang akurat ketika data latih berbeda dari data uji (Serluca 1995). Berikut ini adalah beberapa faktor yang menyebabkan jaringan saraf tiruan kurang akurat dalam melakukan estimasi: Proyek yang baru sangat berbeda dari proyek yang ada dalam proses pelatihan Terlalu sedikitnya proyek yang digunakan sebagai data latih dalam proses pelatihan Tidak adanya relasi yang jelas antara CD yang dipilih (input sistem) dengan effort (keluaran sistem). 10

19 Selanjutnya akan dilihat sebaran yang terjadi pada hasil pengujian ini. Akan dibuat suatu grafik scatter yang memperlihatkan sebaran nilai aktual dan MRE pada evaluasi. Grafik scatter dapat dilihat pada Gambar 9 berikut ini. Pada Gambar 9 terlihat bahwa ada garis linear yang makin menuju ke titik nol pada MRE Nilai Aktual saat nilai aktual semakin besar. Hal ini menunjukkan adanya keterkaitan antara jenis proyek dengan nilai MRE. Ada kecenderungan teknik ini memberikan akurasi yang tinggi jika nilai aktual pada data uji besar dan hasil akurasi yang kecil didapat pada saat nilai aktual pada data uji kecil. Gambar 9. Grafik Scatter antara MRE dan Nilai Aktual Proyek Dataset Linear (Dataset) KESIMPULAN DAN SARAN Kesimpulan Penelitian ini menghasilkan beberapa kesimpulan di antaranya adalah jaringan saraf tiruan backpropagation dapat digunakan dalam melakukan perkiraan biaya perangkat lunak jika memiliki jumlah data training yang cukup untuk mengenali pola data masukan. Biasanya jumlah data training yang dibutuhkan cukup besar. Penambahan hidden layer tidak selalu membuat sistem lebih akurat dalam melakukan estimasi. Dalam penelitian ini diperoleh hidden layer yang optimal adalah dua buah neuron dengan nilai MMRE sebesar 5.67, Median MRE sebesar 0.89 dan Pred(0.25) sebesar 17%. Pada pengujian dengan menggunakan data latih yang lebih banyak didapati galat/ kesalahan yang minimal. Nilai MMRE yang dihasilkan adalah sebesar 0.76, Median MRE sebesar 0.23 dan Pred(0.25) sebesar 52%. Hasil penelitian menunjukkan bahwa ada kaitan antara jenis proyek dengan MRE. Ada kecenderungan teknik ini memberikan akurasi yang tinggi jika nilai aktual pada data uji besar. Hasil akurasi yang kecil didapat pada saat nilai aktual pada data uji kecil. Saran Penelitian ini masih memerlukan pengembangan lebih lanjut. Hal yang mungkin untuk dikembangkan adalah : Kelompok data ini memiliki beberapa outlier (terdapat data yang berbeda jauh dengan data yang lainnya). Hal ini dapat mengurangi keakuratan sistem dalam melakukan perkiraan sehingga nilai-nilai outlier tersebut perlu dihilangkan Melakukan normalisasi pada data target Mengkalibrasi dahulu data COCOMO sebelum dilakukan proses estimasi - Proyek dalam database sangat bervariasi sehingga kalibrasi lokal dalam suatu grup dapat meningkatkan akurasi model. DAFTAR PUSTAKA Al-Sakran, H Software Cost Estimation Model Based on Integration of Multiagent and Case-Based Reasoning. Journal of Computer Science Vol.2, hlm

20 Ardiansyah Analisis Metode Analogy Based Estimation untuk Perkiraan Biaya Perangkat Lunak. [Skripsi]. Departemen Ilmu Komputer, Fakultas Matematika dan Ilmu Pengetahuan Alam Institut Pertanian Bogor. Briand, Lionell. Et al An Assessment and Comparison of Common Software Cost Estimation Modeling Techniques [catatan penelitian]. International Software Engineering Network Technical Report. Conte, S., Dunsmore, H., and Shen, V Software Engineering Metrics and Models. Benjamin/Cummings, Menlo Park, California. Fausett, Laurene Fundamental of Neural Networks Architectures, Algorithms, and Application. Prentice Halls, New Jersey. Hagan, M. T., and M. Menhaj Training feedforward networks with the Marquardt algorithm [catatan penelitian]. IEEE Transactions on Neural Networks, vol. 5, no.6, hlm Idri, Ali. et al Can Neural Network be easily Interpreted in Software Cost Estimation?. Di dalam : World Congress on Computational Intelligence. Honolulu, Hawaii. Jong Jek Siang Jaringan Saraf Tiruan dan Pemrogramannya Menggunakan Matlab. Andi : Yogyakarta. Leung, Hareton. dan Zhang Fan Software Cost Estimation. Departement of Computing, The Hong Kong Polytechnic University. Noorniawati VY Metode Support Vector Machine untuk Klasifikasi pada Sistem Temu Kembali Citra [skripsi]. Bogor: Fakultas Matematika dan Ilmu Pengetahuan Alam, Institut Pertanian Bogor. Promise Software Engineering Repository dataset Saliu, Moshood Omolade Adaptive Fuzzy Logic Based Framework For Software Development Effort Prediction. King Fahd University of Petroleum & Minerals. Serluca, C An Investigation into Software Effort Estimation using a Backpropagation Neural Network [tesis]. Bournemouth University 12

21 LAMPIRAN

22 Lampiran 1 Kelompok data COCOMO 81 No rely data cplx time stor virt turn acap aexp pcap vexp lexp modp tool sced Ukuran Perangkat lunak (kloc) PM

23 Lanjutan No Ukuran Perangkat rely data cplx time stor virt turn acap aexp pcap vexp lexp modp tool sced lunak (kloc) PM

24 Lampiran 2 Tabel Effort Multiplier pada COCOMO COST DRIVER COCOMO I - EFORT MULTIPLIERS V. LOW LOW NOM- INAL RATING HIGH V. HIGH (PRODUCT) RELY DATA EX. HIGH.. CPLX (COMPUTER) TIME STOR VIRT TURN (PERSONNEL) ACAP AEXP PCAP VEXP LEXP PROJECT MODP TOOL SCED

25 Lampiran 3 Agregat Galat COCOMO 81 pada 10-fold cross validation Hidden Layer Min MRE MAX MRE MED MRE MMRE PRED(0.25)

26 Lanjutan Hidden Layer Min MRE MAX MRE MED MRE MMRE PRED(0.25) Lampiran 4 Grafik Boxplot Min MRE dan Pred(0.25) pada 10-fold cross validation Data Min MRE PRED(0.25) 18

27 Lampiran 5 Grafik Boxplot MMRE pada 10-fold cross validation MMRE Lampiran 6 Grafik Boxplot Median MRE pada 10-fold cross validation MED MRE Lampiran 7 Grafik Boxplot Max MRE pada 10-fold cross validation MAX MRE

28 Lampiran 8 Agregat Galat COCOMO 81 pada 15-fold cross validation Hidden Layer Min MRE MAX MRE MED MRE MMRE PRED(0.25)