BAB V PENGUJIAN. 5.1 Tujuan Pengujian. 5.2 Kriteria Pengujian

Transkripsi

1 BAB V PENGUJIAN Bab ini menjabarkan pengujian terhadap algoritma k-nearest Neighbor dalam membentuk pola improvisasi musik jazz, hasil pengujian dan analisis terhadap hasil pengujian. 5.1 Tujuan Pengujian Pengujian yang dilakukan pada penelitian ini memiliki tujuan : 1. Membuktikan bahwa perangkat lunak JazzML mampu melakukan pembelajaran terhadap data pelatihan yang diberikan. 2. Mengukur performansi dari perangkat lunak JazzML. Dalam hal ini, performansi perangkat lunak ini diukur dengan cara membandingkan kualitas lagu hasil improvisasi yang dilakukan oleh musisi dengan lagu hasil improvisasi yang dibangun oleh perangkat lunak JazzML dari suatu lagu yang sama secara kualitatif. 3. Membuktikan kebenaran hasil analisis kompleksitas algoritma k-nearest Neighbor dalam melakukan klasifikasi untuk mencari pola improvisasi melodi jazz. 5.2 Kriteria Pengujian Pengujian perangkat lunak yang dilakukan memiliki tujuan seperti yang telah disebutkan pada sub-bab 5.1 Tujuan Pengujian. Oleh karena itu dibutuhkan kriteria pengujian untuk mengukur keberhasilan tujuan pengujian tersebut. Kriteria pengujian tersebut antara lain : 1. Keberhasilan pengujian bahwa perangkat lunak JazzML dapat melakukan pembelajaran terhadap data pelatihan yang diberikan adalah dengan cara membandingkan derajat kualitas musikal 2 buah lagu improvisasi hasil perangkat lunak JazzML dari sebuah lagu asli yang sama dimana yang satu menggunakan data pelatihan yang jumlahnya lebih sedikit daripada yang lain. Perangkat lunak JazzML dianggap berhasil melakukan pembelajaran apabila lagu improvisasi yang dihasilkan dari data pelatihan yang lebih banyak memberikan derajat kualitas V-1

2 V-2 musikal yang lebih baik dibandingkan lagu improvisasi yang dihasillkan dari data pelatihan yang lebih sedikit. 2. Keberhasilan pengujian terhadap performansi dari perangkat lunak JazzML diukur dari perbandingan derajat kualitas musikal antara musik improvisasi jazz musisi dengan musik improvisasi jazz oleh perangkat lunak JazzML. Dari melodi asli dan akor sebuah lagu jazz, akan dibentuk 2 jenis improvisasi dimana yang satu merupakan hasil improvisasi oleh musisi dan yang lainnya merupakan hasil improvisasi JazzML. Perangkat lunak JazzML dianggap berhasil apabila derajat kualitas musikal lagu improvisasi yang dihasilkannya setara atau lebih baik dibandingkan lagu improvisasi yang dihasilkan oleh musisi. Penilaian derajat kualitas musikal dari musik improvisasi dilakukan secara kualitatif dengan cara survei terhadap beberapa responden yang berasal dari kalangan musisi maupun penikmat musik jazz. 3. Mengacu pada poin 1 dan 2, derajat kualitas musikal dari musik improvisasi dapat diukur dengan mempertimbangkan kriteria-kriteria sebagai berikut : a. Seberapa enak musik improvisasi tersebut didengar. b. Kecocokan korelasi antara melodi improvisasi yang dimainkan dengan akor. c. Keberadaan aliran emosi dari melodi improvisasi. 4. Pembuktian kebenaran hasil analisis kompleksitas algoritma k-nearest Neighbor dalam memilih pola improvisasi yang paling mirip dilakukan dengan menghitung selang waktu nyata proses pengklasifikasian dari sebuah instance musik berfrasa r buah terhadap data pelatihan sebanyak n buah frasa dengan panjang frasa rata-rata sebesar p. Pengujian dianggap berhasil apabila kompleksitas waktu rata-rata yang didapatkan untuk tiap n buah frasa dengan nilai r yang tetap menunjukkan pertumbuhan yang linear. 5.3 Kuesioner Pengujian Berdasarkan kriteria pengujian poin 1 pada subbab 5.2 Kriteria Pengujian, diperlukan kuesioner yang harus diisi oleh responden untuk menilai derajat kualitas musikal dari lagu improvisasi jazz. Pertanyaan-pertanyaan yang diajukan pada kuesioner mengacu kepada kriteria kualitas musikal yang sudah dijelaskan pada poin 3 pada subbab 5.2 Kriteria Pengujian.

3 V-3 Terdapat 4 buah pertanyaan pada sebuah set pertanyaan dimana 3 pertanyaan pertama mengacu kepada kriteria kualitas musikal yang berbentuk closed format atau multiple choice dan 1 buah pertanyaan terakhir berbentuk open format atau essay yang diperlukan untuk keperluan analisis pengujian. Untuk pertanyaan yang berbentuk closed format, setiap pilihan jawaban akan diberikan bobot penilaian kuantitatif yang menunjukkan derajat kualitas musikal. Berikut ini Tabel V-1 yang mendeskripsikan rancangan sebuah set pertanyaan pada kuesioner. Tabel V-1 Rancangan Pertanyaan Kuesioner Penilaian Kualitas Musikal Lagu Improvisasi No. Pertanyaan Bobot Penilai an 1. Bagaimana penilaian Anda terhadap kualitas audio dari lagu improvisasi tersebut? Pilihan Jawaban : a. Enak didengar 4 b. Cukup enak didengar 3 c. Sedang 2 d. Kurang enak didengar 1 e. Tidak enak didengar 0 2. Bagaimana korelasi antara melodi improvisasi yang dimainkan dengan akor dari lagu improvisasi tersebut? Pilihan Jawaban : a. Cocok 4 b. Kurang cocok 2 c. Tidak cocok 0 3. Apakah lagu improvisasi tersebut memiliki aliran emosi tertentu? Pilihan Jawaban : a. Ya 2 b. Tidak 0 4. Berikan komentar singkat Anda mengenai lagu improvisasi tersebut! -

4 V-4 Berdasarkan pengalaman mengenai karakteristik responden dalam melakukan penilaian terhadap lagu jazz, responden dari kalangan penikmat musik jazz diprediksi memberikan poin jawaban yang tinggi untuk pertanyaan 1 apabila lagu yang didengarkan memang sesuai dengan selera dan memberikan poin jawaban yang tidak terlalu rendah apabila lagu yang didengarkan tidak terlalu sesuai dengan selera. Sedangkan, bagi responden dari kalangan musisi yang cenderung memberikan penilaian yang lebih kritis diprediksi memberikan poin jawaban yang tidak terlalu tinggi untuk pertanyaan 1 apabila lagu yang didengarkan lagu yang sesuai dengan selera untuk lagu yang sama dengan yang didengarkan responden penikmat musik. Oleh karena itu, dirancanglah pertanyaan 2 dan 3 dengan tujuan untuk menyeimbangkan total bobot kualitas dari sebuah lagu antara bobot yang dinilai oleh penikmat musik dengan bobot yang dinilai oleh musisi. Pertanyaan 2 dan 3 memfasilitasi penilaian kritis dan detil yang dilakukan oleh musisi sehingga responden musisi cenderung akan memberikan penilaian yang lebih tinggi dibandingkan dengan penikmat musik terhadap kedua pertanyaan tersebut. Dengan pemberian bobot kuantitatif terhadap kuesioner, maka kriteria baik buruknya kualitas musikal dari sebuah lagu improvisasi jazz akan berada pada rentang-rentang nilai yang ditunjukkan pada Tabel V-2. Tabel V-2 Rentang Nilai Kualitas Musikal Lagu Improvisasi Jazz Rentang Nilai Kualitas Musikal Lagu Kriteria Kualitas Improvisasi Jazz 8,00 10,00 Sangat Baik 6,00 7,99 Baik 4,00 5,99 Cukup 2,00 3,99 Buruk 0 1,99 Sangat buruk 5.4 Lingkungan Pengujian Pengujian dilakukan pada lingkungan yang sama dengan lingkungan yang digunakan pada tahap implementasi. Spesifikasi perangkat keras dan spesifikasi perangkat lunak komputer yang digunakan dapat dilihat pada sub-bab Lingkungan Implementasi.

5 V Kasus Uji Terdapat 3 buah kasus uji untuk pengujian kali ini. Penjelasan lengkap mengenai masing-masing kasus uji tersebut adalah sebagai berikut. 1. Mengacu pada subbab 5.2 Kriteria Pengujian poin ke-1, pengujian terhadap perangkat lunak JazzML akan dilakukan 2 kali rangkaian proses pembelajaran dan pembentukan melodi improvisasi yaitu : a. Melakukan pembelajaran terhadap 274 buah frasa musik pelatihan yang dikemas dalam 6 set lagu jazz dimana sebuah set lagu jazz terdiri atas lagu melodi asli dan lagu melodi improvisasinya. Kemudian, perangkat lunak JazzML melakukan eksekusi pembentukan lagu improvisasi dari sebuah lagu jazz melodi asli. Setelah itu, akan dibentuk sebuah set lagu jazz yang terdiri atas lagu melodi asli, lagu melodi improvisasi oleh musisi, dan lagu melodi improvisasi oleh perangkat lunak JazzML yang baru saja dibentuk. b. Melakukan pembelajaran terhadap 776 buah frasa musik pelatihan yang dikemas dalam 19 set lagu jazz. Kemudian, perangkat lunak JazzML melakukan ekseksui pembentukan lagu improvisasi dari sebuah lagu jazz melodi asli yang sama dengan poin 1.a. Setelah itu, akan dibentuk sebuah set lagu jazz yang terdiri atas lagu melodi asli, lagu melodi improvisasi oleh musisi, dan lagu melodi improvisasi oleh perangkat lunak JazzML yang baru saja dibentuk. Detil penjelasan mengenai data kasus uji pertama dilampirkan pada Lampiran D Data dan Kasus Uji Pertama. 2. Mengacu pada subbab 5.2 Kriteria Pengujian poin ke-2, pengujian terhadap perangkat lunak JazzML akan dilakukan dengan melakukan pembelajaran terhadap 776 buah frasa musik pelatihan yang dikemas dalam 19 set lagu jazz. Kemudian, perangkat lunak JazzML akan melakukan eksekusi pembentukan lagu improvisasi dari 5 buah data tes yang berupa lagu jazz melodi asli. Setelah itu, akan dibentuk 5 buah set lagu jazz dimana setiap set lagu terdiri atas lagu melodi asli, lagu melodi improvisasi oleh musisi, dan lagu melodi improvisasi oleh perangkat lunak JazzML yang baru saja dibentuk. Detil penjelasan mengenai data kasus uji kedua dilampirkan pada Lampiran E Data dan Kasus Uji Kedua. 3. Mengacu pada subbab 5.2 Kriteria Pengujian poin ke-4, pengujian akan dilakukan sebanyak 19 kali (mengacu kepada jumlah lagu pelatihan) dengan n buah frasa

6 V-6 pelatihan yang berbeda-beda dan terurut menaik. Untuk setiap pengujian, akan digunakan sebuah instance lagu jazz yang sama sehingga r (banyaknya frasa dalam sebuah instance lagu) konstan, yaitu berjumlah 34 buah frasa. 5.6 Pelaksanaan Pengujian Pengujian perangkat lunak JazzML untuk kasus uji pertama dan kedua dilakukan dengan cara survei terhadap 9 responden, 3 orang responden berasal dari kalangan penikmat musik jazz dan 6 orang responden berasal dari kalangan musisi jazz. Keterangan mengenai responden penilai kualitas musikal lagu improvisasi yang berhasil disurvei dapat dilihat pada Tabel V-3. Tabel V-3 Responden Penilai Kualitas Lagu Improvisasi Jazz Responden Karakteristik di Bidang Musik Kemampuan Bermusik A Musisi pop Dapat memainkan alat musik drum B Penikmat musik jazz Dapat memainkan alat musik gitar dan keyboard C Musisi R nb Dapat memainkan alat musik gitar D Musisi / Vokalis Musik jazz Dapat memainkan alat musik gitar dan piano E Penikmat musik jazz Dapat memainkan alat musik drum F Musisi jazz Dapat memainkan alat musik drum G Musisi jazz Dapat memainkan alat musik biola H Penikmat musik jazz Dapat memainkan alat musik piano I Musisi jazz Dapat memainkan alat musik piano, gitar, drum, biola, dan saksofon Pelaksanaan dan urutan proses pengujian tersebut akan dilakukan sesuai dengan yang disebutkan pada subbab 5.5 Kasus Uji Pelaksanaan Pengujian Kasus Uji Pertama Setiap responden akan diperdengarkan 2 buah set lagu jazz yang sudah dijelaskan pada subbab 5.5 Kasus Uji poin 1. Set Lagu I mewakili hasil pembelajaran yang dilakukan

7 V-7 terhadap 274 buah frasa pelatihan dan Set Lagu II mewakili hasil pembelajaran yang dilakukan terhadap 776 buah frasa pelatihan. Setelah mendengarkan kedua buah set lagu tersebut, responden diminta untuk mengisi kuesioner seperti yang dijelaskan pada subbab 5.3 Kuesioner Pengujian. Dari hasil survei didapatkan fakta bahwa pada Set Lagu I kedua lagu improvisasi, yaitu oleh musisi dan perangkat lunak JazzML, menghasilkan skor derajat kualitas musikal yang tidak setara dimana lagu improvisasi oleh perangkat lunak memiliki skor yang lebih rendah dibandingkan lagu improvisasi oleh musisi. Sedangkan, pada Set Lagu II kedua lagu improvisasi menghasilkan skor derajat kualitas musikal yang setara. Rekapitulasi penilaian derajat kualitas musikal dari kedua set lagu tersebut dapat dilihat pada Tabel V-4 dan detil hasil pengujian kasus uji pertama dapat dilihat pada Lampiran D Data dan Hasil Pengujian Kasus Uji Pertama. Tabel V-4 Rekapitulasi Hasil Pengujian Kasus Uji Pertama Set Lagu I dan II No. Set Lagu Nilai Kualiitas Musikal Rata-Rata 1. Set Lagu I a. Improvisasi Musisi 9.45 (sangat baik) b. Improvisasi Mesin/Perangkat Lunak JazzML 3.56 (buruk) 2. Set Lagu II a. Improvisasi Musisi 9,45 (sangat baik) b. Improvisasi Mesin/Perangkat Lunak JazzML 5,89 (cukup) Pelaksanaan Pengujian Kasus Uji Kedua Setiap responden akan diperdengarkan 5 buah set lagu jazz, mengacu kepada jumlah data tes pada kasus uji pertama, dimana per set lagu terdiri atas lagu asli, lagu improvisasi oleh musisi, dan lagu improvisasi mesin yang dihasilkan oleh perangkat lunak JazzML. Dari kedua lagu improvisasi yang terdapat pada setiap set lagu, responden tidak diberikan informasi mengenai lagu improvisasi yang mana yang dihasilkan oleh musisi dan yang mana yang dihasilkan oleh perangkat lunak JazzML.

8 V-8 Setelah mendengarkan kelima buah set lagu tersebut, responden diminta untuk mengisi kuesioner seperti yang dijelaskan pada subbab 5.3 Kuesioner Pengujian. Detil hasil pengujian kasus uji kedua dapat dilihat pada Lampiran E Data dan Hasil Pengujian Kasus Uji Kedua. Tujuan serta alasan pengujian terhadap 5 buah set lagu tersebut adalah sebagai berikut. 1. Pengujian terhadap set lagu 1 3 dilakukan untuk menguji apakah lagu improvisasi jazz yang sudah pernah dipelajari oleh mesin atau perangkat lunak JazzML dapat memiliki kualitas musikal yang setara atau lebih tinggi dengan lagu improvisasi yang dilakukan oleh musisi. Dari 9 orang responden yang disurvei ternyata memberikan nilai kualitas musikal rata-rata terhadap lagu-lagu improvisasi yang ditunjukkan pada Tabel V-5 sebagai berikut : Tabel V-5 Rekapitulasi Hasil Pengujian Kasus Uji Kedua Set Lagu 1 3 No. Set Lagu Nilai Kualitas Musikal Rata-Rata 1. Set Lagu 1 (Blue Moon) a. Improvisasi Musisi 8 (sangat baik) b. Improvisasi Mesin/Perangkat Lunak JazzML 8,78 (sangat baik) 2. Set Lagu 2 (Donna Lee) a. Improvisasi Musisi 9,45 (sangat baik) b. Improvisasi Mesin/Perangkat Lunak JazzML 9,12 (sangat baik) 3. Set Lagu 3 (Satin Doll) a. Improvisasi Musisi 8,66 (sangat baik) b. Improvisasi Mesin/Perangkat Lunak JazzML 8 (sangat baik) 2. Pengujian terhadap set lagu 4 5 dilakukan untuk menguji apakah lagu improvisasi jazz yang belum pernah dipelajari oleh mesin atau perangkat lunak JazzML dapat memilliki kualitas musikal yang setara atau lebih tingi dengan lagu improvisasi yang dilakukan oleh musisi. Dari 9 orang responden yang disurvei ternyata memberikan nilai kualitas musikal rata-rata terhadap lagu-lagu improvisasi yang ditunjukkan pada Tabel V-6 sebagai berikut :

9 V-9 Tabel V-6 Rekapitulasi Hasil Pengujian Kasus Uji Kedua Set Lagu 4 5 No. Set Lagu Nilai Musikal Rata-Rata 1. Set Lagu 4 (Summertime) a. Improvisasi Musisi 10 (sangat baik) b. Improvisasi Mesin/Perangkat Lunak JazzML 5,56 (cukup) 2. Set Lagu 5 (Stella by Starlight) a. Improvisasi Musisi 9,67 (sangat baik) b. Improvisasi Mesin/Perangkat Lunak JazzML 5,67 (cukup) Pelaksanaan Pengujian Kasus Uji Ketiga Selang waktu nyata proses pengklasifikasian pola melodi improvisasi akan dihitung sebanyak 5 kali percobaan untuk setiap pengujian yang kemudian akan dihitung selang waktu nyata rata-ratanya. Instance lagu tes yang digunakan pada semua pengujian adalah lagu yang berjudul Donna Lee yang memiliki 34 buah frasa melodi asli. Dengan nilai r yang konstan, yaitu 34, didapatkan grafik hasil pengujian yang ditunjukkan pada Gambar V-1. Dari hasil pengujian, pertambahan selang waktu nyata rata-rata dalam melakukan proses klasifikasi mendekati perbanding yang lurus atau linear dengan penambahan jumlah frasa pelatihan. Adapun anomali yang terjadi yaitu untuk beberapa titik jumlah frasa tertentu yang jumlahnya lebih banyak memberikan selang waktu yang lebih singkat dibandingkan jumlah frasa yang lebih sedikit. Ini disebabkan karena pada titik tersebut diperkirakan ada proses atau thread lain yang berjalan ketika eksekusi perhitungan selang waktu nyata dilakukan sehingga mengganggu kemurnian proses perhitungan yang ditujukan hanya untuk menghitung selang waktu pengklasifikasian pola melodi improvisasi.

10 V-10 Trata rata (dalam detik) Grafik Selang Waktu Rata Rata per Jumlah Frasa y = x R² = T Linear (T) N (Jumlah Frasa) Gambar V-1 Grafik Selang Waktu Rata-Rata per Jumlah Frasa 5.7 Analisis Hasil Pengujian Berikut ini beberapa analisis yang dirumuskan terhadap hasil pengujian perangkat lunak JazzML dalam membentuk pola improvisasi musik jazz. 1. Perangkat lunak memiliki kemampuan untuk belajar dari data pelatihan. Hal ini terlihat dari hasil pengujian pada kasus uji pertama dimana derajat kualitas musikal lagu improvisasi perangkat lunak pada Set Lagu II meningkat dibandingkan Set Lagu I. Seperti yang telah diketahui bahwa Set Lagu I dibentuk dari data pelatihan sebanyak 274 buah frasa musik dan Set Lagu II dibentuk dari data pelatihan sebanyak 776 buah frasa musik. 2. Pada pengujian set lagu 1 3 kasus uji kedua, perangkat lunak dianggap berhasil dalam membentuk pola melodi improvisasi musik jazz yang baik karena kualitas musikal dari lagu improvisasi yang dihasilkan oleh perangkat lunak setara dengan kualitas musikal dari lagu improvisasi yang dihasilkan oleh musisi. Bahkan secara kuantitatif, pada set lagu 1 (Blue Moon), lagu improvisasi yang dihasilkan oleh perangkat lunak JazzML memberikan hasil kualitas musikal yang sedikit lebih tinggi dibandingkan lagu improvisasi yang dihasilkan oleh musisi, yaitu 8,78 berbanding 8.

11 V Pada pengujian set lagu 4 5 kasus uji kedua, perangkat lunak dianggap gagal dalam membentuk pola melodi improvisasi musik jazz yang baik karena kualitas musikal dari lagu improvisasi yang dihasilkan oleh perangkat lunak dibawah kualitas musikal dari lagu improvisasi yang dihasilkan oleh musisi. Lagu improvisasi musisi pada pengujian 4 5 memiliki hasil kualitas musikal pada level sangat baik, sedangkan lagu improvisasi oleh perangkat lunak JazzML memiliki hasil kualitas musikal pada level cukup (lihat Tabel V-6). 4. Mengacu pada poin 1, dapat dikatakan bahwa perangkat lunak JazzML memiliki kemampuan untuk menghasilkan lagu improvisasi yang kualitas musikalnya mirip dengan lagu improvisasi oleh musisi jika perangkat lunak pernah mempelajari lagu yang sama pada fase pembelajaran. 5. Mengacu pada poin 2, dapat dikatakan bahwa perangkat lunak JazzML kurang mampu untuk menghasilkan lagu improvisasi yang kualitas musikalnya setara atau lebih baik daripada lagu improvisasi oleh musisi jika perangkat lunak belum pernah mempelajari lagu yang sama pada fase pembelajaran. Namun demikian, banyaknya data pelatihan juga turut berpengaruh pada perbedaan kualitas musikal yang dihasilkan terhadap lagu yang belum pernah dipelajari (lihat analisis hasil pengujian poin 1). Data pelatihan yang berjumlah lebih banyak dan beragam akan memberikan hasil yang lebih baik terhadap kualitas lagu improvisasi yang dihasilkan oleh perangkat lunak. 6. Dari semua skor total Soal 3 yang didapatkan (lihat Lampiran D atau E), lagu improvisasi yang dihasilkan oleh perangkat lunak JazzML cenderung memiliki skor total dibawah lagu improvisasi oleh musisi. Fakta ini menunjukkan bahwa lagu improvisasi JazzML kurang bercerita atau kurang memiliki flow emosi tertentu dibandingkan lagu improvisasi musisi. Hal ini disebabkan karena perangkat lunak JazzML tidak mempertimbangkan hubungan antar frasa melodi improvisasi yang dihasilkan. Dengan kata lain, melodi improvisasi untuk frasa ke-i tidak bergantung pada hasil melodi improvisasi yang didapatkan untuk frasa ke- i Secara umum, hasil pengujian yang didapatkan dari survei sesuai dengan konsep pembelajaran mesin bahwa kemampuan mesin pembelajar bergantung pada kualitas data pembelajarannya. Masukan frasa improvisasi pada data pelatihan JazzML dipilih dari melodi improvisasi musisi jazz terkenal yang telah diklaim memiliki

12 V-12 kemampuan untuk menghasilkan melodi improvisasi yang berkualitas. Dengan demikian, hasil improvisasi melodi yang dihasilkan perangkat lunak JazzML akan cenderung memiliki kualitas yang baik pula. Hal ini dapat dilihat pada nilai kualitas musikal rata-rata yang ditunjukkan pada Tabel V-5. Semua lagu improvisasi oleh perangkat lunak JazzML pada Set Lagu 1 3 memiliki level kualitas musikal sangat baik, sesuai dengan lagu improvisasi oleh musisi yang juga digunakan sebagai data pelatihan. 8. Dengan melihat performansi perangkat lunak JazzML dapat disimpulkan bahwa algoritma k-nearest Neighbor yang diimplementasikan pada JazzML mampu menghasilkan pola improvisasi melodi musik jazz dengan kualitas yang bergantung pada kuantitas dan kualitas data pelatihan yang diberikan. 9. Masalah pembelajaran mesin untuk mempelajari pola improvisasi musik jazz merupakan masalah yang selalu dapat dipecahkan dengan komputer (algoritma k- Nearest Neighbor) untuk jumlah frasa lagu instance yang tetap dan panjang frasa yang relatif kecil terhadap jumlah frasa pelatihan. Hal ini ditunjukkan dengan kompleksitas algoritma klasifikasi yang terbukti linear terhadap pertambahan jumlah frasa pelatihan.