BAB VI. PENGUJIAN DAN ANALISIS HASIL UJI

Transkripsi

1 BAB VI. PENGUJIAN DAN ANALISIS HASIL UJI Bagian ini membahas mengenai pengujian yang dilakukan terhadap perangkat lunak yang telah dibangun. Hasil pengujian akan dianalisis berdasarkan kriteria pengujian yang telah ditentukan untuk mengetahui tingkat pencapain perangkat lunak terhadap tujuan pencapaian. VI.1 Lingkungan Pengujian Perangkat lunak akan diuji dalam lingkungan yang sama dengan lingkungan pengembangan perangkat lunak. Pengujian dilakukan kepada empat berkas audio WAV, empat berkas audio tersebut kemudian diubah menjadi empat berkas audio mono dan empat berkas stereo. VI.1.1 Perangkat Keras Dalam Pengujian Lingkungan perangkat keras yang digunakan saat pengujian perangkat lunak: 1. Monitor : 14 inci 2. CPU : Intel Pentium M (Centrino) 1,8 GHz 3. Hard Disk : 60 GB 4. Memori : 512 MB 5. Sound Card : Terintegrasi 6. Perangkat masukan : Tetikus, Papan kunci 7. Perangkat Lain : Earphone Philips VI.1.2 Perangkat Lunak Dalam Pengujian Untuk mengubah format WAV menjadi MP3 dan sebaliknya, melakukan pencuplikan ulang serta mengubah berkas stereo menjadi berkas mono dipakai perangkat lunak Adobe Audition 1.0. Perangkat lunak ini dipilih karena kemampuannya dianggap memadai untuk pengujian kali ini. VI.2 Tujuan Pengujian Pengujian dilakukan untuk membuktikan kebenaran dan kesesuaian perangkat lunak dengan analisis kebutuhan perangkat lunak pada sub bab IV.1.2 Pengujian juga dilakukan untuk menentukan kinerja perangkat lunak, serta melihat kinerja teknik time base modulation. VI-1

2 VI-2 VI.3 Skenario Pengujian Pengujian terhadap perangkat lunak dibagi menjadi dua, yaitu pengujian kebenaran perangkat lunak dan pengujian kinerja perangkat lunak. Dalam pengujian, semua berkas audio mempunyai mempunyai sample rate 44100Hz dan resolusi 16 Bit. Berkas audio dipilih untuk mewakilkan empat genre musik. Penjelasan lebih lengkap mengenai berkas audio dapat dilihat pada Tabel VI-1. Untuk selanjutnya berkas akan diacu dengan nomor yang bersesuaian pada Tabel VI-1. Parameter-parameter masukan perangkat lunak yang dipakai dalam pengujian adalah parameterparameter untuk inisiasi pvoc-ex, parameter-parameter ini secara langsung berpengaruh pada hasil proses encoding. Untuk penjelasan tentang parameter-parameter yang dipakai dapat mengacu pada Tabel III-1. Tabel VI-1: Daftar berkas audio No Nama berkas Stereo/Mono Genre Durasi (mm:ss) musik 1. Karimata Let Me Stereo Jazz 04:09 2. Rolling Stones Street Fighting Man Stereo Rock 03:16 3. Dave Matthews Band Crash Into Me Stereo Pop 05:16 4. Mozard - March Of The Priests From The Magic Stereo Classic 04:07 5. Karimata Let Me Mono Jazz 04:09 6. Rolling Stones Street Fighting Man Mono Rock 03:16 7. Dave Matthews Band Crash Into Me Mono Pop 05:16 8. Mozard - March Of The Priests From The Magic Mono Classic 04:07 VI.3.1 Skenario Pengujian Kebenaran Perangkat Lunak Skenario pengujian kebenaran perangkat lunak adalah: 1. Membagi tiap berkas menjadi segmen-segmen waktu. Perangkat lunak akan diberi masukan berkas audio dengan parameter panjang window fft yang berbeda-beda. Parameter yang akan dicoba adalah: a) 0,5 detik b) 1 detik c) 1, 5 detik Pengujian ini dapat dilihat keberhasilannya dengan melihat dari tampilan proses perangkat lunak. 2. Mencoba pemanjangan dan pemendekan terhadap segmen-segmen waktu.

3 VI-3 Perangkat lunak akan diberi masukan berkas audio dengan parameter besar pemanjangan atau pemendekan yang berbeda-beda. Parameter yang akan dicoba adalah: a) 0.02 % dari panjang segmen b) 0.40 % dari panjang segmen 3. Mencoba mengambil kembali tanda air dari berkas audio. VI.3.2 Skenario Pengujian Kinerja Perangkat Lunak Skenario pengujian kinerja perangkat lunak: 1. Memasukkan ukuran berkas tanda air yang berbeda-beda Pada setiap berkas akan dicoba dua berkas tanda air yang berbeda: Tabel VI-2: Berkas tanda air yang dipakai No. Nama berkas Isi berkas 1. test1.txt test2.txt Membandingkan berkas audio keluaran dengan audio asli. Untuk melihat kualitas maka berkas audio hasil dan asli akan diperdengarkan kepada tiga orang yang berbeda. 3. Menghitung bit error rate (BER) dari tanda air hasil ekstraksi. BER didapatkan dari perbandingan jumlah kesalahan bit pada hasil ekstraksi dengan jumlah bit total tanda air. 4. Menghitung PSNR. PSNR dihitung dengan persamaan 2.9. VI.3.3 Skenario Pengujian Ketahanan Perangkat lunak Pengujian ketahanan perangkat lunak meliputi: 1. Pencuplikan ulang (resampling) 2. Pemberian derau pada berkas WAV bertanda air. 3. Pengubahan berkas WAV bertanda air. VI.4 Pelaksanaan Pengujian VI.4.1 Pelaksanaan Pengujian Kebenaran Perangkat Lunak Pelaksanaan pengujian kebenaran perangkat lunak dilakukan secara sekuensial, yaitu: 1. Melakukan proses encoding dengan parameter gabungan antara besar window fft dan

4 VI-4 besar pemuluran. Setiap berkas akan mengalami enam kali proses encoding. 2. Setelah setiap proses encoding akan dilakukan proses decoding. 3. Teks tanda air yang digunakan pada pengujian ini adalah VI.4.2 Pelaksanaan Pengujian Kinerja Perangkat Lunak Pada pelaksanaan pengujian kinerja perangkat lunak, skenario pengujian dilakukan untuk dua panjang window FFT, lihat Tabel VI-3 Parameter besar pemuluran dan besar overlap window untuk tiap skenario adalah sama, yaitu 1,02 kali dan 1. Tabel VI-3: Parameter uji panjang window fft No Panjang window VI.4.3 Pengujian Ketahanan Perangkat Lunak Berikut ini adalah penjelasan singkat mengenai pengujian yang dilakukan untuk menguji ketahanan perangkat lunak. VI Pencuplikan ulang Pencuplikan ulang dilakukan dengan merubah nilai sampling rate yang dimiliki oleh berkas audio bertanda air, namun tetap dalam rentang spesifikasi sampling rate berkas audio. Pada pengujian ini berkas diubah sample rate-nya menjadi 48KHz. VI Pemberian Derau Pada Berkas Bertanda Air Pengujian dimulai dengan cara menyisipkan derau pada tempat yang berbeda pada berkas audio bertanda air. Derau yang diberikan bervariasi baik dari sisi kekuatan dan panjang atau lamanya. Setelah diberi derau proses decoding akan dilakukan pada berkas tersebut. VI Pengubahan Format Pada Berkas Bertanda Air Pada pengujian ini sebelum proses decoding dilakukan pada berkas bertanda air, berkas akan diubah menjadi berkas MP3 dan kemudian diubah kembali menjadi WAV. Setelah itu akan dihitung BER dari berkas tanda air keluaran sebelum dan sesudah dilakukan pengubahan format. Semua berkas WAV akan diubah menjadi berkas MP3 dengan bit rate 128 kbps dan sample rate 44100Hz.

5 VI-5 VI.5 Hasil Pengujian Pengujian dilakukan minimal satu kali, jika hasil yang didapat dinilai meragukan maka akan dilakukan pengujian ulang. Hasil pengujian yang dinilai meragukan dianggap tidak valid. VI.5.1 Hasil Pengujian Kebenaran Perangkat Lunak Pengujian untuk membagi-bagi segmen dinyatakan berhasil jika pada tampilan proses terlihat bahwa besar dari segmen yang diproses sesuai dengan parameter masukan dan berkas keluaran dapat dimainkan. Pengujian untuk pemanjangan atau pemendekan segmen dinyatakan berhasil jika berkas keluaran dapat dimainkan dan memang berbeda dengan berkas asli, kualitas suara dari berkas hasil tidak diperhitungkan. Pengujian untuk pengambilan kembali perangkat lunak dinyatakan berhasil jika tanda air dapat diperoleh kembali, walaupun tanda air keluaran belum tentu sama dengan tanda air asli. Hasil pengujian dapat dilihat pada Tabel VI-4. Tabel VI-4: Hasil pengujian kebenaran perangkat lunak Nomor Status Berkas Membagi segment Pemanajangan / pemendekan segment Pengambilan kembali tanda air 1 Berhasil Berhasil Berhasil 2 Berhasil Berhasil Berhasil 3 Berhasil Berhasil Berhasil 4 Berhasil Berhasil Berhasil 5 Berhasil Berhasil Berhasil 6 Berhasil Berhasil Berhasil 7 Berhasil Berhasil Berhasil 8 Berhasil Berhasil Berhasil VI.5.2 Hasil Pengujian Kinerja Perangkat Lunak Hasil pengujian akan ditampilkan pada Tabel VI-3. Untuk data tanda air yang didapat dan data proses decoding dapat dilihat pada Lampiran C. Legenda Tabel VI-3: 1. No : Mempunyai format X.Y.Z dengan X menyatakan nomor berkas pada Tabel VI-1, Y menyatakan nomor berkas tanda air pada Tabel VI-2 yang dipakai saat proses encoding dan Z menyatakan nomor parameter panjang window

6 VI-6 fft pada Tabel VI T : Menyatakan durasi berkas dalam detik sebelum proses encoding dikenakan pada berkas. 3. T 1 : Menyatakan durasi berkas dalam detik setelah proses decoding dikenakan pada berkas. 4. BER : Menyatakan bit error rate dari berkas tanda air hasil proses decoding BER yang semakin besar menyatakan bahwa kesalahan bit yang pada hasil ekstraksi semakin besar. Ini menandakan hasil ekstraksi yang semakin buruk. 5. PSNR : Peak Signal to Noise Ratio. Nilai PSNR yang semakin besar menyatakan sinyal keluaran semakin mirip dengan sinyal asli. Dihitung menggunakan persamaan Subjektif : Menyatakan penilaian subjektif berkas audio keluaran. Penilaian ini berdasarkan pendengaran manusia. Cliping menyatakan terdengarnya ketidakkontinyuan anta segmen audio. Sama atau tidak sama menyatakan terdengar atau tidaknya efek pemuluran atau pemanjangan segmen. Baik atau tidak menyatakan kualitas suara secara keseluruhan audio hasil dibandingkan dengan audio asal. Tabel VI-5: Hasil uji kinerja perangkat lunak No T(s) T 1 (s) BER(%) Kualitas Suara Subjektif PSNR(db) ,5 Cliping 52, ,5 Cliping 52, Sedikit cliping, tidak sama 38, ,8 Sedikit cliping, tidak sama 52, Cliping ,8 Cliping Sedikit cliping, tidak sama ,5 Sedikit cliping, tidak sama ,5 Sedikit cliping, tidak baik 44, ,8 Sedikit cliping, tidak baik 54, Sedikit cliping, baik 64, ,9 Sedikit cliping, baik 54, ,5 Cliping, sangat tidak baik 47,13

7 VI-7 No T(s) T 1 (s) BER(%) Kualitas Suara Subjektif PSNR(db) ,5 Cliping, sangat tidak baik 49, Cliping, sangat tidak baik 58, ,2 Cliping, sangat tidak baik 39, Cliping 28, ,8 Cliping 32, ,5 Sedikit cliping 26, ,5 Sedikit cliping 23, ,5 Sedikit cliping 66, ,2 Sedikit cliping 54, Sedikit cliping, tidak sama 48, ,9 Sedikit cliping, tidak sama 62, Cliping, kurang baik 45, ,8 Cliping, kurang baik 50, Baik 74, ,2 Baik 51, Cliping, sangat tidak baik 72, ,8 Cliping, sangat tidak baik 59, Cliping, sangat tidak baik 55, ,5 Cliping, sangat tidak baik 38,96 VI.5.3 Hasil Pengujian Ketahanan Perangkat Lunak VI Pencuplikan Ulang Hasil pengujian ditampilkan dalam Tabel V1-6. BER 1 adalah BER antara tanda air keluaran sebelum pencuplikan ulang dengan tanda air keluran setelah pencuplikan ulang. Tabel VI-6: Hasil pengujian pencuplikan ulang No BER (%) BER 1 (%) 44100Hz 48000Hz , , ,5 53,9 61, ,5 62, ,8 69,2 53,9

8 VI-8 No BER (%) BER 1 (%) 44100Hz 48000Hz ,8 30,8 61, ,5 38,5 53, ,5 37, ,8 53,9 69, ,9 30,8 53, , , ,5 61,5 69, ,2 38,5 38, ,5 37, ,8 61,5 61, , , ,5 53,9 46, , , ,2 15,4 30, ,5 12, ,9 46,2 7, ,8 46,2 61, ,5 12, ,2 46,2 46, ,8 61,5 61, ,5 61,5 38,5 VI Pemberian Derau Pada Berkas Bertanda Air Hasil pengujian ditampilkan pada Tabel VI-7. Pada Tabel VI-7 kolom Awal, derau diberikan pada bagian kecil dari segmen yang mengandung tanda air. Penilaian didasarkan pada perbandingan berkas tanda air hasil ekstraksi sebelum pemberian derau dengan setelah pemberian derau.

9 VI-9 Tabel VI-7: Hasil pengujian pemberian derau No Tempat Pemberian Derau Awal Tengah Akhir Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama Tidak sama Sama Sama

10 VI-10 VI Pengubahan Format Pada Berkas Tanda Air Hasil pengujian ditampilkan pada Tabel VI-8. Hal yang akan dinilai adalah BER antara berkas tanda air keluaran setelah pengubahan dengan berkas tanda air keluaran sebelum pengubahan format (kolom BER 1 ). Tabel VI-8: Hasil uji pengubahan Format No. BER 1 (%) , , , , , , , , , , , , , , , , , , , , , ,1

11 VI-11 No. BER 1 (%) , , VI.6 Analisis Hasil uji Hasil uji yang didapatkan akan dianalisis lebih lanjut untuk melihat apakah hasilnya sesuai dengan maksud dari pengujian yang bersesuaian. Selain itu akan diambil kesimpulan terhadap hasil uji yang didapat. VI.6.1 Analisis Hasil Uji Kebenaran Perangkat Lunak Hasil uji menunjukkan bahwa perangkat lunak TMBWav telah memenuhi spesifikasi kebutuhan perangkat lunak seperti telah dipaparkan pada bab IV. Hal ini dibuktikan dengan keberhasilan perangkat lunak dalam melakukan pemotongan berkas WAV menjadi segmen-segmen yang terpisah, melakukan pemuluran atau pemendekan terhadap segmen audio WAV, serta melakukan proses decoding untuk mendapatkan kembali tanda air yang telah disisipkan. Walaupun tanda air keluaran belum tentu sama dengan tanda air asal. VI.6.2 Analisis Hasil Uji Kinerja Perangkat Lunak Dalam analisis hasil uji kinerja perangkat lunak ini adakan dianalisis proses decoding dan hasil serta BER dari berkas tanda air keluaran tersebut dibandingkan dengan berkas tanda air asli. VI Proses Decoding yang Dilakukan Dalam analisis ini akan dipakai kasus pengujian kinerja dan 3.2.2, kedua kasus tersebut memakai berkas WAV yang sama, yaitu berkas Dave Matthews Band Crash Into Me. Hasil dari proses decoding dapat dilihat pada Tabel VI-9. Pada proses decoding, hanya satu kanal saja yang dianalisis yaitu kanal kiri, karena tanda air disisipkan ke dua channel maka seharusnya data yang disisipkan pada kedua kanal audio adalah sama. Tabel VI-9 hanya menampilkan jumlah magnitude sampai dengan detik ke sembilan karena jumlah waktu yang diperlukan untuk menyimpan tanda air adalah tujuh setengah detik. Hasil ini didapat dari jumlah waktu untuk menyembunyikan empat belas karakter, yaitu tujuh detik, ditambah 0,5 detik pertama yang tidak dikenai pemuluran atau pemendekan karena biasanya tidak berisi data suara. pada tiap segmen dengan membandingkan hasil permbandingan dua segmen

12 VI-12 terdekat dari berkas bertanda air dengan berkas asli. Tabel VI-9 juga menampilkan bit tanda air yang didapat dari hasil decoding tersebut. Kemudian hasil perbandingan tersebut maka dapat disimpulkan bit tanda air yang disembunyikan. Tabel VI-9: Data dari proses decoding dan Magnitude Total per Segmen Perbandingan Dua Segment Teks tanda air Segmen Berkas asli Berkas Asli Berkas Asli VI Analisis Proses Decoding Terlihat pada Tabel VI-9 bahwa teks bit tanda air yang didapat tidak sama dengan teks bit tanda air yang disisipkan. Dari Tabel VI-9 juga dapat disimpulkan bahwa besar window FFT pada saat encoding mempengaruhi proses decoding juga, terlihat dari bahwa semakin kecil window FFT yang dipakai saat encoding, semakin mirip teks tanda air yang didapatkan dengan teks tanda air asli. Hal ini mungkin disebabkan oleh karena semakin kecil panjang window FFT yang dipakai saat encoding semakin mirip panjang berkas hasil encoding dengan panjang berkas asli. Berkas mempunyai panjang 312 detik, sedikit lebih pendek dan lebih mirip berkas asli yang mempunyai panjang 316 detik dibandingkan berkas yang mempunyai panjang 283 detik. Hal ini juga terlihat pada proses decoding berkas mono dari lagu yang sama. VI.6.3 Analisis Hasil Uji Ketahanan Perangkat Lunak Dari hasil uji ketahanan perangkat lunak dapat disimpulkan bahwa, perangkat lunak TMBWav hanya cukup tahan terhadap pengubahan format berkas menjadi MP3, hal ini dapat dilihat dari perbandingan berkas tanda air keluaran sebelum dan sesudah dilakukan perubahan format (kolom BER 1 pada Tabel VI-8). Pada pemberian derau, perangkat lunak menunjukkan hasil yang memuaskan jika derau tidak diberi pada bagian yang bertanda air. Sedangkan untuk pengujian pencuplikan ulang, tanda air yang didapatkan setelah dilakukan pencuplikan cenderung berbeda

13 VI-13 jauh dengan tanda air keluaran sebelum dilakukan pencuplikan ulang, lihat kolom BER 1 pada Tabel VI-6. VI.7 Analisis Umum Hasil Uji Perangkat lunak dinilai telah bekerja relatif baik. Kinerja yang dihasilkan perangkat lunak tidak terlalu memuaskan mengingat hampir semua berkas audio keluaran proses encoding mengalami cliping, terutama pada berkas-berkas audio bertipe classic atau instrumental. Panjang berkas audio keluaran proses encoding selalu lebih pendek dibandingkan berkas aslinya, hal ini dipengaruhi oleh besar-kecilnya ukuran window dalam tahap fft. Hal ini menimbulkan terasanya perbedaan kecepatan lagu saat dilakukan pemutaran ulang berkas WAV keluaran. Selain itu, tampaknya besar kecilnya BER berkas tanda air keluaran proses decoding berbanding terbalik dengan kualitas berkas audio. Dan pada perangkat lunak ini BER dari berkas tanda air keluaran dinilai cukup besar.