BAB III EKSPERIMEN AWAL

Transkripsi

1 BAB III EKSPERIMEN AWAL Bab ini mendiskusikan mengenai eksperimen awal yang dilakukan dalam penelitian ini. Eksperimen dilakukan untuk mengeksplorasi kapabilitas T2 Framework sebagai sebuah verification tool. Eksperimen awal dilakukan juga dengan tujuan untuk memperoleh gambaran awal mengenai karakteristik T2 Framework sebelum eksperimen utama yang dilakukan terhadap studi kasus. Tujuan dari eksperimen awal dijelaskan dalam bahasan mengenai tujuan eksperimen, sementara detail dari contoh kasus dalam eksperimen dijelaskan pada bagian Langkahlangkah Eksperimen, Implementasi Contoh Kasus, dan Ruang Lingkup Eksperimen. Bagian terakhir adalah Analisis Hasil Eksperimen Awal, yang menyertakan analisis dan kesimpulan awal terhadap karakteristik T2 Framework berdasarkan hasil eksperimen awal Tujuan Eksperimen Eksperimen ini dilakukan untuk mengeksplorasi kapabilitas T2 untuk contoh kasus berupa program sederhana. Secara umum, tujuan dari eksperimen awal dapat dijabarkan sebagai berikut. 1. Mempelajari dan melakukan eksplorasi awal terhadap kapabilitas T2 sebagai sebuah verification tool. 2. Mempelajari dan menerapkan teknik verifikasi dengan T2 untuk contoh kasus dengan program sederhana. 3. Penerapan akan pemahaman yang diperoleh dari studi literatur yang telah dilakukan sebelumnya. 4. Mempelajari kemungkinan kecocokan T2 Framework untuk penggunaan dalam eksperimen terhadap studi kasus. 36

2 Untuk eksperimen awal, digunakan sebuah program sederhana dalam Java. Program sederhana di sini didefinisikan sebagai sebuah program yang dibangun dengan Java, terdiri atas satu buah class dengan sourcecode tidak lebih dari 150 baris Langkah-langkah Eksperimen Dalam eksperimen awal, langkah-langkah yang dilakukan ditetapkan sebagai berikut. 1. Penetapan algoritma dalam contoh kasus yang akan digunakan untuk pengujian dengan T2. 2. Implementasi contoh kasus dalam Java. Pada tahap ini dilakukan coding untuk membangun program yang ditetapkan sebagai contoh kasus. 3. Penetapan spesifikasi dari contoh kasus yang dikembangkan, berikut penulisan spesifikasi untuk pengujian dengan T2. 4. Verifikasi contoh kasus terhadap spesifikasi dengan menggunakan T2. 5. Analisis terhadap hasil verifikasi yang dilakukan dengan T Implementasi Contoh Kasus Bagian ini membahas mengenai detail dari implementasi contoh kasus yang dilakukan. Program yang menjadi contoh kasus dibangun dengan Java, di-compile dengan menggunakan SDK untuk Java 2 Standard Edition, versi Deskripsi Contoh Kasus Contoh kasus yang digunakan dalam eksperimen awal adalah sebuah program sederhana yang memilki fungsi untuk mencari akar dari sebuah persamaan kuadrat ax 2 + bx +c. Proses pencarian akar dari persamaan kuadrat dilakukan dengan implementasi terhadap metode Newton [9]. 37

3 Program terdiri atas sebuah class QuadraticSolver yang menggunakan metode Newton untuk menentukan akar dari sebuah persamaan kuadrat, apabila diberikan sembarang koefisien a, b, dan c. Sourcecode dari program yang digunakan dalam eksperimen awal adalah sebagai berikut. public class QuadraticSolver { static final int ONE_ROOT= 200; static final int TWO_ROOTS = 201; static final int NO_REAL_ROOT = 202; static final double INITIAL_GUESS = 1; static final double D_VALUE = 1E-10; static final double E_VALUE = 1E-4; //equation variables double a, b, c; //newton variables double x, d; //supporting vars double roots[], diff[], aroot, adiff, disc; public QuadraticSolver(String sa, String sb, String sc) { a = Double.parseDouble(sa); b = Double.parseDouble(sb); c = Double.parseDouble(sc); //array untuk hasil dan nilai selisih roots = new double [2]; diff = new double [2]; //print koefisien a, b, c System.out.println("a = "+a+" b = "+b+" c = "+c); //operasi diskriminan (akar tunggal, akar ganda, non-real) switch (discriminant(a,b,c)) { case ONE_ROOT: roots[0] = rootof(a,b,c); roots[1] = roots[0]; diff[0] = adiff; diff[1] = adiff; break; case TWO_ROOTS: roots[0] = rootof(a,b,c); diff[0] = adiff; 38

4 do { roots[1] = rootof(a,b,c); diff[1] = adiff; while (Math.abs(roots[0] - roots[1]) < D_VALUE); break; case NO_REAL_ROOT: System.out.println("no real root."); return; System.out.println("roots are: "+roots[0]+" and "+roots[1]); System.out.println("diff#0 = "+diff[0]); System.out.println("diff#1 = "+diff[1]); public double rootof(double a, double b, double c) { //random integer untuk initial guess x = new java.util.random().nextint(); c = c/a; b=b/a; a = 1; do { d = (Math.pow(x, 2)+b*x+c)/(2*x+b); x = x-d; while (Math.abs(d) >= D_VALUE); //selisih antara hasil dengan nilai sebenarnya //adiff == 0 untuk akurasi tertinggi adiff = Math.abs(a*(Math.pow(x, 2)) + b*x + c); return x; public int discriminant(double a, double b, double c) { //operasi diskriminan double disc = (Math.pow(b,2))-(4*a*c); //jenis akar yang dimiliki oleh persamaan kuadrat if (disc > 0) return TWO_ROOTS; else if (disc == 0) return ONE_ROOT; else return NO_REAL_ROOT; public static void main (String[] argv) { new QuadraticSolver(argv[0], argv[1], argv[2]); 39

5 Secara umum, fungsi yang dilakukan oleh QuadraticSolver adalah mencari akarakar dari suatu persamaan kuadrat, apabila diberikan koefisien a, b, dan c untuk persamaan tersebut. Dilakukan juga kalkulasi diskriminan untuk menentukan apakah suatu persamaan memiliki akar real atau tidak. Pada class berikut. QuadraticSolver, didefinisikan constructor dan method sebagai public QuadraticSolver(String sa, String sb, String sc) constructor yang menerima tiga buah String sebagai representasi dari koefisien a, b, dan c dari persamaan kuadrat. Masing-masing parameter ini kemudian di-parse sebagai tipe data double. public double rootof(double a, double b, double c) method yang memiliki fungsi untuk mencari satu buah akar dari persamaan kuadrat dengan koefisien a, b, dan c yang diberikan. Digunakan metode Newton dengan initial guess yang bersifat random dalam pencarian akar. public int discriminant(double a, double b, double c) method pendukung untuk menentukan sifat dari persamaan kuadrat yang diberikan. (akar tunggal bilangan real, dua akar bilangan real, atau tidak memiliki akar bilangan real) Spesifikasi Program Dari program yang telah dijelaskan sebelumnya, akan diuji apakah program tersebut valid dalam fungsinya untuk mencari akar dari persamaan kuadrat. Pengujian dilakukan dengan menggunakan T2, dengan spesifikasi yang ditetapkan untuk kebutuhan tersebut. Telah diketahui bahwa fungsi utama dari program ini terletak pada method rootof (lihat penjelasan pada bagian sebelumnya). Penggunaan spesifikasi terhadap class invariant tidak relevan dalam eksperimen awal ini, mengingat pada kasus ini operasi 40

6 yang dilakukan tidak memiliki predikat yang harus dipertahankan pada instance dari class yang bersangkutan. Dengan demikian, spesifikasi pada eksperimen awal dibatasi kepada spesifikasi method, yang meliputi precondition dan postcondition pada method. Spesifikasi yang ditetapkan untuk pengujian adalah sebagai berikut, untuk method rootof. public double rootof_spec(double a, double b, double c) { assert a!= 0 : "PRE"; double d = rootof(a, b, c); assert Math.abs(a*(Math.pow(d, 2))+ b*d + c) < E_VALUE : "POST"; return d; Spesifikasi untuk method tersebut dapat dijelaskan sebagai berikut: precondition: a 0 Untuk sebuah persamaan kuadrat ax 2 +bx +c = 0, perlu diperhatikan bahwa koefisien a tidak boleh sama dengan nol. Hal ini akan mengakibatkan persamaan tersebut menjadi persamaan linear bx+c, dan dengan demikian kalkulasi dalam method tersebut akan menjadi invalid. postcondition: ax 2 +bx +c 0 Kebenaran dari akar persamaan yang diperoleh diuji dengan memasukkan bilangan tersebut ke dalam persamaan awal. Di sini perlu diperhatikan bahwa walaupun secara matematis dapat dinyatakan ax 2 +bx +c = 0, namun komputasi numerik memiliki keterbatasan dengan bilangan floating point. Di sini, dilakukan pembatasan nilai dengan toleransi yang ditetapkan dengan konstanta E_VALUE. Di sisi lain, dapat diperhatikan bahwa spesifikasi tersebut juga memenuhi bentuk umum Hoare triple, dengan assertion sebagai media untuk melakukan pengecekan precondition dan postcondition. Dalam konteks pengujian dengan T2, satu tahap program dalam Hoare triple adalah sebuah eksekusi dari sebuah method. 41

7 3.4. Ruang Lingkup Eksperimen Awal Secara khusus, pengujian dalam eksperimen awal meliputi eksplorasi kapabilitas T2 terhadap kemungkinan-kemungkinan sebagai berikut: 1. Pengujian terhadap logic error yang terdapat dalam code. 2. Pengujian terhadap perubahan beberapa konstanta dalam program. Hasil pengujian kemudian dianalisis untuk memperoleh gambaran awal mengenai kapabilitas T2 sebagai sebuah verification tool Pengujian terhadap Logic Error Pada tahap ini, dilakukan pengujian dengan membuat dua versi dari program yang diujikan. Satu versi adalah program yang valid, sementara versi lain adalah program yang memiliki kesalahan logika di dalamnya. Perbedaan antara kedua versi terletak dalam method rootof, yaitu sebagai berikut. public double rootof(double a, double b, double c) { x = new java.util.random().nextint(); c = c/a; b=b/a; a = 1; do { //~ baris di bawah ini salah, seharusnya //~ d = (Math.pow(x, 2)+b*x+c)/(2*x+b); d = (Math.pow(x, 2)+b*x+c)/2*x+b; x = x-d; while (Math.abs(d) >= D_VALUE); adiff = Math.abs(a*(Math.pow(x, 2)) + b*x + c); return x; Dapat diperhatikan pada potongan program yang ditampilkan bahwa terdapat kesalahan dalam proses assignment terhadap nilai d. Dalam operasi menggunakan metode Newton, nilai variabel d seharusnya didefinisikan sebagai berikut. 42

8 d f ( x) f '( x) 2 x bx c 2x b Untuk keadaan tersebut, seharusnya nilai d dinyatakan dalam program sebagai berikut: d = (Math.pow(x, 2)+b*x+c)/(2*x+b); Meskipun demikian, dalam program tersebut terdapat kesalahan bahwa nilai d dinyatakan sebagai berikut: d = (Math.pow(x, 2)+b*x+c)/2*x+b; Kesalahan terdapat pada bagian yang digarisbawahi, di mana pada bagian tersebut seharusnya ekspresi 2*x+b diletakkan dalam tanda kurung. Kesalahan tersebut mengakibatkan definisi nilai d menjadi salah; seharusnya ekspresi 2*x+b berada di sisi bawah sebagai penyebut dalam pecahan. Proses pengujian kemudian dilakukan dengan hipotesis bahwa T2 akan mengekspos kesalahan tersebut dalam proses verifikasi Pengujian terhadap Akurasi Solusi Pada tahap ini, dilakukan pengujian terhadap akurasi solusi yang diajukan oleh program, dengan T2 sebagai media pengujiannya. Di sini dilakukan modifikasi terhadap dua buah konstanta dalam program, yaitu sebagai berikut. D_VALUE nilai toleransi yang menjadi loop guard dalam iterasi metode Newton. Bilangan x n yang diperoleh pada iterasi ke-n dianggap cukup akurat sebagai solusi persamaan, apabila nilai d = f(x)/f'(x) memiliki nilai di bawah ambang batas tertentu. Semakin kecil nilai D_VALUE, semakin akurat akar persamaan kuadrat yang diperoleh. E_VALUE nilai toleransi yang digunakan dalam spesifikasi postcondition. Sehubungan dengan keterbatasan sistem bilangan floating point, nilai dari suatu akar persamaan kuadrat x 1 dan x 2 tidak dapat langsung dimasukkan ke 43

9 dalam persamaan ax 2 + bx + c = 0. E_VALUE di sini adalah toleransi untuk keterbatasan tersebut; semakin kecil nilai E_VALUE, dibutuhkan hasil yang semakin akurat untuk memenuhi postcondition tersebut Analisis Hasil Eksperimen Awal Pada eksperimen awal, diperoleh hasil yang kemudian dianalisis sebagai gambaran awal akan kapabilitas T2 sebagai verification tool. Dari kedua jenis pengujian yang dilakukan, diperoleh hasil yang masing-masing dapat dijabarkan sebagai berikut Analisis terhadap Pengujian Logic Error Telah dijelaskan sebelumnya bahwa pada pengujian ini dibuat dua versi dari program. Masing-masing diuji dengan T2, dengan spesifikasi yang telah ditentukan. Dipersiapkan pula hipotesis awal mengenai hasil yang mungkin terjadi sebelum pengujian, dengan selengkapnya sebagai berikut. Tabel 1: Hasil Pengujian terhadap Logic Error pada Eksperimen Awal Program Hipotesis Hasil Verifikasi Catatan stable-01 Valid Valid defect-01 Invalid Invalid postcondition tidak terpenuhi stable-01: program valid defect-01: program dengan kesalahan Pada tahap ini diperoleh hasil pengujian yang sesuai dengan hipotesis untuk masingmasing jenis program. Pada program stable-01, penggunaan formula untuk metode 44

10 Newton dilakukan dengan benar, dan dengan demikian hasil yang diperoleh dapat memenuhi postcondition yang ditetapkan. Hal ini tidak terjadi pada program defect- 01, di mana terdapat kesalahan pada penulisan formula dari metode Newton, mengakibatkan konvergensi yang tidak tepat dalam pencarian akar. Untuk kasus sederhana ini, T2 mampu menemukan dengan dengan tepat kesalahan yang terdapat pada program. Pada laporan yang dihasilkan oleh T2, diperlihatkan trace dari eksekusi program yang mengekspos logic error yang terjadi. Berikut adalah sebagian dari laporan yang dihasilkan oleh T2, untuk program defect-01. [...] ** STEP 2. ** Calling method rootof_spec with: ** Receiver: target-obj ** Arg [0:] (Double) : ** Arg [1:] (Double) : ** Arg [2:] (Double) : ** Target object after the step: 0 ONE_ROOT (Integer) : 200 TWO_ROOTS (Integer) : 201 NO_REAL_ROOT (Integer) : 202 INITIAL_GUESS (Double) : 1.0 a (Double) : 1.0 b (Double) : 1.0 c (Double) : 1.0 x (Double) : NaN d (Double) : NaN roots 6 [0] (Double) : 0.0 [1] (Double) : 0.0 aroot (Double) : 0.0 disc (Double) : 0.0 ROUNDING_LENGTH (Integer) : 20 xx Assertion VIOLATED! ** Strack trace: java.lang.assertionerror: POST at QuadraticSolver.rootOf_spec(QuadraticSolver.java:102) at sun.reflect.nativemethodaccessorimpl.invoke0(native Method) [...] 45

11 Laporan yang dihasilkan T2 memberikan informasi mengenai kesalahan yang timbul berikut lokasinya, sampai pada tingkat method yang diverifikasi. Meskipun demikian, laporan yang dihasilkan T2 tidak secara langsung memberikan informasi secara detail mengenai jalannya program dalam method yang diverifikasi. Laporan yang dihasilkan oleh T2 juga masih belum menjelaskan secara rinci mengenai spesifikasi yang tidak terpenuhi dalam pengujian; sejauh ini hasil yang dilaporkan terbatas keadaan dari spesifikasi (terpenuhi atau tidak terpenuhi), tanpa rincian lebih lanjut mengenai proses yang terjadi dalam kasus tersebut. Secara umum, untuk pengujian sederhana ini T2 dapat menemukan logic error secara akurat pada tingkat method. Meskipun demikian, hal ini perlu diselidiki lebih lanjut untuk pengujian method dengan kompleksitas yang lebih tinggi dan spesifikasi yang lebih kompleks Analisis terhadap Akurasi Solusi Pada tahap ini diperoleh hasil pengujian untuk program yang valid, namun dengan modifikasi konstanta yang dilakukan untuk masing-masing variasi program. Hal ini dilakukan untuk menyelidiki kemampuan T2 untuk menilai ketepatan jalannya program, dengan toleransi kesalahan tertentu yang ditetapkan. Fokus pengujian diarahkan kepada pengamatan karakteristik tipe data numerik (secara khusus, tipe data double) dan analisis perilaku T2 terhadap karakteristik tersebut. Kasus yang diujikan meliputi modifikasi bilangan yang menjadi batas iterasi dari metode Newton dan modifikasi bilangan toleransi kesalahan pada postcondition. Hasil dari pengujian ini kemudian menjadi acuan dalam analisis perilaku T2 proses verifikasi. Penjelasan mengenai pengujian ini dapat ditemukan pada pembahasan sebelumnya dari laporan ini. Masing-masing bilangan yang dimodifikasi ditetapkan sebagai berikut. 46

12 Tabel 2: Konstanta Akurasi pada Eksperimen Awal Konstanta Tinggi Akurasi Rendah Catatan Batas iterasi metode D_VALUE Newton E_VALUE Toleransi postcondition D_VALUE : akurasi berbanding lurus dengan akurasi hasil yang diberikan E_VALUE: akurasi berbanding lurus dengan akurasi yang ditetapkan pada postcondition Dari modifikasi tersebut, diperoleh hasil yang merepresentasikan perilaku T2 terhadap perubahan karakteristik hasil yang diberikan. Perlu diperhatikan bahwa dalam pengujian ini logika dasar program tidak mengalami perubahan, kecuali pada modifikasi konstanta yang telah dijelaskan. Berikut adalah hasil dari eksperimen yang dilakukan terhadap masing-masing kombinasi. Disertakan juga hipotesis awal dari kombinasi yang bersesuaian untuk perbandingan terhadap hasil verifikasi. Tabel 3: Hasil Pengujian Akurasi Solusi pada Eksperimen Awal Akurasi Akurasi Hipotesis Awal Hasil Verifikasi D_VALUE E_VALUE C1 Rendah Rendah Invalid Valid C2 Rendah Tinggi Invalid Invalid 47

13 C3 Tinggi Rendah Valid Valid C4 Tinggi Tinggi Valid Valid Pengujian dilakukan dengan 10 kali test-run dengan T2 - valid: tidak ada pelanggaran spesifikasi yang ditemukan T2 untuk semua sesi test-run - invalid: terdapat setidaknya satu pelanggaran spesifikasi yang ditemukan T2 Hipotesis awal ditetapkan untuk dua kombinasi (c3, c4) dengan argumen bahwa nilai D_VALUE dengan akurasi tinggi akan memberikan hasil verifikasi yang valid, dengan syarat diberikan logika program yang dijamin kebenarannya. Untuk dua kombinasi yang tersisa (c1, c2), hipotesis awal adalah bahwa program mungkin akan dianggap invalid sehubungan dengan rendahnya akurasi D_VALUE yang diujikan. Pada kasus ini terdapat kemungkinan bahwa jalannya program tidak akan memenuhi postcondition pada spesifikasi. Perlu diperhatikan bahwa dalam implementasi dengan metode Newton, nilai D_VALUE adalah faktor toleransi kesalahan yang diizinkan untuk setiap hasil akar persamaan kuadrat yang diberikan. Penetapan D_VALUE dengan akurasi yang rendah akan mengakibatkan bahwa hasil yang diperoleh akan memiliki akurasi yang rendah pula. Memperhatikan kembali kombinasi c1 dan c2, akurasi D_VALUE rendah (10-2 untuk E_VALUE 10-4 dan ), hipotesis yang ditarik adalah bahwa hasil verifikasi mungkin akan menyatakan bahwa aplikasi dianggap tidak valid. Pengujian untuk D_VALUE dengan akurasi tinggi (c3, c4) memberikan hasil bahwa aplikasi tersebut valid dalam verifikasi oleh T2. Hal ini sesuai dengan hipotesis awal bahwa nilai D_VALUE yang tinggi akan memberikan hasil dengan akurasi tinggi, tanpa dipengaruhi oleh akurasi E_VALUE yang ditetapkan sebagai postcondition. 48

14 Sebaliknya, modifikasi nilai akurasi E_VALUE dapat mempengaruhi hasil verifikasi, tergantung kepada nilai akurasi D_VALUE yang ditetapkan. Dari hasil pengujian dapat diperhatikan bahwa nilai D_VALUE dengan akurasi rendah dan E_VALUE dengan akurasi rendah (c1) memberikan hasil verifikasi bahwa program valid terhadap spesifikasinya. Di sisi lain, nilai D_VALUE dengan akurasi rendah dan E_VALUE dengan akurasi tinggi (c2) memberikan hasil verifikasi bahwa program tidak valid. Hal ini disebabkan oleh postcondition yang ketat (dengan akurasi E_VALUE tinggi) dan tidak dapat dipenuhi dengan akurasi D_VALUE yang rendah. Secara umum, hal ini dapat dianalisis sebagai akibat dari kombinasi nilai D_VALUE untuk nilai E_VALUE dengan akurasi tinggi. Pada akurasi D_VALUE dan E_VALUE yang sama-sama tinggi (10-10 dan ), program dinyatakan valid dalam proses verifikasi. Hal ini sesuai hipotesis bahwa pada tingkat akurasi yang sama-sama tinggi, hasil yang diperoleh akan menyatakan aplikasi sebagai valid terhadap spesifikasinya. Meninjau kembali peranan D_VALUE dalam iterasi metode Newton, akurasi D_VALUE yang tinggi akan memberikan hasil yang sesuai untuk E_VALUE dengan tingkat akurasi yang sama. Hal yang berbeda terjadi untuk kombinasi D_VALUE dengan akurasi rendah dan E_VALUE dengan akurasi tinggi. Pada kombinasi nilai D_VALUE dan E_VALUE tersebut (10-2 dan ), hasil yang diperoleh akan memberikan nilai akar persamaan kuadrat dengan toleransi kesalahan sampai orde Di sisi lain, nilai postcondition menetapkan toleransi kesalahan yang berada pada rentang yang lebih tipis, yaitu pada orde Hal ini mengakibatkan aplikasi dengan kombinasi ini dianggap invalid, karena nilai akar yang dihasilkan (terkait D_VALUE) berada di luar toleransi kesalahan yang diizinkan oleh postcondition dari method tersebut (terkait E_VALUE). Dari eksperimen awal ini, dapat disimpulkan bahwa T2 memiliki karakteristik yang dapat digunakan untuk verifikasi terkait tipe data, secara khusus tipe data yang bersifat numerik dalam pengujian kali ini. Meskipun demikian, perlu diperhatikan bahwa T2 tidak dikembangkan untuk kebutuhan terhadap verifikasi operasi matematis. Penggunaan lebih lanjut untuk verifikasi di area komputasi matematis mungkin akan memiliki beberapa ketidakcocokan, dan dibutuhkan penyelidikan 49