Tujuan (Objektives) Testing adalah proses eksekusi program yang bertujuan untuk menemukan error Sebuah test yang baik adalah yang mempunyai kemungkina

Transkripsi

1 Software Testing

2 Tujuan (Objektives) Testing adalah proses eksekusi program yang bertujuan untuk menemukan error Sebuah test yang baik adalah yang mempunyai kemungkinan besar menemukan error yang sebelumnya tidak terdeteksi Sebuah test dikatakan sukses jika dapat menemukan error yang tidak ditemukan sebelumnya

3 Prinsip Testing Semua test seharusnya dapat dilacak dengan requirement dari customer Testing seharusnya direncanakan Memenuhi prinsip pareto (80 % error dapat ditemukan dengan tracing 20 % modul dalam program) Dimulai dengan kecil dan berlanjut ke yang besar Testing yang lengkap (exhaustive) tidak dimungkinkan Agar efektif, testing dapat dilakukan oleh pihak ketiga

4 Testability Seberapa mudah sebuah program dapat ditest Operability semakin baik sistem bekerja, semakin efisien sistem di test Observability Apa yang Anda lihat adalah apa yang Anda Test Controllability semakin baik software dapat dikontrol, testing semakin dapat diotomasi dan lebih optimal Decomposability Dengan mengontrol scope dari testing, kita dapat mengisolasi masalah lebih cepat dan melakukan testing ulang dengan lebih smart

5 Testability (2) Simplicity Semakin sedikit yang di test, semakin cepat kita dapat melakukan pengetesan Stability Semakin sedikit perubahan, semakin sedikit gangguan terhadap pengetesan Understanbility semakin banyak informasi yang kita dapatkan, semakin smart kita melakukan testing

6 Good Test [Kaner, Falk & Nguyen] Probabilitas tinggi menemukan error Tidak redundant best of breed subset test untuk mengetes groups of tests yang mirip Tidak terlalu sederhana dan tidak terlalu kompleks

7 Test Information Flow

8 What Testing Shows errors Kesesuaian dengan requirement Performance (kinerja) Indikasi dari kualitas

9 Siapa Melakukan Testing developer Understands the system but, will test "gently" and, is driven by "delivery" independent tester Must learn about the system, but, will attempt to break it and, is driven by quality

10 Exhaustive Testing loop <= 20 X 14 There are 10 possible paths! If we execute one test per millisecond, it would take 3,170 years to test this program!!

11 Selective Testing Selected path loop < 20 X

12 Test Case Design "Bugs lurk in corners and congregate at boundaries..." Boris Beizer OBJECTIVE CRITERIA CONSTRAINT to uncover errors in a complete manner with a minimum of effort and time

13 Software Testing White-box testing: Mengetahui internal dari software, design test dijalankan pada semua internal dari software untuk memastikan mereka beroperasi berdasarkan spesifikasi dan design. Fokus utama: internal structures, logic paths, control flows, data flows internal data structures, conditions, loops, etc. Black-box testing: Mengetahui fungsi spesifik dari software, design test untuk mendemonstrasikan setiap fungsi dan mengecek apakah terjadi error atau tidak Fokus utama: functions, operations, external interfaces, external data and information

14 White-Box Testing Sering disebut juga glass-box testing, merupakan metode testing yang menggunakan kontrol struktur dari rancangan prosedural untuk melakukan test case. Testing dilakukan untuk memastikan: 1. Semua path independen di eksekusi paling tidak sekali 2. Semua keputusan logikal dieksekusi untuk path yang benar dan yang salah 3. Semua loop dieksekusi pada semua nilai batasnya 4. Semua struktur data internal dicoba untuk memastikan kevalidan Basis-Path testing & Control Structure Testing

15 Mengapa White-Box Testing? Banyak error dalam special case code yang jarang dieksekusi Control Flow tidak dapat diprediksi secara akurat dalam black-box testing. Typos error dapat terjadi dimana saja!

16 Basis-Path Testing Proposed by Tom McCabe Bertujuan untuk melakukan pengukuran kompleksitas logikal dari rancangan prosedur dan menggunakannya sebagai guide untuk menentukan set dari path yang dieksekusi Basic set akan dieksekusi oleh setiap statement paling tidak sekali Isu Flow Graph Notation Cyclomatic Complexity Deriving Test Cases Graph Matrices

17 Flow Graph Notation Pada a flow graph: Panah disebut edges menggambarkan flow of control Lingkaran disebut nodes, menggambarkan satu atau lebih aksi Area yang dibatasi oleh edges dan nodes diebut regions Predicate Nodes adalah nodes yang mengandung kondisi Setiap procedural design dapat ditranslasikan ke flow graph notation

18 Cyclomatic Complexity Memberikan ukuran kuantitatif dari kompleksitas logikal. Nilainya memberikan jumlah dari independent path dalam basis set dan upper bound dari jumlah test untuk memastikan bahwa setiap statement dieksekusi paling tidak satu kali. Independent path adalah setiap path pada program yang mengenalkan paling tidak satu set baru statement yang sedang diproses atau kondisi baru (mis. Edge baru)

19 Cyclomatic Complexity (2) Example has: Cyclomatic Complexity of 4. Dihitung dari: 1.Number of regions of flow graph. 2.#Edges - #Nodes #Predicate Nodes + 1 Independent Paths: 1.1, 8 2.1, 2, 3, 7b, 1, 8 3.1, 2, 4, 5, 7a, 7b, 1, 8 4.1, 2, 4, 6, 7a, 7b, 1, 8 Cyclomatic complexity menyediakan upper bound untuk jumlah test yang dibutuhkan yg dapat menjamin melingkupi semua statements dalam program.

20 Deriving Test Case Gunakan design atau code, gambarkan flow graph Tentukan cyclomatic complexity dari flow graph Tentukan basis set dari independent path Siapkan test case yang akan memaksa eksekusi dari setiap path dalam basis set Note. Beberapa path mungkin hanya dapat dieksekusi sbg bagian dari test yang lain.

21 Matriks Graph Dapat mengotomatisasi turunan dari flow graph dan menentukan set dari basis path Graph matrix: Adalah bujursangkar dengan #sides sama dengan #nodes Baris dan kolom menggambarkan nodes Isi matriks menggambarkan edges Gunakan nilai 1 untuk menghitung cyclomatic complexity Untuk setiap baris, jumlahkan nilai kolom dan kurangkan dengan 1 Jumlahkan totalnya dan tambahkan dgn 1 = CC

22 Matriks Graph (2) Link dapat diberikan bobot, sehingga dapat menentukan: Probabilitas bahwa sebuah link (edge) akan dieksekusi Waktu proses yang dihabiskan selama mengunjungi sebuah link Memory dan resource yang dibutuhkan selama mengunjungi sebuah link

23 Control Structure testing Condition Testing Condition testing bertujuan untuk melatih seluruh kondisi logika dalam modul program Ddapat mendefinisikan: Relational expression: (E1 op E2), dimana E1 dan E2 adalah ekspresi aritmatika. Simple condition: variabel Boolean atau ekspresi relational, kemungkinan didahului dengan sebuah operator NOT. Compound condition: Gabungan dari dua atau lebih kondisi sederhana, operator Boolean dan parentheses. Boolean expression: kondisi tanpa ekspresi relational.

24 Control Structure testing Errors dalam ekspresi dapat berdasarkan pada: Boolean operator error Boolean variable error Boolean parenthesis error Relational operator error Arithmetic expression error Metode condition testing fokus kepada testing setiap kondisi dalam program

25 Control Structure testing Strategi meliputi: Branch testing eksekusi setiap branch paling tidak satu kali. Domain Testing menggunakan tiga atau empat test untuk setiap operator relational. Branch and relational operator testing - menggunakan condition constraints Contoh 1: C1 = B1 & B2 dimana B1, B2 adalah boolean conditions. Condition constraint of form (D1,D2) where D1 and D2 can be true (t) or false(f). The branch and relational operator test membutuhkan constraint set {(t,t),(f,t),(t,f)} yang harus ditemukan dengan eksekusi dari C1. Pencakupan constraint set menjamin deteksi dari relational operator errors.

26 Loop Testing Fundamental loop bagi banyak algoritma Dapat mendefinisikan loop dengan simple, concatenated, nested, dan unstructured. Examples:

27 Loop Testing Simple Loops dengan ukuran n: Skip loop entirely Only one pass through loop Two passes through loop m passes through loop where m<n. (n-1), n, and (n+1) passes through the loop. Nested Loops Start with inner loop. Set all other loops to minimum values. Conduct simple loop testing on inner loop. Work outwards Continue until all loops tested.

28 Loop Testing Concatenated Loops If independent loops, use simple loop testing. If dependent, treat as nested loops. Unstructured loops Don't test - redesign.