Mengapa melakukan pengacakan (Randomization)? John Floretta J-PAL South Asia

Transkripsi

1 Mengapa melakukan pengacakan (Randomization)? John Floretta J-PAL South Asia

2 Ikhtisar Pelatihan 1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi? 2. Mengapa melakukan pengacakan? 3. Cara pengacakan 4. Ukuran Sampel 5. Kendala dan Tantangan 6. Evaluasi dari Awal sampai Akhir 7. Analisis Keefektifan Biaya

3 Ikhtisar Pelatihan 1. Apa yang dimaksud dengan evaluasi? Mengapa Mengevaluasi? 2. Mengapa melakukan pengacakan? 3. Cara pengacakan 4. Ukuran Sampel 5. Kendala dan Tantangan 6. Evaluasi dari Awal sampai Akhir 7. Analisis Keefektifan Biaya

4 Ikhtisar Paparan I. Latar Belakang II. Apa itu eksperimen acak? III.Mengapa melakukan pengacakan? IV.Kritik dan respon pada umumnya

5 I Latar Belakang

6 Hasil Utama Dampak: Apa itu? Intervensi Dampak Waktu

7 Bagaimana cara mengukur dampak? Dampak didefinisikan sebagai suatu perbandingan antara: 1. Hasil yang diperoleh setelah beberapa waktu program dilaksanakan 2. Hasil yang dipeoleh di saat yang sama jika program tidak dilaksanakan ( counterfactual ) 7

8 Hasil Utama Dampak: Apa itu? Intervensi Dampak Waktu

9 Hasil Utama Dampak: Apa itu? Intervensi Dampak Waktu

10 Counterfactual Counterfactual mewakili keadaan dimana para peserta program mengalaminya tanpa kehadiran program (yakni jika mereka tidak berpartisipasi dalam program) Masalah: Counterfactual tidak dapat diamati Solusi: Kita perlu meniru atau membangun Counterfactual

11 Membangun counterfactual Biasanya dilakukan dengan memilih sekelompok individual yang tidak berpartisipasi dalam program Kelompok ini biasanya dikenal sebagai kelompok kontrol atau kelompok pembanding Bagaimana cara pemilihan kelompok ini menjadi pertanyaan penting dalam design evaluasi dampak

12 Memilih Kelompok Pembanding Ide: Memilih sebuah kelompok yang hampir sama dengan kelompok peserta dalam segala hal kecuali satu: eksposure mereka terhadap program yang akan dievaluasi Tujuan: Untuk dapat menunjukkan perbedaan hasil antara kelompok peserta dan kelompok pembanding (dan bukan karena faktor lain)

13 Metode evaluasi dampak 1. Eksperimen acak Dikenal juga sebagai: Studi Pengelompokan Acak (Random Assignment Studies) Percobaan Lapangan Acak (Randomized Field Trials) Eksperimen Sosial (Social Experiments) Evaluasi Acak (Randomized Controlled Trials/RCTs) Eksperimen Acak (Randomized Controlled Experiments) 13

14 Metode evaluasi dampak 2. Metode Non- atau Quasi-Eksperimental a. Perbandingan Sebelum dan Sesudah (pre-post comparison) b. Perbedaan Sederhana (Simple Difference) c. Differences-in-Differences d. Regresi Multivariat e. Pencocokan Statistik (Statistical Matching) f. Interrupted Time Series g. Variabel Instrumental (Instrumental Variables) h. Diskontinuitas Regresi (Regression Discontinuity)

15 II Apa itu eksperimen acak?

16 Pemahaman Dasar Dimulai dengan kasus sederhana: Ambil sampel para pelamar program Secara acak kelompokkan mereka dalam salah satu kelompok ini: Kelompok Perlakuan mendapat perlakuan Kelompok Pembanding tidak mendapat perlakuan (selama periode evaluasi)

17 Manfaat utama eksperimen Karena anggota kelompok (perlakuan dan kontrol) secara sistematis tidak berbeda di awal eksperimen, perbedaan apapun yang timbul kemudian di antara kedua kelompok dapat dikaitkan kepada program dan bukan kepada faktorfaktor lainnya. 17

18 Evaluasi Perempuan Sebagai Pembuat Kebijakan : desa Perlakuan vs. Kontrol pada baseline Variabel Tingkat Melek-Huruf Perempuan Jumlah Fasilitas Kesehatan Umum Kelompok Perlakuan Kelompok Kontrol 0,35 0,34 0,06 0,08 Air keran 0,05 0,03 Jumlah Sekolah Dasar 0,95 0,91 Jumlah Sekolah Menengah Atas 0,09 0,10 Perbedaan 0,01 (0,01) -0,02 (0,02) 0,02 (0,02) 0,04 (0,08) -0,01 (0,02) Standard Error dalam tanda kurung. Statistik yang ditunjukkan untuk West Bengal */*/***: Secara statistik signifikan pada tingkat 10% / 5% / 1% Sumber: Chattopadhyay and Duflo (2004)

19 Beberapa variasi dalam dasar Mengelompokkan mereka dalam berbagai kelompok perlakuan Mengelompokkan unit-unit selain individu atau rumah tangga Pusat Kesehatan Sekolah Pemerintahan Daerah Desa-Desa

20 Langkah dalam melakukan evaluasi 1. Merancang penelitian secara benar 2. Memilih secara acak orang-orang kedalam kelompok perlakuan dan kontrol 3. Mengumpulkan data baseline 4. Meverifikasi bahwa pemilihan benar dilakukan secara acak 5. Memonitor proses sehingga integritas evaluasi tidak dipertanyakan

21 Langkah dalam melakukan evaluasi (lanjutan) 6. Mengumpulkan data berikutnya untuk kelompok perlakuan dan kontrol 7. Mengestimasi dampak program dengan membandingkan hasil rata-rata kelompok perlakuan vs. Kelompok kontrol. 8. Menganalisa apakah dampak program statistik signifikan dan sebenarnya signifikan.

22 III Mengapa melakukan pengacakan?

23 Mengapa melakukan pengacakan? Argumen Konseptual Jika dirancang dan dilaksanakan dengan tepat, eksperimen acak dapat memberikan metode paling kredibel untuk mengestimasi dampak suatu program 23

24 Mengapa paling kredibel? Karena anggota kelompok (perlakuan dan kontrol) tidak berbeda secara sistematis di awal eksperimen, Perbedaan apapun yang kemudian timbul di antara mereka dapat dikaitkan kepada program dan bukan kepada faktor-faktor lainnya. 24

25 Contoh #1: Program Balsakhi Case 2: Remedial Education in India

26 Program Balsakhi : Latar Belakang Diimplementasikan oleh Pratham, sebuah LSM dari India Program ini menyediakan guru tambahan (Balsakhi) untuk membantu anak-anak berisiko dengan tugas sekolah mereka Di Vadodara, program balsakhi dilaksanakan di sekolah-sekolah dasar negeri Para guru memutuskan anak-anak mana yang akan mendapatkan balsakhi

27 Balsakhi: Hasil Anak-anak diuji di awal tahun sekolah (pretest) dan di akhir tahun (post-test) PERTANYAAN: Bagaimana kita dapat mengestimasi dampak program balsakhi pada nilai/skor ujian?

28 Metode-metode untuk mengestimasi dampak Mari kita lihat berbagai cara untuk mengestimasi dampak dengan menggunakan data dari sekolah-sekolah yang menerima balsakhi 1. Perbandingan sebelum dan sesudah (pre-post comparison) 2. Perbedaan sederhana (simple difference) 3. Difference-in-differences 4. Metode non-eksperimental lainnya 5. Eksperimen Acak

29 1 Perbandingan sebelum dan sesudah Melihat rata-rata perubahan dalam nilai ujian sepanjang tahun ajaran untuk anak-anak yang mendapatkan program balsakhi

30 1 Perbandingan sebelum dan sesudah Rata-rata nilai post-test untuk anak-anak program balsakhi Rata-rata nilai pretest untuk anak-anak program balsakhi 51,22 24,80 Perbedaan 26,42 PERTANYAAN: Dalam kondisi apakah perbedaan ini (26,42) dapat ditafsirkan sebagai dampak program balsakhi?

31 Apa yang akan terjadi jika tidak ada program balsakhi? Metode1: Perbandingan sebelum dan sesudah Dampak = 26,42 poin? ,42 poin?

32 2 Perbedaan sederhana (Simple Difference) Bandingkan nilai ujian dari Dengan nilai ujian Anak-anak yang menerima program balsakhi Anak-anak yang tidak menerima program balsakhi

33 2 Perbedaan sederhana (Simple Difference) Rata-rata nilai untuk anakanak program balsakhi 51,22 Rata-rata nilai untuk anakanak yang tidak menerima program balsakhi 56,27 Perbedaan -5,05 PERTANYAAN: Dalam kondisi apakah perbedaan ini (-5.05) dapat ditafsirkan sebagai dampak program balsakhi?

34 Apa yang akan terjadi jika tidak ada program balsakhi? Metode 2: Perbandingan Sederhana Dampak = poin? poin?

35 3 Difference-in-Differences Bandingkan perolehan dalam nilai ujian dari Anak-anak yang mendapatkan program balsakhi Dengan perole han dalam nilai ujian Anak-anak yang tidak mendapatkan program balsakhi

36 3 - Difference-in-differences Pretest Post-test Perbedaan Rata-rata nilai untuk anak-anak dengan program balsakhi 24,80 51,22 26,42

37 3 - Difference-in-differences Pretest Post-test Perbedaan Rata-rata nilai untuk anak-anak dengan program balsakhi Rata-rata nilai untuk anak-anak tanpa program balsakhi 24,80 51,22 26,42 36,67 56,27 19,60

38 3 - Difference-in-differences Pretest Post-test Perbedaan Rata-rata nilai untuk anak-anak dengan program balsakhi Rata-rata nilai untuk anak-anak tanpa program balsakhi 24,80 51,22 26,42 36,67 56,27 19,60 Perbedaan 6,82 PERTANYAAN: Dalam kondisi apakah 6.82 dapat ditafsirkan sebagai dampak program balsakhi?

39 4 Metode Lainnya Ada lebih banyak metode non-eksperimental yang lebih canggih untuk mengestimasi dampak program: Regresi Pencocokan (Matching) Variabel Instrumental Diskontinuitas Regresi Metode-metode ini bergantung pada kemampuan untuk meniru counterfactual dengan asumsi-asumsi tertentu Masalah: Asumsi tidak dapat diuji

40 5 Eksperimen Acak Misalkan kita mengevaluasi program balsakhi menggunakan eksperimen acak PERTANYAAN #1: Apa saja yang diperlukan? Bagaimana kita melaksanakannya? PERTANYAAN #2: Apa manfaat dari penggunaan metode ini untuk mengevaluasi dampak program balsakhi? Source: 40

41 Dampak Balsakhi - Ringkasan Metode Estimasi Dampak (1) Perbandingan sebelum dan sesudah 26, 2* (2) Perbedaan Sederhana -5,05* (3) Difference-in-Differences 6,82* (4) Regresi 1,92 *: Secara statistik signifikan pada level 5%

42 Dampak Balsakhi - Ringkasan Metode Estimasi Dampak (1) Perbandingan sebelum dan sesudah 26,42* (2) Perbedaan Sederhana -5,05* (3) Difference-in-Differences 6,82* (4) Regresi 1,92 (5) Eskperimen Acak 5,87* *: Secara statistik signifikan pada level 5%

43 Dampak Balsakhi - Ringkasan Metode (1) Perbandingan sebelum dan sesudah Estimasi Dampak 26,42* (2) Perbedaan Sederhana -5,05* (3) Difference-in-Differences 6,82* (4) Regresi 1,92 (5) Eskperimen Acak 5,87* *: Secara statistik signifikan pada level 5% Intinya: Metode apa yang kita gunakan sangatlah berpengaruh!

44 Contoh #2 Microfinance di Afrika Selatan Metode Estimasi Dampak (1) Perbandingan sebelum dan sesudah 2384* (2) Perbedaan Sederhana 1838* (3) Difference-in-Differences 1068* (4) Regresi 1412 (5) Eksperimen Acak *: Secara statistik signifikan pada level 5%

45 Contoh #2 Microfinance di Afrika Selatan Metode Estimasi Dampak (1) Perbandingan sebelum dan sesudah 2384* (2) Perbedaan Sederhana 1838* (3) Difference-in-Differences 1068* (4) Regresi 1412 (5) Eksperimen Acak 292* *: Secara statistik signifikan pada level 5%

46 Contoh #3 Program Read India di Pratham

47 Contoh #3 Program Read India di Pratham Metode (1) Perbandingan sebelum dan sesudah Dampak 0,60* (2) Perbedaan Sederhana -0,90* (3) Difference-in-Differences 0,31* (4) Regresi 0,06 (5) Eksperimen Acak *: Secara statistik signifikan pada level 5%

48 Contoh #3 Program Read India di Pratham Metode (1) Perbandingan sebelum dan sesudah Dampak 0,60* (2) Perbedaan Sederhana -0,90* (3) Difference-in-Differencess 0,31* (4) Regresi 0,06 (5) Eksperimen Acak 0.88* *: Secara statistik signifikan pada level 5%

49 Contoh #4: Suatu kampanye pemungutan suara di Amerika Serikat Courtesy of Flickr user theocean

50 Suatu Kampanye Pemungutan Suara di Amerika Serikat Metode Dampak (suara %) (1) Perbandingan sebelum dan sesudah -7,2 pp (2) Perbedaan sederhana 10,8 pp * (3) Difference-in-differences 3,8 pp* (4) Regresi berganda 6,1 pp * (5) Pencocokan 2,8 pp * (5) Eksperimen Acak

51 Suatu kampanye pemungutan suara Metode Dampak (suara %) (1) Perbandingan sebelum dan sesudah -7,2 pp (2) Perbedaan sederhana 10,8 pp * (3) Difference-in-differences 3,8 pp* (4) Regresi berganda 6,1 pp * (5) Pencocokan 2,8 pp * (5) Eksperimen Acak 0,4 pp

52 IV Kesimpulan

53 Kesimpulan Mengapa Melakukan Acak? Ada banyak cara untuk mengestimasi dampak suatu program Pelatihan ini membahas salah satu cara tersebut: ekperimen acak Argumen konseptual: Jika dirancang dan dilaksanakan dengan tepat, eksperimen acak dapat memberikan metode paling kredibel untuk mengestimasi dampak dari suatu program Argumen empiris: Metode-metode yang berbeda dapat menghasilkan estimasi dampak yang Source: 53 berbeda-beda

54 Kesimpulan pertanyaan selanjutnya Kapan RCT tidak mungkin dilakukan? Jika mungkin dilakukan, kapan RCT tidak perlu dilakukan? Apa kritik umum yang sering didengar dari RCT? Source: 54

55 Selanjutnya CARA PENGACAKAN