Program Keluarga Harapan dan PNPM-Generasi Survey Baseline Temuan Awal Arie Damayanti (LPEM FEUI, Jakarta) Jossy P. Moeis (LPEM FEUI, Jakarta) Robert Sparrow (ISS, Den Haag) Yulia Herawati (World Bank, Jakarta) 24 Januari, 2008
Pendahuluan Studi baseline dari program pilot Bantuan Tunai Bersyarat (BTB): Presentasi ini: Hasil-hasil temuan awal Februari: laporan draft untuk di-review di kalangan terbatas 1 Maret: laporan akhir Outline Program pilot BTB Indonesia Metodologi: evaluasi dampak dan randomisasi Studi baseline dan sampel Temuan-temuan awal Kesimpulan 2
Program BTB Indonesia (1) Dua program pilot BTB di-launch pada 2007 Program Keluarga Harapan (PKH) Program Nasional Pemberdayaan Masyarakat Generasi Sehat dan Cerdas (PNPM-Generasi) 3
Indikator Target dan Kondisinya 1. Empat kunjungan pemeriksaan prenatal untuk wanita melahirkan 2. Mengkonsumi tablet zat besi selama kehamilan 3. Kelahiran yang dibantu oleh tenaga profesional terlatih 4. Dua kunjungan post-natal 5. Imunisasi anak komplit 6. Memastikan peningkatan berat badan bulanan dari bayi 7. Penimbangan bulanan untuk anak berumur dibawah 3 tahun dan 2 kali setahun untuk anak berumur dibawah 5 tahun 8. Pemberian Vitamin A dua kali setahun untuk anak berumur dibawah 5 tahun 9. Tingkat kehadiran sekolah dasar untuk semua anak berumur antara 6-12 tahun 10. Tingkat kehadiran minimum sebesar 85% untuk anak yang bersekolah dasar 11. Tingkat partisipasi sekolah menengah untuk semua anak diantara umur 13-15 tahun 12. Tingkat kehadiran minimum sebesar 85% untuk anak yang bersekolah di tingkat menengah pertama 4
Program BTB Indonesia (2) Tujuan awal dari program-program BTB Mengurangi Kemiskinan Mengurangi kematian ibu melahirkan Mengurangi kematian anak Cakupan yang universal untuk pendidikan dasar Indikator-indikator keluaran yang penting: Tingkat kesehatan ibu lahir: Ibu melahirkan yang menerima pemeriksaan antenatal; Kelahiran yang dibantu oleh pegawai kesehatan terlatih Tingkat kesehatan anak: Tingkat kematian bayi; Tingkat malnutrisi; Tingkat cakupan imunisasi; Partisipasi dalam pemonitoran pertumbuhan anak Pendidikan: Tingkat partisipasi pendidikan menengah pertama; Tingkat kehadiran pendidikan dasar; Tingkat kehadiran pendidikan menengah pertama 5
Metodologi: Evaluasi Dampak Pertanyaan Utama: Apa pengaruh dari program BTB terkait indikator-indikator penting bagi sang penerima program? Yaitu, kita ingin membandingkan dua situasi: 1. Situasi yang terobservasi: Keluaran dari indikator-indikator penting bagi penerima program BTB? 2. Situasi yang konterfaktual: Keluaran dari indikator-indikator penting bagi penerima program BTB jika program tersebut tidak ada? Permasalahan: kita tidak pernah benar-benar bisa mengobservasi situasi yang konterfaktual! 6
Metodologi: situasi konterfaktual yang hilang Pertanyaan evaluasi: apa efek dari BTB? Efek = Keluaran A: dengan BTB Keluaran B: Tanpa BTB Permasalahan: kita hanya mengobservasi individu yang berpartisipasi: atau Tidak berpartisipasi : A A B B... Tetapi tidak pernah A dan B terjadi untuk semua orang! 7
Metodologi: randomisasi Partisipan (A) dan bukan-partisipan (B) tidak dapat diperbandingkan karena BTB adalah ditarget dalam pelaksanaannya Solusi: randomisasi Ciptakan grup treatment dan control yang dapat diperbandingkan Setiap perbedaan diantara control dan treatment setelah program dijalankan dapat diatributkan dengan BTB Tujuan dari adanya baseline: I. Keseimbangan (Balance): mencek kelayakan pembandingan sebelum intervensi II. Kontrol untuk setiap perbedaan pre-program yang tetap ada setelah proses randomisasi Presentasi ini membahas poin (I) 8
Sampling: Survey Baseline Daftar kecamatan perkotaan/pedesaan dalam kabupaten Pembagian kecamatan control & treatment Daftar komposisi kecamatan kontrol dan treatment di kabupaten/kota dan propinsi Kontrol Treatment Kecamatan terpilih Kecamatan terpilih 8 desa per kecamatan 8 desa per kecamatan 5 RT terpilih per dusun atau 40 RT per kecamatan 5 RT terpilih per dusun atau 40 RT per kecamatan 9
Ukuran dari program BTB Target populasi untuk proyek pilot BTB di tahun 2007: PNPM-G PKH Total Kabupaten 20 49 69 Kecamatan 129 348 477 Desa 1,625 4,663 6,288 Rumah Tangga - 500,000 - Untuk PKH, BPS telah menseleksi 403,000 rumah tangga sebagai penerima potensial, didasarkan pada kondisi berikut: Mempunyai anak berumur 6-15 tahun, atau dibawah 18 yang tidak menyelesaikan pendidikan dasar Dan/atau mempunyai anak berumur 0-6 tahun Dan/atau terdiri dari ibu yang hamil atau menyusui 10
Survey Kuantitatif Baseline Didukung oleh Decentralization Support Facility (DSF) dan World Bank Dilaksanakan oleh Universitas Gadjah Mada diantara bulan Juni sampai Agustus 2007. Tujuan: untuk menghasilkan indikator-indikator referensi dalam mengevaluasi dampak dari dua program BTB tersebut Survey baseline mengumpulkan informasi akan Status kesehatan dan pendidikan dari anak dan ibunya Penggunaan jasa kesehatan dan pendidikan Status Sosial-Ekonomi Kondisi dari penyedia jasa-jasa tersebut 11
Sampel Survey PKH Treatment Control Total Propinsi 6 6 6 Kabupaten 44 44 44 Kecamatan 175 185 360 Desa 1,331 1,392 2,723 Rumah Tangga 6,995 7,331 14,326 Anak dibawah 3 tahun 2,973 3,180 6,153 Anak 6-15 tahun 9,095 9.851 18,946 Puskesmas 173 185 358 SMP 492 523 1,015 Bidan 682 725 1,407 12
Sampel Survey PNPM-Generasi Di-insentif Tanpa-Insentif Propinsi 5 5 5 5 Kabupaten 20 20 20 20 Kecamatan 108 100 100 308 Desa 840 760 777 2,377 Rumah Tangga 4,360 3,960 4,000 12,320 Anak dibawah 3 tahun Control Total 1,743 1,512 1,620 4,875 Anak 6-15 tahun 3,391 3,089 3,255 9,735 Puskesmas 108 100 100 308 SMP 304 280 287 871 Bidan 418 383 387 1,188 13
Karakteristik Rumah Tangga Terpilih PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Perempuan 0.49 0.49 0.50 0.50 0.51 Umur 24.41 23.65 27.47 27.68 28.21 Ukuran Rumah Tangga 5.40 5.43 4.45 4.45 4.61 Area Pedesaan 0.77 0.79 0.86 0.86 0.84 Pengeluaran per kapita (Rp) 192,475 195,526 344,104 326,640 333,234 Pertanian (Aktivitas Utama) 0.66 0.65 0.61 0.61 0.64 Lantai dari tanah 0.36 0.34 0.13 0.17 0.17 Air minum bersih 0.30 0.33 0.34 0.39 0.36 Listrik PLN 0.89 0.89 0.80 0.77 0.78 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 14
Indikator-indikator target: Kesehatan untuk wanita menikah PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Jumlah kunjungan antenatal 6.69 6.64 8.04 7.76 7.90 Setidaknya 4 kunj. antenatal 0.70 0.69 0.80 0.78 0.78 Setidaknya 90 pil zat besi diberikan Kelahiran oleh profesional terlatih Jumlah kunjungan pemeriksaan post natal Setidak-tidaknya 2 kunjungan post-natal 0.12 0.13 0.18 0.16 0.19 0.64 0.59 0.59 0.61 0.63 3.70 3.68 3.69 3.54 3.17 0.45 0.44 0.52 0.54 0.48 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 15
Indikator-indikator target: Kesehatan untuk anak berumur 0-36 bulan Imunisasi komplit pada usia terkait Imunisasi komplit untuk anak berumur diatas 10 bulan Jumlah berapa kali anak menerima vitamin A (umur 6-36 bulan) Menerima vitamin A setidaktidaknya 2 kali per tahun (dari umur 6 bulan -5 tahun) Jumlah penimbangan selama dua bulan terakhir PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control 0.40 0.38 0.42 0.40 0.43 0.48 0.47 0.53 0.49 0.53 1.76 1.88 1.74 1.60 1.73 0.37 0.39 0.40 0.36 0.42 1.10 1.05 1.21 1.35 1.25 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 16
Indikator-indikator target: Pendidikan untuk anak berumur 6-12 PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Tingkat partisipasi 0.89 0.87 0.88 0.88 0.88 Tingkat partisipasi di sekolah dasar Kehadiran di sekolah 85% pada 2 minggu terakhir Kehadiran di sekolah 100% pada 2 minggu terakhir 0.82 0.82 0.81 0.82 0.83 0.95 0.94 0.92 0.93 0.94 0.91 0.93 0.88 0.90 0.92 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 17
Indikator-indikator target: Pendidikan untuk anak berumur 13-15 tahun PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Tingkat partisipasi 0.69 0.75 0.85 0.86 0.83 Partisipasi pada pendidikan dasar Partisipasi pada pendidikan menengah Kehadiran di sekolah 85% dalam 2 minggu terakhir Kehadiran di sekolah 100% dalam 2 minggu terakhir 0.10 0.15 0.17 0.16 0.12 0.59 0.59 0.68 0.70 0.71 0.95 0.92 0.93 0.91 0.90 0.92 0.89 0.91 0.89 0.88 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 18
Indikator-indikator kunci bidang kesehatan: Tingkat morbiditas anak dan tingkat kematian anak PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Diare di bulan terakhir 0.29 0.26 0.32 0.28 0.25 ARI di bulan terakhir 0.18 0.17 0.19 0.22 0.19 Diare atau ARI 0.39 0.36 0.39 0.38 0.37 Tingkat kematian kurang dari 1 bulan 0.04 0.03 0.03 0.04 0.05 umur 1-2 bulan 0.01 0.00 0.01 0.01 0.01 umur 3-5 bulan 0.01 0.01 0.01 0.02 0.01 umur 6-11 bulan 0.02 0.01 0.01 0.02 0.01 umur 0-11 bulan 0.08 0.05 0.07 0.09 0.08 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 19
Indikator-indikator kunci bidang kesehatan: Malnutrisi diantara anak-anak berumur 0-36 bulan PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control WAZ: tidak kurang nutrisi 0.77 0.75 0.76 0.80 0.77 WAZ: kekurangan nutrisi 0.23 0.25 0.24 0.20 0.23 WAZ: kekurangan nutrisi parah 0.07 0.08 0.08 0.06 0.06 HAZ: tidak kurang nutrisi 0.52 0.45 0.50 0.54 0.52 HAZ: kekurangan nutrisi 0.48 0.55 0.50 0.46 0.48 HAZ: kekurangan nutrisi parah 0.30 0.35 0.27 0.27 0.27 WHZ: tidak kurang nutrisi 0.87 0.86 0.88 0.86 0.87 WHZ: kekurangan nutrisi 0.13 0.14 0.12 0.14 0.13 WHZ: kekurangan nutrisi parah 0.07 0.06 0.04 0.06 0.06 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan Catatan: WAZ=Weight for Age (Berat-Umur), HAZ=Height for Age (Tinggi-Umur), WHZ=Weight for Height (Berat-Tinggi) 20
Penggunaan Jasa Kesehatan (Jumlah kunjungan pasien pada 1 bulan terakhir) PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Publik 0.11 0.10 0.12 0.13 0.13 Swasta 0.04 0.04 0.06 0.06 0.07 Publik dan swasta 0.15 0.14 0.18 0.19 0.20 Tradisional 0.00 0.00 0.01 0.01 0.01 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 21
Indikator kunci sektor pendidikan PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Transisi sekolah menengah 0.81 0.83 0.86 0.89 0.89 Tes bahasa (% benar) umur 7-12 0.75 0.74 0.73 0.75 0.74 umur 13-15 0.55 0.54 0.59 0.58 0.58 Tes matematika (% benar ) umur 7-12 0.62 0.61 0.66 0.64 0.63 umur 13-15 0.53 0.53 0.56 0.58 0.56 Tes total (% benar ) umur 7-12 0.69 0.68 0.70 0.70 0.70 umur 13-15 0.54 0.54 0.57 0.58 0.57 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 22
Anak bekerja dan Biaya Pendidikan Tidak Langsung: Anak umur 6 sampai 12 PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Aktivitas kerja ekonomi 0.06 0.07 0.09 0.10 0.10 Aktivitas kerja domestik 0.54 0.53 0.61 0.61 0.65 20 jam kerja (bukan domestik) 0.02 0.02 0.03 0.04 0.03 20 jam kerja 0.16 0.17 0.17 0.19 0.17 Beasiswa di 2 tahun terakhir 0.04 0.05 0.04 0.03 0.04 Waktu perjalanan ke sekolah (menit) Biaya perjalanan ke sekolah (Rp.) 15.29 14.65 15.64 16.32 16.28 136.45 100.02 183.23 158.66 140.18 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 23
Anak bekerja dan Biaya Pendidikan Tidak Langsung: Anak umur 13 sampai 15 PKH Treatment Control Treatment Insentif PNPM-G Treatment Tanpa Ins. Control Aktivitas kerja ekonomi 0.21 0.21 0.29 0.27 0.26 Aktivitas kerja domestik 0.77 0.71 0.86 0.87 0.81 20 jam kerja (bukan domestik) 0.14 0.12 0.15 0.13 0.11 20 jam kerja 0.41 0.38 0.47 0.41 0.42 Beasiswa di 2 tahun terakhir 0.08 0.07 0.07 0.09 0.10 Waktu perjalanan ke sekolah (menit) Biaya perjalanan ke sekolah (Rp.) 20.52 20.85 24.71 22.67 21.02 681.15 433.84 1007.03 640.38 653.04 Perbedaan yang signifikan secara statistik berbentuk angka yang digarismiringkan 24
Ringkasan Penutup Analisis baseline bertujuan untuk mencek keseimbangan (balance) pada indikator-indikator kunci dan menyiapkan analisa evaluasi dampak Perbedaan yang telah diduga pada hasil observasi dari program PKH dan PNPM-Generasi karena perbedaan dalam strategi sampling Kualitas data secara keseluruhan adalah baik dan variabelnya terlihat seimbang Kebanyakan indikator-indikator yang ada telah cukup seimbang seperti pada: kesehatan untuk perempuan dan anak, penggunaan jasa kesehatan, keluaran pendidikan Ketidakseimbangan sporadis pada beberapa indikator seperti pada: tingkat morbiditas, pendidikan (partisipasi dan kehadiran) Ketidakseimbangan yang memerlukan investigasi lebih lanjut: HAZ (Height for Age), kerja domestik (anak berumur 12-15 tahun) dan biaya perjalanan menuju sekolah Pekerjaan lanjutan untuk laporan studi baseline Implikasi untuk analisis evaluasi dampak dengan adanya variabel-variabel yang tidak seimbang Investigasi akan kemungkinan bias yang dikarenakan faktor-faktor eksternal Rekomendasi untuk follow-up survey 25