EVALUASI DAMPAK PENERAPAN PNPM GENERASI

1 Kementerian Koordinator Bidang Kesejahteraan Rakyat http://pnpm support.org/generasi impact 2011 EVALUASI DAMPAK PENERAPAN PNPM GENERASI (JUNI 2011) SERI RINGKASAN STUDI

2 Apa yang Dimaksud Dengan Pnpm Generasi? Evaluasi Dampak Penerapan PNPM Generasi 3 Alokasi Pendanaan Desa Pengeluaran Pendidikan Masyarakat 49% 34% 6% Peralatan dan Seragam Sekolah Bantuan Keuangan untuk Murid Tidak Mampu Konseling dan Pelatihan 6% Prasarana 5% Insentif bagi Pemberi Layanan Pendidikan 47% Makanan Tambahan Bantuan Keuangan untuk Peningkatan 13% jangkauan Layanan dan Pemeriksaan Peralatan Fasilitas 12% Kesehatan Konseling dan 12% Pelatihan 9% Insentif Kader 7% Infrastructure Pengeluaran Kesehatan Masyarakat APA YANG DIMAKSUD DENGAN PNPM GENERASI? Pada pertengahan tahun 2007, pemerintah Indonesia meluncurkan sebuah program inovasi dan percontohan yang dinamakan PNPM Generasi Sehat dan Cerdas atau yang biasa disebut sebagai PNPM Generasi. Program ini bertujuan untuk menguji sistem pemberian insentif dan partisipasi dana hibah, apakah dapat memenuhi kebutuhan khusus ibu dan anak atau tidak. Program ini juga bertujuan untuk mendukung pemerintah mencapai tujuan pembangunan milenium (MDGs). Keberhasilan program ini dilihat berdasarkan indikator kesehatan dan pendidikan yaitu: INDIKATOR KESEHATAN zibu hamil melakukan pengecekan kandungan paling tidak sebanyak empat kali selama masa kehamilan zibu hamil mengkonsumsi tablet zat besi selama kehamilan zproses kelahiran dibantu oleh tenaga terlatih yang profesional zmelakukan pengecekan paska kelahiran setidaknya dua kali setelah melahirkan zanak anak mendapatkan imunisasi lengkap zberat badan bayi meningkat setiap bulan sesuai dengan standar yang telah ditetapkan zanak anak di bawah umur tiga tahun ditimbang berat badannya setiap bulan, sementara pada balita dilakukan setiap dua kali setahun zbalita mendapatkan suplemen vitamin A sebanyak dua kali dalam setahun INDIKATOR PENDIDIKAN zanak anak umur 7 hingga 12 tahun terdaftar dan mengikuti pendidikan di sekolah dasar ztingkat kehadiran anak anak di sekolah dasar paling tidak mencapai 85% zanak anak umur 13 hingga 15 tahun terdaftar dan mengikuti pendidikan di sekolah lanjutan tingkat pertama (SLTP) ztingkat kehadiran anak anak di SLTP palng tidak mencapai 85% Pengujian terhadap mekanisme pencapaian sasaran yang berbasis masyarakat (community based targeting mechanisms) dan terhadap efektivitas pemberian bonus sebagai bentuk insentif dilakukan untuk melihat apakah masyarakat dapat mengidentifikasikan permasalahan umum maupun permasalahan lain yang cukup mengganggu jalannya program. Mereka juga harus mampu mengembangkan solusi untuk mengatasi permasalahan tersebut. Para fasilitator yang mendapatkan pelatihan khusus dan memiliki latar belakang di bidang kesehatan, pendidikan, maupun bidang lain yang terkait, bertugas membantu para ibu merumuskan dan mengusulkan solusi permasalahan tersebut. Di bawah program pengadaan insentif, jika intervensi dalam penerapan program menghasilkan tingkat kesehatan dan pendidikan yang lebih baik sesuai indikator tersebut di atas, maka desa dengan tingkat pencapaian tinggi layak menerima imbalan berupa bonus dana hibah. Program percontohan PNPM Generasi pertama kali diterapkan di lima provinsi yang dipilih oleh pemerintah Indonesia. Kelima provinsi tersebut adalah Jawa Barat, Jawa Timur, Sulawesi Utara, Gorontalo, dan Nusa Tenggara Timur. PNPM Generasi dirancang untuk memfasilitasi kegiatan evaluasi terhadap efektivitas program dalam merangsang partisipasi masyarakat demi mencapai tingkat kesehatan dan pendidikan yang lebih baik, serta untuk mengevaluasi metode pemberian insentif. Program percontohan PNPM Generasi diluncurkan bersamaan dengan program percontohan Keluarga Harapan (PKH) dan bertempat di provinsi yang sama. Berbeda dengan PNPM Generasi yang menawarkan insentif bagi masyarakat, PKH memberikan insentif bagi individu dari anggota keluarga miskin. Tujuan utama PNPM Generasi adalah untuk mengatasi kendala masyarakat dalam mengakses fasilitas dan layanan kesehatan dan pendidikan di wilayah perdesaan. Sementara tujuan utama Program Keluarga Harapan (PKH) adalah untuk membantu keluarga yang tidak dapat mengakses layanan dan dan fasilitas tersebut di atas walaupun layanan tersebut cukup tersedia misalnya di wilayah perkotaan. Pada tahun 2011, PNPM Generasi beroperasi di 2.401 desa yang terletak di 231 kecamatan di enam provinsi. Nusa Tenggara Barat menjadi provinsi tambahan selain kelima provinsi tersebut di atas. Laporan perkembangan kegiatan PSF tahun 2012 (PSF Progress Report) menunjukkan bahwa dengan adanya PNPM Generasi, sekitar 443.375 ibu dan anak telah menerima penyuluhan dan bantuan nutrisi; jumlah anak anak dengan berat badan di bawah standar menurun hingga sekitar 44.965 melalui pemberian makanan tambahan; dan sekitar 55.129 sukarelawan kesehatan masyarakat telah menerima pelatihan dan dukungan operasional. Persentase dana yang diinvestasikan untuk kegiatan inisiatif kesehatan dan pendidikan ini dapat dilihat pada bagan 1 dan 2. EVALUASI DAMPAK PENERAPAN PNPM GENERASI PERTANYAAN YANG DIAJUKAN DAN METODOLOGI Evaluasi dampak penerapan PNPM Generasi dirancang untuk mengevaluasi dampak dan efektivitas PNPM Generasi dalam menghasilkan perbaikan yang diukur melalui 12 indikator kesehatan dan pendidikan yang telah disebutkan sebelumnya dalam laporan ini. Proyek percontohan ini juga dirancang untuk mengevaluasi efektivitas pendekatan yang digunakan yaitu pendekatan inovatif di tingkat masyarakat, partisipasi, dan pemberian insentif, demi mencapai kesejahteraan yang lebih baik di bidang kesehatan dan pendidikan. Untuk mencapai tujuan tersebut, PNPM Generasi melakukan teknik evaluasi secara acak. Teknik ini sering disebut sebagai standar emas evaluasi dampak intervensi klinis dan kesehatan masyarakat. Untuk mendukung pelaksanaan evaluasi terhadap kinerja PNPM Generasi, pemerintah Indonesia secara acak menentukan wilayah penerima PNPM Generasi. Pemerintah lalu memilih sejumlah distrik atau kabupaten, kemudian seluruh kecamatan dalam kabupaten tersebut diputuskan sebagai penerima program PNPM Generasi atau sebagai kelompok kontrol (a control group). Penetuan ini dilakukan secara acak. Kelompok kontrol (control group), walaupun tidak berpartisipasi dalam PNPM Generasi, menerima jumlah dana yang sama melalui program PNPM Perdesaan. Setiap lokasi penerima program PNPM Generasi ditentukan secara acak untuk menerima satu dari dua jenis perlakuan yaitu: Pertama adalah dengan memberikan insentif kepada masyarakat (perlakuan A). Kedua adalah pendekatan tanpa pemberian insentif (perlakuan B) 1. Untuk menilai apakah pemberian insentif dapat mendorong masyarakat mencapai hasil yang lebih baik, desa desa yang menerima perlakuan A dan yang memiliki pencapaian lebih tinggi dari rata rata menerima imbalan berupa bonus dana hibah. Agar evaluasi berjalan efektif, kecamatan kecamatan dalam evaluasi ini dikelompokkan sebagai berikut: KELOMPOK A: DANA HIBAH GENERASI DENGAN INSENTIF z20% dari pendanaan tahun depan ditentukan pada kemajuan yang dihasilkan suatu desa, dibandingkan dengan desa lainnya dalam satu kabupaten zmemberikan insentif kepada masyarakat adalah untuk mengidentifikasikan masalah terbesar dan mencari solusi terbaik KELOMPOK B: DANA HIBAH GENERASI TANPA INSENTIF zsemua desa dalam suatu kecamatan menerima anggaran dasar tanpa mempertimbangkan perkembangan kemajuan mereka dibandingkan dengan desa lainnya KELOMPOK KONTROL (CONTROL GROUP): TIDAK MENERIMA DANA HIBAH GENERASI zdesa desa dalam kelompok ini berfungsi sebagai perbandingan dengan desa desa lain yang menerima dana melalui program PNPM Generasi. Data utama yang digunakan dalam evaluasi dampak penerapan PNPM Generasi ini dikumpulkan dari kegiatan survei yang dilakukan terhadap keluarga, pegawai desa, penyedia jasa kesehatan, dan pegawai sekolah 2.

4 Temuan Utama Seberapa Efektif Pemberian Insentif Dalam Penerapan Program? 5 PENCAPAIAN PNPM GENERASI PNPM Generasi menyasar capaian Tujuan Pembangunan Millenium yang berhubungan dengan Pendidikan dan Kesehatan 2012: 2.982 desa/290 kecamatan/8 propinsi Hasil pada tahun ke-3 program Di area generasi dibandingkan dengan area kontrol tanpa Generasi Kejadian GIZI BURUK ANAK Peningkatan Partisipasi Sekolah pada Anak Usia SD dan SLTP 9.5% lebih rendah 25%-35% lebih tinggi Layanan Pendidikan Layanan Kesehatan Survei tersebut dilakukan melalui tiga tahapan gelombang yaitu: 1. Gelombang I: Tahapan awal. Dilakukan pada bulan Juni hingga Agustus 2007 sebelum penerapan PNPM Generasi 2. Gelombang II: Tahapan pertama dalam menindaklanjuti hasil survei. Dilakukan pada bulan Oktober hingga Desember 2008. 3. Gelombang III: Tahapan jangka panjang dalam menindaklanjuti hasil survei. Dilakukan pada bulan Oktober 2009 hingga Januari 2010. Pelaksanaan evaluasi akhir bersandar pada koleksi data yang didapatkan melalui survei pada masa gelombang I, II, dan III. Kumpulan evaluasi (evaluation series) juga meliputi data kualitatif. Laporan ini mencakup temuan studi kualitatif tambahan di 12 desa di dua provinsi. Data kualitatif ini dikumpulkan pada tahun 2007 dan 2009. Pelaksanaan studi kualitatif menggunakan metode diskusi kelompok terarah atau focus group discussion (FGD), wawancara mendalam (in depth interviews), dan observasi langsung. Studi kualitatif memberikan pemahaman lebih dalam mengenai proses, hubungan sebab akibat (causal chains), termasuk norma, motivasi, dan reaksi masyarakat TEMUAN UTAMA Hasil evaluasi menunjukkan bahwa PNPM Generasi memiliki dampak positif yang signifikan pada tingkat kesehatan dan pendidikan masyarakat. Hal ini terefleksi dalam 12 indikator yang menjadi ukuran evaluasi ini. DAMPAK PADA KESEHATAN Dampak penerapan PNPM Generasi paling signifikan untuk indikator kesehatan adalah sebagai berikut: PENGECEKAN BERAT BADAN BALITA MENINGKAT: Lebih dari separuh anak anak di negara berkembang di dunia tidak ditimbang berat badannya secara teratur sejak masa bayi 3. Ini merupakan salah satu tantangan dalam upaya mencegah gizi buruk pada anak anak. Dampak terkuat selama penerapan PNPM Generasi adalah meningkatnya partisipasi masyarakat dalam pengawasan tumbuh kembang anak (termasuk pengecekan berat badan). Kegiatan pengawasan tumbuh kembang anak (growth monitoring) meningkat sebesar rata rata 0,15 selama masa tiga bulan. Angka ini 6,8 persen lebih tinggi dari tingkat rata rata di lokasi yang termasuk dalam kelompok kontrol (control areas). JUMLAH IBU HAMIL PENERIMA SUPLEMEN ZAT BESI MENINGKAT: PNPM Generasi mampu meningkatkan jumlah ibu hamil yang mengkonsumsi suplemen zat besi. Selama dua tahun penerapan PNPM Generasi, jumlah paket suplemen zat besi yang disebarkan kepada ibu hamil meningkat sebesar 0,08. Satu pake (sachet) tediri dari 30 tablet. Angka ini 4,7 persen lebih tinggi dibandingkan dengan lokasi yang termasuk ke dalam kelompok kontrol (control level). Sebanyak 4 hingga 5 miliar penduduk dunia mengalami kekurangan zat besi, dan diperkirakan sebanyak 2 miliar menderita anemia. Kaum wanita dan balita adalah kelompok yang paling rentan: 50 persen ibu hamil dan 40 50 persen balita di negara negara berkembang mengalami kekurangan zat besi 4. TINGKAT GIZI BURUK MENURUN: Kegiatan PNPM Generasi mampu mengurangi jumlah penderita gizi buruk secara signifikan. Secara keseluruhan, terdapat penurunan sebesar 2,2 persen. Angka ini lebih rendah 10 persen dari tingkat gizi buruk di kecamatan yang termasuk dalam kelompok kontrol (control kecamatan). Dampak paling signifikan terjadi di Nusa Tenggara Timur. Provinsi ini memiliki tingkat gizi buruk yang sangat tinggi. Berbagai kegiatan bantuan atau intervensi (interventions) seringkali gagal mengatasi permasalahan ini dengan baik. Di NTT, jumlah anak anak dengan berat badan di bawah standar menurun sebesar 8,8 persen. Angka ini 20 persen lebih rendah dari lokasi yang termasuk dalam kelompok kontrol (control areas). Jumlah anak anak dengan berat badan sangat di bawah standar (severe underweight) juga menurun sebesar 5,5 persen, yaitu 33 persen lebih rendah dari kelompok kontrol. Kemudian jumlah anak yang menderita stunting atau tumbuh kembang anak yang terhambat menurun sebesar 6,6 persen, yaitu 21 persen lebih rendah dari wilayah yang termasuk dalam kelompok kontrol (control areas). Secara mengejutkan, hasil evaluasi ini juga menunjukkan bahwa pulau Jawa, yang secara rata rata memiliki tingkat gizi buruk lebih rendah daripada wilayah lainnya di Indonesia, ternyata memiliki tingkat stunting dan gizi buruk yang lebih tinggi dibandingkan dengan wilayah yang menerapkan PNPM Generasi, dan wilayah yang termasuk dalam kelompok kontrol (control areas). Tidak ada penjelasan yang jelas akan hasil tersebut di atas. Kajian lebih lanjut perlu untuk dilakukan. Gizi buruk pada anak merupakan penyebab utama kematian balita. Gizi buruk membuat anak rentan terhadap infeksi dan memiliki masa pemulihan yang lambat setelah menderita sakit tertentu. Bukti ilmiah menunjukkan bahwa dampak gizi buruk kronis yang diderita oleh anak anak berusia di atas 2 3 tahun tidak dapat dipulihkan kembali 5. DAMPAK PADA PENDIDIKAN Evaluasi ini menunjukkan bahwa PNPM Generasi berpengaruh positif pada indikator pendidikan. Secara khusus, PNPM Generasi telah membantu peningkatan jumlah pendaftaran anak anak usia sekolah dasar untuk bersekolah. Secara lebih spesifik, evaluasi ini mencatat bahwa pada masa gelombang III, PNPM Generasi telah memperbesar tingkat partisipasi sekolah pada anak usia 7 12 tahun sebesar 0,8 persen. Karena hasil evaluasi di wilayah kelompok kontrol (control group) menunjukkan tingkat partisipasi sebesar 98,5 persen, maka bisa dikatakan bahwa PNPM Generasi telah berhasil mendorong hampir seluruh anak usia 7 12 tahun untuk mendaftar di sekolah. PNPM Generasi berpengaruh paling kuat justru pada wilayah yang memiliki tingkat partisipasi terendah. Kenaikan partisipasi paling signifikan pada masa gelombang III terjadi di NTT yaitu tingkat pendaftaran sekolah untuk anak usia 7 12 tahun meningkat sebesar 3,8 persen. Angka ini 4 persen lebih tinggi dibandingkan dengan tingkat partisipasi di wilayah kelompok kontrol (control areas). SEBERAPA EFEKTIF PEMBERIAN INSENTIF DALAM PENERAPAN PROGRAM? Sebagaimana telah disebutkan sebelumnya, tujuan penting dari PNPM Generasi adalah untuk mengevaluasi efektivitas pemberian insentif sebagai imbalan bagi masyarakat atas keberhasilan mereka memajukan bidang kesehatan dan pendidikan. Kegiatan evaluasi ini dirancang sedemikian rupa sehingga dapat menguji dampak pemberian insentif dan membandingkannya dengan penerapan program yang dilakukan tanpa pemberian insentif. Hasil evaluasi ini menunjukkan bahwa pemberian insentif berakibat pada perbaikan indikator kesehatan. Dengan membandingkan kecamatan di kelompok A dan kelompok B, hasil evaluasi menunjukkan bahwa rata rata 50 75 persen dari keseluruhan dampak atau pencapaian pada indikator kesehatan dihasilkan dari pemberian insentif. Namun demikian, dampak yang sama tidak terlihat pada perbaikan indikator pendidkan. Tidak ada perbedaan yang signifikan pada kedua kelompok tersebut selama evaluasi ini dilakukan. Hal ini bisa jadi disebabkan oleh adanya penundaan pada pelaksanaan intervensi pendidikan yang berdampak pada insentif yang rendah, tepat ketika program ini dimulai untuk melihat pengaruhnya pada kegiatan pendidikan. Evaluasi ini juga melihat bahwa dengan tingkat pendaftaran murid di sekolah yang sudah tinggi, yaitu rata rata 98,5 persen, maka terdapat sedikit peluang untuk melakukan perbaikan pendidikan lebih jauh sesuai indikator yang ditetapkan. Hal ini bertolak belakang dengan indikator kesehatan ibu yang memiliki tingkat relatif rendah, sehingga terdapat peluang untuk melakukan perbaikan pada indikator tersebut. Sehubungan dengan hal tersebut, laporan evaluasi ini menyarankan pemerintah Indonesia untuk merevisi atau

6 Di Lokasi Mana PNPM Generasi Berjalan Paling Efektif Rekomendasi Kebijakan 7 menambah indikator evaluasi sehingga dapat berfokus pada pada berbagai masalah yang ada daripada hanya seputar pendaftaran sekolah secara umum. Contoh indikator yang dapat ditambahkan adalah terkait kualitas pendidikan yang diberikan, atau kualitas dan cakupan fasilitas pengembangan balita. Penjelasan lainnya adalah sasaran program pada bidang pendidikan melibatkan lebih banyak masyarakat daripada bidang kesehatan. Bidang pendidikan juga melibatkan proses yang lebih ketat yaitu mensyaratkan seluruh anak anak untuk terdaftar dan hadir setiap hari di sekolah. Hal ini berbeda dengan partisipasi ibu hamil serta ibu dan bayi yang mendapatkan intervensi sebulan sekali. Terakhir, kegiatan evaluasi ini menunjukkan bahwa masyarakat cenderung lebih menyukai bantuan atau intervensi pendidikan yang memberikan manfaat pada anak anak, termasuk mereka yang telah mendaftarkan anak mereka di sekolah, daripada kegiatan di luar sekolah. Hal ini tercermin dari tingkat partisipasi sekolah yang lebih tinggi sebagaimana yang telah disebutkan sebelumnya. DI LOKASI MANA PNPM GENERASI BERJALAN PALING EFEKTIF? Sebagaimana telah dijelaskan, tidak ada korespondensi sederhana dan tatap muka antara distrik atau kabupaten dengan wilayah yang memiliki produktivitas ekonomi rendah, pendapatan rata rata, dan performa indikator kesehatan dan pendidikan yang lemah. Benar bahwa provinsi kategori miskin seperti NTT, Papua, dan Papua Barat, juga ditandai dengan pencapaian indikator kesehatan dan pendidikan yang lemah. Namun demikian, beberapa provinsi yang lebih sejahtera seperti Jawa Barat juga menunjukkan pencapaian yang lebih rendah. Sejumlah distrik atau kabupaten yang lebih makmur juga menunjukkan pencapaian yang lebih rendah daripada rata rata pencapaian bidang kesehatan dan pendidikan. Kegiatan evaluasi ini menunjukkan bahwa PNPM Generasi memiliki dampak yang paling signifikan pada wilayah dengan tingkat dasar indikator kesehatan dan pendidikan rendah, terlepas dari apakah wilayah ini tergolong wilayah miskin atau tidak. Untuk pelaksanaan program serupa di masa depan ataupun untuk program lainnya, temuan ini berdampak signifikan terhadap penyusunan kebijakan, yaitu: Demi pencapaian yang maksimum, PNPM Generasi dan program serupa lainnya sebaiknya memprioritaskan wilayah dengan performa indikator kesehatan dan pendidikan yang lemah, daripada berfokus pada wilayah miskin. BAGAIMANA PNPM GENERASI DILAKUKAN DAN MENGAPA? Untuk menentukan bagaimana PNPM Generasi dapat memiliki dampak sebagaimana yang telah dijelaskan, kegiatan evaluasi ini melihat berbagai hal yang mempengaruhi layanan bidang kesehatan dan pendidikan. Secara khusus, kegiatan evaluasi ini menggali pengaruh PNPM Generasi pada: 1) kuantitas pemberi layanan pendidikan dan kesehatan; 2) masukan yang digunakan oleh pemberi layanan tersebut seperti fasilitas dan pasokan medis; dan (3) tingkat usaha yang dikerahkan penyedia layanan pendidikan dan kesehatan. Kedua, kegiatan evaluasi ini juga mengamati pengaruh upaya masyarakat dalam penyediaan layanan, penjangkauan, pengawasan, dan partisipasi di berbagai bidang pendidikan dan kesehatan. Evaluasi ini menyatakan bahwa dampak terbesar PNPM Generasi terletak pada meningkatnya upaya masyarakat. Maka dapat ditambahkan bahwa pengerahan masyarakat (mobilization) merupakan faktor penting bagi pendekatan yang diterapkan PNPM Generasi untuk meningkatkan partisipasi masyarakat. Secara khusus, evaluasi ini melihat pada (1) keterlibatan masyarakat pada penyediaan layanan langsung (seperti jumlah aktivitas di posyandu dan jumlah kader di posyandu desa); (2) upaya masyarakat dalam penjangkauan (seperti layanan keliling (sweeping) untuk memastikan setiap masyarakat desa mendapatkan layanan dan terlibat dalam rapat komite sekolah); (3) upaya masyarakat dalam pengawasan (misalnya jumlah rapat komite sekolah). Evaluasi ini menemukan bahwa PNPM Generasi berdampak pada meningkatnya keterlibatan langsung masyarakat pada penyediaan layanan, terutama jumlah kader di posyandu desa, tingkat partisipasi pada rapat rapat terkait pendidikan kesehatan, dan jumlah rapat komite SLTP sepanjang tahun. Evaluasi ini juga menemukan bahwa faktor penyedia layanan tidak memiliki pengaruh yang terlalu signifikan. Namun PNPM Generasi berpengaruh signifikan pada kuantitas penyedia layanan dan fasilitas pendidikan. PNPM Generasi membantu meningkatkan peluang pengadaan SLTP di desa sebesar 3,2 persen. Angka ini 6,5 persen lebih tinggi dari tingkat dasar (baseline level). Hal ini bisa jadi disebabkan oleh adanya fasilitas kelas jauh bagi murid SLTP yang dilakukan melalui PNPM Generasi. Jumlah guru SLTP termasuk guru honorer juga meningkat rata rata sekitar 0,5 (meningkat sebesar 2,2 persen). Terkait dengan upaya yang diberikan oleh penyedia layanan, dampak paling signifikan terletak pada peningkatan jumlah jam kerja bidan (meningkat sebesar 1,724 jam selama masa tiga hari), dan lebih khusus, terdapat peningkatan sebanyak 0,83 jam selama tiga hari melakukan layanan kesehatan masyarakat. Perbedaan paling menyolok antara wilayah yang menerima insentif dengan yang tidak menerima insentif adalah bidan bekerja lebih lama di wilayah penerima insentif selama masa tiga hari survei ini dilakukan. REKOMENDASI KEBIJAKAN Berdasarkan hasil temuan dari kegiatan evaluasi ini, maka berikut adalah sejumlah kesimpulan yang layak mendapatkan perhatian lebih lanjut: DAHULUKAN WILAYAH YANG MEMILIKI TINGKAT KESEHATAN IBU DAN TINGKAT PENDIDIKAN RENDAH: Kegiatan evalusi ini menunjukkan bahwa penerapan PNPM Generasi yang paling efektif terdapat di wilayah dengan tingkat kesehatan dan pendidikan yang rendah, terlepas dari apakah mereka tergolong masyarakat miskin atau tidak. Demi pencapaian hasil yang maksimal, PNPM sebaiknya mempertimbangkan status ibu dan atau kesehatan dalam perumusan sebuah program, daripada status ekonomi mereka. AWASI DAN LAKUKAN PERCOBAAN TERHADAP PEMBERIAN INSENTIF KEPADA MASYARAKAT: Evaluasi ini membuktikan bahwa pemberian insentif di tingkat masyarakat bisa saja berhasil dengan baik dalam konteks tertentu. Namun demikian, evalusi ini juga menunjukkan hasil yang bervariasi dan sangat tergantung pada indikator yang digunakan. Pada PNPM Generasi, pemberian insentif berpengaruh lebih besar pada tingkat kesehatan daripada pendidikan sebagaimana diukur melalui indikator yang telah ditetapkan. Laporan evaluasi ini menyarankan pemerintah Indonesia untuk melanjutkan percobaan pemberian insentif di tingkat masyarakat, mungkin dengan memperluas penggunaannya untuk mengintervensi kegiatan tertinggal lainnya seperti pengadaan akses air bersih dan sanitasi. TINJAU KEMBALI KELAYAKAN SASARAN SUATU PROGRAM: Terkait dengan rekomendasi sebelumnya, laporan evaluasi ini menyarankan agar pemerintah Indonesia sebaiknya secara berkala melakukan peninjauan kembali terhadap perangkat indikator target yang digunakan untuk memastikan kelayakan suatu program. PNPM Generasi sebaiknya secara berkala mereview 12 indikator target untuk melihat apakah indikator tersebut sebaiknya diganti atau direvisi. Sebagai contoh, evaluasi ini menyatakan bahwa hasil pencapaian yang tinggi pada indikator pendidikan membuat sulit terciptanya peluang bagi masyarakat untuk melakukan perbaikan lebih jauh. Dengan tingkat partisipasi sekolah untuk anak anak usia 7 12 tahun yang mencapai hasil hampir sempurna yaitu 98,5 persen dan lebih tinggi, suatu program mungkin ingin menambahkan indikator target lainnya seperti prestasi kegiatan pembelajaran (education learning achievement) atau pengembangan balita. GUNAKAN SISTEM PNPM SEBAGAI DASAR DALAM MELAKUKAN PENDAMPINGAN LOKAL PNPM Generasi telah menggambarkan model fleksibili-

8 tas dan kemampuan beradaptasi masyarakat yang dikembangkan melalui PNPM. PNPM Generasi dapat digunakan sebagai sebuah kendaraan untuk memperbaiki indikator kesehatan dan pendidikan di lokasi dengan pasokan sumber daya yang terbatas (supply deficient areas). Pada lokasi seperti ini, penerapan model yang menerapkan perpindahan uang tunai antar keluarga/rumah tangga tidak dapat dilakukan secara efektif. Beberapa model serupa juga dapat dikembangkan untuk mencapai tujuan lainnya, terutama pada jenis kegiatan pembangunan tertinggal seperti pengadaan akses air bersih dan fasilitas sanitasi. LAKUKAN EVALUASI LANJUTAN: Sebagaimana yang telah dijelaskan sebelumya, PNPM Generasi dirancang khusus untuk memfasilitasi kegiatan evaluasi untuk mengukur dampak penerapan program ini. Pemilihan lokasi dilakukan secara acak bersamaan dengan penentuan kelompok control (control groups) untuk menguji dampak pada wilayah yang menerima insentif dan yang tidak menerima insentif. Pendekatan yang dilakukan dalam program ini adalah murni inovasi, dengan sebagian kecil contoh serupa di berbagai tempat lain di dunia. Oleh karena itu, jika penerapan PNPM Generasi akan terus dilakukan dengan cara yang sama (yaitu dengan membagi wilayah ke dalam tiga kelompok) maka pemerintah Indonesia sebaiknya melakukan kegiatan evaluasi setiap beberapa tahun untuk melihat apakah program ini memiliki dampak yang berkelanjutan, serta untuk melihat apakah terdapat perkembangan lebih lanjut pada taraf pendidikan dan kesehatan. Hasil evaluasi tersebut akan menjadi masukan yang sangat berharga bagi perancangan dan penerapan program serupa, baik di Indonesia maupun di tempat lain di dunia. 1 Lokasi penerima PNPM Generasi diseleksi melalui ketentuan berikut: Pertama, mengidentifikasi 300 kecamatan terpilih, lalu membidik wilayah miskin di perdesaan yang telah memiliki sarana pembangunan berbasis masyarakat. Komputer kemudian secara acak membagi tiap kecamatan ke dalam tiga kelompok yang sama besar yaitu: Perlakuan A, menerima insentif (100 kecamatan); Perlakuan B, tanpa insentif (100 kecamatan); dan kelompok kontrol (control groups) sebanyak 100 kecamatan. Di dalam setiap kecamatan tersebut, seluruh desa menerima perlakuan yang sama. Metode pengacakan diseleksi berdasarkan kabupaten demi menjaga keseimbangan dengan keseluruhan 20 kabupaten yang terlibat dalam kajian ini. Uji keseimbangan (tests of balance) menunjukkan bahwa tiga kelompok tersebut di atas memiliki tampilan serupa dengan karakter di masa sebelum penerapan PNPM Generasi. 2 Kegiatan survei dalam evaluasi ini dirancang untuk memastikan cakupan kelompok demografi yang meliputi: Ibu hamil atau yang baru saja melahirkan, anak anak di bawah usia tiga tahun, dan anak anak usia sekolah. Di setiap desa, tiap dusun diseleksi secara acak. Daftar keluarga/rumah tangga yang disurvei diperoleh dari kepala dusun. Kemudian secara acak, lima rumah tangga diambil sebagai sampel untuk diwawancara. Kumpulan rumah tangga ini CATATAN kemudian dibagi ke dalam beberapa kelompok yaitu: dua rumah tangga yang memiliki setidaknya satu anak berusia di bawah dua tahun, dua rumah tangga dengan satu anak berusia di bawah 15 tahun tapi tidak memiliki anak berusia di bawah 2 tahun, dan satu rumah tangga yang tidak memiliki anak berusia di bawah 15 tahun. Fasilitas kesehatan dan sekolah juga dihubungi lagi untuk membentuk sebuah panel. Sebanyak 75 persen bidan diminta untuk membentuk sebuah panel, sementara 25 persen sisanya menjadi sampel baru di tiap gelombang untuk memastikan agar sampel penelitian mencakup kemungkinan migrasi para bidan. Pembagian kelompok bidan ini dilakukan secara acak. 3 Low Birthweight: Country, Regional and Global Estimates, UNICEF, hal. 2 (dapat diakses di: http://www.google.com/ url?sa=t&rct=j&q=measuring%20weight%20unicef&source =web&cd=3&cad=rja&sqi=2&ved=0ccgqfjac&url=http% 3A%2F%2Fwww.unicef.org.au%2FDiscover%2FWhat We Do%2FSurvival%2FMalnutrition.aspx&ei=fDRZUMPKPIuZiAeLnYCQB Q&usg=AFQjCNGlAfGZmp7DegH1KdUeCAi7b_ 7mg 4 http://www.unicef.org/nutrition/23964_iron.html 5 http://motherchildnutrition.org/malnutrition/about malnutrition/ impact of malnutrition.html#.ufk5urknrr4 Referensi: Olken, B., Onishi, J. and Wong, S. (2011). PNPM Generasi: Impact Evaluation, PNPM Support Facility, Jakarta. SERI RINGKASAN STUDI Tujuan utama PNPM Support Facility (PSF) adalah menjadi sarana obyektif untuk mengulas, berbagi pengalaman, dan menerapkan pelajaran dari berbagai program kemiskinan dan untuk menumbuhkan diskusi mengenai solusi untuk program kemiskinan. PSF memfasilitasi pelaksanaan analisis dan penelitian terapan untuk mengoptimalkan desain program berbasis komunitas yang merespon terhadap dampak kemiskinan yang semakin tinggi dan untuk lebih memahami dinamika sosial di Indonesia dan pengaruhnya terhadap pembangunan dan pengentasan kemiskinan. Penelitian dan analisis ini bertujuan memberikan basis yang kuat untuk perencanaan, pengelolaan, dan perbaikan program pemberantasan kemiskinan pemerintah Indonesia. Penelitian ini juga dapat mendorong pembelajaran antar negara berkembang, dan menjadi masukan berharga bagi akademisi, instansi pemerintah, dan pelaku pembangunan lain yang menerapkan program berbasis komunitas di mana pun di dunia. Penelitian dan kerja analisis ini diterbitkan oleh PSF dalam rangka mempublikasi dan mempromosikan temuan, kesimpulan, dan rekomendasi dari penelitian dan analisis kepada khalayak yang lebih luas, termasuk akademisi, jurnalis, anggota parlemen, dan pihak pihak lain yang memiliki ketertarikan terhadap pengembangan masyarakat.