Kuliah 3-4 KONSEP DAN PRINSIP DASAR MONITORING DAN EVALUASI. 5/1/2017 Marlan Hutahaean 1

Transkripsi

1 Kuliah 3-4 KONSEP DAN PRINSIP DASAR MONITORING DAN EVALUASI 5/1/2017 Marlan Hutahaean 1

2 Pendahuluan 5/1/2017 Marlan Hutahaean 2

3 Pendahuluan 5/1/2017 Marlan Hutahaean 3

4 Pendahuluan AGENDA SETTING POLICY PROBLEMS PROBLEM STRUCTURING POLICY FORMULATION EXPECTED OUTCOMES FORECASTING POLICY ADOPTION PREFERRED POLICIES RECOMMENDATION POLICY IMPLE- MENTATION OBSERVED POLICY OUTCOMES MONITORING POLICY AP- PRAISAL POLICY PERFORMANCE EVALUATION 5/1/2017 Marlan Hutahaean 4

5 Pendahuluan : Kajian Implementasi vs Evaluasi Objek Tindakan Kajian Implementasi Evaluasi Proses/Perilaku Outputs Outcomes Hubungan Sebab Akibat Tautan Outcomes dengan Nilai/Manfaat Deskripsi Eksplanasi Menguji dan Membangun Teori Pertimbangan Analitis Pertimbangan Nilai Sumber : Michael Hill dan Peter Hupe, 2002 : 12. 5/1/2017 Marlan Hutahaean 5

6 Definisi Monev (OECD,2002) Monitoring is a continuous function that uses the systematic collection of data on specified indicators to provide management and the main stakeholders of an ongoing development intervention with indications of the extent of progress and achievement of objectives and progress in the use of allocated funds (p. 27). Evaluation is the systematic and objective assessment of an ongoing or completed project, program, or policy, including its design, implementation, and results. The aim is to determine the relevance and fulfillment of objectives, development efficiency, effectiveness, impact, and sustainability. An evaluation should provide information that is credible and useful, enabling the incorporation of lessons learned into the decisionmaking process of both recipients and donors (p. 21). 5/1/2017 Marlan Hutahaean 6

7 Monitoring Kegiatan monitoring diperlukan untuk : mencatat perkembangan program atau kegiatan, memantau proses dan kemajuan pelaksanaan program/kegiatan secara terus-menerus, mengidentifikasi masalah dan penyimpangan yang muncul, merumuskan pemecahan masalah, dan membuat laporan kemajuan secara rutin dalam kurun waktu yang pendek. 5/1/2017 Marlan Hutahaean 7

8 Evaluasi Suatu proses sistematis dalam mengumpulkan, menganalisis, dan menginterpretasikan informasi untuk mengetahui tingkat keberhasilan pelaksanaan program dengan kriteria tertentu untuk keperluan pembuatan keputusan. Dengan kata lain, kegiatan evaluasi dilakukan untuk mengkaji relevansi, efisiensi, efektivitas dan dampak suatu kebijakan atau program atau kegiatan sesuai dengan tujuan yang ingin dicapai. 5/1/2017 Marlan Hutahaean 8

9 Peran Komplementer Monitoring dan Evaluasi Monitoring: aksi kebijakan ke hasil kebijakan (factual judgement) Evaluasi : hasil kebijakan ke kinerja kebijakan (value judgement). Fokusnya pada ketepatan suatu kebijakan untuk memecahkan masalah tertentu. Aksi Kebijakan Hasil Kebijakan Kinerja Kebijakan Monitoring Evaluasi 5/1/2017 Marlan Hutahaean 9

10 Peran Komplementer Monitoring dan Evaluasi Monitoring Clarifies program objectives Links activities and their resources to objective Translates objectives into performance indicators an sets targets Routinely collect data on these indicators, compares actual results with targets Reports progress to managers and alerts them to problems Source : Kusek J.Z and Rist R.C., 2004 : 14. Evaluasi Analyzes why intended results were or were achieved Assesses specific causal contributions of activities to results Examines implementation process Explore unintended results Provides lessons, high-lights significant accomplishment or program potential, and offers recommendation for improvement 5/1/2017 Marlan Hutahaean 10

11 Tujuan Monitoring dan Evaluasi 1. Compliance (Kepatuhan). Apakah tindakan administrator, pelaksana dan stakeholders sesuai dengan petunjuk pelaksanaan? Misalnya, The Environmental Protection Agency s Continous Air Monitoring Program (CAMP) menghasilkan informasi tentang tingkat polusi dan menentukan apakah industry mematuhi strandar kualitas udara? 2. Auditing (Pemeriksaan). Apakah sumberdaya dan pelayanan benar-benar dinikmati oleh kelompok sasaran dan pemanfaat yang telah ditentukan? Misalnya dengan memantau anggaran yang digunakan terhadap pembuatan kebijakan/program apakah memberikan manfaat bagi kelompok sasaran? 3. Accounting (Akuntansi). Memperhitungkan perubahan sosial ekonomi yang diakibatkan oleh pelaksana kebijakan dan program pemerintah. Misalnya apakah terjadi perubahan kualitas hidup? 4. Explanation (Eksplanasi). Mengapa hasil dan dampak kebijakan pemerintah bisa berbeda-beda? Komponen kebijakan mana yang bekerja paling efektif? Bagaimana bekerjanya? Mengapa? Sumber: William N. Dunn, /1/2017 Marlan Hutahaean 11

12 Prinsip-Prinsip Monitoring dan Evaluasi Pelaksanaan monitoring dan evaluasi kebijakan/program/kegiatan perlu didasarkan pada kejujuran, motivasi dan keinginan yang kuat dari para pelaku. Prinsip-prinsip dalam pelaksanaan monitoring dan evaluasi sebagai berikut : 5/1/2017 Marlan Hutahaean 12

13 Prinsip-Prinsip Monitoring dan Evaluasi Objektif dan Profesional; Transparan; Partisipatif; Akuntabel dan Tepat Waktu; Berkesinambungan; dan Berbasis Indikator Kinerja. 5/1/2017 Marlan Hutahaean 13

14 Objektif dan Profesional Pelaksanaan monitoring dan evaluasi dilakukan secara profesional berdasarkan analisis data yang lengkap dan akurat agar menghasilkan penilaian secara obyektif dan masukan yang tepat terhadap pelaksanaan kebijakan. Objektif dan profesional berarti : Akurat dalam mengidentifikasi informasi Tepat dalam menyimpulkan perolehan informasi/data Akurat dalam melakukan intervensi. Untuk itu proses monev harus ditopang dengan manajemen, strategi, dan instrumentasi yang baik. 5/1/2017 Marlan Hutahaean 14

15 Transparan Pelaksanaan monitoring dan evaluasi dilakukan secara terbuka dan dilaporkan secara luas melalui berbagai media yang ada agar masyarakat dapat mengakses dengan mudah Tentang informasi dan hasil kegiatan monitoring dan evaluasi. Pertanyaan2 yang diajukan: Adakah media informasi dan komunikasi; Apakah informasi yang diberikan kepada masyarakat sesuai dengan perkembangan program (selalu diperbaharui); Adakah musyawarah dilakukan dan sosialisasi hasil kegiatan disampaikan Keterbukaan dalam penyusunan anggaran; dan Keterbukaan dalam pelaporan keuangan. 5/1/2017 Marlan Hutahaean 15

16 Partisipatif Pelaksanaan kegiatan montoring dan evaluasi dilakukan dengan melibatkan secara aktif dan interaktif para pelaku. Aspek2-aspek yang diperhatikan: Masyarakat yang hadir dan ikut berbicara dalam pertemuan Masyarakat yang terlibat dalam perencanaan, pelaksanaan, pemeliharaan Masyarakat yang peduli dengan masalah yang muncul Masyarakat yang terlibat dalam mengatasi permasalahan Masyarakat yang meminjamkan memberikan sumbangan material, sumber dana, sumberdaya, peralatan. 5/1/2017 Marlan Hutahaean 16

17 Akuntabel dan Tepat Waktu Akuntabel Pelaksanaan monitoring dan evaluasi harus dapat dipertanggungjawabkan secara internal maupun eksternal. Tepat waktu Pelaksanaan monitoring dan evaluasi harus dilakukan sesuai dengan waktu yang dijadwalkan. 5/1/2017 Marlan Hutahaean 17

18 Berkesinambungan dan Berbasis Indikator Kinerja Berkesinambungan Pelaksanaan monitoring dan evaluasi dilakukan secara berkesinambungan agar dapat dimanfaatkan sebagai umpan balik bagi penyempurnaan kebijakan. Berbasis indikator kinerja. Pelaksanaan monitoring dan evaluasi dilakukan berdasarkan kriteria atau indikator kinerja, baik indikator masukan, proses, luaran, manfaat maupun dampak. 5/1/2017 Marlan Hutahaean 18

19 Keberhasilan Monitoring dan Evaluasi Empat (4) Pertimbangan Utama : Memilih evaluator yang terspesialisasi, yang berada di luar pemerintah atau lembaga pelaksana. Ini pada umumnya lebih baik untuk menjamin objektivitas dan independensi. Metode kuantifikasi untuk memperkirakan dampak program. Metode kualitatif dapat memperkaya informasi dan membuat analisa menjadi lebih mendalam. Metode ini memberikan pengertian yang mendalam dari proses program, kondisi eksternal, serta perilaku individu. Ketersedian dan kualitas data adalah faktor terpenting yang mempengaruhi kualitas dari analisa. Sering kali, survei baru harus dilakukan untuk mendapatkan informasi yang memadai dari program, termasuk survei awal dan survei lanjutan. 5/1/2017 Marlan Hutahaean 19

20 Syarat Monev yang Menghasilkan Manfaat 1. Tujuan yang jelas. Pertanyaan evaluasi harus dapat ditentukan lebih awal, secara sederhana dan mudah diukur. 2. Evaluator yang kredibel. Evaluator harus berada diluar pemerintah atau lembaga yang programnya akan dievaluasi. 3. Metodologi yang tepat. Estimasi eksperimental adalah yang paling ideal tapi kelompok pembanding yang dipilih secara tepat dapat dijadikan alternatif. Sumber: Blomquist (2003), Ezemanari et al. (1999). 5/1/2017 Marlan Hutahaean 20

21 Syarat Monev yang Menghasilkan Manfaat 4. Jumlah sampel yang sesuai. Jumlah sampel harus cukup besar untuk mendeteksi dampak program. Sebagai tambahan, jumlah itu harus memungkinkan dibuatnya penilaian dampak program terhadap sub-kelompok dari target populasi. Efek deteksi yang minimum harus ditentukan sebelum pelaksanaan evaluasi. 5. Data Pembanding. Harus menetapkan kelompok pembanding yang tepat dan untuk mengendalikan seleksi kriteria program yang dapat diamati. 6. Tindak lanjut yang mencukupi. Menindaklanjuti data sebaiknya dilakukan setelah beberapa waktu, agar dapat mendeteksi dampak dan dapat mengukur besaran relevan yang mungkin muncul. 7. Komponen-komponen evaluasi berulang. Evaluasi dampak sebaiknya tidak hanya sekedar mendeteksi dampak program, harus juga dapat meneliti proses program penjelasan temuan yang ada, dan efektif dari segi biaya. Sumber: Blomquist (2003), Ezemanari et al. (1999). 5/1/2017 Marlan Hutahaean 21