II. SISTEM MONITORING DAN EVALUASI PROYEK 2.1 Sistem Monitoring dan Evaluasi Monitoring merupakan kegiatan mencakup pengamatan/peninjauan secara terus-menerus atau berkala dan kegiatan mengawasi, yang dilakukan oleh pengelola proyek di setiap tingkat pelaksanaan kegiatan, untuk memastikan bahwa semua hasil yang ditargetkan berjalan sesuai dengan rencana. Monitoring menyediakan umpan balik berkelanjutan mengenai pelaksanaan proyek kepada pimpinan dan pejabat penting lainnya. Monitoring mengidentifikasi keberhasilan dan permasalahan yang terjadi sebenarnya dan yang mungkin terjadi sedini mungkin (USDA, 1993). Evaluasi merupakan suatu proses dalam menentukan relevansi, efisiensi, efektifitas dan dampak kegiatan-kegiatan program sesuai dengan tujuan yang akan dicapai secara sistematik dan obyektif. Evaluasi merupakan proses penyempurnaan kegiatan-kegiatan yang sedang berjalan, membantu perencanaan, penyusunan program dan pengambilan keputusan (Diwan, 1997). Kegiatan evaluasi akan membantu para pengambil keputusan dengan menyediakan informasi tentang langkah-langkah penyesuaian pelaksanaan proyek atau segi lainnya serta informasi untuk keperluan semua asumsi dan hipotesa yang telah dirumuskan selama masa persiapan proyek. Menurut Mardikanto (1992), kegiatan evaluasi mencakup kegiatan: (1) observasi (pengamatan), (2) membanding-bandingkan antara hasil pengamatan dengan pedoman-pedoman yang ada, dan (3) pengambilan keputusan atau penilaian atas obyek yang diamati. Evaluasi sebagai proses pengambilan keputusan melalui kegiatan membanding-bandingkan hasil pengamatan terhadap suatu obyek. Jadi dari beberapa pengertian tersebut dapat diambil kesimpulan bahwa pengambilan keputusan merupakan suatu aspek penting dan harus dilakukan dalam evaluasi. Slamet (2003), mengemukakan bahwa evaluasi mencakup enam pokok yang perlu masing-masing dipertimbangkan, yaitu: (1) tujuan dari program yang akan dinilai, baik program maupun kegiatan program harus selalu mempunyai tujuan yang dijadikan pedoman lebih lanjut, (2) metoda-metoda/kegiatan-kegiatan
6 yang digunakan untuk mencapai tujuan tersebut, (3) penentuan, pengumpulan, analisa dan interpretasi data atau bukti-bukti, (4) membandingkan hasil-hasil yang dicapai dengan hasil-hasil yang diharapkan, (5) mengambil kesimpulan dari pembandingan tersebut, dan (6) penggunaan hasil evaluasi itu untuk penyusunan program-program berikutnya. Pada dasarnya tujuan evaluasi adalah untuk mengetahui seberapa jauh kegiatan-kegiatan yang dilaksanakan telah sesuai atau menyimpang dari pedoman yang ditetapkan, atau untuk mengetahui tingkat kesenjangan antara keadaan yang telah dicapai dengan keadaan yang dikehendaki atau seharusnya dapat dicapai, dengan demikian akan dapat diketahui tingkat efektifitas dan efisiensi yang dikehendaki. Tiga matra kegunaan evaluasi program, yaitu: (1) kegunaan bagi kegiatan itu sendiri, (2) kegunaan bagi para pelaksana program, dan (3) kegunaan bagi pelaksana evaluasi (Mardikanto, 1992). 2.2 Proyek Gittinger (1986), menjelaskan bahwa proyek adalah suatu kegiatan investasi yang mengubah sumber-sumber finansial menjadi barang-barang kapital yang dapat menghasilkan keuntungan-keuntungan atau manfaat-manfaat setelah beberapa priode waktu. Selain sebagai kegiatan investasi, proyek juga merupakan kegiatan produksi dan darinya dapat ditentukan kuantifikasi yang biasanya pada proyek-proyek pertanian dihitung nilainya. Reksoputranto (1992), proyek adalah suatu keseluruhan aktivitas yang menggunakan sumber-sumber untuk mendapatkan manfaat bagi masyarakat dan dapat direncanakan, dibiayai dan dilaksanakan sebagai suatu unit. Proyek adalah suatu pelaksanaan pekerjaan yang terencana, mencakup serangkaian kegiatan yang saling berkaitan dan terkoordinasi untuk mencapai suatu tujuan khusus, dengan jumlah dana dan jangka waktu tertentu. Proyek bertujuan untuk mengubah seperangkat sumber-sumber daya menjadi hasil yang diinginkan melalui serangkaian kegiatan atau proses. Sumber daya yang diubah itu disebut input (masukan) sedangkan hasil yang dicapai dibagi menjadi tiga golongan yaitu, output (hasil), efek (pengaruh langsung) dan dampak (Departemen Monitoring dan Evaluasi IFAD, 1990).
7 Aji dan Sirait (1982), mengemukakan tiga masalah dasar yang dapat diatasi dalam desain proyek dengan pendekatan kerangka logis, yaitu: (1) adanya kejelasan perencanaan proyek yang meliputi cara yang digunakan dan tujuan yang diinginkan dengan kriteria dan ukuran keberhasilan proyek yang telah disepakati, (2) adanya kejelasan tanggung jawab pengelola proyek yang mencakup wewenang dan hal-hal yang diluar kontrol pengelola proyek, dan (3) adanya kejelasan peranan evaluasi terhadap suatu proyek yang sedang berlangsung maupun ketika telah selesai. 2.3 Indikator Kinerja Aji dan Sirait (1982) menyatakan bahwa indikator kinerja merupakan ukuran dari suatu pengelola proyek untuk menentukan di dalam suatu waktu dan tempat tertentu melakukan evaluasi terhadap pelaksanaan suatu proyek. Untuk mempermudah perhitungan dalam peramalan pelaksanaan proyek, pengelola proyek membuat indikator penentu yang merupakan sasaran-sasaran antara sehingga indikator tersebut akan dievaluasi pada saat proyek dilaksanakan. Departemen Monitoring dan Evaluasi IFAD (1990), indikator adalah alat untuk memantau dan mengevaluasi efek-efek dari suatu kegiatan. Batasan indikator adalah ukuran-ukuran obyektif dan spesifik, yang mencerminkan perubahan/hasil yang ditimbulkan oleh suatu kegiatan. Indikator dirancang untuk menyediakan suatu standar/alat ukur kemajuan suatu kegiatan dibandingkan target, baik input (indikator input) yang digunakan seperti dana, SDM, teknologi dan sumberdaya lainnya, output yang dihasilkan (indikator output) misalnya hasil fisik berupa luas lahan (hektar) jumlah koperasi yang terbentuk, pembangunan sarana dan prasarana pendukung lainnya atau pelayanan/jasa berupa pelatihan, jasa kredit, maupun tujuan yang dicapai (indikator efek) contohnya hasil yang diperoleh dari penggunaan output proyek seperti pertambahan hasil pertanian dan peningkatan pelayanan bagi masyarakat, sedangkan indikator dampak (impact) adalah hasil yang diperoleh dari efek proyek misalnya peningkatan pendapatan, perubahan sosial ekonomi, peningkatan SDM. Indikator memberikan data kualitatif dan kuantitatif dalam perumusan tujuan yang merupakan pernyataan tentang situasi yang akan terjadi bila tujuan sudah dicapai. Kemampuan untuk merumuskan indikator setelah melakukan
8 konsultasi dengan pejabat proyek dan menyetujui nilai dan waktu sasaran, merupakan peragaan agar tujuan proyek dapat dinyatakan dengan jelas, dipahami dan mendapat dukungan. Untuk menjamin tersedianya informasi tentang kemajuan suatu proyek mulai dari tahap awal pelaksanaan, indikator perlu disusun sedemikian rupa. Pendekatan kerangka logis terhadap desain proyek memberikan susunan yang cukup efisien dengan menerima hirarki tujuan yang dipergunakan untuk mendapatkan indikator (Departemen Evaluasi Pengoperasian Bank Dunia, 1996). Secara skematis kegiatan monitoring dan evaluasi dalam proyek dapat dilihat pada Tabel 2.1. Tabel 2.1 Skema Kegiatan Monitoring dan Evaluasi dalam Proyek Tujuan Dasar Monitoring Melacak mengamati/mengawasi perkembangan pelaksanaan proyek dan berbagai komponennya, dikaitkan dengan pencapaian targettarget, penanggulangan kendala dan kesenjangan yang timbul, secara tepat waktu, dan mengambil tindakan korektif jika diperlukan. Sumber-Sumber Informasi Evaluasi Ongoing Mengetahui apakah tercapai kesinambungan relevansi serta output, efektivitas dan dampak kegiatan proyek yang timbul atau akan/ mungkin timbul selama proyek berlangsung dan memberikan koreksikoreksi penting jika diperlukan. Evaluasi Terminal dan Expost Mengkaji keseluruhan output, efek, dan dampak proyek, serta menarik pelajaran atau manfaat dari pengalamanpengalaman penyelenggaraan proyek masa yang lalu. Laporan administratif berkala dan hasil pengamatan Pelaporan Pengkajian mendalam, observasi partisipan, survey sample Survey sosial ekonomi Pelaporan ditujukan kepada: Pemimpin Proyek dan para suvervisor di semua tingkatan organisasi proyek, kelompok sasaran, dan organisasi yang menyediakan dana Pelaporan ditujukan kepada: Pengelola Proyek, penentu kebijaksanaan, kelompok sasaran dan organisasi yang menyediakan dana Sumber : Departemen Evaluasi Pengoperasian Bank Dunia (1996). Sama seperti pada evaluasi on going dan dimungkinkan pula dilaksanakan oleh kelompok sasaran dan/atau lembaga perwakilannya
9 Proyek UFDP dalam proses pelaksanaan dilakukan suatu pengukuran kinerja terhadap pelaksanaan tujuan proyek. Tujuan proyek secara umum dapat dibagi dalam tujuan proyek jangka pendek dan jangka panjang. Indikator kinerja dalam jangka pendek berdasarkan kepada program kerja dan rencana kerja proyek, program dasar kegiatan pelatihan petugas dan petani, petunjuk teknis jambu mete proyek. Indikator kinerja untuk jangka panjang dapat dilihat melalui tingkat kesejahteraan petani dan keluarganya melalui peningkatan taraf hidup petani yang berbasis kepada pertanian yang berkelanjutan. Menurut Casley dan Kumar (1991), pemilihan indikator yang tepat merupakan hal yang sangat penting karena mempunyai akibat-akibat terhadap para pemakai yang akan dilayani, priode pelaporan dan cara-cara pengumpulan data. Indikator yang tidak tepat dapat merusak sistem monitoring dan evaluasi. Lebih lanjut kegagalan ditutup ketika para manajer memilih semua indikator yang muncul di benak mereka atau yang tersusun pada berbagai pedoman. Begitu daftar semakin panjang, jumlah indikator menjadi semakin tidak tepat guna. 2.4 Sistem Monitoring dan Evaluasi Proyek Pertanian Sistem monitoring evaluasi proyek Departemen Pertanian dibagi dalam beberapa hirarki, yaitu hirarki terendah adalah Bagian Proyek (Bagpro), kemudian secara berjenjang ke atas adalah Proyek, Unit Eselon: Setditjen, Setbadan), dan Departemen Pertanian (Setjen). Hirarki yang lebih rendah memberi laporan kepada yang lebih tinggi (panah garis putus), untuk kemudian dikoordinasi, direkapitulasi, dianalisis, disentesis, dan diarsipkan dengan sistem katalog, hirarki yang lebih tinggi melakukan monitoring, evaluasi, dan pelaporan pada hirarki dibawahnya (panah garis tebal). Untuk keperluan pengawasan dan pengendalian setiap jenjang menyampaikan tembusan laporan kepada Inspektorat Jenderal. Hirarki sistem monitoring diperlihatkan pada Gambar 2.1 Sesuai dengan Keputusan Menteri Pertanian Nomor 431/Kpts/RC.210/7/2000 mengenai pedoman umum sistem monitoring, evaluasi, dan pelaporan program/proyek dilingkungan departemen pertanian.
10 BAPPENAS Nasional Departemen Pertanian (Form D) Sektor/Program Unit : Eselon (Form C) Sub Sektor/Sub Program Proyek (Form B) Proyek/Kegiatan Bagian Proyek (Form A) Bagian Proyek/Kegiatan Keterangan: Monitoring dan evaluasi Laporan Gambar 2.1 Hirarki Sistem Monitoring, Evaluasi, dan Pelaporan Departemen Pertanian (Deptan, 2000).