LAPORAN KAJIAN EVALUASI PASCADIKLAT

Transkripsi

1 PEMERINTAH DAERAH DAERAH ISTIMEWA YOGYAKARTA BADAN PENDIDIKAN DAN PELATIHAN LAPORAN KAJIAN EVALUASI PASCADIKLAT BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016

2 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 KATA PENGANTAR Segala puji dan syukur bagi Allah SWT, Tuhan Yang Maha Kuasa, atas segala limpahan rahmat, berkat dan karunia-nya, sehingga pelaksanaan Program Penelitian dan Pengembangan Kediklatan melalui kegiatan Pengkajian Kediklatan Tahun 2016 telah menghasilkan Kajian Evaluasi Pascadiklat. Evaluasi pascadiklat merupakan bagian dari siklus diklat yang bertujuan untuk mengukur dan menilai capaian hasil dan dampak diklat, di mana hasil evaluasi tersebut akan menjadi umpan balik untuk merencanakan penyelenggaraan diklat dan meningkatkan kualitas diklat di masa mendatang. Evaluasi pascadiklat memiliki peran penting dan telah rutin dilaksanakan, tetapi belum pernah dikaji secara ilmiah dan pedoman pelaksanaannya pun belum dirumuskan. Hal tersebut menjadi dasar dilaksanakannya Kajian Evaluasi Pascadiklat. Proses menyusun Kajian Evaluasi Pascadiklat telah melalui berbagai tahapan antara lain: konsultasi, rapat-rapat dan Focus Group Discussion (FGD) dengan mendatangkan pakar dan praktisi yang berkompeten dalam evaluasi pendidikan untuk membahas dan menyempurnakan draf kajian tersebut. Secara khusus, kami mengucapkan terima kasih kepada Dr. Cepi Safruddin Abdul Jabar, M.Pd. dan Dr. Ali Muhtadi, M.Pd. dari Universitas Negeri Yogyakarta yang telah berkontribusi menyusun Kajian Evaluasi Pascadiklat. Semoga hasil kajian ini dapat dipergunakan sebagai pedoman dalam pelaksanaan evaluasi pascadiklat dan bermanfaat bagi semua pihak yang membutuhkan. Yogyakarta, Agustus 2016 Kepala, MOEDJI RAHARDJO, SH., M.Hum. NIP Gunungsempu,Tamantirto, Kasihan, Bantul ii

3 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 PRAKATA Evaluasi pascadiklat merupakan evaluasi yang rutin dilakukan oleh Badan Pendidikan dan Pelatihan Daerah Istimewa Yogyakarta. Evaluasi ini dilakukan untuk mengetahui dampak diklat terhadap alumni diklat dan terhadap lembaga pengirim peserta diklat. Evaluasi pascadiklat sangat penting dilakukan. Evaluasi yang dilakukan akan dijadikan rekomendasi bagi peningkatan mutu diklat yang dilakukan serta dalam rangka memenuhi kebutuhan lembaga pengguna menjadi lebih baik lagi. Kegiatan Kajian Evaluasi Pascadiklat ini dilakukan dalam rangka mempelajari dan memberikan masukan terhadap keefektifan evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY supaya kegiatan yang dilakukan bisa maksimal, mampu memberikan penilaian objektif dan mendapatkan masukan yang optimal bagi peningkatan evaluasi pascadiklat di periode waktu berikutnya. Pada kesempatan ini perkenankan kami mengucapkan banyak terima kasih kepada semua pihak yang telah membantu pekerjaan ini. Terutama kami ucapkan terima kasih kepada: 1. Kepala Badan Pendidikan dan Pelatihan Daerah Istimewa Yogyakarta beserta jajarannya. 2. Kepala Bidang Pengembangan dan Kemitraan Badan Pendidikan dan Pelatihan DIY. 3. Kepala Subbidang Pengembangan Badan Pendidikan dan Pelatihan DIY. 4. Para narasumber dan peserta Focus Group Discussion (FGD) yang telah bersedia memberikan informasi yang sangat berharga pada kajian evaluasi pascadiklat. Demikian kami sampaikan, atas perhatian dan kerjasama yang baik diucapkan banyak terima kasih. Yogyakarta, Agustus 2016 Dr. Cepi Safruddin Abdul Jabar Ketua Tim Gunungsempu,Tamantirto, Kasihan, Bantul iii

4 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 DAFTAR ISI Halaman Halaman Judul... Kata Pengantar... Prakata... Daftar Isi... Daftar Gambar... i ii iii iv vi BAB I Pendahuluan... 1 A. Latar Belakang... 1 B. Landasan Hukum... 2 C. Tujuan dan Sasaran 2 D. Ruang Lingkup 3 E. Keluaran/Output 3 F. Sistematika Penulisan 3 BAB II Landasan Teori 5 A. Konsep Dasar 5 B. Evaluasi Diklat 7 C. Pendekatan dan Jenis Evaluasi Diklat 8 D. Evaluasi Pascadiklat 13 BAB III Metode Kajian Evaluasi Pascadiklat 17 A. Jenis Kajian 17 B. Model Evaluasi 17 C. Ruang Lingkup dan Wilayah Pekerjaan 17 D. Tempat dan Waktu Penelitian 18 E. Jenis dan Sumber Data 19 F. Alat Pengumpul Data 20 G. Keabsahan Data 20 H. Teknik Analisis Data 20 Gunungsempu,Tamantirto, Kasihan, Bantul iv

5 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 Halaman I. Kriteria Keberhasilan 21 BAB IV Kajian Evaluasi Pascadiklat Badan Pendidikan dan Pelatihan 22 Daerah Istimewa Yogyakarta A. Deskripsi Evaluasi Pascadiklat Badan Pendidikan dan 22 Pelatihan Daerah Istimewa Yogyakarta B. Kajian Evaluasi Pascadiklat 27 BAB V Penutup 33 A. Kesimpulan 33 B. Rekomendasi 34 Daftar Pustaka 36 Lampiran-lampiran Gunungsempu,Tamantirto, Kasihan, Bantul v

6 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 DAFTAR GAMBAR Halaman Gambar Tahapan Analisis Data Gunungsempu,Tamantirto, Kasihan, Bantul vi

7 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 BAB I PENDAHULUAN A. Latar Belakang Sumber daya aparatur pemerintah yang profesional merupakan syarat penting dalam menghadapi tuntutan masyarakat yang saat ini kian berharap banyak pada aparatur pemerintah. Selain itu, aparatur pemerintah yang profesional juga dipercaya bisa menjadi salah satu jalan keluar dalam menghadapi tantangan global saat ini yang sudah masuk ke semua urusan kehidupan berbangsa dan bernegara. Pendidikan dan pelatihan (diklat) merupakan salah satu cara ampuh dalam memperoleh aparatur pemerintah yang profesional. Diklat merupakan proses yang terencana dan sistematis juga berdampak jangka panjang dalam membekali kompetensi bagi aparatur pemerintah dalam melaksanakan tugas dan fungsinya. Harapannya, aparatur yang profesional akan mampu berkinerja tinggi sehingga visi lembaga di mana mereka mengabdi bisa tercapai. Pencapaian visi tentu akan berdampak pula pada efektivitas pembangunan yang dijalankan pemerintah saat ini. Efektivitas diklat aparatur pemerintah harus diukur agar tujuan pengembangan SDM pemerintah, atau penciptaan aparatur yang profesional bisa diketahui efektivitasnya. Maka dari itu, evaluasi pascadiklat merupakan langkah strategis dalam pengembangan program diklat ataupun pengembangan SDM itu sendiri. Saat ini, evaluasi pascadiklat yang dijalankan oleh Badan Pendidikan dan Pelatihan Daerah Istimewa Yogyakarta sudah dijalankan. Namun berangkat dari pengalaman, evaluasi yang dijalankan saat ini belum memiliki standar normatif yang komprehensif dan melibatkan semua stakeholder, sehingga rekomendasi yang diperoleh dari evaluasi pascadiklat yang dilakukan pun belum optimal. Selain itu, evaluasi atas evaluasi pascadiklat belum pernah dilakukan, sehingga kelemahan dan kekuatan atas program evaluasi pascadiklat belum bisa digali informasinya secara sistematis dalam sebuah proses kajian yang mendalam. Hal tersebut mendasari dilaksanakannya Kajian Evaluasi Pascadiklat oleh Badan Pendidikan dan Pelatihan DIY pada tahun Gunungsempu,Tamantirto, Kasihan, Bantul 1

8 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 B. Landasan Hukum Landasan hukum kegiatan ini adalah: 1. Undang-Undang Nomor 3 Tahun 1950 tentang Pembentukan Daerah Istimewa Yogyakarta, jo. Peraturan Pemerintah Nomor 31 Tahun 1950, sebagaimana telah diubah dan ditambah terakhir dengan Undang-Undang Nomor 26 Tahun 1959; 2. Undang-Undang Nomor 25 Tahun 2009 tentang Pelayanan Publik; 3. Undang-Undang Nomor 13 Tahun 2012 tentang Keistimewaan Daerah Istimewa Yogyakarta; 4. Undang-Undang Nomor 23 Tahun 2014, tentang Pemerintahan Daerah; 5. Undang-undang Nomor 5 Tahun 2014 tentang Aparatur Sipil Negara; 6. Peraturan Pemerintah Nomor 101 Tahun 2000, tentang Pendidikan dan Pelatihan Jabatan Pegawai Negeri Sipil; 7. Peraturan Pemerintah Nomor 96 Tahun 2012 tentang Pelaksanaan Undang- Undang Nomor 25 Tahun 2009 tentang Pelayanan Publik; 8. Peraturan Menteri Dalam Negeri Nomor 31 Tahun 2007 Tentang Pedoman Penyelenggaraan Pendidikan Dan Pelatihan Di Lingkungan Departemen Dalam Negeri Dan Pemerintahan Daerah; 9. Peraturan Menteri Dalam Negeri Republik Indonesia Nomor 2 Tahun 2013 Tentang Pedoman Pengembangan Sistem Pendidikan Dan Pelatihan Berbasis Kompetensi Di Lingkungan Kementerian Dalam Negeri Dan Pemerintahan Daerah; 10. Peraturan Menteri Pendayagunaan Aparatur Negara dan Reformasi Birokrasi Republik Indonesia Nomor 15 Tahun 2014 tentang Pedoman Standar Pelayanan; 11. Peraturan Daerah Istimewa Daerah Istimewa Yogyakarta Nomor 3 Tahun 2015 tentang Kelembagaan Pemerintah Daerah Daerah Istimewa Yogyakarta; 12. Peraturan Gubernur Daerah Istimewa Yogyakarta Nomor 13 Tahun 2015 tentang Penyelenggaraan Pendidikan dan Pelatihan; 13. Peraturan Gubernur Daerah Istimewa Yogyakarta Nomor 71 Tahun 2015 tentang Rincian Tugas dan Fungsi Badan Pendidikan dan Pelatihan. C. Tujuan dan Sasaran Tujuan dari kegiatan Kajian Evaluasi Pascadiklat Badan Pendidikan dan Pelatihan DIY ini adalah sebagai berikut. 1. Mengkaji konsep evaluasi pascadiklat dari perspektif keilmuan manajemen/administrasi pendidkan. 2 Gunungsempu,Tamantirto, Kasihan, Bantul

9 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN Mengkaji proses pelaksanaan dan metode evaluasi pascadiklat yang telah dilakukan Badan Pendidikan dan Pelatihan DIY. 3. Merumuskan rekomendasi pedoman teknis pelaksanaan evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY. Sasaran dari kegiatan ini adalah Badan Pendidikan dan Pelatihan DIY dan para pengelola Diklat Kepemimpinan, Diklat Prajabatan, Diklat Teknis dan Diklat Fungsional. D. Ruang Lingkup Ruang lingkup dari kegiatan ini adalah; 1. Mengkaji konsep evaluasi pascadiklat dari perspektif keilmuan manajemen/administrasi pendidikan; 2. Mengkaji proses pelaksanaan dan metode evaluasi pascadiklat yang telah dilakukan Badan Pendidikan dan Pelatihan DIY; dan 3. Merumuskan rekomendasi pedoman teknis pelaksanaan evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY. E. Keluaran (Output) Keluaran (output) yang diharapkan dari kegiatan ini adalah: 1. Terkajinya konsep evaluasi pascadiklat dari perspektif keilmuan manajemen/administrasi pendidikan; 2. Terkajinya proses pelaksanaan dan metode evaluasi pascadiklat yang telah dilakukan Badan Pendidikan dan Pelatihan DIY; dan 3. Terumuskannya rekomendasi pedoman teknis pelaksanaan evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY. F. Sistematika Penulisan Adapun sistematika penulisan laporan akhir kegiatan Kajian Evaluasi Pascadiklat Badan Pendidikan dan Pelatihan DIY adalah sebagai berikut: 1. Pendahuluan. Membahas latar belakang permasalahan mengapa dilakukan evaluasi pascadiklat, landasan hukum yang menjadi acuan pelaksanaan kegiatan, tujuan serta sasaran yang akan dicapai, serta keluaran (output) yang akan dihasilkan. Gunungsempu,Tamantirto, Kasihan, Bantul 3

10 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN Analisis Kajian Evaluasi Pascadiklat. Menguraikan kajian pustaka atau kerangka teoretik yang dijadikan acuan pelaksanaan kajian yang menjadi dasar dalam menentukan atau menjustifikasi proses evaluasi pascadiklat yang dilakukan. 3. Metode Kajian. Menjelaskan langkah-langkah sistematis yang dilakukan dalam melakukan pekerjaan Kajian Evaluasi Pascadiklat. Gunungsempu,Tamantirto, Kasihan, Bantul 4

11 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 BAB II LANDASAN TEORI A. Konsep Dasar 1. Definisi Evaluasi Aktivitas mengevaluasi merupakan aktivitas yang manusiawi dalam kehidupan sehari-hari. Evaluasi merupakan bagian dari keseharian kehidupan kita. Mengevaluasi dilakukan seseorang atau suatu pihak dalam bentuk justifikasi seberapa baik atau buruk suatu objek, bisa dicapai atau tidak, bermanfaat atau tidak, hampir tak pernah aktivitas itu terhenti selama kehidupannya. Di rumah mengevaluasi, di tempat pekerjaan mengevaluasi, di jalan, di dalam kendaraan, sedang berjalan, sedang duduk, sedang menontong sepak bola, menonton konser, ataupun sedang bermain bulu tangkis, aktivitas evaluasi bisa berlangsung. Kegiatan evaluasi nampaknya merupakan hal yang sangat mendasar dalam keseharian. Kita akan lebih mudah mengevaluasi suatu objek dengan cepat daripada mendeskripsikannya. Dengan kata lain, menjustifikasi (mengevaluasi) merupakan hal yang mendasar dalam kehidupan dibanding membuat dekripsi tentang suatu objek. Walaupun mengevaluasi merupakan bagian yang alamiah dalam keseharian kita, baik pribadi ataupun profesional, justifikasi evaluatif ini tidaklah cukup. Kita cukup mafhum bahwa yang namanya evaluasi informal yang dilakukan seseorang itu sangat dipengaruhi oleh harapan dan preferensi orang tersebut. Sangat dipengaruhi oleh persepsi, asumsi, pengetahuan subjektif seseorang. Evaluasi formal seperti itu bisa menyulitkan dalam membuat keputusan karena bisa berbenturan dengan pemahaman orang lain yang mengevaluasi objek yang sama karena memiliki persepsi, asumsi, pengetahuan, bahkan keyakinan yang berbeda tentang objek yang sama. Untuk itu, diperlukan suatu evaluasi yang sistematis dan formal yang mampu menampilkan bukti-bukti empiris yang objektif yang dibutukan untuk melakukan justifikasi evaluatif. Metode yang sistematis akan mampu kalau tidak menghilangkan, mengurangi bias, sehingga akan membantu memperjelas atau mempermudah dalam memberikan pertimbangan atau keputusan. Gunungsempu,Tamantirto, Kasihan, Bantul 5

12 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 Kata evaluasi jika ditelusuri akar katanya, berasal dari kata value, nilai. Asal katanya, dari bahasa Perancis value dan valoir serta bahasa Latinnya valére yang artinya secara mudah diterjemahkan kelayakan atau menilai. Seperti dikatakan oleh Scriven (Mark dkk, 2006: 6) bahwa Evaluation refers to the process of determining the merit, worth, or value of something, or the product of that process. Kemudian ditambahi oleh Lincoln dan Guba bahwa a type of disciplined inquiry undertaken to determine the value (merit and/or worth) of some entity the evaluated such as a treatment, program, facility, performance, and the like in order to improve or refine the evaluated or to assess its impact (1986a: 550). Nampaknya definisi terakhir ini lebih lengkap, mengungkap bahwa evaluasi merupakan suatu aktivitas penggalian ilmiah dalam menetapkan nilai (kelayakan dan kebermaknaan) suatu entitas yang dievaluasi, bisa berupa tindakan, program, fasilitas, kinerja, dan sejenisnya yang ditujukan untuk meningkatkan atau memperbaiki atau mengukur dampaknya. Terkait dengan mengapa evaluasi penting dilakukan, penjelasannya bermula dari banyaknya permasalahan yang harus diselesaikan. Penyelesaian masalah diwujudkan dalam bentuk upaya-upaya sistematis yang mengerahkan sumber daya. Untuk mengetahui sejauh mana upaya itu tepat sasaran, kelayakan, serta dampaknya, maka evaluasi merupakan jawabannya. Evaluasi terhadap upaya pemecahan masalah akan memberikan banyak informasi kepada para pemangku kebijakan apakah program yang dijalankan itu dihentikan, dilanjutkan, atau ditingkatkan, bahkan diaplikasikan untuk upaya yang lainnya. 2. Manfaat Evaluasi Setiap upaya di bidang apapun tentu memerlukan evaluasi untuk mengetahui sejauh mana upaya pencapaian tujuan itu berjalan dan berdampak. Termasuk dalam bidang pendidikan dan pelatihan (diklat), evaluasi memiliki manfaat sebagai berikut. a. Menilai mutu kurikulum suatu program diklat. b. Mendapatkan informasi untuk menghentikan, melanjutkan, atau meningkatkan program. c. Mendapatkan peluang baru untuk pelayanan program diklat baru. d. Mengakreditasi lembaga diklat yang mampu memenuhi standar. e. Memberikan laporan keefektifan program diklat kepada penyandang dana. Gunungsempu,Tamantirto, Kasihan, Bantul 6

13 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 f. Mendampingi penyandang dana dan peserta diklat dalam memilih pilihan program. g. Memperbaiki proses rekrutmen peserta diklat. h. Mendapatkan informasi akan kebermanfaatan program diklat. Bagaimana suatu praktik (misalnya dalam peningkatan kompetensi melalui diklat) bisa ditingkatkan, dan bagaimana evaluasi berkontribusi pada peningkatan ini merupakan beberapa misteri yang harus dijawab oleh seorang evaluator dalam menjalankan tugasnya. Peningkatan praktik diklat bisa dilakukan dengan cara membangun suatu pengetahuan tentang bagaimana melakukan diklat dengan sebaik-baiknya, atau dengan cara menilai pengetahuan seseorang atau lembaga diklat melakukan praktik pengembangan SDM. Informasi tentang praktik terbaik yang dilakukan bisa berasal dari refleksi individual para praktisi diklat, peer review, atau atas saran para ahli. Selain itu pula, para alumni diklat bisa menjadi sumber informasi seberapa baik program diklat yang mereka dapatkan sesuai dengan apa yang mereka inginkan, atau mungkin mereka bisa memberikan saran dan masukan untuk peningkatan, atau melalui proses evaluasi terhadap upaya peningkatan SDM tersebut. Evaluasi bisa menjadi salah satu cara efektif untuk mencari cara terbaik untuk melakukan praktik pengembangan SDM secara menyeluruh, atau bahkan mengungkap cara terbaik dalam menjalankan beberapa atau satu aktivitas tertentu dalam sebuah upaya, atau situasi tertentu. Selain itu pula, evaluasi bisa mengembangkan kemampuan para praktisi dalam merespons dan beradaptasi dengan keinginan para pengguna. B. Evaluasi Diklat Diklat sebagai sebuah proses pendidikan secara umum, tentu memiliki beberapa kesamaan praktiknya dengan praktik pendidikan. Dia berbeda dari sisi tujuan dan sasaran, dan pendekatannya. Dari sisi evaluasi, diklat juga perlu dievaluasi sama seperti proses pendidikan. Jika mengacu pada definisi Tyler (Nevo, 2006, Fitzpatrick dkk, 2011), evaluasi diklat bisa disebutkan sebuah proses menetapkan sampai seberapa jauh tujuan diklat sebenarnya bisa dicapai. Sama jika kita mengacu pada pendapat Cronbach, Stufflebeam, dan Alkin (Nevo, 2006) evaluasi diklat bisa dikatakan sebagai upaya untuk mendapatkan informasi yang diperlukan dalam proses pembuatan keputusan diklat. Dan jika mengacu pada definisi evaluasi yang sudah 7 Gunungsempu,Tamantirto, Kasihan, Bantul

14 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 dijelaskan di atas, tentunya evaluasi diklat adalah upaya untuk memberikan penilaian atas kebermanfaatan dan kelayakan suatu proses Diklat. Evaluasi diklat memiliki banyak manfaat dalam menjawab berbagai kebutuhan diklat. Terkait dengan pembuatan keputusan, peningkatan, akuntabilitas, dan profesionalisme. Pembuatan Keputusan merupakan salah satu kegiatan rutin yang dilakukan dalam dunia administrasi pendidikan. Keputusan dibuat oleh peserta diklat, widyaiswara, lembaga peserta asal diklat, dan pihak penyelenggara diklat terkait dengan peserta diklat, widyaiswara, materi diklat, dan lainnya. Informasi merupakan hal penting yang harus disediakan dalam menentukan alternatif dalam pembuatan keputusan. Informasi itu digali melalui proses evaluasi. Peningkatan merupakan salah satu hal yang bisa dilayani oleh kegiatan evaluasi. Peserta diklat dituntut untuk meningkatkan kinerja pembelajarannya, widyaiswara dituntut meningkatan mutu pelatihannya dan juga keterampilan melatihnya, konten diklat harus ditingkatkan kualitasnya dan juga up to date, termasuk lembaga diklat juga dituntut untuk terus meningkatkan dirinya agar senantiasa mampu berkompetisi dengan lembaga sejenis dalam merespons kebutuhan para user. Hal apa saja yang harus ditingkatkan, informasinya bisa didapatkan setelah melakukan evaluasi. Akuntabilitas salah satu kegunaan evaluasi diklat adalah akuntabilitas dalam diklat. Kemampuan mempertanggungjawabkan hasil diklat pada para peserta, sponsor, atau pemerintah, bahkan kepada masyarakat bisa didapatkan dari hasil evaluasi sehingga proses diklat bisa ditingkatkan lebih baik lagi di masa yang akan datang. Profesionalisasi para widyaiswara merupakan salah satu kebutuhan yang harus dijawab oleh evaluasi diklat. Manakala memposisikan widyaiswara sebagai profesi, tentu mereka akan menjalankan syarat-syarat profesinya. Di mana salah satu syarat profesi adalah selalu meningkatkan diri dalam melayani para peserta diklat. Aspek apa yang harus ditingkatkan, didapat setelah dievaluasi. C. Pendekatan dan Jenis Evaluasi Diklat Ada banyak pendekatan dalam evaluasi program pendidikan yang beredar luas di masyarakat, khususnya masyarakat akademik. Fitzpatrick mengidentifikasi Gunungsempu,Tamantirto, Kasihan, Bantul 8

15 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 setidaknya empat (4) pendekatan evaluasi yang bisa diadaptasi pada evaluasi diklat. Secara singkat akan dijelaskan sebagai berikut. 1. Pendekatan yang berorientasi pada keahlian dan pengguna. Evaluasi yang menggunakan pendekatan ini merupakan jenis evaluasi pemerintah yang diselenggarakan secara formal yang sudah sangat lama kita kenal, yang mengacu pada namanya terkait dengan keahlian profesional dalam menjustifikasi kualitas suatu lembaga, program, produk, ataupun suatu aktivitas. Jika di sekolah ada yang namanya Badan Akreditasi Sekolah/Madrasah, perguruan tinggi ada Badan Akreditasi Nasional PT, ada Komisi Akreditasi Rumah Sakit, Lembaga Administrasi Negara yang mengakreditasi lembaga diklat, dan seterusnya. Termasuk evaluasi yang melibatkan unsur praktisi dan akademisi, merupakan bentuk dari evaluasi diklat jenis ini. Evaluasi jenis ini mengandalkan kepakaran seseorang ataupun secara kelembagaan yang bergerak di bidangnya. Evaluasi yang berorientasi pada pengguna tujuannya adalah untuk menjustifikasi mutu suatu produk yang mereka gunakan, menilai atau menentukan kelayakannya. Fokus evaluasi berorientasi pada pengguna ini hanyalah pada persepsi pengguna ketika akan menggunakan, sedang menggunakan, atau setelah menggunakan produk. 2. Pendekatan yang berorientasi pada program. Asumsi dari pendekatan ini adalah bahwa setiap program diklat memiliki tujuan yang berbeda. Dari itu, maka fokus evaluasi diklat akan diarahkan pada sejauh mana tujuan dari diklat bisa dicapai. Jenis pendekatan evaluasi yang berorientasi pada program adalah Model Tyler, model kesenjangan Provus (DEM), dan model logis. Model Tyler terdiri atas tahapan sebagai berikut. a. Menetapkan tujuan umum. b. Mengklasifikasi tujuan. c. Mendefinsikan tujuan dalam istilah aktivitas. d. Mengidentifikasi situasi di mana pencapaian tujuan bisa ditemukan. e. Mengembangkan teknik pengukuran. f. Mengumpulkan data kinerja. g. Membandingkan data kinerja dengan sasaran yang telah ditetapkan. Gunungsempu,Tamantirto, Kasihan, Bantul 9

16 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 Kesenjangan antara kinerja dengan tujuan akan mengarah pada modifikasi atau perbaikan suatu program diklat. Model kesenjangan Provus merupakan suatu model yang lahir dari tradisi evaluasi model Tyler. Model kesenjangan ini dikembangkan oleh Malcolm Provus. Provus memandang bahwa evaluasi merupakan proses manajemen-informasi yang berkelanjutan yang didesain sebagai pengawas manajemen program. Selain itu, Provus juga memandang bahwa evaluasi adalah proses (1) menyepakati standar; (2) menetapkan apakah ada kesenjangan antara kinerja salah satu aspek program dengan standar; dan (3) menggunakan informasi kesenjangan untuk memutuskan apakah meningkatkan, memperbaiki, menghentikan program, atau beberapa aspek program. Model Logis dikembangkan dalam rangka mengisi ruang-ruang yang tidak bisa diisi oleh model kesenjangan Provus ataupun Tyler. Model logis akan menjalaskan bagaimana suatu program diklat mencapai tujuannya, bukan hanya sekedar konfirmasi ketercapaian saja seperti pada model kesenjangan. Model logis menghendaki para perencana program atau evaluator untuk mengidentifikasi input program, aktivitas, dan outcome-nya yang sifatnya jangka panjang, atau tujuan dari program yang sifatnya segera. Contoh aplikasinya bisa dilihat pada diagram berikut ini. Input Aktivitas Output Outcome Berisikan anggaran rutin, fasilitas staf, peralatan, dan material yang dibutuhkan diklat. Sesi mingguan, kurikulum, workshop, konferensi rekrutmen, layanan klinis, persuratan, pelatihan staf, semua komponen kunci dalam diklat. Jumlah partisipan yang dilayani setiap minggu, jumlah pertemuan kelas, jumlah jam pelayanan, jumlah produk program yang berdampak segera. Outcome jangka pendek dan jangka panjang. Gunungsempu,Tamantirto, Kasihan, Bantul 10

17 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN Pendekatan yang berorientasi pada keputusan. Rasionalisasi dari pendekatan ini adalah bahwa informasi evaluatif merupakan hal penting dalam proses pembuatan keputusan. Evaluasi yang efektif adalah evaluasi yang mampu memberikan informasi yang cukup pada para pemangku kebijakan serta orang-orang yang terlibat dalam pembuatan kebijakan. Setidaknya ada tiga (3) jenis model yang menggunakan pendekatan ini, yaitu CIPP (Context Input Process Product), Model UCLA, dan jenis UFE (Utilization- Focused Evaluation). CIPP menggunakan pendekatan sistem pada tahapan pengembangan program dan menggali setiap informasi pada setiap tahapan program. Model ini dikembangkan oleh Stufflebeam dengan harapan bisa membantu para pembuat kebijakan membuat kebijakan yang baik. Model evaluasi ini memberikan informasi terkait: Context membantu keputusan perencanaan: menetapkan kebutuhan apa yang harus ditangani oleh program dan program apa yang ada dan sudah membantu mendefinsikan tujuan program. Evaluasi konteks fokus pada lingkungan program yang belum direncanakan: apa kebutuhan dan permasalahan yang dihadapi oleh para peserta diklat? Aset apa yang harus ditangani oleh lembaga diklat untuk menangani masalah tersebut? Tujuan atau outcome apa yang seharusnya dicapai oleh lembaga? Input membantu menstrukturkan keputusan. Setelah mendefinisikan kebutuhan dan mempertimbangkan aset kelembagaan serta intervensi yang diperlukan, dengan evaluasi input pengelola terbantu dalam memilih strategi untuk menerapkan dan memecahkan masalah dan membuat keputusan bagaimana menerapkannya. Process membantu mengimplementasikan keputusan. Ketika program dimulai, keputusan penting yang fokus pada bagaimana implementasi bisa dimodifikasi, Perubahan apa yang telah sedang dibuat, dan hambatan apa yang mengganggu proses pelatihan, revisi apa yang diperlukan. Product membantu mendaur ulang keputusan: hasil apa yang telah dicapai? Seberapa baik kebutuhan bisa dikurangi? Apa yang harus dilakukan dengan program setelah selesai? Haruskan direvisi? Ditingkatkan? Atau dihentikan? Gunungsempu,Tamantirto, Kasihan, Bantul 11

18 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 Model yang kedua adalah model UCLA. Model ini dikembangkan di Pusat Studi Evaluasi Universitas California, Los Angeles (UCLA) oleh Alkin yang hampir mirip dengan model CIPP. Di mana evaluasi diasumsikan sebagai sebuah proses pencarian informasi yang akan dibutuhkan dalam proses pembuatan keputusan. Model ini mengevaluasi 5 hal, yaitu: 1) Sistem. 2) Perencanaan program. 3) Implementasi program. 4) Peningkatan program. 5) Sertifikasi program. Model evaluasi yang fokus pada pemanfaatan (Utilization-Focused Evaluation) didasarkan atas asumsi bahwa (1) tujuan utama dari evaluasi adalah menyediakan informasi pada proses pembuatan keputusan; dan (2) evaluasi bisa dimanfaatkan bila ada faktor personal. Model CSE-UCLA mempunyai lima tahap evaluasi, yaitu: perencanaan, pengembangan, implementasi, hasil, dan dampak. Model ini disempurnakan oleh Fernandes menjadi empat tahap, yaitu: 1) Needs Assesment (hal yang perlu dipertimbangkan, kebutuhan, dan tujuan jangka jauh). 2) Program Planning (rencana disusun berdasarkan analisis kebutuhan). 3) Formative Evaluation (keterlaksanaan program). 4) Summative Evaluation (hasil dan dampak dari program). Model yang ketiga adalah model UFE (Utilization Focused Evaluation). Model ini dikembangkan Michael Quinn Patton ini adalah pendekatan berdasarkan prinsip bahwa evaluasi harus fokus pada kebermanfaatan dari sisi si pengguna. Oleh karena itu evaluasi harus direncanakan dan dilakukan dengan cara-cara yang bisa meningkatkan pemanfaatan suatu program diklat bisa memberi informasi untuk meningkatkan kinerja. UFE dapat digunakan untuk berbagai jenis evaluasi (formatif, sumatif, proses, dan dampak) dan dapat juga menggunakan desain penelitian yang berbeda dan jenis datanya. UFE dapat digunakan dalam berbagai cara tergantung pada konteks dan kebutuhan situasi. Model ini terdiri atas 17 langkah. Yaitu sebagai berikut. Gunungsempu,Tamantirto, Kasihan, Bantul 12

19 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN ) Menilai dan membuat program, serta kesiapan lembaga untuk menerapkan UFE. 2) Menilai dan meningkatkan kesiapan kompetensi evaluator dalam melakukan UFE. 3) Mengidentifikasi, mengatur, dan melibatkan pengguna utama: faktor pribadi. 4) Analisis situasi yang dilakukan bersama-sama dengan pengguna. 5) Mengidentifikasi dan memprioritaskan penggunaan dengan menentukan tujuan prioritas. 6) Mempertimbangkan dan membuat proses jika diperlukan. 7) Fokus pertanyaan evaluasi yang prioritas. 8) Periksa area penyelidikan evaluasi: pelaksanaan, hasil, dan pertanyaan atribusi. 9) Tentukan model intervensi atau teori perubahan apa yang dievaluasi. 10) Negosiasikan metode yang tepat untuk menghasilkan temuan kredibel yang mendukung penggunaan oleh pengguna. 11) Pastikan pengguna memahami kontroversi dan implikasi dari metode yang digunakan. 12) Simulasikan penggunaan temuan: evaluasi setara untuk gladi resik. 13) Mengumpulkan data dengan perhatian terus menerus. 14) Mengatur dan menyajikan data untuk interpretasi dan digunakan oleh pengguna: analisis, interpretasi, penilaian, dan rekomendasi 15) Siapkan laporan evaluasi untuk memfasilitasi penggunaan dan menyebarluaskan temuan yang signifikan untuk memperluas manfaat. 16) Menindaklanjuti bersama-sama pengguna untuk memfasilitasi dan meningkatkan penggunaan. 17) Meta-evaluasi penggunaan: akuntabel, belajar, dan meningkatkan. D. Evaluasi Pasca Diklat Program Evaluasi Pascadiklat (Post Training Evaluation) merupakan evaluasi yang ditujukan untuk mengukur dan menilai capaian hasil diklat yang telah diikuti oleh individu. Tujuannya adalah untuk menentukan tingkat keberhasilan suatu diklat. Hasil evaluasi pascadiklat dijadikan umpan balik untuk merencanakan kembali penyelenggaraan diklat di masa mendatang dan memberikan kontribusi positif terhadap peningkatan kinerja alumni peserta diklat. Evaluasi pascadiklat dibutuhkan untuk mengambil keputusan tentang efektifitas hasil diklat di lingkungan kerja. Dalam 13 Gunungsempu,Tamantirto, Kasihan, Bantul

20 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 melakukan evaluasi pascadiklat, diperlukan sebuah perencanaan, tujuan, sasaran dan instrumen yang akan digunakan agar menghasilkan sebuah analisis dan kesimpulan yang baik untuk mendukung pengambilan keputusan yang tepat sasaran. 1. Tujuan Evaluasi Pascadiklat Secara detail, tujuan dari evaluasi pascadiklat adalah sebagai berikut: a. Mengetahui relevansi materi diklat. Relevansi materi adalah tingkat kesesuaian materi yang diberikan selama diklat dengan kebutuhan pengetahuan dalam menunjang pelaksanaan pekerjaan sehari-hari. Semakin tinggi tingkat relevansinya maka akan semakin tinggi peluang untuk menyelesaikan pekerjaannya secara cepat, akurat dan bertanggung jawab. b. Mengetahui tingkat pendayagunaan alumni. Pendayagunaan alumni diklat adalah tingkat pelimpahan tugas atau pemanfaatan alumni diklat berkait dengan bidang tugas sesuai dengan tugas pokok dan fungsinya. c. Mengetahui tingkat kompetensi alumni. Kompetensi adalah penambahan pengetahuan peserta tentang materi-materi yang diberikan dalam diklat dan kemampuan untuk mengaplikasikannya di lingkungan kerja alumni masingmasing. d. Mengetahui kualitas pengajar dan panitia. Dalam evaluasi pascadiklat seluruh aspek akan dievaluasi termasuk pengajar dan panitia penyelenggaranya, dengan demikian yang baik dapat dipertahankan dan yang kurang akan disempurnakan. e. Mengetahui kelengkapan sarana dan prasarana yang representatif dalam pelaksanaan suatu diklat sehingga dapat berjalan dengan nyaman, efektif dan efisien. 2. Tahapan Evaluasi Pascadiklat Dalam melakukan evaluasi pascadiklat, ada beberapa langkah yang bisa dilakukan. Adapun langkah itu adalah sebagai berikut. Langkah 1: Persiapan Evaluasi Pada langkah ini terdapat tiga kegiatan pokok yang berkaitan dengan pelaksanaan evaluasi yaitu: menentukan tujuan atau maksud evaluasi, merumuskan informasi yang akan dicari atau memfokuskan evaluasi dan menentukan cara pengumpulan data. Gunungsempu,Tamantirto, Kasihan, Bantul 14

21 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 Beberapa kriteria yang digunakan dalam merumuskan tujuan evaluasi adalah: (1) kejelasan, (2) keterukuran, (3) kegunaan dan kemanfaatan, (4) relevansi dan kesesuaian atau compatibility. Jadi tujuan evaluasi harus jelas, terukur, berguna, relevan dan sesuai dengan kebutuhan pengembangan program diklat. Dalam merumuskan informasi atau memfokuskan evaluasi harus berdasarkan kepada tujuan evaluasi. Terdapat beberapa metode dalam merumuskan pertanyaan evaluasi yaitu : (1) menganalisis objek, (2) menggunakan kerangka teoritis, (3) memanfaatkan keahlian dan pengalaman dari luar, (4) berinteraksi dengan audiens kunci. Menentukan cara pengumpulan data, misalnya survei atau yang lain, ditentukan pula pendekatan dalam pengumpulan data. Terdapat beberapa prosedur pengumpulan data dengan pendekatan kuantitatif, misalnya observasi, tes, survei atau lainnya. Langkah 2: Mengembangkan Instrumen Setelah metode pengumpulan data ditentukan, selanjutnya ditentukan pula bentuk instrumen yang akan digunakan serta kepada siapa instrumen tersebut ditujukan (respondennya). Terdapat syarat-syarat yang harus dipenuhi oleh instrumen evaluasi sebagai berikut: (1) validitas adalah keabsahan instrumen dalam mengukur apa yang seharusnya diukur, (2) reliabilitas adalah ketetapan hasil yang diperoleh, misalnya bila melakukan pengukuran dengan orang yang sama dalam waktu yang berlainan atau orang yang lain dalam waktu yang sama, (3) objektivitas adalah upaya penerjemahan hasil pengukuran dalam bilangan atau pemberian skor tidak terpengaruh oleh siapa yang melakukan, (4) standarisasi untuk memastikan evaluator mempunyai persepsi yang sama dalam mengukur karena adanya petunjuk khusus pengisian data, (5) relevansi adalah kepatuhan untuk mengembangkan berbagai pertanyaan agar sesuai dengan maksud instrumen, (6) mudah digunakan. Langkah 3: Mengumpulkan Data Dalam melakukan pengumpulan data ini dilakukan dengan berbedabeda pada masing-masing level. Pada level reaksi data yangg dikumpulkan berupa data kuantitatif dengan menggunakan metode survei. Kemudian pada level pembelajaran data yang dikumpulkan berupa data kuantitatif dengan menggunakan tes. Selanjutnya pada level perilaku, data yang dikumpulkan 15 Gunungsempu,Tamantirto, Kasihan, Bantul

22 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 melalui observasi atau dapat juga dengan rencana aksi (action plan), yaitu rencana tahapan tindakan yang akan dilakukan oleh peserta pelatihan dalam mengimplementasikan hasil pelatihan yang telah diikuti. Dalam hal ini para peserta harus mempunyai suatu sasaran peningkatan kinerja/kompetensi yang bersangkutan dalam unit kerja masing-masing yang kemudian diukur dengan mengunakan patokan kinerja/kompetensi yang bersangkutan. Kemudian yang terakhir, yaitu pada level hasil atau dampak, pada data yang dikumpulkan dapat melalui atasan, peserta pelatihan, bawahan atau rekan kerja (client). Langkah 4: Mengolah dan Menganalisis Data Setelah data yang diperlukan sudah terkumpul, maka langkah berikutnya adalah mengolah dan menganalisis data. Dalam menganalisis data dan menafsirkannya (menginterpretasikan) harus berdasarkan hasil data yang telah berhasil didapatkan. Kemudian menyajikannya dalam bentuk yang mudah dipahami dan komunikatif. Langkah 5: Menyusun Laporan Melaporkan merupakan langkah terakhir kegiatan evaluasi pelatihan. Laporan disusun dengan format yang telah disepakati oleh tim. Langkah terakhir evaluasi ini erat kaitannya dengan tujuan diadakannya evaluasi. Langkah-langkah tersebut dapat dengan digunakan untuk menjawab sejauh mana evaluasi pelatihan yang akan dilakukan dan bagaimana pelaksanaan proses pelatihan dari awal hingga akhir sehingga memberikan hasil untuk improvisasi pada pelatihan-pelatihan selanjutnya. Gunungsempu,Tamantirto, Kasihan, Bantul 16

23 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 BAB III METODE KAJIAN EVALUASI PASCADIKLAT A. Jenis Kajian Penyusunan Kajian Evaluasi Pascadiklat ini menggunakan penelitian dengan jenis evaluatif. Kajian yang dilakukan pada kegiatan ini fokus pada proses evaluasi program evaluasi pascadiklat yang dilakukan oleh Badan Pendidikan dan Pelatihan DIY. B. Model Evaluasi Dalam mengkaji evaluasi pascadiklat ini, model evaluasi yang digunakan menggunakan model expert judgement. Evaluasi ini dilakukan dengan cara melibatkan ahli evaluasi dan bidang kediklatan untuk mengkaji proses evaluasi pascadiklat untuk mengetahui kelebihan atau kelemahan dalam aspek-aspek yang terkait dengan evaluasi pascadiklat. C. Ruang Lingkup Pekerjaan dan Wilayah Pekerjaan Sesuai dengan tujuan yang ingin dicapai dalam kajian evaluasi pascadiklat ini, maka ruang lingkup pekerjaan ini mencakup hal-hal sebagai berikut : 1. Persiapan yang meliputi : a. Penyusunan rencana dan jadwal kegiatan yang mengacu pada Kerangka Acuan Kerja (KAK); b. Penyiapan desain kajian awal; c. Penyiapan instrumen riset lapangan; 2. Pelaksanaan kajian, yang meliputi: a. Menyempurnakan dan menggandakan instrumen penelitian; b. Melakukan konsultasi dengan tim pekerja/panitia tetap; c. Menggali data di Badan Pendidikan dan Pelatihan DIY dan melakukan pertemuan konsultatif dengan pihak Badan Pendidikan dan Pelatihan DIY; d. Melakukan validasi terhadap draf naskah laporan kajian yang telah disusun kepada pihak-pihak yang relevan; e. Melakukan revisi draf naskah laporan kajian sebagai hasil validasi. 2. Menyusun rekomendasi kepada pihak berwenang. Gunungsempu,Tamantirto, Kasihan, Bantul 17

24 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN Pelaporan, yang meliputi: a. Menyusun dan mempersentasikan laporan persiapan dan laporan akhir; b. Menyempurnakan laporan berdasarkan hasil persentasi. Ruang lingkup kajian evaluasi pascadiklat ini meliputi kajian konsep evaluasi pascadiklat dari perspektif keilmuan, kajian proses pelaksanaan dan metode evaluasi yang dilakukan, serta rumusan rekomendasi pedoman teknis pelaksanaan evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY. D. Tempat dan Waktu Penelitian Penelitian ini dilaksanakan di Badan Pendidikan dan Pelatihan DIY selama 60 hari (2 bulan), dengan sebaran waktu sebagai berikut: No Tahapan Bo- Minggu ke- Keluaran per Tahapan Kegiatan bot Penyusunan desain Penyusunan Proposal Kajian Penyusunan Instrumen Kajian Pengumpulan, Pengolahan, Analisis data Penyusunan Draf Laporan Akhir proposal draf riset desain 10% hasil koordinasi dengan tim & Bandiklat DIY Penetapan parameter Desain angket dan 15% depth interview Desain analisis data Laporan penelitian lapangan Data sekunder & 40% lapangan Laporan tabulasi data Display data Hasil kompilasi data lokasi kajian Hasil inputing data 20% lokasi kajian Penyajian data Gunungsempu,Tamantirto, Kasihan, Bantul 18

25 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 Draf laporan kajian Presentasi laporan kajian Hasil revisi laporan kajian 6 Pemaparan Draf Laporan Hasil Kajian Kontribusi pemikiran dan sumbang saran Hasil analisis dan penyempurnaan 5% Draft laporan akhir Presentasi laporan akhir Penyempurna Hasil evaluasi 7 an Laporan presentasi 10% Akhir Hasil asistensi dengan stakeholder Revisi laporan akhir Naskah laporan akhir E. Jenis dan Sumber Data Jenis data dalam penelitian ini, terdiri atas: 1. Data Primer a. Laporan evaluasi pascadiklat. b. Standar Operating Procedure evaluasi pascadiklat. c. Pedoman penyelenggaraan diklat. d. Peraturan perundangan yang relevan. e. Instrumen evaluasi pascadiklat. 2. Data Sekunder Data sekunder meliputi data yang terkait secara tidak langsung dengan proses, hasil, dan dampak evaluasi pasca diklat dari SKPD terkait dan dari sumber lainnya. Adapun sumber datanya adalah 1. Kepala Badan Pendidikan dan Pelatihan DIY 2. Kepala Bidang Pengembangan dan Kemitraan Badan Pendidikan dan Pelatihan DIY 19 Gunungsempu,Tamantirto, Kasihan, Bantul

26 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN Kepala Subbidang Pengembangan Badan Pendidikan dan Pelatihan DIY F. Alat Pengumpul Data Data yang dikumpulkan menggunakan tiga alat pengumpul data, yaitu: 1. Panduan Wawancara Wawancara dilakukan untuk menggali data dampak diklat dan evaluasi pascadiklat yang telah dilakukan oleh Badan Pendidikan dan Pelatihan DIY. 2. Panduan Studi Dokumen Studi dokumen digunakan untuk menggali data sekunder terkait dengan data kajian evaluasi pascadiklat yang telah dilakukan. Fokus pada sistematika dan proses serta instrumen, pengolahan data evaluasi pascadiklat. G. Keabsahan Data Untuk menilai keabsahan data, validitas data yang ditemukan menggunakan cara-cara sebagai berikut. 1. Triangulasi. Yaitu dengan melakukan cross-check data pada sumber yang berbeda, dan dengan teknik yang berbeda (triangulasi sumber dan triangulasi teknik). 2. Teori. Teori yang mendukung temuan bisa dijadikan alat untuk menilai keabsahan data (Malterud, 2001). 3. Member check. Data temuan di-cross-check dengan partisipan untuk menilai keakuratan. H. Teknik Analisis Data Data kualitatif dianalisis dengan teknik kualitatif. Data kualitatif didapatkan dari proses induktif. Analisis tematik yang dilakukan adalah sebagai berikut. 1. Mencermati data berkali-kali secara komprehensif. 2. Mengidentifikasi pola dan tema. 3. Mereorganisasi data. Pengolahan data yang dilakukan mengikuti dimulai dengan membaca secara berulang-ulang data yang ditemukan, kemudian diidentifikasi pola dan temanya, dilakukan triangulasi data, sehingga bisa diyakini keabsahannya. Setelah itu, dilakukan interpretasi. Interpretasi ini mengacu pada tujuan kajian yang dilakukan dan Gunungsempu,Tamantirto, Kasihan, Bantul 20

27 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 menggunakan dasar teoretik sebagai bahan pijakan. Dan dilakukan display data agar bisa dipahami dan bisa diuraikan pada pembahasan diskusi. Adapun tahapannya dapat dijelaskan pada gambar sirkuler seperti di bawah ini. Membaca Kritis Pemahaman Interpretasi Gambar 3.1. Tahapan Analisis Data I. Kriteria Keberhasilan Kriteria keberhasilan dari kegiatan kajian evaluasi pascadiklat ini adalah: 1. Teridentifikasinya tujuan-tujuan evaluasi pascadiklat. 2. Terwujudnya kajian atas evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY. 3. Terwujudnya standar pelaksanaan evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY. Gunungsempu,Tamantirto, Kasihan, Bantul 21

28 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 BAB IV KAJIAN EVALUASI PASCADIKLAT BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA A. Deskripsi Evaluasi Pascadiklat Badan Pendidikan dan Pelatihan Daerah Istimewa Yogyakarta 1. Maksud dan Tujuan Evaluasi Pascadiklat Kegiatan evaluasi pascadiklat merupakan salah satu kegiatan yang melekat dari fungsi monitoring dan evaluasi yang harus dilakukan oleh Badan Pendidikan dan Pelatihan DIY. Maksud dari evaluasi pascadiklat adalah untuk mendapatkan gambaran mengenai capaian keberhasilan diklat pada alumni diklat. Evaluasi pascadiklat bertujuan untuk menggali informasi manfaat diklat yang diikuti oleh aparatur pemerintah yang setidaknya memuat informasi sebagai berikut. sebagai berikut. a. Jabatan alumni setelah tiga bulan mengikuti diklat (atau antara 6-12 bulan). b. Mata diklat yang bermanfaat dalam pelaksanaan tugas. c. Mata diklat yang kurang bermanfaat dalam pelaksanaan tugas. d. Pemanfaatan alumni diklat dalam jabatan struktural. e. Perkembangan perubahan yang telah dilaksanakan. f. Rencana perubahan yang akan dilaksanakan. g. Tingkat peningkatan kinerja alumni. h. Tingkat peningkatan kinerja instansi unit organisasi alumni. 2. Manfaat Evaluasi Pascadiklat Evaluasi pascadiklat yang dilakukan diharapkan memiliki manfaat sebagai berikut. a. Mendapatkan informasi sebagai bahan penentuan kebijakan pengembangan sumber daya manusia aparatur Pemerintah Daerah DIY. b. Mendapatkan informasi tingkat kinerja alumni, tingkat pemberdayaan alumni, serta penerapan pengetahuan yang diperoleh alumni selama diklat. c. Umpan balik dalam rangka perbaikan program kediklatan yang diselenggarakan Badan Pendidikan dan Pelatihan DIY. d. Pertanggungjawaban kepada pemberi tugas diklat. 22 Gunungsempu,Tamantirto, Kasihan, Bantul

29 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 e. Bagi peserta, hasil evaluasi digunakan sebagai pendorong untuk lebih memahami materi pelajaran dan mengembangkannya dalam pelaksanaan pekerjaan sehari-hari sesuai dengan ketugasannya. 3. Pelaksanaan Evaluasi Pascadiklat a. Model Evaluasi Ada beberapa model yang digunakan dalam beberapa kegiatan evaluasi pascadiklat. Model tersebut adalah: 1) CIPP 2) Model Empat Level Pelatihan b. Metodologi 1) Jenis evaluasi: penelitian expose facto. 2) Sumber data: sumber data evaluasi adalah para alumni yang diambil dengan menggunakan teknik sampling inconvenience dari para alumni diklat dan dokumen terkait. 3) Teknik pengumpulan data: a) Studi pustaka/studi dokumen. b) Wawancara. c) Kuesioner. 4) Teknik analisis data: a) Teknik verbal (kualitatif) b) Teknik kuantitatif (deskriptif kuantitatif) c. Tahapan Evaluasi Tahap 1 : Persiapan Evaluasi Pada langkah ini terdapat tiga kegiatan pokok yang berkaitan dengan pelaksanaan evaluasi yaitu: menentukan tujuan atau maksud evaluasi, merumuskan informasi yang akan dicari atau memfokuskan evaluasi dan menentukan cara pengumpulan data. Beberapa kriteria yang digunakan dalam merumuskan tujuan evaluasi adalah : (1) kejelasan, (2) keterukuran, (3) kegunaan dan kemanfaatan, (4) relevansi dan kesesuaian atau compatibility. Dalam merumuskan informasi atau memfokuskan evaluasi didasarkan pada beberapa metode dalam merumuskan pertanyaan evaluasi yaitu : 23 Gunungsempu,Tamantirto, Kasihan, Bantul

30 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 (1) menganalisis objek, (2) menggunakan kerangka teoritis, (3) memanfaatkan keahlian dan pengalaman dari luar, (4) berinteraksi dengan audiens kunci. Menentukan cara pengumpulan data, misalnya survei atau yang lain, ditentukan pula pendekatan dalam pengumpulan data. Terdapat beberapa prosedur pengumpulan data dengan pendekatan kuantitatif, misalnya observasi, tes, survei atau lainnya. Tahap 2: Mengembangkan Instrumen Setelah metode pengumpulan data ditentukan, selanjutnya ditentukan pula bentuk instrumen yang akan digunakan. Instrumen yang akan dibuat disesuaikan dengan syarat-syarat yang harus dipenuhi oleh instrumen evaluasi sebagai berikut: (1) validitas adalah keabsahan instrumen dalam mengukur apa yang seharusnya diukur, (2) reliabilitas adalah ketetapan hasil yang diperoleh, misalnya bila melakukan pengukuran dengan orang yang sama dalam waktu yang berlainan atau orang yang lain dalam waktu yang sama, (3) objektivitas adalah upaya penerjemahan hasil pengukuran dalam bilangan atau pemberian skor tidak terpengaruh oleh siapa yang melakukan, (4) standarisasi untuk memastikan evaluator mempunyai persepsi yang sama dalam mengukur karena adanya petunjuk khusus pengisian data, (5) relevansi adalah kepatuhan untuk mengembangkan berbagai pertanyaan agar sesuai dengan maksud instrumen, (6) mudah digunakan. Tahap 3: Mengumpulkan Data Dalam melakukan pengumpulan data ini dilakukan sesuai masingmasing level. Pada level reaksi data yangg dikumpulkan berupa data kuantitatif dengan menggunakan metode survei. Kemudian pada level pembelajaran data yang dikumpulkan berupa data kuantitatif hasil pembelajaran. Selanjutnya pada level perilaku, data yang dikumpulkan melalui observasi atau dapat juga dengan rencana aksi (action plan), yaitu rencana tahapan tindakan yang akan dilakukan oleh peserta pelatihan dalam mengimplementasikan hasil pelatihan yang telah diikuti. Dalam hal ini para peserta harus mempunyai suatu sasaran peningkatan kinerja/kompetensi yang bersangkutan dalam unit kerja 24 Gunungsempu,Tamantirto, Kasihan, Bantul

31 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 masing-masing yang kemudian diukur dengan mengunakan patokan kinerja/kompetensi yang bersangkutan. Kemudian yang terakhir, yaitu pada level hasil atau dampak, pada data yang dikumpulkan dapat melalui atasan, peserta pelatihan, bawahan atau rekan kerja (client). Tahap 4: Mengolah dan Menganalisis Data Setelah data yang diperlukan sudah terkumpul, maka langkah berikutnya adalah mengolah dan menganalisis data. Dalam menganalisis data dan menafsirkannya (menginterpretasikan) harus berdasarkan hasil data yang telah berhasil didapatkan. Kemudian menyajikannya dalam bentuk yang mudah dipahami dan komunikatif. Tahap 5 : Menyusun Laporan Melaporkan merupakan langkah terakhir kegiatan evaluasi pelatihan. Laporan disusun dengan format yang telah disepakati oleh tim. Langkah terakhir evaluasi ini erat kaitannya dengan tujuan diadakannya evaluasi. Langkah-langkah tersebut dapat digunakan untuk menjawab sejauh mana evaluasi pelatihan yang akan dilakukan dan bagaimana pelaksanaan proses pelatihan dari awal hingga akhir sehingga memberikan hasil untuk improvisasi pada pelatihan-pelatihan selanjutnya. d. Instrumen Evaluasi menggunakan alat pengumpul data berupa angket yang berisi pertanyaan tertutup dengan jawaban Sangat Setuju, Setuju, Tidak Setuju dan Sangat Tidak Setuju dan pertanyaan terbuka yang berupa isian. Untuk mencegah social desirability maka angket disusun berdasarkan metode yang dikembangkan Thurstone yaitu favourable dan unfavourable. Data yang diambil dari responden adalah data penilaian responden terhadap alumni, sehingga pengukuran yang dihasilkan merupakan pengukuran kinerja yang sesungguhnya tetapi lebih merupakan persepsi responden terhadap kinerja alumni. Skor jawaban dengan menggunakan skala Likert (5 pilihan) dengan skor minimal = 1 dan skor maksimal = 5. Gunungsempu,Tamantirto, Kasihan, Bantul 25

32 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 Jawaban responden terhadap kuesioner yang telah diberikan kepada alumni diklat kemudian disusun dan diklasifikasikan ke dalam 4 (empat) indikator atau variabel, yaitu indikator tingkat perbaikan kompetensi alumni, indikator tingkat perbaikan kinerja alumni, indikator tingkat pendayagunaan alumni dan indikator kesesuaian materi diklat dengan kebutuhan lingkungan kerja. Masing-masing variabel diberikan penilaian atau skor pada tiap-tiap bagian pertanyaan. Total skor yang dicapai masing-masing responden kemudian diklasifikasikan ke dalam 5 kategori. Untuk setiap indikator, pengklasifikasian ke-5 kategori tersebut terdapat perbedaan. Untuk indikator tingkat perbaikan kompetensi alumni dan indikator tingkat perbaikan kinerja alumni pengklasifikasiannya yaitu tidak ada perubahan, sedikit lebih baik, lebih baik, sangat lebih baik dan jauh lebih baik. Untuk indikator tingkat pendayagunaan alumni pengklasifikasiannya yaitu tidak pernah sama sekali, jarang, kadangkadang, sering dan selalu. Sedangkan untuk indikator kesesuaian materi diklat dengan kebutuhan lingkungan kerja, pengklasifikasiannya yaitu tidak sesuai, kurang sesuai, sesuai, cukup sesuai dan sangat sesuai. Adapun variabel yang dievaluasi meliputi aspek-aspek sebagai berikut. 1) Kondisi awal. 2) Input. 3) Proses. 4) Produk. 5) Behavior. 6) Result. e. Kriteria Evaluasi Evaluasi penilaian dengan metode kualitatif didasarkan dari hasil jawaban responden atas pertanyaan terbuka di dalam kuesioner. Beberapa jawaban yang sama dirangkum menjadi kesimpulan. Jawaban yang berbeda-beda tetap menjadi bahan kesimpulan evaluasi pascadiklat. Meskipun jawaban orang-per orang dari responden diakui mempunyai kelemahan yang berkecenderungan subyektif, tetapi jawaban tersebut tetap diinventarisasi dengan tujuan ke arah penyempurnaan proses penyelenggaraan diklat. Untuk menghindari isian yang subyektif, jawaban 26 Gunungsempu,Tamantirto, Kasihan, Bantul

33 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 yang sifatnya kualitatif dilakukan pendekatan kuantitatif dengan menghitung jumlah setiap pendapat yang diberikan oleh responden. Evaluasi penilaian dengan metode kualitatif tersebut dideskripsikan untuk membuat gambaran secara obyektif, sistematis, faktual, dan akurat mengenai fakta-fakta, sifat-sifat, serta hubungan antarvariabel yang diselidiki yang berkaitan dengan dengan peristiwa atau situasi dan kondisi selama pelatihan. Fenomena atau peristiwa yang terjadi yang berkaitan dengan proses pelaksanaan diklat tersebut berkaitan dengan tindak lanjut diklat, kualitas bahan ajar, sarana dan prasarana belajar, materi pelajaran, widyaiswara, narasumber, instruktur, panitia, pendamping, dan konsumsi. B. Kajian Evaluasi Pascadiklat 1. Tujuan Evaluasi Pascadiklat Secara konseptual fungsi evaluasi pasca diklat dapat dirumuskan antara lain sebagai berikut: a. Menentukan apakah program itu mencapai tujuannya. b. Mengidentifikasi kekuatan dan kelemahan program, yang dapat mengarah pada perubahan, seperti yang dibutuhkan. c. Menentukan rasio keuntungan program pelatihan. d. Menentukan siapa yang seharusnya berpartisipasi dalam program pelatihan di masa yang akan datang. e. Mengidentifikasi peserta yang mana yang paling mendapat manfaat atau yang paling tidak mendapat manfaat dari program itu. f. Mengumpulkan data untuk membantu dalam memasarkan program itu di masa yang akan datang. g. Membangun database untuk membantu manajemen dalam mengambil keputusan. Berdasarkan fungsi di atas, maka kegiatan pengkajian evaluasi pascadiklat bertujuan untuk mengetahui hal-hal sebagai berikut: (a) Apakah metode dan instrumen evaluasi pascadiklat yang digunakan telah mampu mengukur ketercapaian program diklat? (b) Apakah evaluasi pascadiklat yang dilaksanakan mampu mengungkap kekuatan dan kelemahan program diklat sebagai dasar perbaikan program? Gunungsempu,Tamantirto, Kasihan, Bantul 27

34 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 (c) Apakah evaluasi pascadiklat yang dilaksanakan mampu mengungkap rasio keuntungan program diklat bagi stakeholder (pengguna lulusan diklat)? (d) Apakah evaluasi pascadiklat yang dilaksanakan mampu mengungkap program diklat mana yang paling bermanfaat dan program diklat mana yang kurang bermanfaat bagi lembaga pengirim? (e) Apakah evaluasi pascadiklat yang dilaksanakan mampu mengungkap bahwa lembaga pengirim peserta diklat telah mengirimkan orang sesuai dengan kriteria dan kebutuhan lembaga tersebut? Sebagaimana disampaikan oleh Oemar Hamalik (2007), bahwa peserta program diklat hendaknya memenuhi beberapa persyaratan, sebagai berikut: (a) akademik, ialah peserta yang dikirim sesuai dengan jenjang pendidikan dan keahlian yang dipersyaratkan; (b) jabatan, ialah peserta diklat yang dikirim telah menempati pekerjaan tertentu, atau akan ditempatkan pada pekerjaan tertentu sesuai dengan jenis Diklat yang akan diikuti; (c) pengalaman kerja, ialah peserta diklat yang dikirim akan diberikan kesempatan untuk memperoleh pengalaman pekerjaan terkait jenis diklat yang akan diikuti; (d) motivasi dan minat, peserta yang dikirim memiliki motivasi dan minat terhadap pekerjaan yang akan atau sedang diemban sesuai jenis diklat yang diikuti. (d) pribadi, peserta diklat yang dikirim memenuhi persyaratan terkait aspek moral dan sifat-sifatnya yang diperlukan untuk pekerjaan yang akan dipikulkan atau yang telah dilakukan; (e) intelektual, tingkat berpikir, dan pengetahuan, dapat diketahui melalui tes seleksi. 2. Manfaat Kegiatan Pengkajian (a) Bagi Badan Pendidikan dan Pelatihan DIY, hasil kajian terhadap proses pelaksanaan dan metode evaluasi pascadiklat ini dapat dijadikan sebagai umpan balik dalam rangka perbaikan program kegiatan evaluasi pascadiklat. (b) Informasi yang diperoleh dari hasil kajian terhadap proses pelaksanaan dan metode evaluasi pascadiklat dapat dijadikan sebagai salah satu dasar pertimbangan dalam penyusunan kebijakan pelaksanaan evaluasi pascadiklat yang lebih efektif dan efisien. 3. Metode Kajian (a) Pengumpulan data yang bersumber dari dokumen laporan kegiatan evaluasi pascadiklat yang telah dilaksanakan Badan Pendidikan dan Pelatihan DIY. 28 Gunungsempu,Tamantirto, Kasihan, Bantul

35 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 (b) Melakukan analisis data dengan cara menelaah proses pelaksanaan dan metode evaluasi pascadiklat yang telah dilaksanakan Badan Pendidikan dan Pelatihan DIY dari pespektif keilmuan. (c) Merumuskan rekomendasi pedoman teknis pelaksanaan evaluasi pascadiklat Badan Pendidikan dan Pelatihan DIY. 4. Hasil Kajian a. Perumusan tujuan evaluasi pasca diklat. Rumusan tujuan evaluasi yang dilaksanakan Badan Pendidikan dan Pelatihan DIY bila ditinjau secara konseptual belum mencakup tujuan evaluasi pascadiklat secara komprehensif. Sebaiknya tujuan yang akan dicapai mengacu pada tujuan ideal evaluasi pascadiklat, yaitu: 1) Mengetahui relevansi materi diklat. Relevansi materi adalah tingkat kesesuaian materi yang diberikan selama diklat dengan kebutuhan pengetahuan dalam menunjang pelaksanaan pekerjaan sehari-hari. Semakin tinggi tingkat relevansinya maka akan semakin tinggi peluang untuk menyelesaikan pekerjaannya secara cepat, akurat dan bertanggung jawab. 2) Mengetahui tingkat pendayagunaan alumni. Pendayagunaan alumni diklat adalah tingkat pelimpahan tugas atau pemanfaatan alumni diklat berkait dengan bidang tugas sesuai dengan tugas pokok dan fungsinya. 3) Mengetahui tingkat kompetensi alumni. Kompetensi adalah penambahan pengetahuan peserta tentang materi-materi yang diberikan dalam diklat dan kemampuan untuk mengaplikasikannya di lingkungan kerja alumni masing-masing. 4) Mengetahui perencanaan perubahan dan perkembangan perubahan jangka pendek, menengah, dan panjang yang telah dilaksanakan. Ketika mengikuti diklat, peserta memiliki rencana untuk pengembangan kelembagaan. Evaluasi pascadiklat difokuskan untuk mengetahui rencana apa yang mereka buat ketika mengikuti diklat dan sejauh mana rencana pengembangan tersebut sudah dijalankan. 5) Pemanfaatan alumni diklat dalam jabatan yang diampu, baik jabatan struktural, jabatan fungsional umum maupun jabatan fungsional tertentu. 6) Perkembangan perubahan/inovasi yang telah dilaksanakan. 7) Tingkat peningkatan kinerja instansi unit organisasi alumni diklat. 29 Gunungsempu,Tamantirto, Kasihan, Bantul

36 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 b. Metode Pelaksanaan Evaluasi Pascadiklat yang Telah Dilaksanakan Badan Pendidikan dan Pelatihan DIY 1) Metode dan instrumen evaluasi pascadiklat yang digunakan kurang mampu mengukur ketercapaian program diklat secara valid dan komprehensif. Subyek dan sumber data seharusnya tidak hanya alumni peserta diklat tetapi juga atasan langsung yang bersangkutan sebagai pengguna alumni (stakeholder). Atasan alumni perlu dimintai tanggapannya apakah pegawai yang telah dikirim mengikuti diklat setelah kembali ke tempat kerjanya ada perbaikan dalam hal kompetensi dan kinerja. Kemudian, ditanyakan juga apakah atasan langsung pernah memberdayakan para alumni diklat sesuai jenis diklat yang pernah diikuti. Terkait penelusuran peningkatan kinerja alumni diklat dalam melaksanakan pekerjaan terkait jenis diklat yang sudah diperoleh, tentunya tidak akan bisa diukur jika alumni tersebut belum pernah diberdayakan stakeholder dalam bidang pekerjaan yang relevan. Dengan kata lain, perbaikan kinerja hanya bisa diukur jika alumni sudah diberdayakan atau telah diberikan tugas dan tanggung jawab pekerjaan sesuai jenis diklat yang telah diikuti. Untuk itu perlu penelusuran kepada alumni, apakah mereka dikirim mengikuti diklat karena akan diberikan tugas dan tanggung jawab dalam bidang pekerjaan sesuai jenis diklat yang akan ditempuh? Ataukah mereka dikirim mengikuti diklat oleh atasan dalam rangka peningkatan kompetensi dan kinerja pada bidang tugas dan pekerjaan yang sedang dijalani/diembannya? Ataukah mereka dikirim mengikuti diklat oleh atasan tidak berhubungan dengan tugas dan tanggung jawab pekerjaan yang akan diberikan atau sedang dijalankan? Analisa data terkait ketiga background tersebut perlu dipisahkan. Terkait waktu penyebaran angket evaluasi pascadiklat. Waktu pengiriman angket yang jaraknya terlalu lama dari waktu pelaksanaan diklat yang telah diikuti alumni, datanya dapat mengalami bias. Bisa jadi alumni meningkat kompetensi dan kinerjanya bukan karena pengaruh diklat yang diberikan oleh Badan Pendidikan dan Pelatihan DIY, tetapi karena faktor lain. Selain itu, bisa jadi alumni telah lupa dengan materi diklat yang ditanyakan dalam angket. Untuk itu waktu pengiriman angket Gunungsempu,Tamantirto, Kasihan, Bantul 30

37 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 evaluasi pascadiklat sebaiknya tidak terlalu jauh jaraknya dengan waktu pelaksanaan diklat. Skala yang digunakan pada instrumen. Terdapat kekurang runtutan rentang skala pernyataan pada instrumen respons alumni. Dalam skala respons digunakan urutan skala persepsi alumni terhadap tingkat pendayagunaan sebagai berikut: (1) tidak pernah sama sekali, (2) jarang, (3) kadang-kadang, (4) sering, (5) selalu. Akan lebih tepat jika menggunakan rentang skala sebagai berikut: (1) tidak pernah sama sekali, (2) jarang/kadang-kadang (3) cukup sering, (4) sering, (5) selalu. Begitu juga skala instrumen persepsi responden terhadap kesesuaian materi diklat dengan kebutuhan dunia kerja. Dalam skala respons digunakan urutan rentang skala sebagai berikut: (1) tidak sesuai, (2) kurang sesuai, (3) sesuai, (4) cukup sesuai, (5) sangat sesuai. Akan lebih tepat jika menggunakan rentang skala sebagai berikut: (1) tidak sesuai, (2) kurang sesuai, (3) cukup sesuai, (4) sesuai, (5) sangat sesuai. 2) Evaluasi pascadiklat yang dilaksanakan kurang cukup mampu mengungkap kekuatan dan kelemahan program diklat sebagai dasar perbaikan program. Jika perbaikan kompetensi alumni hanya diukur melalui persepsi alumni, bisa jadi Badan Pendidikan dan Pelatihan DIY hanya dapat memperoleh data terkait dengan informasi persepsi alumni tentang pengetahuan yang didapat selama pelatihan bukan esensi kompetensi itu sendiri. Kompetensi lebih bermakna sebagai kemampuan dalam melaksanakan bidang pekerjaan tertentu, bukan sekedar penguasaan pengetahuan kognitif yang mengandalkan ingatan. Untuk memperoleh data yang valid tentang kompetensi alumni perlu juga ditanyakan kepada atasan langsung atau teman sejawat alumni. Untuk mengetahui kekuatan program atau kurikulum diklat, sebaiknya analisisnya tidak hanya dilihat dari skor total angket kompetensi, tetapi juga perlu dilakukan analisis terhadap skor setiap butir angket kompetensi, sehingga diketahui pada indikator kompetensi yang mana alumni merasa tidak ada perbaikan, atau hanya merasa sedikit lebih baik. Informasi tersebut dapat dijadikan dasar untuk perbaikan Gunungsempu,Tamantirto, Kasihan, Bantul 31

38 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 kurikulum diklat bagian mana yang masih lemah atau kurang relevan dengan kebutuhan stakeholder. 3) Evaluasi pascadiklat yang dilaksanakan belum mampu mengungkap rasio keuntungan program diklat bagi stakeholder (pengguna lulusan diklat). 4) Evaluasi pascadiklat yang dilaksanakan kurang mampu mengungkap program diklat mana yang paling bermanfaat dan program diklat mana yang kurang bermanfaat bagi lembaga pengirim. 5) Evaluasi pascadiklat yang dilaksanakan kurang mampu mengungkap bahwa lembaga pengirim peserta diklat telah mengirimkan orang yang sesuai dengan kriteria dan kebutuhan lembaga tersebut. Secara ideal, output/outcome lulusan diklat baik jika berguna bagi peningkatan kinerja lembaga pengirim (pengguna), materi diklat yang diberikan relevan dengan kebutuhan pengguna. Oleh karena itu, materi diklat yang ada perlu juga dimintakan masukan dari para pengirim/pengguna alumni. Gunungsempu,Tamantirto, Kasihan, Bantul 32

39 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 BAB V PENUTUP A. Kesimpulan Dari uraian hasil analisis, dapat disimpulkan hal sebagai berikut. 1. Rumusan tujuan evaluasi pascadiklat yang dilaksanakan Badan Pendidikan dan Pelatihan DIY bila ditinjau secara konseptual belum mencakup tujuan evaluasi pascadiklat secara komprehensif. 2. Metode dan instrumen evaluasi pascadiklat yang digunakan kurang mampu mengukur ketercapaian program diklat secara valid dan komprehensif. Subyek dan sumber data seharusnya tidak hanya alumni peserta diklat tetapi juga atasan langsung yang bersangkutan sebagai pengguna alumni (stakeholder). 3. Terkait penelusuran peningkatan kinerja alumni dalam melaksanakan pekerjaan terkait jenis diklat yang sudah diperoleh, tentunya tidak akan bisa diukur jika alumni tersebut belum pernah diberdayakan stakeholder dalam bidang pekerjaan yang relevan. 4. Waktu pengiriman angket yang jaraknya terlalu lama dari waktu pelaksanaan diklat yang telah diikuti alumni, datanya dapat mengalami bias. 5. Terdapat kekurang runtutan rentang skala pernyataan pada instrumen respons alumni. Begitu juga skala instrumen persepsi responden terhadap kesesuaian materi diklat dengan kebutuhan dunia kerja. 6. Jika perbaikan kompetensi alumni hanya diukur melalui persepsi alumni, bisa jadi Badan Pendidikan dan Pelatihan DIY hanya dapat memperoleh data terkait dengan informasi persepsi alumni tentang pengetahuan yang didapat selama pelatihan bukan esensi kompetensi itu sendiri. 7. Evaluasi pascadiklat yang dilaksanakan belum mampu mengungkap rasio keuntungan program diklat bagi stakeholder (pengguna lulusan diklat). 8. Evaluasi pascadiklat yang dilaksanakan kurang mampu mengungkap program diklat mana yang paling bermanfaat dan program diklat mana yang kurang bermanfaat bagi lembaga pengirim. 9. Evaluasi pascadiklat yang dilaksanakan kurang mampu mengungkap bahwa lembaga pengirim peserta diklat telah mengirimkan orang sesuai dengan kriteria dan kebutuhan lembaga tersebut. Gunungsempu,Tamantirto, Kasihan, Bantul 33

40 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 B. Rekomendasi Berangkat dari temuan-temuan dalam kesimpulan tersebut, berikut adalah rekomendasi yang dapat dijadikan alternatif untuk pengembangan evaluasi pascadiklat di kemudian hari. 1. Subyek dan sumber data seharusnya tidak hanya alumni peserta diklat tetapi juga atasan langsung yang bersangkutan sebagai pengguna alumni (stakeholder). Atasan alumni perlu dimintai tanggapannya apakah pegawai yang telah dikirim mengikuti diklat setelah kembali ke tempat kerjanya ada perbaikan kompetensi, dan kinerja. Apakah atasan langsung pernah memberdayakan para alumni diklat sesuai jenis diklat yang pernah ditempuh. 2. Perlu penelusuran kepada alumni, apakah mereka dikirim mengikuti diklat karena akan diberikan tugas dan tanggung jawab dalam bidang pekerjaan sesuai jenis diklat yang akan ditempuh? Ataukah mereka dikirim mengikuti diklat oleh atasan dalam rangka peningkatan kompetensi dan kinerja pada bidang tugas dan pekerjaan yang sedang dijalani/diembannya? Ataukah mereka dikirim mengikuti diklat oleh atasan tidak berhubungan dengan tugas dan tanggung jawab pekerjaan yang akan diberikan atau sedang dijalankan? Analisis data terkait ketiga background tersebut perlu dipisahkan. 3. Waktu pengiriman angket evaluasi pascadiklat sebaiknya tidak terlalu jauh jaraknya dengan waktu pelaksanaan diklat. 4. Skala yang digunakan pada instrumen akan lebih tepat jika menggunakan rentang skala sebagai berikut: (1) tidak pernah sama sekali, (2) jarang/kadang-kadang (3) cukup sering, (4) sering, (5) selalu atau menggunakan skala penilaian dengan item yang relevan. Begitu juga skala instrumen persepsi responden terhadap kesesuaian materi diklat dengan kebutuhan dunia kerja. Akan lebih tepat jika menggunakan rentang skala sebagai berikut: (1) tidak sesuai, (2) kurang sesuai, (3) cukup sesuai, (4) sesuai, (5) sangat sesuai. 5. Untuk memperoleh data yang valid tentang kompetensi alumni perlu juga ditanyakan kepada atasan langsung atau teman sejawat alumni. 6. Untuk mengetahui kekuatan program atau kurikulum diklat, sebaiknya analisisnya tidak hanya dilihat dari skor total angket kompetensi, tetapi juga perlu dilakukan analisis terhadap skor setiap butir angket kompetensi, sehingga diketahui pada indikator kompetensi yang mana alumni merasa tidak ada perbaikan, atau hanya merasa sedikit lebih baik. Informasi tersebut dapat dijadikan dasar untuk Gunungsempu,Tamantirto, Kasihan, Bantul 34

41 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 perbaikan kurikulum diklat bagian mana yang masih lemah atau kurang relevan dengan kebutuhan stakeholder. 7. Materi diklat yang ada perlu juga dimintakan masukan dari para pengirim/pengguna alumni. Gunungsempu,Tamantirto, Kasihan, Bantul 35

42 BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA TAHUN 2016 DAFTAR PUSTAKA Fitzpatrick, J.L., Sanders,J.R., Worthen,B.R. (2011) Program Evaluation. Alternative Approach and Practical Guidelines 4 th edition. New Jersey: Pearson. Mark,M.M. et.al. (2006) Evaluation of Policies, Programs, and Practices. The Sage Handbook of Evaluation. Shaw I.F et.al (ed). London: Sage Nevo, D. (2006) Evaluation in Education. The Sage Handbook of Evaluation. Shaw I.F et.al (ed). London: Sage Suharsimi A., Cepi S.A.J. (2011) Evaluasi Program, Pegangan Praktis bagi pengawas dan kepala sekolah. Jakarta: Bumi Aksara Zinovieff, M.A. (2008) Review and Analysis of Training Impact Evaluation Methods, and Proposed Measures to Supports a United System Fellowship Evaluation Framework. Geneva: United Nation Gunungsempu,Tamantirto, Kasihan, Bantul 36

43 PEMERINTAH DAERAH DAERAH ISTIMEWA YOGYAKARTA BADAN PENDIDIKAN DAN PELATIHAN PEDOMAN EVALUASI PASCADIKLAT BADAN PENDIDIKAN DAN PELATIHAN DAERAH ISTIMEWA YOGYAKARTA PEMERINTAH DAERAH ISTIMEWA YOGYAKARTA BADAN PENDIDIKAN DAN PELATIHAN 2016