Kementerian Keuangan

Transkripsi

1 Konsep Dasar Evaluasi Diklat oleh Efi Dyah Indrawati Pengertian Evaluasi Secara umum evaluasi adalah suatu proses sistematik untuk mengetahui tingkat keberhasilan dan efisiensi suatu program. Dalam konteks evaluasi di lingkungan diklat, terdapat tiga istilah yang memiliki arti berbeda karena tingkat penggunaan yang berbeda, yaitu pengukuran (measurement), penilaian (evaluation) dan pengambilan keputusan (decision making). Ketiga istilah ini berkaitan erat dan merupakan suatu rangkaian aktivitas dalam evaluasi dalam dunia kediklatan. Pengukuran (measurement) adalah suatu kegiatan untuk mendapatkan informasi atau data secara kuantitatif dengan pemberian angka kepada suatu sifat atau karakteristik tertentu kepada seseorang berdasarkan aturan tertentu. Hasil pengukuran berupa data kuantitatif dalam bentuk angka-angka (skor). Oleh karena itu, dalam pengukuran dibutuhkan adanya alat ukur (instrumen) yang digunakan untuk mengumpulkan data. Sifat dari pengukuran adalah obyektif. Pengukuran tidak membuahkan nilai atau baik buruknya sesuatu, tetapi hasil pengukuran dapat dipakai untuk penilaian atau evaluasi. Sedangkan evaluasi atau penilaian (evaluation) adalah kegiatan untuk mengetahui apakah suatu program telah berhasil dan efisien, untuk selanjutnya diambil keputusan. Mengutip dari Bates (2004) Evaluation is the systematic determination of merit, worth, and significance of something or someone using criteria against a set of standards. It is an integral component in the instructional design of training programs. Penilaian bersifat kualitatif untuk menentukan apakah sesuatu (seseorang) tergolong kategori baik atau kurang, tepat atau tidak tepat, dan kualitas lainnya. Penilaian pada dasarnya adalah pemberian pertimbangan (judgement) terhadap skor atau angka-angka yang diperoleh melalui pengukuran. Dengan demikian dalam pertimbangan memuat faktor-faktor yang bersifat subyektif dalam kadar tertentu (relatif). Page 1

2 Pengambilan keputusan atau kebijakan (decision making) adalah tindakan yang diambil seseorang atau organisasi berdasarkan data atau informasi yang telah diperoleh dengan memasukkan berbagai pertimbangan. Masih menurut Bates (2004) The data gathered during the evaluation process provides instructional designers, trainers and organizations with information on which training programs to continue, discontinue, modify or improve. A decision can be made after conducting the evaluation. Dari penjabaran di atas bisa ditafsirkan ada tingkatan yang berbeda dari 3 pengertian tersebut. Pengukuran tidak membuahkan nilai atau baik buruknya sesuatu, tetapi hasil pengukuran dapat dipakai untuk membuat penilaian. Evaluasi atau penilaian memerlukan data yang baik mutunya dan salah satu sumbernya adalah hasil pengukuran. Namun demikian, evaluasi dapat dilakukan meskipun tidak didahului dengan kegiatan pengukuran. Begitu pula dengan pengambilan keputusan. Keputusan yang baik memerlukan hasil evaluasi/penilaian yang baik terhadap situasi, tetapi hasil evaluasi tidaklah selalu menjadi (apalagi segalanya) bagi pengambilan keputusan. Keputusan yang diambil merupakan fungsi dari perhitungan tentang hasil dan resiko dari tindakan atau keputusan tersebut. Dalam perspektif critical event models, evaluasi merupakan bagian yang tak terpisahkan dari seluruh tahapan siklus diklat. Pada konteks ini evaluasi dilakukan terhadap setiap tahapan mulai dari analisis kebutuhan diklat, pelaksanaan diklat sampai dengan setelah selesai pelaksanaan atau pasca diklat Tujuan dan Manfaat Evaluasi Stufflebeam dan Guba (1974) menyatakan bahwa tujuan evaluasi yaitu to provide information to aid decision making at several levels in the implementation of a program. Ini sejalan dengan Donald L. Kirkpatrick (1959) yang mengatakan bahwa ada 3 tujuan diklat, yaitu: 1. untuk menunjukkan bagaimana suatu diklat berkontribusi dalam mencapai tujuan organisasi 2. untuk menentukan apakah program diklat dapat berlanjut atau tidak 3. untuk mendapatkan informasi perbaikan diklat di masa mendatang Page 2

3 Sejalan dengan tujuan di atas, dapat dijabarkan lebih lanjut bahwa fungsi Evaluasi dalam diklat diperlukan antara lain untuk memberi informasi yang dipakai sebagai dasar di antaranya untuk: 1. membuat kebijakan dan keputusan 2. menilai hasil yang dicapai para peserta diklat 3. menilai kurikulum 4. memberi kepercayaan kepada pusdiklat 5. memonitor anggaran / dana yang telah diberikan 6. memperbaiki materi dan program diklat Djuju Sudjana (2006) menyatakan berbagai macam manfaat evaluasi, yaitu 1. memberikan masukan untuk perencanaan program 2. memberikan masukan untuk kelanjutan, perluasan, dan penghentian program 3. memberi masukan untuk memodifikasi program 4. memperoleh informasi tentang faktor pendukung dan penghambat program. 5. memberi masukan untuk motivasi dan membina pengelola dan pelaksana program 6. memberi masukan untuk memahami landasan keilmuan bagi evaluasi program. Model Evaluasi 1. Model CIPP Model CIPP dikembangkan oleh Daniel Stufflebeam's. Model evaluasi ini untuk menyediakan informasi bagi pembuat keputusan, jadi tujuan evaluasi ini adalah untuk membuat keputusan. Komponen model evaluasi ini adalah context, input, process dan product. Context (konteks) berfokus pada pendekatan sistem dan tujuan, kondisi aktual, masalah-masalah dan peluang yang melayani pembuatan keputusan berjalan, berupa diagnostik yakni menemukan kesenjangan antara tujuan dengan dampak ingin dicapai. Input (masukan) berfokus pada kemampuan sistem, strategi pencapaian tujuan, implementasi disain dan cost-benefit dari rancangan yang melayani pembuatan keputusan tentang perumusan tujuan-tujuan operasional. Page 3

4 Process (proses) memiliki fokus lain, yaitu menyediakan informasi untuk dayto-day decision making dalam melaksanakan program, membuat catatan atau record, atau merekam pelaksanaan program dan mendeteksi atau pun meramalkan pelaksanaan program. Product (produk) berfokus pada mengukur pencapain tujuan selama proses dan pada akhir program. 2. Model Empat Level Merupakan model evaluasi pelatihan yang dikembangkan pertama kali oleh Donald L. Kirkpatrick dengan menggunakan empat level dalam membuat kategori hasil pelatihan. Empat level tersebut adalah level reaksi (reactions), pembelajaran (learning), perilaku (behavior) dan hasil (results). Dalam bukunya Evaluating Training Programs 3rd Ed, Kirkpatrick mengatakan bahwa setiap level sama pentingnya dan tidak bisa dilewatkan begitu saja. The four levels of Kirkpatrick's evaluation model mengukur; 1. Reaction apa yang dirasakan peserta (satisfaction; "smile sheets") 2. Learning peningkatan pengetahuan, ketrampilan, serta perubahan sikap dan perilakui 3. Behavior - transfer of knowledge, skills, attitudes dari kelas ke pekerjaan (perubahan perilaku dalam kerja setelah program diklat) 4. Results hasil akhir yang terjadi karena kehadiran dan partisipasi dalam suatu program diklat (misal diukur secara finansial, performance-based, dll.) Ada pakar lain yang berusaha menambahkan level kelima dari model evaluasi Page 4

5 Kirkpatrick, misalnya JJ Phillips dengan "Return on Investment (ROI) level yang intinya membandingkan level 4 dengan overall costs of training. Tetapi Roger Kaufman menyatakan bahwa ROI pada dasarnya adalah evaluasi level 4 karena masih internal organisasi, sedangkan level 5 seharusnya terfokus pada klien eksternal dan masyarakat secara luas. Keempat level Kirkpatrick dapat dirinci sebagai berikut : Level 1: Reaction Tahap evaluasi pertama yang dilakukan segera setelah pelatihan selesai diberikan. Tingkatan ini mengukur reaksi atau persepsi terhadap diklat. Setiap program diklat setidaknya harus melakukan evaluasi di level 1 ini untuk menjawab pertanyaan terkait persepsi peserta demi perbaikan program. Di level ini akan diperoleh informasi apakah peserta menyukai diklatnya dan apakah diklat memiliki relevansi dengan tupoksinya di tempat tugas. Metodologinya bisa dengan lembar evaluasi program (Program evaluation sheets), wawancara langsung, kuesioner, kesan dan komentar peserta selama program diklat. Paling sederhana dan mudah dilakukan adalah dengan menggunakan check list. Evaluasi level 1 tidak memakan biaya banyak serta mudah dilakukan dengan peserta baik secara langsung (face to face) maupun dengan paper forms dan online forms. Lembar evaluasi reaksi sering dikenal dengan istilah Smile Sheets atau Happy Sheets. Lembar evaluasi reaksi akan berpengaruh pada disain instruksional, karena itu formulirnya harus didisain sedemikian rupa agar hasilnya akan mudah ditabulasi dan digunakan untuk perencanaan diklat di masa mendatang. Beberapa hal yang penting untuk dievaluasi di level ini adalah: - Isi pelatihan: seberapa jauh isi pelatihan sesuai dengan tujuan yang ditetapkan, baik dari segi keragaman maupun kedalaman topik yang dibahas. - Kualitas materi: seberapa baik kualitas materi yang dibagikan, presentasi audio dan visual yang disajikan, dan peralatan lain yang digunakan selama pelatihan. - Metode pelatihan: seberapa sesuai metode pelatihan yang digunakan dengan topik yang dibahas. Contoh, untuk diklat ketrampilan seperti Page 5

6 Diklat TOEFL Preparation harusnya lebih banyak dilakukan dalam metode simulasi, latihan praktek dengan komputer dibanding ceramah saja. - Logistik: seberapa baik akomodasi dan konsumsi yang diberikan serta fasilitas pelatihan lainnya. - Pengajar/fasilitator : seberapa layak mereka memberikan pelatihan dari sisi penguasaan materi pelatihan, kemampuan melakukan presentasi materi dan kemampuan mengelola situasi selama pelatihan. Level 2: Learning Level ini mengukur pengetahuan dan pemahaman peserta. Dengan kata lain yang dinilai adalah sejauh mana daya serap mereka pada materi pelatihan serta dampak dari program pelatihan pada peningkatan knowledge, skill dan attitude peserta mengenai materi selama pelatihan. Evaluasi level 2 yang paling sederhana adalah meminta peserta melakukan refleksi atau merangkum atas apa yang telah dipelajarinya. Metodologinya bisa dengan pre dan post testing, observasi, interview dan self-assessment. Jadi evaluasi Level 2 bisa dilakukan sendiri maupun oleh team assessment, baik secara formal maupun informal assessment. Pre-test diberikan di awal program dan post-test di akhir program, digunakan untuk membedakan antara apa yang sudah diketahui peserta sebelum diklat dengan apa yang telah mereka pelajari selama diklat. Hasilnya juga menunjukkan kesungguhan peserta dalam mengikuti dan memperhatikan materi pelatihan yang diberikan. Kirkpatrick menegaskan bahwa tes yang dibuat harus secara akurat mencakup semua materi yang telah diberikan, jika tidak maka instrumennya tidak valid untuk mengukur efektivitas program dari sisi pembelajaran (learning). Dampak evaluasi level 2 pada disain instruksional yaitu pada pemilihan materi (program content) dan bisa juga pada konstruksi soal pre/post test.. Level 3: Behavior Level 3 mengukur mana peserta diklat menerapkan atau mentransfer apa yang telah dipelajari dalam diklat ditempat kerja. Level ini membedakan antara mengetahui prinsip dan teknik dengan cara memakainya dalam pekerjaan. Metodologi bisa meliputi formal testing maupun informal Page 6

7 observation. Level 3 dilakukan setelah diklat (post-training) saat peserta telah kembali ke tempat kerja, umumnya setelah 3 sampai dengan 6 bulan kemudian, dan dipakai untuk menentukan apakah pengetahuan dan ketrampilan yang dipelajari benar dipakai dan diukur pula sejauh mana diterapkan di tempat kerja. Karena itu level 3 memerlukan kontak dengan peserta dan seseorang yang terkait erat dengan peserta tesebut, misalnya atasan langsung peserta. Evaluasi level 3 merepresentasikan the truest assessment terhadap efektivitas suatu program diklat, tetapi cukup memakan biaya atau mahal. Dan terkadang cukup sulit bahkan tidak mungkin untuk memprediksi kapan perubahan perilaku setelah diklat akan terjadi. Oleh karena itu level 3 harus dilakukan dengan perencanaan yang sangat hati-hati dan teliti, terutama terkait dengan kapan, bagaimana serta seberapa sering (when, how, how often) evaluasi ini harus dilakukan. Evaluation tools level ini antara lain - pre- and post-training tests atau survey secara individual - wawancara langsung - Observasi dan feedback dari kolega - Focus groups untuk mengumpukan informasi dan sharing pengetahuan Terkadang ada kebingungan antara pengukuran dalam level 2 dengan level 3. Sering ada asumsi bahwa peserta tidak mendapat manfaat dari diklat karena mereka tidak menunjukkan perilaku yang berbeda setelah didiklatkan atau terjadi non-transfer of learning. Seorang traning program evaluator harus mempertimbangkan faktor lain misalnya lingkungan kerja jika hal ini terjadi. Level 4: Results Level 4 meliputi kajian tentang dampak diklat bagi kelompok kerja atau organisasi secara keseluruhan. Kirkpatrick menggarisbawahi jika tujuan suatu program diklat dapat dinyatakan dalam bentuk hasil yang diharapkan (desired results), seperti berkurangnya biaya, peningkatan kualitas, produksi meningkat, berkurangnya angka turnover pegawai, laporan kepuasan pelanggan/rekan kerja/atasan, profit maupun Return on Investment yang lebih tinggi. Page 7

8 Data historis (awal) harus tersedia untuk melakukan evaluasi tahap ini. Beberapa aspek yang diukur antara lain: - Tangible, mencakup: (1) hasil kerja, seperti produktivitas, frekuensi, kecepatan, keuntungan, prosentase (%) penyelesaian, (2) kualitas seperti deviasi, kecelakaan, komplain, produk gagal, (3) biaya, seperti biaya operasional, pengeluaran mendadak, (4) waktu, seperti efisiensi, lembur. - Intangible, mencakup: (1) kebiasaan kerja, seperti absensi, kelalaian, tepat waktu, (2) iklim kerja, seperti komitmen, pengunduran diri, kerja sama, (3) keterampilan, seperti pengetahuan, pemahaman, aplikasi, (4) kepuasan, seperti kepuasan kerja, kepuasan pelanggan, (5) inisiatif, seperti saran, penetapan tujuan, rencana strategis. Inilah mengapa evaluasi Level 4 sulit diukur dan dikorelasikan dengan diklat saja. Misalnya saja jika terdapat peningkatan penjualan bisa saja diakibatkan faktor-faktor seperti pelatihan sales, kondisi perekonomian, promosi produk dan lain-lain. Tabel berikut ini merangkum Kirkpatrick s Four Levels of Evaluation: Level Measures Key Question Addressed Methodologies or Indicators Satisfaction What was the participants' reaction to program evaluation sheets = Smile Sheets = 1: Reaction the program? Happy Sheets interviews questionnaires participant comments 2: Learning Knowledge pre/post testing self-assessment What did the observations participants learn? interviews 3: Behaviours 4: Results Transfer of Learning Transfer or Impact Did the participants' learning affect their behaviour? Did participants' behaviour changes affect the organization? testing observation Indikator bisa berupa: reduced costs increased productivity decreased employee turnover Page 8

9 Keterbatasan dalam Model Kirkpatrick Ada beberapa keterbatasan dalam Kirkpatrick s model, misalnya dalam: Individual, Organizational and Contextual Influences Model ini tidak mencakup seluruh faktor individual, organisasional, dan disain program yang dapat mempengaruhi efektifitas diklat sebelum, selama dan setelah diklat. Jadi program diklat diasumsikan merupakan satu-satunya faktor yang bertanggung jawab atas segala outcome yang terjadi. Jadi model Kirkpatrick memisahkan training efforts dari sistem, konteks, dan kultur di mana peserta bekerja. Incremental Importance of Information Model ini mengasumsikan bahwa setiap level memberikan data yang lebih informatif dari level sebelumnya sehingga bisa timbul persepsi bahwa Level 4 akan memberikan the most useful information tentang efektifitas program diklat. Low Incorporation of Level 3 and Level 4 Evaluation American Society of Training and Development (ASTD) pernah melakukan survey di tahun 2008 dan hasilnya 91% organisasi melakukan evaluasi di Level 1, 54% di Level 2, 23% di Level 3 dan 8% di Level 4. Alasan sedikitnya dilakukan evaluasi Level 3 dan Level 4 dikarenakan ada fakta bahwa pengukuran perubahan perilaku (behavioural change) lebih mudah dilakukan secara kuantitatif dan diinterpretasikan daripada reaction dan learning serta dampak diklat terhadap organisasi lebih sulit diases daripada terhadap individu. 3. Model ROI (Return On Investment) Model ROI yang dikembangkan oleh Jack Phillips merupakan level evaluasi terakhir untuk melihat cost-benefit setelah pelatihan dilaksanakan. Kegunaan model ini agar pihak manajemen melihat pelatihan bukan sesuatu yang mahal dan hanya merugikan pihak keuangan, akan tetapi pelatihan merupakan suatu investasi, sehingga dapat dilihat dengan menggunakan hitungan yang akurat keuntungan yang dapat diperoleh setelah melaksanakan pelatihan. Hal ini tentunya dapat memberikan gambaran lebih luas, apabila ditemukan hasil bahwa Page 9

10 pelatihan tersebut tidak memberikan keuntungan baik bagi peserta maupun lembaga. Model evaluasi ini merupakan tambahan dari model evaluasi Kirkpatrick yaitu adanya level ROI (level 5). Jadi intinya level ini ingin melihat keberhasilan dari suatu program pelatihan dengan melihat dari Cost-Benefit-nya, sehingga memerlukan data yang tidak sedikit dan harus akurat untuk menunjang hasilnya serta mendapatkan nilai balik modal yang tepat dari pelaksanaan pelatihan. Pada prakteknya, tahap ROI paling sulit dilakukan. Dibutuhkan waktu, biaya dan analisis data yang akurat untuk keberhasilan evaluasi ini. Salah satu cara adalah mengisolasi pengaruh pelatihan, ada tiga strategi yang dengan mudah diperhitungkan yaitu : a. Perbandingan antara kelompok peserta dan kelompok bukan peserta. Kinerja antara kelompok peserta pelatihan dapat diperbandingkan dengan kelompok lain yang setara dan belum mendapatkan pelatihan. Contohnya, cara menjawab telepon yang masuk dari kelompok peserta Diklat Sekretaris dibandingkan dengan kelompok yang belum mendapatkan pelatihan. Secara kualitatif, cara menjawab yang lebih baik dapat disimpulkan disebabkan oleh pelatihan tersebut. b. Perbandingan antara sebelum dan sesudah pelatihan. Kinerja antara sebelum dan sesudah pelatihan dari kelompok yang sama diperbandingkan. Contohnya, kualitas pelayanan dikat sebelum ikut DTSD Pengelolaan Diklat dibandingkan dengan pelayanan setelah pelatihan. c. Estimasi peserta terhadap presentase pengaruh pelatihan. Inilah perhitungan yang paling mudah dilakukan. Peserta pelatihan diminta untuk mengungkapkan berapa persentase pengaruh pelatihan terhadap perbaikan kinerjanya. Contohnya, peserta pelatihan Interconnecting Network Device melaporkan bahwa 70% keberhasilan mengerjakan proyek Wireless Connection disebabkan oleh aplikasi pelatihan. Sisanya, 30% lainnya oleh faktor-faktor lain, seperti proses belajar sendiri, umpan balik atasan, dll. Page 10

11 Tahapan Evaluasi Secara umum tahapan evaluasi meliputi persiapan, pengembangan instrument, pengumpulan data, pengolahan dan analisis data, serta penyusunan laporan. Adapun rinciannya sebagai berikut: Tahap 1 : Persiapan Evaluasi Terdapat tiga kegiatan pokok yang berkaitan dengan persiapan evaluasi yaitu: menentukan tujuan atau maksud evaluasi, merumuskan informasi yang akan dicari atau memfokuskan evaluasi dan menentukan cara pengumpulan data. Beberapa kriteria yang digunakan dalam merumuskan tujuan evaluasi adalah: (1) kejelasan, (2) keterukuran, (3) kegunaan dan kemanfaatan, (4) relevansi dan kesesuaian atau compatibility. Jadi tujuan evaluasi harus jelas, terukur, berguna, relevan dan sesuai dengan kebutuhan pengembangan program diklat. Dalam merumuskan informasi atau memfokuskan evaluasi harus berdasarkan kepada tujuan evaluasi. Terdapat beberapa metode dalam merumuskan pertanyaan evaluasi yaitu: (1) menganalisis objek, (2) menggunakan kerangka teoritis, (3) memanfaatkan keahlian dan pengalaman dari luar, (4) berinteraksi dengan key audience. Terakhir menentukan cara pengumpulan data, misalnya survei atau yang lain, ditentukan pula pendekatan dalam pengumpulan data. Terdapat beberapa prosedur pengumpulan data dengan pendekatan kuantitatif, misalnya observasi, tes, survei atau lainnya. Tahap 2 : Pengembangan Instrumen Setelah metode pengumpulan data ditentukan, selanjutnya ditentukan pula bentuk instrumen yang akan digunakan serta kepada siapa instrumen tersebut ditujukan (respondennya). Terdapat syarat-syarat yang harus dipenuhi oleh instrumen evaluasi sebagai berikut: (1) validitas adalah keabsahan instrumen dalam mengukur apa yang seharusnya diukur, (2) reliabilitas adalah ketetapan hasil yang diperoleh, misalnya bila melakukan pengukuran dengan orang yang sama dalam waktu yang berlainan atau orang yang lain dalam waktu yang sama, (3) objektivitas adalah upaya penerjemahan hasil pengukuran dalam bilangan atau pemberian skor tidak terpengaruh oleh siapa yang melakukan, (4) standarisasi untuk memastikan Page 11

12 evaluator mempunyai persepsi yang sama dalam mengukur karena adanya petunjuk khusus pengisian data, (5) relevansi adalah kepatuhan untuk mengembangkan berbagai pertanyaan agar sesuai dengan maksud instrumen, (6) mudah digunakan. Tahap 3 : Pengumpulan Data Seperti terlihat pada table Kirkpatrick pada halaman sebelumnya, pengumpulan data ini dilakukan dengan berbeda-beda pada masing-masing level. Pada level 1 (reaksi) data yang dikumpulkan berupa data kuantitatif dengan menggunakan metode survei. Kemudian pada level 2 (pembelajaran) data yang dikumpulkan berupa data kuantitatif dengan menggunakan tes. Selanjutnya pada level 3 (perilaku), data yang dikumpulkan melalui observasi atau dapat juga dengan rencana kegiatan (action plan), yaitu rencana tahapan tindakan yang akan dilakukan oleh peserta pelatihan dalam mengimplementasikan hasil pelatihan yang telah diikuti. Dalam hal ini para peserta harus mempunyai suatu sasaran peningkatan kinerja/kompetensi yang bersangkutan dalam unit kerja masing-masing yang kemudian diukur dengan mengunakan patokan kinerja/kompetensi yang bersangkutan. Kemudian yang terakhir, yaitu pada level 4 (hasil/dampak), data yang dikumpulkan dapat melalui atasan, peserta pelatihan, bawahan atau rekan kerja (client). Tahap 4 : Pengolahan dan Analisis Data Setelah data yang diperlukan sudah terkumpul, maka langkah berikutnya adalah mengolah dan menganalisis data. Dalam menganalisis data dan menafsirkannya (menginterpretasikan) harus berdasarkan hasil data yang telah berhasil didapatkan. Kemudian menyajikannya dalam bentuk yang mudah dipahami dan komunikatif. Tahap 5 : Penyusunan Laporan Melaporkan merupakan langkah terakhir kegiatan evaluasi pelatihan. Laporan disusun dengan format yang telah disepakati oleh tim. Langkah terakhir evaluasi ini erat kaitannya dengan tujuan diadakannya evaluasi. Langkahlangkah tersebut dapat dengan digunakan untuk menjawab sejauh mana evaluasi pelatihan yang akan dilakukan dan bagaimana pelaksanaan proses pelatihan dari awal hingga akhir sehingga memberikan hasil untuk improvisasi Page 12

13 pada pelatihan-pelatihan selanjutnya. Daftar Pustaka Badan Diklat Propinsi Jawa Timur. (2002) Monitoring dan Evaluasi Pendidikan dan Pelatihan (Modul Management of Training). Badan Pendidikan dan Pelatihan Propinsi Jawa Timur, Surabaya. Bates, Reid. (2004) A critical analysis of evaluation practice: The kirkpatrick model and the practice of beneficence. Evaluation and Program Planning, 27, Chapman, Alan. (2007) Kirkpatrick s Learning and Training Evaluation Model. Retrieved Feb 7, 2011 from Pusat Pengujian Badan Penelitian dan Pengembangan Depdiknas. (2003) Bahan Penataran Pengujian Pendidikan. Kaufman, R., Keller, J. & Watkins, R. (1995). What Works and What Doesn t: Evaluation Beyond Kirkpatrick. Performance and Instruction, 35(2), Kirkpatrick, D. L. (2006). Seven Keys to Unlock the Four Levels of Evaluation. Performance Improvement, 45(7) Unlock-4-Levels-of-Evaluation Gambar dan tabel dari Wikipedia. Evaluation. Retrieved on January 10, 2012 from Page 13