D.4 Evaluasi Hasil Pembelajaran Diklat Menggunakan Disain Pre Test Post Test Nonequivalent Control Group

Transkripsi

1

2 D.4 Evaluasi Hasil Pembelajaran Diklat Menggunakan Disain Pre Test Post Test Nonequivalent Control Group Rohmatulloh, Sri Winarni Sekretariat Badan Diklat Energi dan Sumber Daya Mineral, Jakarta Departemen Statistika FMIPA Universitas Padjajaran, Bandung ABSTRAK Evaluasi kinerja penyelenggaraan diklat pada semua tahap penyelenggaraan perlu dilakukan untuk mengetahui efektifitas program diklat yang telah dilakukan oleh institusi penyelenggara jasa diklat. Evaluasi pada tahap hasil pembelajaran peserta saat sebelum dan setelah mengikuti diklat untuk mengetahui tingkat capaian kompetensinya. Tujuan kajian ini adalah mendemonstrasikan metode quasi experimental dengan disain pre test post test non equivalent control group untuk mengetahui tingkat capaian kompetensi peserta diklat yang mendapatkan intervensi mengikuti diklat berbasis kompetensi (kelompok eksperimen). Hasil kelompok eksperimen ini selanjutnya disandingkan dengan kelompok pembanding yang hanya diberikan intervensi diklat yang belum berbasis kompetensi. Penggunaan disain ini lebih fleksibel dan mudah diterapkan dalam evaluasi hasil pembelajaran peserta program diklat. Analisis menggunakan uji beda dua nilai tengah data bebas dan data berpasangan. Berdasarkan contoh kasus yang diterapkan pada makalah ini diperoleh gambaran bahwa hasil pembelajaran peserta diklat yang mengikuti diklat berbasis kompetensi lebih baik dibandingkan dengan hasil pembelajaran peserta diklat yang mengikuti diklat belum berbasis kompetensi. Kata kunci: Model kirkpatrik, Evaluasi hasil pembelajaran, Diklat, Pre test post test, Nonequivalent control group.. PENDAHULUAN Pengembangan sumber daya manusia (SDM) merupakan salah satu pilar penting dalam rangka mendukung keberhasilan organisasi mencapai sasaran strategisnya di masa akan datang. Pengembangan SDM dalam rangka untuk memperkecil kesenjangan kompetesi yang dimiliki individu saat ini dengan standar kompetensi yang seharusnya dipenuhi individu tersebut dalam bekerja. Dengan SDM yang berkompeten diharapkan dapat mendorong kinerja organisasi menjadi lebih baik dan pada akhirnya akan membawa dampak terhadap kesejahteraan dirinya sendiri dan masyarakat. Pengembangan kompetensi SDM dapat dilakukan melalui berbagai program seperti diklat, sertifikasi keahlian, coaching, on the job training, dan lain-lain. Ketiga program dan kegiatan pengembangan SDM tersebut dilakukan unit pengembangan SDM internal organisasi ataupun menggunakan 0

3 lembaga penyedia jasa pengembangan SDM eksternal milik pemerintah dan swasta, serta perguruan tinggi. Salah satu program pengembangan SDM melalui program diklat banyak ditawarkan oleh berbagai lembaga diklat. Namun dalam prakteknya, penyelenggaraan program diklat tersebut pada umumnya masih mengukur keberhasilan hanya dari sisi kinerja output penyelenggaraan diklat, yaitu banyaknya jumlah peserta yang mengikuti diklat setiap tahunnya. Fokus pada pengukuran keberhasilan ini biasanya memiliki kelemahan, yaitu hanya memberi gambaran kuantitas saja dan hanya sedikit memperhatikan segi kualitas. Belakangan ini mulai timbul kesadaran dari para pengelola diklat dan pengguna jasa diklat bahwa ukuran keberhasilan kualitas penyelenggaraan diklat akan lebih bermakna jika dilihat juga kinerjanya dari sisi hasil dan manfaat (outcome) penyelenggaraan diklat. Fokus evaluasi kinerja dari sisi ini lebih memberikan masukan yang bermanfaat bagi pengelola diklat untuk menilai sejauhmana program diklat tersebut efektif dan menjawab kebutuhan pengembangan SDM di sektornya masing-masing. Selanjutnya pengelola diklat dapat membuat keputusan yang tepat terkait dengan keberlanjutan program dan kegiatan diklat tersebut ke depannya, apakah dihentikan atau dilanjutkan dengan berbagai perbaikan perangkat diklat sesuai standar mutu untuk mencapai outcome yang diharapkan. Sedangkan bagi pengguna jasa diklat dapat mengetahui sejauhmana dana yang telah diinvestasikan untuk pengembangan pegawai apakah berdampak terhadap peningkatan kinerja organisasi. Evaluasi outcome penyelenggaraan diklat merupakan kegiatan yang harus dilakukan secara menyeluruh dan saling terkait (sistemik). Evaluasi dimulai dari kinerja penyelenggaraan diklat (evaluasi kepuasan dan pembelajaran) sampai dengan pasca penyelenggaraan diklat untuk melihat perubahan perilaku alumni diklat di unit kerjanya dan dampaknya terhadap peningkatan kinerja organisasi. Evaluasi menyeluruh ini direpresentasikan ke dalam sebuah model yang populer di kalangan pengelola diklat, yaitu model Kirkpatrik. Model Kirkpatrik adalah model evaluasi outcome terdiri dari evaluasi empat tahap, yaitu reaksi, pembelajaran, perubahan perilaku, dan hasil atau dampak (Kirkpatrick, 998; Bates, 004). Empat tahap evaluasi diklat pada umumnya telah dilakukan oleh lembaga diklat secara beragam. Namun pada umumnya terdapat kesamaan pola jumlah 0

4 evaluasi dimana semakin tinggi tahap evaluasi maka persentase program yang dievaluasi semakin sedikit dari jumlah program yang diselenggarakan. Hal ini dikarenakan bahwa evaluasi pada tahap yang paling tinggi semakin sulit dilakukan dan banyak menghabiskan waktu. Namun jika semua tahap telah dilakukan maka akan banyak sekali informasi bermakna yang diperoleh untuk mendapatkan gambaran seberapa besar program diklat yang diselenggarakan efektif untuk peserta diklat dan unit kerjanya (Kirkpatrik, 998). Tujuan makalah ini adalah membahas evaluasi kinerja penyelenggaraan diklat pada tahap dua, yaitu evaluasi hasil pembelajaran peserta diklat untuk mengetahui perubahan pengetahuan dan keterampilan peserta sebelum dan setelah mengikuti diklat berbasis kompetensi. Evaluasi pada tahap dua menjadi penting karena terkait dengan keberhasilan pencapaian tujuan program diklat yang telah ditetapkan dalam kurikulum diklat. Evaluasi ini menjadi penting seperti disarankan Berger & Berger (008) yang menyebutkan bahwa lembaga diklat setidaknya harus melakukan evaluasi pada tahap ini sebanyak 60% dari jumlah program diklat. Sedangkan American Society of Training and Development dalam sebuah survey menemukan bahwa lembaga diklat yang telah melakukan evaluasi pembelajaran baru sebanyak 44% dari seluruh program diklat. Untuk melengkapi bahasan ini, penulis mendemostrasikan contoh kasus sederhana evaluasi hasil pembelajaran dengan metode eksperimen semu (quasi experimental). Disain yang digunakan adalah nonequivalent control group yang diberikan pre test dan post test sebelum dan sesudah pemberian intervensi. Dua kelompok terdiri dari kelompok peserta yang diberikan intervensi mengikuti diklat berbasis kompetensi (experimental group) dan kelompok peserta yang hanya diberikan intervensi mengikuti diklat belum berbasis kompetensi sebagai kelompok pembanding (control group). Metode quasi experimental digunakan karena penentuan anggota kelompok yang masuk ke dalam kelompok ekeperimen dan kelompok pembanding tidak dipilih secara acak (random assignment). Dengan kata lain, jika ada calon peserta yang mendaftar pada diklat belum berbasis kompetensi atau diklat berbasis kompetensi maka secara alamiah semua calon akan masuk ke dalam kelompok tersebut sesuai dengan kapasitas diklat masing-masing. 03

5 . Model Evaluasi Diklat Kirkpatrik Model evaluasi yang paling banyak dibahas dalam berbagai pustaka untuk evaluasi diklat pada umumnya adalah goal based dan system based. Goal based adalah evaluasi untuk mengetahui sejauhmana program memenuhi tujuan dan sassaran yang telah ditentukan. Sedangkan system based adalah pendekatan evaluasi yang berfokus pada apakah intervensi program efektif dan efisien. Namun seringkali perbedaan kedua model pendekatan tersebut terlihat samar. Model goal based memiliki banyak ragamnya diantaranya model Kirkpatrik (empat tahap), Kirkpatrck plus (lima tahap: Return On Investment), Hamblin (lima tahap), Indiana University taxonomy (enam strata), Nine outcomes model, dan model lainnya. Ragam model yang telah disebutkan selain model Kirkpatrik adalah pengembangan dari model Kirkpatrik itu sendiri (Zinovieff & Rotem, 008). Model Kirkpatrik adalah model sederhana dan populer yang telah dikembangkan sejak tahun 959. Kepopuleran model ini dapat ditelusuri jejaknya dari beberapa faktor, yaitu model dibuat untuk memenuhi kebutuhan pelatihan profesional untuk memahami evaluasi pelatihan secara sistematis, model menekankan pada empat outcome untuk mendapatkan informasi berharga dari program pelatihan yang diselenggarakan, dan model merupakan hasil dari penyederhanaan proses evaluasi pelatihan yang kompleks (Bates, 004). Model Kirkpatrik terdiri dari empat tahap, yaitu reaksi atau kepuasan, pembelajaran, perubahan perilaku, dan hasil atau dampak (Tabel ). Tahap pertama dan tahap kedua dilakukan pada saat penyelenggaraan diklat. Evaluasi pada tahap ketiga dan keempat dilakukan setelah penyelenggaraan diklat (pasca diklat) dan setelah alumni diklat kembali ke unit kerjanya minimal satu tahun. Tahap reaksi sama dengan pengukuran tingkat kepuasan peserta diklat. Tahap pembelajaran untuk mengukur tingkat keberhasilan peserta diklat terkait dengan perubahan pengetahuan, keterampilan, dan sikap sesuai dengan tujuan program diklat. Tahap perilaku untuk mengevalusi perubahan perilaku alumni diklat akibat peningkatan kompetensi yang diperoleh selama diklat dalam pekerjaannya. Tahap hasil atau dampak untuk mengevaluasi akibat dari perubahan perilaku alumni dilihat dalam meningkatkan kinerja organisasi (Kirkpatrick, 998; Bates, 004). 04

6 Tabel. Empat tahap evaluasi penyelenggaraan diklat (Zinovieff & Rotem, 008) Tahap Fokus pengukuran Pertanyaan Keterangan I. Reaksi Persepsi peserta diklat Apakah peserta diklat merasa puas? II. Pembelajar an Penguatan pengetahuan, Apakah ada peningkatan pengetahuan, ketarampilan, Evaluasi kinerja penyelenggaraan keterampilan, dan dan sikap? sikap III. Perilaku Implementasi di Apakah pengetahuan, tempat kerja keterampilan, dan sikap digunakan dalam pekerjaannya? Evaluasi pasca diklat IV. Hasil atau Pengaruh terhadap Apakah pengaruh diklat Dampak organisasi terhadap kinerja organisasi? Setiap tahapan evaluasi memiliki tingkat kesulitan berbeda-beda. Semakin tinggi tahapannya maka semakin sulit dan menghabiskan banyak waktu untuk pelaksanaan evaluasinya. Jumlah program yang harus dievaluasi setiap tahapan pada umumnya berbeda-beda. Tabel adalah perbandingan persentase program diklat yang disarankan untuk dievaluasi dan hasil survei American Society of Training and Development pada perusahan di Amerika yang telah menerapkan evaluasi program diklat. Berdasarkan data pada Tabel dapat dilihat bahwa pada tahap yang semakin sulit dan banyak menghabiskan waktu evaluasi, maka persentase program yang dievaluasi semakin sedikit dibandingkan tahap di atasnya. Salah satu contoh kesulitan yang seringkali ditemukan lembaga diklat seperti Badan Diklat ESDM adalah kendala teknis terkait sulitnya mencari sumber data alumni diklat pada saat akan dilakukan evaluasi pasca diklat (tahap ketiga dan keempat) karena telah dirotasi ke unit kerja yang tidak sesuai dengan fungsinya lagi. Namun jika seluruh tahapan sudah dilakukan evaluasi, maka akan banyak sekali informasi bernilai yang diperoleh untuk mendukung pengambilan keputusan pengelola diklat dalam menentukan keberlanjutan program diklat ke depannya (Kirkpatrick, 998). 05

7 Tabel. Persentase program yang dievaluasi pada setiap tahap Program yang dievaluasi Tahap Berger & Berger, 008 Survei American Society of Training and Development (Zinovieff & Rotem, 008) Badiklat ESDM* I. Reaksi 00% 75% 00% II. Pembelajaran 60% 44% 50%** III. Perilaku IV. Hasil atau Dampak 30-40% 0-0% % % 3-5% (minimal diklat strategis per bidang diklat ESDM) * wawancara dengan pengelola evaluasi diklat ** perkiraan 3. Disain Pre Test Post Test Nonequivalent Control Group Disain pre test post test nonequivalent control group banyak digunakan untuk evaluasi efektifitas pelaksanaan program pembangunan. Engel & Schutt (04) memberikan sebuah contoh evaluasi program pembangunan di bidang sosial untuk mengetahui keberhasilan keefektifan pencegahan para mantan narapidana menjadi residivis. Satu kelompok mantan narapidana diberikan intervensi program selama enam bulan dalam bentuk dukungan moneter seperti tiket transportasi, barang keperluan sehari-hari, rumah, pencegahan dari obat-obatan, dan pelatihan kerja. Satu kelompok lainnya menolak untuk diberikan intervensi. Contoh lainnya adalah evaluasi program sosial efektifitas pencegahan bahaya minuman alkohol. Sekelompok anak muda yang tinggal di dua daerah di bandingkan dengan salah satu kelompok diberikan intervensi program budaya selama tiga belas minggu selesai pulang sekolah dan enam sesi setelah enam bulan kemudian. Sedangkan di bidang diklat, disain ini cukup populer digunakan. Misalnya penelitian yang dilakukan oleh Nur aini, Chamisijatin, & Nurwidodo (05) untuk 06

8 mengukur tingkat pemahaman siswa madrasah aliyah negeri pada pelajaran biologi. Kelompok peserta dibagi menjadi dua, yaitu kelompok siswa yang diberikan intervensi menggunakan metode pembelajaran multimedia interaktif dan satu kelompok yang diberikan pelajaran menggunakan metode konvensional. Nurroeni (03) dalam penelitiannya menggunakan disain nonequivalent control group untuk mengukur keefektifan pembelajaran ilmu pengetahuan alam pada siswa sekolah dasar. Kelompok eksperimen diberikan intervensi model pembelajaran mind maping, sementara kelompok pembanding hanya diberikan model pembelajaran konvensional. Pengukuran hasil belajar merupakan tahap penting untuk mengetahui capaian tujuan diklat kepada peserta dalam menyerap hasil pembelajaran pada program diklat yang dilaksanakan. Pada tahap ini fokus evaluasi dilakukan dengan mengumpulkan informasi mengenai perubahan pengetahuan, keterampilan, dan sikap peserta diklat. Informasi yang digunakan adalah informasi hasil tes peserta diklat pada kondisi awal (pre test) di mana peserta belum diberikan intervensi dibandingkan dengan hasil tes setelah peserta selesai diberikan intervensi (post test). Namun yang perlu diperhatikan bahwa penggunaan metode pre test dan post test hanya untuk mengukur perubahan pengetahuan yang telah diserap peserta selama mengikuti diklat. Penggunaan metode pre test dan post test juga tidak dapat digunakan untuk diklat yang bersifat andragogis, di mana peserta terlibat penuh dalam perumusan tujuan pelatihan pada awal suatu pelatihan. Dalam hal ini peserta pelatihan diminta untuk menyampaikan harapan-harapannya sebelum pelatihan dimulai (Nasrul, 009). Pre test juga tidak perlu digunakan untuk anggota dua kelompok jika pelaksana evaluasi yakin bahwa kompetensi yang dimiliki kedua kelompok tersebut sama (Campbell & Stanley,963 dalam Schumann, Anderson, Scott, & Lawton, 00). Untuk mendapatkan hasil yang lebih baik, evaluasi pada tahap ini disarankan agar menggunakan kelompok pembanding (control group) apabila memungkinkan. Penggunaan kelompok pembanding juga disarankan untuk evaluasi pasca diklat pada tahap ketiga dan tahap keempat (Kirkpatrick, 998). Model disain pre test dan post test menggunakan dua kelompok tidak setara disajikan seperti pada Tabel 3. Pemilihan anggota kedua kelompok tidak menggunakan cara penugasan acak (random assignment) sehingga pendekatan ini masuk ke dalam kelompok eksperimen semu (quasi experimental). Adapun anggota kedua kelompok 07

9 yang dipilih dengan penugasan secara acak (random assignment) maka disain eksperimen yang digunakan masuk ke dalam kelompok eksperimen sesungguhnya (true experimental). Tentu saja kelebihan true experimental dalam meminimalisir gangguan validitas internal lebih baik dibandingkan dengan quasi experimental. Tetapi kelebihan quasi experimental dari segi fleksibilitas lebih longgar, segi biaya lebih murah, dan segi waktu lebih singkat dibandingkan dengan true experimental. Sehingga metode ini lebih berguna bagi peneliti dan pelaksana evaluasi (Engel & Schutt, 04). Tabel 3. Disain pre test post test non equivalent control group Kelompok (Nonrandom assignment) Eksperimen (Peserta diklat berbasis kompetensi) Pembanding (Peserta diklat belum berbasis kompetensi) Pre test Intervensi (Diklat) Post test O X O3 O X O4 Keterangan: O = Tingkat pengetahuan dan keterampilan kelompok eksperimen sebelum diklat O = Tingkat pengetahuan dan keterampilan kelompok pembanding sebelum diklat X = Kelompok yang diberikan intervensi mengikuti diklat berbasis kompetensi X = Kelompok yang diberikan intervensi mengikuti diklat belum berbasis kompetensi O3 = Perubahan pengetahuan dan keterampilan kelompok eksperimen setelah diberikan intervensi diklat berbasis kompetensi O4 = Perubahan pengetahuan dan keterampilan kelompok pembanding yang hanya diberikan intervensi diklat tidak berbasis kompetensi 08

10 4. Uji Beda Dua Nilai Tengah Tahapan analisis statistik untuk menguji perbedaan menggunakan uji beda dua nilai tengah. Uji beda dua nilai tengah digunakan untuk menguji perbedaan dua nilai tengah populasi. Pengujian dua nilai tengah dibedakan menurut jenis datanya. Terdapat pengujian untuk data bebas dan data berpasangan. Jika elemen dari populasi satu saling bebas dengan elemen populasi dua, artinya elemen kedua populasi merupakan obyek yang berbeda, maka data tersebut merupakan data bebas. Pengujian dua nilai tengah data berpasangan digunakan jika elemen pada populasi satu merupakan elemen yang sama dengan elemen pada populasi dua (Montgomery, 009). Pada Tabel 3 untuk menguji perbedaan hasil tes pada diklat berbasis kompetensi dan tidak berbasis kompetensi digunakan uji data bebas (O vs O dan O3 vs O4) karena peserta diklat berbasis kompetensi adalah orang yang berbeda dengan peserta diklat yang belum berbasis kompetensi. Sedangkan untuk menguji perbedaan pre test dan post test digunakan pengujian data berpasangan (O vs O3 dan O vs O4). Peserta diklat berbasis kompetensi diberikan pre test dan post test, sehingga nilai pre test dan post test didapatkan dari peserta yang sama. Begitu juga pada peserta diklat yang belum berbasis kompetensi.. Pengujian hasil tes pada diklat berbasis kompetensi dengan diklat tidak berbasis kompetensi Untuk mengetahui apakah diklat berbasis kompetensi memberikan pengaruh yang lebih baik daripada diklat yang tidak berbasis kompetensi dilakukan pengujian data bebas. Pengujian dua nilai tengah data bebas terbagi menjadi dua kasus, yaitu kasus ragam populasi diketahui dan kasus ragam populasi tidak diketahui. Informasi mengenai ragam populasi seringkali sulit didapatkan sehingga pada kajian ini digunakan pengujian dua nilai tengah dengan asumsi ragam populasi tidak diketahui. Pada kasus ragam populasi tidak diketahui terdapat dua kasus yang mungkin terjadi, yaitu kasus asumsi kedua ragam sama dan kasus asumsi kedua ragam berbeda. Penentuan kedua asumsi tersebut dilakukan dengan uji kesamaan ragam. Tahapan pengujian kesamaan ragam diberikan sebagai berikut : a. Hipotesis H 0 : Asumsi kedua ragam populasi sama ( H : Asumsi kedua ragam populasi berbeda ( 09

11 b. Taraf nyata α = 5% c. Statistik uji d. Kriteria uji s F hit s Tolak H 0 jika Informasi yang didapatkan pada pengujian kesamaan ragam adalah apakah ragam kedua populasi sama atau tidak. Informasi ini akan menentukan pengujian dua nilai tengah yang digunakan. Pengujian dua nilai tengah dengan asumsi ragam sama dan asumsi ragam berbeda disajikan pada Tabel 4. Tabel 4. Pengujian dua nilai tengah dengan asumsi ragam sama dan asumsi ragam berbeda Bentuk hipotesis Asumsi ragam sama Asumsi ragam berbeda H 0 : = H : Tolak H 0 jika t hitung > t db=(n+n-). / Tolak H 0 jika t hitung > t db=db efektif. / H 0 : H : > H o : H : < Tolak H 0 jika t hitung > t db=(n+n-). Tolak H 0 jika t hitung < -t db=(n+n-). Tolak H 0 jika t hitung > t db=db efektif. Tolak H 0 jika t hitung < -t db=db efektif. Statistik uji s gab t hitung s gab x x n n ( n ) s ( n ) s n n db eff s s n n s s n n n n t hitung x x s s n n Pengujian data bebas dilakukan pada O3 vs O4 dengan bentuk hipotesis satu arah. Pengujian ini memberikan informasi apakah diklat berbasis kompetensi memberikan hasil pembelajaran yang lebih tinggi daripada diklat yang belum berbasis kompetensi. 0

12 . Pengujian pre test dan post test pada diklat berbasis kompetensi dan diklat tidak berbasis kompetensi Pengujian pre test dan post test ditujukan untuk mengetahui perbedaan pemahaman sebelum diberikan diklat dan sesudah diberikan diklat. Prosedur pengujian dua nilai tengah data berpasangan diberikan sebagai berikut (Montgomery, 009): a. Hipotesis H 0 : H : (hasil pembelajaran pre test dan post test tidak berbeda) (hasil pembelajaran pre test dan post test berbeda) b. Taraf nyata α = 5% c. Statistik uji dimana d t s d / n ; d. Wilayah kritik Tolak H 0 jika atau p-value < α Pada pengujian pre test dan post test peserta diklat berbasis kompetensi (O vs O3) memberikan informasi apakah hasil pembelajaran peserta meningkat setelah diberikan materi pada diklat yang telah berbasis kompetensi. Begitu juga pada pengujian pre test dan post test peserta diklat yang belum berbasis kompetensi (O vs O4), informasi yang dihasilkan adalah apakah hasil pembelajaran peserta meningkat setelah mengikuti diklat yang belum berbasis kompetensi.

13 5. Contoh Kasus Berikut ini contoh kasus sederhana menggunakan data hasil evaluasi hasil pembelajaran yang diasumsikan pada tahap pre test dan post test. Misalnya Badan Diklat ESDM pada tahun telah melakukan penajaman salah satu indikator kinerja utamanya (IKU) menjadi persentase diklat berbasis kompetensi yang dilaksanakan dalam setahun dari IKU sebelumnya (00-04), yaitu persentase diklat yang diselenggarakan. Selanjutnya hasil pembelajaran pada salah satu judul program diklat yang belum berbasis kompetensi pada tahun 04 akan dibandingkan kinerjanya dengan pelaksanaan diklat berbasis kompetensi pada tahun 05. Data hasil pre test dan post test berdasarkan hasil pembelajaran peserta diklat berbasis kompetensi dan diklat yang belum berbasis kompetensi disajikan pada Tabel 5. Jumlah kelompok ekeperimen dan kelompok pembanding masingmasing sebanyak 0 orang sesuai dengan kapasitas program diklat yang dilaksanakan untuk setiap satu angkatan. No. Tabel 5. Nilai pre test dan post test evaluasi hasil pembelajaran Kelompok eksperimen (Diklat berbasis kompetensi) Kelompok pembanding (Diklat belum berbasis kompetensi) Pre test Post test Pre test Post test

14 No. Kelompok eksperimen (Diklat berbasis kompetensi) Kelompok pembanding (Diklat belum berbasis kompetensi) Pre test Post test Pre test Post test Analisis awal dilakukan secara visual dengan menggunakan plot nilai ratarata yang disajikan pada Gambar. Berdasarkan plot data tersebut terlihat bahwa pada hasil post test kelompok eksperimen meningkat tajam dari hasil pre testnya. Sedangkan pada kelompok pembanding terlihat tidak ada peningkatan yang berarti dari hasil pre test ke hasil post test. Informasi lain yang didapat dari plot data ini adalah bahwa hasil post test kelompok eksperimen terlihat lebih tinggi dari hasil post test kelompok pembanding. Gambar. Perubahan nilai rata-rata pre test dan post test pada kelompok eksperimen dan kelompok pembanding Analisis secara visual seperti yang disajikan pada Gambar tidak dapat dilakukan penarikan kesimpulan. Analisis tersebut hanya sebatas penggambaran data secara deskriptif. Analisis secara formal dilakukan dengan pengujian hipotesis. Hasil pengujian pre test dan post test pada kelompok eksperimen dan kelompok pembanding disajikan seperti pada Tabel 6. 3

15 Tabel 6. Hasil pengujian pre test dan post test pada kelompok eksperimen dan kelompok pembanding Kelompok t p-value Eksperimen Pembanding Pada pengujian hasil pre test dan post test kelompok eksperimen yang mengikuti program diklat berbasis kompetensi didapatkan nilai t-hitung sebesar dengan p-value Karena p-value kurang dari α = 5% maka diputuskan tolak H 0 dan disimpulkan bahwa ada perbedaan hasil pretest dengan postest. Hasil post test pada kelompok eksperimen lebih tinggi dari hasil pre test, dengan rata-rata pre test 6.50 dan rata-rata post test 80.5 seperti disajikan pada Gambar di atas. Berdasarkan hasil tersebut maka diperoleh gambaran tentang kinerja penyelenggaraan diklat berbasis kompetensi berpengaruh terhadap hasil belajar peserta diklatnya. Peserta diklat berbasis kompetensi mengalami peningkatan kompetensi setelah mengikuti diklat dari kondisi awal sebelum mengikuti diklat. Dengan demikian penyelenggara diklat telah berhasil meningkatkan kinerja penyelenggaraan diklat sesuai dengan target. Sedangkan pengujian pada kelompok pembanding untuk hasil penilaian pre test dan pos test didapatkan nilai t-hitung dengan p-value 0.3. Karena p- value lebih besar dari α = 5% maka diputuskan terima H 0 yang berarti bahwa pada kelompok pembanding tidak ada perbedaan hasil pembelajaran setelah mengikuti diklat yang belum berbasis kompetensi. Hasil ini sekaligus memberikan informasi bahwa diklat berbasis kompetensi lebih baik dibandingkan dengan diklat yang belum berbasis kompetensi terkait dengan capaian kinerja hasil belajar pesertanya. Hal ini juga didukung dengan pengujian hasil pembelajaran diklat berbasis kompetensi dengan diklat yang belum berbasis kompetensi. Pengujian dilakukan dengan membandingkan nilai post test pada kelompok eksperimen dengan kelompok pembanding. Pada contoh kasus ini kelompok eksperimen dan kelompok pembanding merupakan dua kelompok yang saling bebas, artinya peserta diklat pada kelompok eksperimen bukanlah orang sama dengan peserta diklat kelompok pembanding. Dengan demikian pengujian dilakukan dengan pengujian data bebas. Hasil pengujian disajikan seperti pada Tabel 7. 4

16 Tabel 7. Pengujian hasil pembelajaran kelompok eksperimen dan kelompok pembanding Asumsi ragam Uji kehomogenan ragam Uji dua nilai tengah F-hitung p-value t-hitung db p-value Asumsi ragam sama Asumsi ragam tidak sama Pengujian hasil pembelajaran kelompok eksperimen dan kelompok pembanding dilakukan untuk menguji apakah terdapat perbedaan post test antara kedua kelompok tersebut. Hasil pengujian kehomogenan ragam didapatkan nilai F- hitung dengan p-value 0.88 (lebih besar dari α = 5%) sehingga diputuskan asumsi ragam sama. Dengan demikian pengujian dua nilai tengah data bebas dilakukan dengan asumsi ragam sama. Hasil pengujian didapatkan nilai t-hitung 7.5 dengan p-value menunjukkan bahwa ada perbedaan antara hasil pembelajaran post test kelompok eksperimen dengan kelompok pembanding. Nilai rata-rata post test kelompok eksperimen sebesar 80.5 dan kelompok pembanding sebesar Hasil ini semakin memperkuat kesimpulan sementara yang telah diperoleh berdasarkan data pada Gambar di atas, bahwa kinerja penyelenggaraan diklat berbasis kompetensi lebih baik dibandingkan kinerja diklat yang belum berbasis kompetensi dilihat dari indikator capaian hasil belajar peserta diklatnya setelah selesai mengikuti diklat. Hal ini cukup berasalan karena penerapan diklat berbasis kompetensi memerlukan persyaratan yang lebih banyak dibandingkan dengan pelaksanaan diklat yang belum berbasis kompetensi. Berdasarkan Peraturan Menteri Tenaga Kerja dan Transmigrasi Nomor 8 Tahun 04 tentang Pedoman Penyelenggaraan Pelatihan Berbasis Kompetensi menyebutkan bahwa persyaratan yang harus dipenuhi dalam menerapkan diklat berbasis kompetensi dibagi menjadi tiga, yaitu persiapan, pelaksanaan, dan evaluasi. Dari ketiga tahapan tersebut, komponen yang paling penting adalah identifikasi kebutuhan pelatihan, menyiapkan fasilitas pelatihan seperti peralatan, bahan pelatihan, tempat pelatihan, modul (buku informasi, buku kerja dan buku penilaian), referensi (teks book, manual book, prosedur operasional standar (POS), dan referensi lainnya, penilaian/asesmen di lembaga pelatihan, dan monitoring evaluasi. 5

17 6. Penutup Program diklat berbasis kompetensi memerlukan seperangkat diklat yang lengkap dibandingkan diklat yang belum berbasis kompetensi. Hasil dari penyelenggaraan diklat berbasis kompetensi diharapkan juga dapat lebih baik dalam peningkatan kompetensi peserta lulusan diklatnya. Kinerja penyelenggaraan diklat berbasis kompetensi dengan diklat yang belum berbasis kompetensi dapat diukur menggunakan disain evaluasi pre test post test nonequivalent control group. Disain ini lebih fleksibel dan mudah digunakan karena calon peserta yang mendaftar pada program diklat pada umumnya tidak dapat ditentukan secara acak oleh panitia penyelenggara diklat untuk masuk ke dalam kelompok tersebut (kelompok eksperimen dan kelompok pembanding). Semua calon peserta yang mendaftar secara alamiah akan masuk menjadi peserta salah satu diklat yang belum berbasis kompetensi dan diklat berbasis kompetensi selama kapasitas program diklat per angkatannya masih tersedia. 7. DAFTAR PUSTAKA Bates, R. (004). A Critical Analysis of Evaluation Practice: The Kirkpatrick Model and Principle of Beneficence. Evaluation and Program Planning, 7, Berger, L., & Berger, D. (008). The Handbook of Best Practice on Talent Management. Jakarta: Penerbit PPM. Engel, R., & Schutt, R. (04). Fundamentals of Social Work Research (nd ed.). SAGE Publications. Kirkpatrick, D. (998). Evaluating Training Programs (nd ed.). San Fransisco: Berrett-Koehler Publishers. Montgomery, D.C. (009). Design and Analysis of Experiments. Ed ke-7. New York: John Wiley & Sons, inc. Nasrul, M. (009). Evaluasi Program Pelatihan. Medik (), Nur aini, F., Chamisijatin, L., & Nurwidodo. (05). Pengembangan Media Berbasis Multimedia Interaktif untuk Meningkatkan Pemahaman Siswa MAN Batu Materi Kingdom Animalia. Jurnal Pendidikan Biologi Indonesia, (),

18 Nurroeni, C. (03). Keefektifan Penggunaan Model Mind Mapping Terhadap Aktivitas dan Hasil Belajar IPA. Journal of Elementary Education, (), Schumann, P., Anderson, P., Scott, T., & Lawton, L. (00). A Framework For Evaluating Simulations As Educational Tools. Development in Business and Experiential Learning, 8, 5-0. Zinovieff, M., & Rotem, A. (008). Review and Analysis of Training Impact Evaluation Methods, and Proposed Measures to Support a United Nations System Fellowships Evaluation Framework. Geneva: WHO Department of Human Resources for Health. 7

19 Wavelet adalah fungsi gelombang kecil yang dapat membangun suatu basis ortonormal pada ruang L dimana fungsi L merupakan ruang vektor atau himpunan semua fungsi terukur f yangdidefinisikan dalam interval riil dengan f t dx. Setiap fungsi wavelet ( ) mempunyai pasangan fungsi skala ( ) yang khas. Dalam membangun basis pada L, wavelet membentuk keluarga wavelet berupa bentuk translasi dan dilatasi. Parameter translasi adalah parameter yang menunjukkan lokasi fungsi wavelet ketika proses pergeseran (shifting) dilakukan sepanjang sinyal, dengan kata lain parameter translasi ini menunjukkan informasi waktu (atau jarak) dalam transformasi wavelet. Parameter dilatasi didefinisikan sebagai /frekuensi sehingga parameter ini memberikan informasi frekuensi. Persamaan fungsi skala dapat dituliskan : j/ j jk, t t k (3) Persamaan funsi wavelet dapat dituliskan : j/ j jk, t t k (4) Wavelet dan fungsi skala berrsama-sama dapat membangun ruang multiresolusi, sehingga setiap fungsi f L dapat dinyatakan sebagai kombinasi linier dari wavelet dan fungsi skala yang dapat disajikan sebagai berikut f t V t W t dimana jkz,, j, k j, k j, k j, k k j k (5) V j,k merupakan koefisien skala dan W j,k merupakan koefisien wavelet. Koefisien skala dan koefisien wavelet dapat dihitung dengan persamaan berikut: j, k j, k V f t t dt (6) 47

20 j, k j, k W f t t dt (7) Analisis Multiresolusi (AMR) adalah keluargasubruang tertutup Vj, j dari L mempunyai sifat: 0 V V V L.. V 0 j j 3. V L j j 0 f t V f t V untuk semua j Z 4. 0 j j f t V f t k V untuk semua k Z t k 0 0 k merupakan basis ortonormal untuk V Z 0 dimana V0 disebut fungsi skala. yang 3.3 Filter Wavelet Dari suatu wavelet terdapat sebanyak berhingga genap nilai-nilai dengan sifat istimewa. Himpunan nilai-nilai dimaksud disebut filter wavelet. Filter dalam transformasi wavelet dapat digunakan untuk mengubah sinyal menjadi dua bagian yaitu koefisien wavelet (bagian detail) dan koefisien skala (bagian smooth). Jika suatu sinyal X (data time series) dikenakan filter waveleth bagian detail dan jika dikenakan filter skalag n n akan menghasilkan akan menghasilkan bagian smooth.vektor X berdimensi N diartikan sebagai elemen analisis runtun waktu bernilai realx, t 0,,,, N. t Filter wavelet n (Percival dan Walden, 000) yaitu: h dengan lebar L h : l 0,,, L - l memiliki sifat-sifat L hl 0, l0 L l0 h l, dan n 0 L hh l ln l0 0 n 0 n (8) Filter skala n g dengan l g h mempunyai sifat-sifat yaitu: l Ll 48

21 L gl, l0 L gl, l0 L l0 gg l ln n 0, dan 0 n 0 (9) L gh l ln 0 untuk semua n l0 Besaran filter berbeda untuk setiap keluarga wavelet. Filter wavelet untuk keluarga wavelet Haar adalah : h0 dan h (0) sedangkan filter skala untuk keluarga wavelet Haar adalah : g0 dan g () Filter wavelet untuk keluarga wavelet Daubechis 4 adalah : h0 ; h ; h ; h3 ; () sedangkan filter skala untuk keluarga wavelet Daubechis 4 adalah : g ; g ; g ; g (3) 4. Maximal Overlap Disrete Wavelet Transform (MODWT) Pemodelan runtun waktu dengan Maximal Overlap Discrete Wavelet Transform(MODWT) merupakan pengembangan dari pemodelan runtun waktu dengan Discrete Wavelet Transform (DWT). Kelebihan metode MODWT dibandingkan dengan DWT adalah data tidak dibatasi kelipatan J yang merupakan persyaratan untuk melakukan DWT, padahal data runtun waktu (N) tidak selamanya J. Filter wavelet dan filter skala MODWT didefinisikan sebagai h l dan g l yang dibentuk dari filter dasar yaitu: 49

22 h, l hl hl dan g, g g (4) l l l h l g dan l g h l L l (5) l Ll Persamaan MODWT dapat ditulis sebagai berikut : J0 X W W V V j T T j j J0 J0 (6) J0 Dj S j J0 (7) Persamaan detail dan smooth MODWT dapat diidentifikasi yaitu : D A A B W T T T j j j j (8) dan S A A A V T T T j0 j0 j0 j0 (9) dimana B adalah matriks filter wavelet dan j A j adalah matriks filter skala 430

23 h h3 h h h h h3 h h h h h3 Bj h3 h h h h3 h h h h3 h h h 0 (0) dengan Wj B jx dan VJ A JX 5. MODEL PERAMALAN DENGAN MODWT Pada unmumnya peramalan merupakan tujuan dari proses pemodelan. Dalam penelitian ini hasil transformasi wavelet digunakan untuk peramalan nilai tukar rupiah. Dalam penggunaan dekomposisi transformasi wavelet maka proses AR menjadi proses Multiscale Autoregressive (MAR) yang diberikan oleh Renaud dkk (003). Pada proses MAR ini, masing- masingkoefisien wavelet dan koefisien skala mengikuti proses autoregressive, yang dinyatakan sebagai: J Aj Xˆ aˆ W aˆ V j t j, k j j, t k j,k j, t k j k k Aj dimanaj adalah level wavelet j,,, J (), A j adalah orde MAR k,,, Aj, W jt, adalah koefisien wavelet, V jt, adalah koefisien skala. a, adalah koefisien MAR, dan t adalah waktu Untuk mengetahui bagaimana memprediksi nilai data ke t dapat dilihat pada gambar berikut ini ˆ jk 43

24 Gambar 3. Koefisien Wavelet yang Akan Digunakan Untuk Meramalkan Nilai Selanjutnya level 4 Gambar di atas merupakan contoh model MAR yang mewakili model dengan J dengan orde MAR A j. Berdasarkan gambar tersebut menunjukkan bahwa jika akan melakukan peramalan data ke-8, maka variabel input yang digunakan adalah koefisien wavelet level pada 7 t dan t 5, koefisien wavelet level pada t 7 dan t 3, koefisien wavelet level 3 pada t 7 dan t 9, koefisien wavelet level 4 pada t 7 dan t. 6. KESIMPULAN Prosedur pemodelan dengan wavelet yaitu data nilai tukar rupiah dilakukan transformasi MODWT sehingga diperoleh koefisien skala dan wavelet. Kemudian koefisien skala dan wavelet akan digunakan untuk memperoleh nilai Multiscale Autoregressive (MAR) yang akan digunakan untuk meramalkan data nilai tukar rupiah. 43

25 7. DAFTAR PUSTAKA Appleyard, Dennis R. and Field Jr, Alfred J. (998), International Economics, 3rd edition, McGraw-Hill. Daubechies, I, 99. Ten Lectures on Wavelets. Society for industrial Applied Mathematics. Philadelpia: SIAM Kuncoro, Mudrajad dan Hikmah Inayah, 003, Adakah Pengaruh Pernyataan Presiden Gus Dur terhadap Perilaku Kurs Rp/US$, Januari April 00?: Studi Empiris dengan Metode Box Jenkins (ARIMA), Jurnal Ekonomi dan Bisnis Indonesia, Vol. 8 No. 4, Oktober, FE UGM, Yogyakarta Kuncoro, Mudrajad Manajemen Keuangan Internasional: Pengantar Ekonomi dan Bisnis Global, Edisi Pertama, Yogyakarta: BPFE. Percival, B.D. and Waldon, A.T., 000, Wavelet for Time Series Analysis, Cambridge University Press, USA. Renaud, O.,J.L Starck and F. Murtagh. 00. Wavelet-based Forecasting of Short and Long Memory Time Series. Universite de Geneve. Geneve Vidakovic, Brani Statistical Modeling by Wavelets. John Wiley & Sons. Inc. New York. Wei, William W.S Time Series Analysis, nd Edition. Addison Wisley. New York. 433