METODE EVALUASI DIKLAT: LEVEL BEHAVIOR (BAGIAN I) MUHAMMAD FIRDAUS, PhD

Transkripsi

1 METODE EVALUASI DIKLAT: LEVEL BEHAVIOR (BAGIAN I) MUHAMMAD FIRDAUS, PhD

2 TEORI EVALUASI PELATIHAN Kirkpatrick, 1959: 1. Level 1: Reaction 2. Level 2: Learning 3. Level 3: Behavior 4. Level 4: Results

3 TEORI EVALUASI PELATIHAN

4 TEORI EVALUASI PELATIHAN Evaluasi Level Behaviour: Pertanyaan kritik: perubahan-perubahan dalam job behavior apa yang terjadi setelah seseorang mengikuti pelatihan? Hal yang perlu diperhatikan adalah apakah ada perubahan besar dalam pekerjaannya. Namun perlu diingat ada faktor lain selain pengetahuan dan ketrampilan yang diperoleh selama pelatihan

5 TEORI EVALUASI PELATIHAN Kritik teori 4 levels: Noe, 2005: 1. Penelitian yang dilakukan tidak menunjukkan bahwa level di bawah mempengaruhi level di atasnya 2. Tidak terlalu menunjukkan tujuan pelatihannya 3. Evaluasi menurut teorinya bertahap, satu level demi satu level padahal bisa bersamaan

6 TEORI EVALUASI PELATIHAN Noe, 2005: perlu evaluasi terhadap outcomes pelatihan, yaitu: 1. Cognitive outcomes (pengetahuan) 2. Skill-based outcomes (ketrampilan) 3. Affective outcomes (motivasi) 4. Results (Perilaku dan kontribusi pada institusi) No 1-3: PERUBAHAN KOMPETENSI No 4 dikaitkan dengan penerapan 1-3 oleh peserta di institusinya

7 TEORI EVALUASI PELATIHAN Langkah-langkah Evaluasi level behavior: 1. Menyusun Desain Evaluasi (proposal) 2. Mengembangkan instrumen pengambilan data 3. Mengumpulkan data, analisis dan judgements 4. Menyusun laporan hasil evaluasi Langkah-langkah ini adalah kegiatan PENELITIAN yang harus menggunakan KAIDAH ILMIAH

8 PENGANTAR METODE PENELITIAN

9 DASAR-DASAR METODE ILMIAH Kebenaran Ilmiah Ilmu Penelitian Proses Berfikir Kebenaran Ilmiah

10 DASAR-DASAR METODE ILMIAH Syarat Kebenaran Ilmiah Koheren Konsisten dengan pernyataan sebelumnya Koresponden Materi pengetahuan yang terkandung saling berhubungan Pragmatis Pernyataan dipercayai benar karena dapat diaplikasikan dalam kehidupan praktis

11 DASAR-DASAR METODE ILMIAH Jenis-jenis proses non-ilmiah: Secara kebetulan Secara trial dan error Melalui spekulasi Karena kewibawaan Secara intuitif Melalui wahyu Secara common sense (akal sehat)

12 DASAR-DASAR METODE ILMIAH Definisi Proposisi dan Hipotesa Proposisi adalah pernyataan tentang sifat dan realita. Contoh Proposisi: kenaikan harga beras terjadi karena kekurangan suplai. Hipotesa adalah pernyataan tentang sifat dan realita yang perlu dilakukan pengujian. Contoh hipotesa: diduga jumlah beras yang diminta dipengaruhi secara bersama-sama oleh harga beras, harga jagung, pendapatan perkapita dan tingkat pendidikan.

13 DASAR-DASAR METODE ILMIAH Definisi Dalil, Teori, dan Fakta Dalil adalah proposisi yang mempunyai cakupan luas atau telah didukung oleh data empiris. Teori adalah suatu set konsep atau construct yang berhubungan satu sama lain. Fakta adalah pengamatan yang telah diverifikasikan secara empiris.

14 DASAR-DASAR METODE ILMIAH Teori memiliki peranan terhadap fakta, dan di sisi lain fakta juga memiliki peranan terhadap teori Peranan Teori Meramalkan fakta Memperkecil jangkauan fakta Meringkas fakta Memperjelas celah fakta Memberikan rencana konseptual Peranan Fakta Menolong memprakarsai teori Menolak teori Menukar orientasi teori Mendefinisikan kembali teori Memberi jalan mengubah teori

15 DASAR-DASAR METODE ILMIAH Jenis-jenis penelitian Disciplinary research Riset yang dirancang untuk meningkatkan suatu disiplin ilmu Riset untuk mengembangkan dan meningkatkan teori ekonomi serta teknik kuantitatif dalam pengukuran dan penentuan parameter

16 DASAR-DASAR METODE ILMIAH Jenis-jenis penelitian Subjectmatter research Riset multidisiplin dari pengambil keputusan yang menghadapi permasalahan. Kebutuhan terhadap subject-matter research sering terjadi karena isu yang dihadapi masyarakat

17 DASAR-DASAR METODE ILMIAH Jenis-jenis penelitian Problemsolving research Riset yang dirancang untuk memecahkan satu masalah yang dihadapi oleh satu pengambil keputusan. Untuk menyelesaikan masalah

18 DASAR-DASAR METODE ILMIAH METODE ILMIAH Prosedur Metode ilmiah dalam riset Teknik Desain

19 DASAR-DASAR METODE ILMIAH Pengertian Metode Ilmiah Metode ilmiah adalah prosedur, teknik dan desain yang diterapkan dalam melaksanakan riset Prosedur adalah urutan langkah-langkah dalam melaksanakan riset Teknik adalah alat-alat yang digunakan dalam mengukur ataupun dalam mengumpulkan data Desain adalah perencanaan dan pelaksanaan riset

20 DASAR-DASAR METODE ILMIAH KRITERIA METODE ILMIAH Berdasarkan fakta Bebas dari prasangka Menggunakan prinsip-prinsip analisa Menggunakan hipotesa Objektif Menggunakan teknik kuantifikasi

21 METODE PENELITIAN METODE DESKRIPTIF Suatu metode untuk meneliti status suatu objek (dapat berupa manusia, peristiwa, dll) Metode deksriptif mempelajari masalah-masalah masyarakat serta situasi-situasi tertentu Metode ini bersifat ex post facto artinya data yang dikumpulkan setelah semua kejadian telah selesai/ telah berlangsung.

22 METODE PENELITIAN Jenis Metode Survey Metode Studi kasus Metode Deskriptif Berkesinambungan Metode Deskriptif Metode Analisis Pekerjaan dan Aktivitas Metode Studi Komparatif Metode Studi Waktu dan Gerakan Tujuan Membuat deskripsi, gambaran mengenai fakta-fakta, sifat-sifat serta hubungan antar fenomena yang diselidiki.

23 METODE PENELITIAN Metode Survey Cara melaksanakan pengumpulan data untuk memperoleh fakta-fakta dari gejala-gejala yang Ada dan mencari keterangan secara faktual, baik tentang Institusi sosial, ekonomi, politik dari suatu kelompok atau Suatu daerah. -Sensus -Sampel -UNIT yang digunakan cukup besar -VARIABEL yang relatif lebih sedikit

24 METODE PENELITIAN Studi Kasus atau Case Study Suatu cara penelitian tentang subjek yang diteliti berupa Individu, atau kelompok atau lembaga atau masyarakat Dengan tujuan untuk meneliti secara intensif, memperoleh Gambaran secara rinci tentang latar belakang, sifat-sifat serta Karakter-karakter yang khas dari kasus, ataupun status dari Individu yang kemudian akan dijadikan suatu hal yang bersifat Umum. Kelemahan studi kasus Sampel kecil, variabel banyak, tidak untuk inferensi subjektivitas tinggi Keunggulan untuk mendukung studi yang besar di masa depan

25 METODE PENELITIAN DAN KAJIAN KEPUSTAKAAN 3. METODE EKSPERIMEN Metode yang paling sering digunakan dalam penelitian eksakta Observasi dilakukan di bawah kondisi buatan yang telah diatur/dibuat oleh peneliti

26 METODE PENELITIAN DAN KAJIAN KEPUSTAKAAN 4. METODE ACTION RESEARCH Suatu penelitian aksi yang dikembangkan bersamasama antara peneliti dan pengambil kebijakan. Untuk memformulasi kebijakan pembangunan

27 METODE PENELITIAN DAN KAJIAN KEPUSTAKAAN DESAIN PENELITIAN Desain penelitian adalah semua proses yang diperlukan dalam perencanaan dan pelaksanaan penelitian. Desain dalam arti sempit meliputi pengumpulan dan analisa data.

28 KAJIAN KEPUSTAKAAN Kajian Kepustakaan adalah kgeiatan untuk memperoleh informasi dari penelitian terdahulu Beberapa Fungsi Kajian Kepustakaan Memberikan ide tentang masalah yang update Sebagai informasi penelitian-penelitian terdahulu Dapat digunakan untuk mencari sumber data Menghindarkan terjadinya duplikasi Dapat sebagai perbandingan, apa kelebihan penelitian anda dibanding penelitian sebelumnya.

29 KAJIAN KEPUSTAKAAN Langkah dalam kajian kepustakaan Menelusuri/mencari bahan bacaan (text book atau digital) Membaca bahan bacaan yang telah ditemukan Mencatat/mengutip informasi yang relevan dengan penelitian

30 KAJIAN KEPUSTAKAAN Jurnal Recent Advances Periodical Text Book Sumber Bacaan Annual Review Bulletin Year Book

31 INSTRUMEN PENELITIAN

32 INSTRUMEN PENELITIAN Variabel adalah konsep yang mempunyai berbagai nilai Variabel dan Konsep Konsep adalah abstraksi yang dibuat secara umum. Contoh: Cabai adalah konsep dan harga cabai adalah variabel karena harga canai dapat naik dan turun

33 INSTRUMEN PENELITIAN Definisi Variabel Definisi Konstitutif dan operasional Definisi Konstitutif adalah suatu definisi yang diberikan Kepada suatu konstruk dengan menggunakan konstruk Yang lain. Pendapatan Bersih adalah Penerimaan Dikurangi biaya. Definisi operasional dari penerimaan adalah semua arus Uang masuk dari semua anggota keluarga yang tinggal Satu atap dalam satu bulan dinyatakan dalam rupiah.

34 INSTRUMEN PENELITIAN Jenis-Jenis Variabel Variabel Dependen Variabel Independen Variabel yang tergantung dengan variabel lain Variabel yang tidak tergantung dengan variabel lain

35 INSTRUMEN PENELITIAN Pengukuran Pengukuran adalah penetapan/pemberian angka terhadap suatu objek atau fenomena yang mengacu pada aturan tertentu (Stevens dalam Nazir, 1985).

36 INSTRUMEN PENELITIAN Pengukuran Yang diukur bukan objeknya tetapi indikan dari ciri atau Sifat dari objek. Indikan adalah sesuatu yang menunjukan Sesuatu yang lain. Gemuk indikatornya berat badan, ukuran lingkar lengan. Kaya indikatornya. Cerdas indikatornya

37 INSTRUMEN PENELITIAN Skala Pengukuran Pengertian: Nominal angka yang diberikan hanyalah label dan tidak menunjukan apa-apa Nominal Contoh: pria-wanita, tidak tahu tingkatan yang lebih tinggi pria atau wanita, bisa saja pria diberi simbol 1 dan wanita simbol 2

38 INSTRUMEN PENELITIAN Skala Pengukuran Pengertian: Angka yang diberikan menunjukkan tingkatan, tidak menyatakan nilai absolut, hanya rangking, interval tidak perlu sama besarnya Ordinal Contoh: Sangat tidak setuju, tidak setuju, netral, setuju dan sangat setuju dapat diberi symbol angka 1, 2, 3, 4 dan 5. Angka-angka ini hanya merupakan simbol peringkat.

39 INSTRUMEN PENELITIAN Skala Pengukuran Pengertian: Interval Skala interval mempunyai karakteristik seperti yang dimiliki oleh skala nominal dan ordinal ditambah karakteristik lain, yaitu berupa adanya jarak yang sama dari obyek yang diukur. Contoh: Temperatur, IPK.

40 INSTRUMEN PENELITIAN Skala Pengukuran Pengertian: Rasio Skala pengukuran ratio mempunyai semua karakteristik yang dipunyai oleh skala nominal, ordinal dan interval ditambah skala ini memiliki nilai absolut dari objek yang diukur. Ukuran rasio biasanya berbentuk perbandingan. Contoh: tingkat pendapatan, usia, kapasitas fiskal.

41 VALIDITAS DAN REALIBILITAS INSTRUMEN PENELITIAN Reliabilitas Ketepatan alat ukur yang dipakai Jika objek yang sama diukur berkali-kali apakah diperoleh hasil yang sama? Dikatakan reliabel apabila mantap/stabil, dapat diandalkan (dependability) dan dapat diramalkan(predictability) Validitas Apakah kita mengukur apa yang benar ingin kita ukur?

42 VALIDITAS DAN REALIBILITAS INSTRUMEN PENELITIAN Dalam Juanda (2009): uji validitas sebuah item pertanyaan diukur dengan menggunakan korelasi antara skor pertanyaan, biasanya menggunakan korelasi Pearson

43 VALIDITAS DAN REALIBILITAS INSTRUMEN PENELITIAN Jika data yang digunakan adalah data ordinal, sebaiknya menggunakan koefisien korelasi Spearman (r s ), nilai r terletak antara -1 < r < 1. Jika semakin mendekati 1 maka hubungan semakin kuat (positif), jika semakin mendekati - 1 juga semakin kuat (negatif), dan jika dekat dengan 0 hampir tidak ada hubungan

44 SAMPLING DAN EKSPLORASI DATA

45 SAMPLING DAN EKSPLORASI DATA Penelitian yang baik menggunakan data yang relevan, dapat dipercaya dan valid Data dapat dikumpulkan sendiri oleh peneliti atau menggunakan orang lain

46 SAMPLING DAN EKSPLORASI DATA JENIS DATA Berdasarkan Cara Memperolehnya Data primer Data sekunder data yang dikumpulkan oleh peneliti sendiri dapat dengan cara mencari informasi langsung atau menggunakan kuesioner data yang diperoleh dalam bentuk yang sudah jadi berupa publikasi atau file digital

47 SAMPLING DAN EKSPLORASI DATA Berdasarkan Periode/Waktu Pengumpulannya Data cross section Data time series Data panel data sekumpulan individu pada waktu tertentu (bersifat statis) data satu individu yang dikumpulkan secara berkala untuk melihat perkembangan dari waktu ke waktu Gabungan data Cross-section dan Time-series

48 SAMPLING DAN EKSPLORASI DATA Berdasarkan Sumber Datanya Data internal Data eksternal data yang dikumpulkan dalam organisasi yang terkait penelitian data yang dapat dikumpulkan dari luar organisasi yang terkait dalam penelitian

49 SAMPLING DAN EKSPLORASI DATA Berdasarkan Sifatnya Data kualitatif Data kuantitatif data yang tidak berbentuk angka Sebelum dianalisis biasanya data ini harus diskalakan dulu, bisa dalam skala nominal atau ordinal data yang berupa angka hasil pengukuran atau penghitungan

50 SAMPLING DAN EKSPLORASI DATA Berdasarkan Skala Pengukurannya Nominal Ordinal Interval Rasio

51 SAMPLING DAN EKSPLORASI DATA Teknik Sampling jika peneliti tidak mengetahui dengan pasti peluang masing-masing individu maka lebih baik menggunakan Non-probability Sampling Probability Sampling jika dalam melakukan penelitian, peneliti dapat mengetahui peluang dari masing-masing individu untuk terambil sebagai sample

52 SAMPLING DAN EKSPLORASI DATA Terminologi Populasi: Kumpulan dari ukuran-ukuran objek yang diteliti. Contoh: pendapatan petani. Unit sampling: kumpulan unsur populasi yang tidak tumpang tindih. Contoh: petani, desa. Sampel adalah kumpulan dari unit sampling. Frame atau list adalah urutan unit sampling yang tersedia. Parameter adalah ukuran yang menjelaskan sifat-sifat populasi. Contoh mean ( ) dan variance ( 2 ). Statistik adalah ukuran yang menjelaskan sifat-sifat sampel. Contoh mean (x) dan variance (s 2 ). Inferensi statistik adalah generalisasi terhadap populasi dengan dasar sample yang diambil dari populasi tsb.

53 SAMPLING DAN EKSPLORASI DATA Jenis dan Perbandingan Teknik Sampel Nonprobabilitas (Zikmund, 2000) Jenis Sampel Deskripsi Kelebihan Kekurangan Convenience Judgement Peneliti menggunakan sampel yang paling sederhana/ekonomis Peneliti yg ahli memilih sampel untuk memenuhi tujuannya, seperti meyakinkan bahwa semua populasi memiliki karakteristik tertentu Tidak memerlukan daftar populasi yang panjang Bermanfaat untuk tipe estimasi tertentu. Biaya moderat. Sampel memastikan bahwa tujuan yang akan dicapai pasti tercapai Variabilitas dan estimasi yang bias tdk dapat dikontrol. Proyeksi data dari sampel yang diperoleh tidak sesuai Hasilnya dapat bias karena sampel tdk representatif. Proyeksi data dari sampel tidak cocok

54 SAMPLING DAN EKSPLORASI DATA Jenis Sampel Quota Snowball Jenis dan Perbandingan Teknik Sampel Nonprobabilitas (Zikmund, 2000) Deskripsi Kelebihan Kekurangan Peneliti mengklasifikasikan populasi menurut kriteria tertentu, menentukan proporsi sampel yang dikehendaki untuk tiap kelas, lalu menentukan kuota Responden awal dipilih dengan sampel probabilitas lalu responden selanjutnya dipoeroleh dari masukan responden sebelumnya Mengenalkan beberapa stratifikasi populasi. Tidak memerlukan daftar populasi Biaya rendah. Bermanfaat dalam pengalokasian anggota dari populasi yg sedikit Memberikan hasil klasifikasi bias. Penyimpangan dari populasi tdk dpt diperkirakan karena seleksi non random. Proyeksi sampel data tdk dpt dilakukan Hasilnya bias krn jumlah sampel tdk independen. Proyeksi data di luar sampel tidak sesuai

55 SAMPLING DAN EKSPLORASI DATA Simple Random Sampling Pengambilan sampel, sedemikian rupa sehingga tiap unit dalam sampel mempunyai peluang yang sama untuk dipilih. Populasi ± homogen dari parameter yang ingin diketahui Tersedia frame/list (gunakan tabel angka random) Teknik lain tidak mungkin dilakukan Stratified Random Sampling Pengambilan sampel, dimana keseluruhan unit sampling terlebih dahulu dipisahkan dalam kelompok-kelompok yang tidak tumpang tindih disebut strata, kemudian dari tiap kelompok diambil sampel secara acak Populasi menunjukkan heterogenitas yang nyata Menghendaki presisi yang lebih tinggi Kriteria stratifikasi harus ada Data pendahuluan mengenai strata harus ada

56 SAMPLING DAN EKSPLORASI DATA Cluster Sampling Teknik pengambilan sampel dari kelompok unit-unit kecil yang disebut cluster. Unsur-unsur dalam cluster bersifat heterogen, bukan strata Populasi dapat dikelompokkan menjadi cluster-cluster Dana sangat terbatas Tidak perlu frame/list unit elementer Contoh: Untuk mengestimasi total luas sawah di Jawa Barat, desa dapat dijadikan cluster. Bila ada 10 ribu desa, untuk sample fraction 1% diperlukan 100 desa. Untuk one stage cluster, setiap unit elementer dari cluster harus disurvey

57 METODE ANALISIS

58 Metode Analisis Analisis Non-Parametrik Analisis korelasi Analisis kausal Contoh: Dampak hasil diklat terhadap kinerja pegawai

59 Metode Analisis Regresi Menguji berbagai teori ekonomi Analisis data sekunder Contoh: Dampak Penguasaan Materi Diklat terhadap Kinerja Individu

60 Metode Analisis Regresi Logistik (Logit, Probit, Tobit) Menentukan faktor yang paling berpengaruh terhadap perbedaan dua kelompok individu, perusahaan dan wilayah Analisis data primer dan sekunder Contoh: Faktor-Faktor yang Mempengaruhi Keberhasilan Seseorang dalam Mencapai Posisi Karir Tertentu

61 Metode Analisis Multivariate Analysis (SEM, Chaid, Cluster, Biplot) Menganalisis faktor-faktor yang berpengaruh Analisis data primer sekunder Contoh: Produktivitas dan Loyalitas Individu

62 Metode Analisis Almost Ideal Demand System (AIDS) Menganalisis perilaku permintaan Analisis data sekunder Contoh: Faktor-faktor yang Mempengaruhi permintaan komoditi dari data SUSENAS

63 TERIMA KASIH

64 Lampiran Penyusunan Proposal Penelitian untuk Evaluasi Level Behavior

65 PENDAHULUAN Latar Belakang Menunjukkan kepada pembaca bahwa penelitian penting dilakukan Secara runtun mendeskripsikan secara faktual setiap aspek dari judul penelitian Berisi data-data ekonomi global, nasional dan regional Bila merujuk pada suatu wilayah atau perusahaan, ditunjukkan alasan mengapa ia dipilih

66 PENDAHULUAN Tujuan Penelitian Harus terukur: mengidentifikasi, mengestimasi, menentukan, bukan mengetahui dll. Setiap butir dari tujuan penelitian harus jelas hipotesis, metode dan kesimpulan/jawaban

67 Tips Penyusunan Kalimat Harus mengandung prediket Hindari penggunaan kalimat aktif Satu kalimat terdiri atas maksimum 3 baris Satu alinea terdiri atas minimum 2 kalimat Perhatikan penggunaan tanda baca seperti koma (,), titik koma (;) dan titik.

68 Contoh Penyusunan Kalimat (yang salah??) Dalam beberapa kurun waktu terakhir setelah krisis ekonomi, kondisi sosial dan perekonomian di Indonesia mulai mengalami perbaikan, yang dapat dilihat dari aspek ekonomi, yaitu terdapat beberapa indikator-indikator yang dapat dijadikan tolak ukur. Hal ini antara lain adalah meningkatnya pertumbuhan ekonomi di Indonesia, menurunnya laju inflasi, serta adanya peningkatan pendapatan riil per kapita penduduk Indonesia. Dari laporan tahunan Bank Indonesia tahun 2006, bahwa pertumbuhan ekonomi Indonesia selama beberapa kurun waktu terakhir terus mengalami perbaikan dimana trend pertumbuhan ekonomi per tahun di Indonesia, sebelum dan setelah krisis moneter disajikan pada gambar 1.