3. METODOLOGI PENELITIAN

42 3. METODOLOGI PENELITIAN 3.1. Pendekatan Kualitatif dan Wawancara Penelitian yang bertujuan untuk mengevaluasi kinerja BKM Bina Budi Mulya ini menggunakan pendekatan kualitatif melalui analisis kuantitatif. Pendekatan kualitatif diharapkan mampu menghasilkan uraian yang mendalam tentang ucapan, tulisan, dan atau perilaku yang dapat diamati dari suatu individu, kelompok, masyarakat, dan atau organisasi tertentu dalam suatu seting konteks tertentu yang dikaji dari sudut pandang yang utuh, komprehensif, dan holistik. 13 Selain pendekatan kualitatif, dilakukan juga pendekatan kuantitatif yang akan memberikan gambaran lebih akurat mengenai deskripsi wilayah, profil desa dan karakteristik objek penelitian. Pendekatan kuantitatif dilakukan dengan dukungan data statistik sekunder yang diperoleh dari hasil survey yang dilakukan sebelumnya, text book, literatur, artikel, situs-situs internet, laporan kegiatan di lokasi penelitian, jurnal penelitian, dan laporan hasil penelitian yang berhubungan dengan objek penelitian. Metodologi kuantitatif yang dipandang dapat mendukung analisis penelitian ini adalah Balance Scorecard. Alasan digunakannya pendekatan kuantitatif ini adalah diharapkan dapat melengkapi beberapa kelemahan yang dapat terjadi melalui pendekatan kualitatif, seperti antara lain objektivitas, validitas, dan reabilitas. Dalam sebuah penelitian kualitatif, ketiga aspek tersebut merupakan tantangan terbesar untuk mencapai sebuah penelitian kualitatif yang berkualitas. Untuk mendapatkan objektivitas, diperlukan kemampuan untuk mampu menanggalkan aspek subjektivitas, baik subjektivitas yang datang dari pihak peneliti, maupun subjektivitas yang datang dari sasaran penelitian. Tingkat validitas sebuah penelitian kualitatif juga sulit didapatkan jika alat ukur yang digunakan tidak sesuai dengan kondisi di lapangan, sehingga reabilitas penelitian, yaitu seberapa besar suatu penelitian mendekati keadaan sebenarnya pun akan sulit didapatkan. 14 13 Hakekat dan Pengertian Penelitian, www.uny.ac.id/akademik/sharefile/files 14 Kupas Tuntas Penelitian Kualitatif, 42

43 Pada penelitian ini metode wawancara mendalam merupakan salah satu teknik yang digunakan untuk mengumpulkan data dan informasi. Penggunaan metode ini didasarkan pada dua alasan, Pertama, dengan wawancara, peneliti dapat menggali tidak hanya apa yang diketahui dan dialami subjek yang diteliti, tetapi juga apa yang tersembunyi jauh di dalam diri subjek penelitian. Kedua, apa yang ditanyakan kepada informan bisa mencakup hal-hal yang bersifat lintas waktu, yang berkaitan dengan masa lampau, masa sekarang, dan juga masa mendatang. Penelusuran literatur juga dilakukan melalui dokumen milik BKM seperti Program Jangka Menengah Penanggulangan Kemiskinan (PJM Pronangkis) BKM Bina Budi Mulya, dan Laporan Review Keuangan BKM Bina Budi Mulya. Dokumen lain maupun review terkait yang dilakukan oleh pihak P2KP juga digunakan sebagai referensi dalam pengumpulan data dan informasi. Wawancara yang dilakukan adalah wawancara mendalam secara tidak terstruktur, namun peneliti memiliki lembar acuan yang dipersiapkan untuk mengarahkan pertanyaan-pertanyaan wawancara (Lampiran 17). Dalam hal ini peneliti dapat mengajukan pertanyaan-pertanyaan secara lebih bebas dan leluasa, tanpa terikat oleh suatu susunan pertanyaan yang telah dipersiapkan sebelumnya. Dengan teknik ini peneliti berharap wawancara berlangsung luwes; arahnya bisa lebih terbuka, percakapan tidak membuat jenuh kedua belah pihak, sehingga diperoleh informasi yang lebih kaya. Penentuan bobot dilakukan dengan analisis subjektif peneliti berdasarkan hasil wawancara dengan seluruh responden. Wawancara di lokasi penelitian melibatkan kurang lebih sepuluh responden kunci yang berasal dari BKM Bina Budi Mulya, Fasilitator Kelurahan, Koordinator Kota, dan juga wakil masyarakat penerima manfaat, untuk periode pengumpulan data kurang lebih selama 4 bulan, dari bulan September sampai dengan Desember 2008. Proses wawancara mendalam diawali dengan pengantar. Pada pengantar ini, secara terbuka dan jujur peneliti memperkenalkan diri dan menjelaskan tujuan dari wawancara. Selanjutnya peneliti menyampaikan pertanyaan yang bersifat luas, dan diakhiri dengan bertanyaan terbuka. Pertanyaan diajukan dengan sesuai dengan lembaran acuan yang telah dibuat sebelumnya (Lampiran 17), mampu mengarahkan

44 responden untuk memberi informasi mengenai aspek-aspek mencakup kinerja kelembagaan BKM Bina Budi Mulya. Pada penelitian ini yang menjadi informan atau narasumber adalah mereka yang mempunyai informasi lebih besar dan lebih menyeluruh berkaitan erat dengan P2KP di Kelurahan Pancoran Mas Kota Depok. Pertama adalah narasumber yang berasal dari pihak luar yang melakukan intervensi penanggulangan kemiskinan di kelurahan tersebut, yaitu fasilitator kelurahan. Kemudian kedua, kepada warga desa yang menjadi wakil masyarakat dalam upaya mewujudkan program pemberdayaan P2KP ini, yaitu anggota BKM Bina Budi Mulya. Terakhir kepada warga masyarakat yang menerima manfaat langsung dari P2KP itu sendiri. Untuk tujuan mendapatkan data penilaian kinerja melalui pendekatan Balance Scorecard, diperlukan adanya indikator-indikator keberhasilan program. Oleh karena itu, melalui teknik wawancara mendalam dengan para informan yang diarahkan sesuai dengan indikator generik dari sebuah organisasi. Analisis dilakukan setelah data hasil wawancara didapatkan, dengan kriteria dan indikatorindikator hasil dari penilaian subjektif yang dilakukan peneliti berdasar data yang telah tersedia. Berdasarkan dokumen-dokumen terkait (khususnya hasil rekapitulasi penilaian indikator kinerja BKM dan wawancara informan kunci), indikator kunci untuk keefektifan kinerja BKM antara lain adalah kapasitas kelembagaan, kapasitas perencanaan dan implementasi program, kapasitas pengelolaan keuangan dan derajat akuntabilitas, kapasitas pengorganisasian relawan dan Kelompok Swadaya Masyarakat (KSM), serta kapasitas kemitraan atau chanelling. 3.2. Pengukuran dengan Balance Scorecard Penelitian diawali dengan turun langsung ke lapangan di Kelurahan Pancoran Mas, Kecamatan Pancoran Mas, Kota Depok, pada lembaga BKM Bina Budi Mulya. Dari kegiatan ini akan diperoleh informasi mengenai pengukuran kinerja yang dilakukan oleh organisasi selama ini untuk dilakukan pendeskripsian sistem pengukuran kinerja organisasi berdasarkan data-data yang diperoleh. Data yang diperoleh merupakan data primer hasil wawancara langsung dengan narasumber dan data sekunder yang berupa dokumen hasil survey yang dilakukan

45 Departemen Cipta Karya. Hasil review kelembagaan BKM yang secara periodik dilakukan oleh unit monitoring dan evaluasi P2K juga merupakan sumber data yang digunakan dalam penulisan penelitian ini (Lampiran 1). Dalam Gambar 3.1 dapat dilihat bahwa proses pembangunan kerangka Balanced Scorecard dimulai dengan menerjemahkan visi, misi, serta strategi yang telah ditetapkan ke dalam tujuan strategis perusahaan (Mulyadi, 2001). Dalam kerangka ini Balanced Scorecard memerlukan data-data seperti visi, misi, tujuan dan strategi organisasi yang dihasilkan setelah tahapan perumusan strategi yaitu analisis terhadap lingkungan internal eksternal dan lingkungan makro. Data-data yang telah diperoleh kemudian diterjemahkankan ke dalam sasaran strategis berdasarkan keempat perspektif Balanced Scorecard. Keempat perspektif Balanced Scorecard menjadi lini utama pola pikir dari konsep Balanced Scorecard dan merupakan tonggak pilar utama pelaksanaan metode tersebut. Balanced Scorecard mewajibkan personel perusahaan mengarahkan sasaran-sasaran strategik pada perspektif nonkeuangan, baik secara langsung maupun tidak langsung, untuk mewujudkan sasaran strategik di perspektif keuangan, yaitu menghasilkan sustainable outstanding financial return. Sasaran strategis ini berupa pernyataan kualitatif mengenai kondisi yang berusaha diwujudkan oleh organisasi di masa depan. Setelah sasaran strategis ditetapkan, langkah selanjutnya adalah menentukan ukuran strategis yang memungkinkan sasaran-sasaran tersebut menjadi terukur (measure), dapat dikelola, hingga dapat diwujudkan. Ukuran strategis yang dilakukan dapat menggunakan Key Performance Indicators (KPI) yang akan memberikan indikator-indikator penting dalam sebuah organisasi. KPI berbentuk matriks yang dapat digunakan untuk membantu organisasi mengukur dan menetapkan perkembangan dari tujuan organisasi tersebut. Pada saat organisasi tersebut dapat menganalisa misinya, mengidentifikasi semua stakeholdernya, dan dapat menentukan tujuannya, maka organisasi tersebut harus memiliki cara untuk mengukur perkembangannya terkait dengan tujuan organisasi. 15 KPI merupakan pengukuran yang dikuantitatifkan, dapat disiapkan sebelumnya, dan dapat menunjukkan critical success factor dari sebuah organisasi. KPI harus dapat 15 Key Performance Indicators, Wikipedia The Free Encyclopedia.

46 merefleksikan tujuan organisasi, dan biasanya merupakan pertimbangan jangka panjang. Karena definisi dari organisasi tersebut tidak akan berubah terlalu sering. Indikator dalam KPI akan berubah seiring dengan perubahan yang tujaun organisasi. 16 Dalam menerapkan KPI sebagai sebuah alat untuk monitoring dan evaluasi diperlukan beberapa kriteria berikut ini: 17 Langsung kepada sasaran (be direct) dan tidak menggunakan perhitungan yang rumit Penilaian harus secara objektif (be objective) Penilaian cukup, tidak berlebihan, dan seimbang (be adequate) Sesuai dengan kenyataan atau prakteknya (be practical) Penilaian yang dilakukan dapat diandalkan atau dapat dipercaya (be reliable) KPI dapat digunakan untuk beragam organisasi dengan sasaran tertentu. Sebuah sekolah dapat menggunakan KPI dengan fokus kepada tingkat kelulusan siswanya. Sebuah Bagian Pelayanan Pelanggan juga dapat menggunakan KPI yang memfokuskan pada persentase pelanggan yang menjawab telepon pada panggilan pertama Dalam penelitian ini, KPI sebagai bagian dari pendekatan Balance Scorecard digunakan untuk mengukur sejauh mana kinerja BKM dalam P2KP. KPI mengukur secara kuantitatif berdasar hasil wawancara dan survey yang melibatkan masyarakat penerima manfaat program dan juga fasilitator. Organisasi lebih lanjut menetapkan target yang dijadikan pertanda keberhasilan pencapaian sasaran strategis tersebut. Setelah penetapan target, langkah selanjutnya adalah menentukan inisiatif strategis. Inisiatif strategis merupakan langkah-langkah strategis (action program) yang dipilih untuk mewujudkan sasaran startegis perusahaan. Penetapan target dan inisiatif strategis sepenuhnya berdasarkan wewenang dan pertimbangan manajemen perusahaan. Langkah selanjutnya adalah melakukan perhitungan terhadap pembobotan pada masing-masing perspektif Balanced Scorecard beserta sasaran dan ukuran strategisnya. Kemudian dilakukan pengukuran terhadap setiap aspek kinerja yang 16 F. John Reh, Key Performance Indicators, You Guide to Management, http://management.about.com/cs/generalmanagement/a/keyperfindic_2.htm 17 Developing Key Performance Indicators in Projects, http://www.visitask.com/developing-keyperformance-indicators.asp

47 dapat dan mungkin diukur dengan Balanced Scorecard untuk memperoleh gambaran umum kinerja BKM (Bina Budi Mulya, Pancoran Mas, Depok), pada periode yang dikaji dalam penelitian. Hasil pengukuran kemudian diidentifikasi dan dianalisis sehingga dapat diketahui aspek-aspek mana yang kurang mendukung untuk pencapaian visi misi, sehingga nantinya akan dilakukan tindakan perbaikan. Serangkaian proses ini pada akhirnya akan menghasilkan sistem pengukuran kinerja organisasi dengan konsep Balanced Scorecard dengan hasil pengukuran berupa kartu skor yang berisikan skor penilaian terhadap tiap perspektif yang ada (Gambar 3.1). Dari beberapa penelitian yang menggunakan metode Balance Scorecard, didapatkan beberapa kelemahan metode ini yaitu tingkat subjektivitas yang tinggi. Terkadang terjadi negosiasi dalam penentuan improvement goal dan tidak berdasarkan stakeholder requirement, fundamental process limits dan improvement process capabilities. Istilah negosiasi ini dalam prakteknya diistilahkan dengan penghijauan skor, artinya supaya kinerjanya terlihat bagus bisa jadi target yang diturunkan atau time frame-nya disesuaikan. Selain itu tidak ada metode dan sistem improvement yang baku dalam penerapan balance scorecard. 18 Selain itu menurut Lee et.,al dalam Purwanto, 2003 beberapa kelemahan yang perlu dicermati dalam penelitian Balance Scorecard antara lain adalah; (1) perangkat Balance Scorecard akan lebih efektif mengukur implementasi strategi daripada mengukur penentuan strategi, dan (2) tidak dapat mengidentifikasi kriteria penerima manfaat dari program yang dijalankan, walaupun mampu berperan dalam memperkuat keterkaitan antara inisiatif perbaikan hubungan masyarakat penerima manfaat dengan strategi organisasi. Kelemahan ini akan menjadi perhatian saat survey/wawancara ke lapangan. 18 Pernyataan konsultan Arthur M Schneiderman, senior examiner di Malcom Baldrige National Quality Award, dalam JSofian, Mengapa Penerapan Balance Scorecard Gagal, http://jsofian.wordpress.com/2007/04/07/mengapa-penerapan-balanced-scorecard-gagal/

48 Gambar 3.1. Tahapan Analisis Balanced Scorecard Visi dan Misi BKM Bina Budi Mulya Terjemahan visi dan misi organisasi ke dalam sasaran strategis pada empat perspektif Balanced Scorecard Sasaran Perspektif Keuangan Sasaran Perspektif Pelanggan Sasaran Perspektif Proses Bisnis Internal Sasaran Perspektif Pembelajaran Pertumbuhan Key Performance Indicators Ukuran Strategis Target Pembobotan tiap-tiap perspektif dan indikator (asaran dan ukuran) Pengukuran kinerja masing-masing perspektif Balanced Scorecard Kinerja keseluruhan BKM Bina Budi Mulya

49 3.3. Analisis Data Analisis data adalah proses penyederhanaan data ke dalam bentuk yang lebih mudah dibaca dan diinterpretasikan. Pengolahan dan analisis data pada penelitian ini disesuaikan dengan tujuan dan permasalahan serta metode yang digunakan dalam penelitian. Data yang diperoleh dari penelitian (baik data primer, data sekunder, maupun informasi-informasi pendukung lainnya) akan diolah secara manual dan dianalisa dengan menggunakan analisis: a. Deskriptif Evaluatif Digunakan untuk data-data kualitatif dari hasil wawancara dengan pihak BKM dan informasi kualitatif lainnya yang diperoleh. penggunaan alat ini karena tidak semua data diperoleh secara kuantitatif. Selain itu juga dapat memberikan gambaran secara deskriptif tentang keadaan dan situasi BKM Bina Budi Mulya Gambar 3.2. Alur Analisis Deskripsi Evaluatif Deskripsi Evaluatif Observasi terlibat Catatan Wawancara Foto kegiatan Dokumen Pengolahan Data Studi Perbandingan dgn Penelitian lain Interpretasi Kepustakaan Kesimpulan pada saat periode penelitian. Hasil dari analisis data disajikan dalam bentuk uraian, gambar atau bagan, berdasarkan konsep Balanced Scorecard. Urutan analisis secara deskriptif evaluatif dapat dilihat pada Gambar 3.2. b. Rasio Digunakan untuk menilai baik buruknya kinerja organisasi dan faktor-faktor apa saja yang mempengaruhi jalannya kegiatan BKM Bina Budi Mulya, Pancoran Mas, Depok. Rasio yang digunakan dalam penelitian ini merupakan alat ukur

50 yang digunakan dan dipilih oleh stakeholder terkait seperti fasilitator kelurahan, anggota BKM, dan masyarakat untuk mencapai sasaran strategiknya, melalui wawancara tidak terstruktur. c. Tabulasi deskriptif Data yang disusun dalam bentuk tabulasi diuraikan secara deskriptif. Digunakan untuk menginterpretasikan data hasil wawancara dengan memindahkan data nilai dari wawancara ke dalam tabulasi. Kemudian dipindahkan ke lembar kerja untuk dianalisis berdasarkan metode analisis yang ditentukan. Sebelum melakukan pengukuran terlebih dahulu harus ditentukan bobot atau tingkat kepentingan organisasi terhadap masing-masing perspektif Balanced Scorecard, sasaran-sasaran strategis, dan ukuran strategisnya. Pembobotan dilakukan agar pengukuran kinerja memberikan indikasi yang lebih terperinci dan terkait langsung dengan kepentingan organisasi. Semakin penting suatu perspektif, sasaran, dan ukuran hasil bagi organisasi, semakin besar bobot yang diberikan. Penentuan nilai bobot kepentingan dari tiap perspektif beserta sasaran strategis dan ukuran hasil utamanya diberikan agar dapat menghasilkan skor untuk dibandingkan tingkat kepentingannya satu sama lain. Pengukurannya adalah menggunakan metode pairwise comparison. Metode ini digunakan untuk menilai bobot dari masing-masing perspektif yang memiliki sasaran strategis di mana setiap sasaran strategis memiliki ukuran hasil utama. Caranya adalah dengan membandingkan antara satu perspektif dengan perspektif lainnya, membandingkan sasaran strategis dengan sasaran lainnya dan membandingkan antara ukuran hasil lainnya. Langkah-langkah dalam pemberian bobot bagi masing masing perspektif, sasaran, dan ukuran hasil utama adalah: 1. Melakukan perbandingan antar suatu elemen (perspektif, sasaran strategis, atau ukuran hasil) dengan elemen lainnya yang disajikan dalam bentuk tabulasi (Tabel 3.1). Perbandingan dilakukan dengan memberikan nilai pada skala 1 sampai 5. 1 : tidak penting 2 : kurang penting

51 3: tingkat kepentingan sama 4 : lebih penting 5 : sangat penting Nilai yang telah dipertimbangkan, kemudian diisikan pada sel Aij. Perbandingan antara dua unsur elemen yang sama tidak diberi nilai. Untuk sasaran yang hanya memiliki satu ukuran, maka bobot dari ukuran tersebut disamakan dengan bobot dari sasarannya. 2. Memberikan nilai kebalikan dari perbandingan pada langkah satu untuk mengisi sel Aji, misalnya nilai 2 untuk kebalikan dari nilai 4. 3. Menjumlahkan masing-masing nilai unsur elemen tiap baris dan tiap kolom, kemudian menjumlahkan hasilnya. 4. Melakukan perhitungan bobot untuk masing-masing perspektif, sasaran strategis, dan ukuran strategis balanced scorecard elemen dengan cara membandingkan total nilai masing-masing elemen dengan jumlah total nilai lalu dikalikan dengan persentase keseluruhan perspektif. Tabel 3.1. Matriks Perbandingan Berpasangan Perspektif/Sasaran Strategis/Ukuran Hasil A 1 A 2 A 3... A j Bobot A 1 A 12 A 13 A 1j A 2 A 21 A 23 A 2j A 3 A 31 A 32 A 3j... A i A i1 A i2 A i3 A ij Total Perhitungan nilai bobot terhadap keempat perspektif Balanced Scorecard : Bobot Ai = ( Ai / Aij ) Χ 100 % (persamaan 1) Setelah memperoleh pembobotan untuk masing-masing perspektif, kemudian dilakukan pembobotan untuk masing-masing sasaran strategis dalam setiap perspektif. Bobot Ai = ( Ai / Aij ) Χ bobot setiap perspektif (%) (persamaan 2) Kemudian dilakukan pembobotan untuk masing-masing ukuran strategis dari setiap sasaran strategis.

52 Bobot Ai = ( Ai / Aij ) Χ bobot setiap sasaran strategis (%) (persamaan 3) Setelah didapatkan keseluruhan bobot untuk ukuran strategis, barulah dapat dilakukan pengukuran kinerja dengan Balanced Scorecard. Pengukuran dilakukan dengan menghitung tingkat pencapaian ukuran hasil manajemen perusahaan selama periode yang dikaji dalam penelitian dengan target yang telah ditetapkan oleh pihak manajemen perusahaan sebelumnya. Perhitungan nilai pencapaian ukuran hasil dalam Balanced Scorecard: Pencapaian = Hasil yang diperoleh pada periode ( t ) Target Χ 100%. (persamaan 4) Setelah menghitung tingkat pencapaian, langkah selanjutnya adalah menghitung skor kinerja yang dihasilkan dari masing-masing ukuran hasil. Skor kinerja diperoleh dengan mengalikan tingkat pencapaian dengan bobot yang telah ditetapkan. Total skor kinerja BKM Bina Budi Mulya, Pancoran Mas, Depok diperoleh dengan menjumlahkan skor seluruh ukuran hasil yang digunakan.