BAB II LANDASAN TEORI

Transkripsi

1 BAB II LANDASAN TEORI 2.1 IT Service Management Bagian ini akan membahas hasil tinjauan literatur sehubugan dengan servis dan manajemen servis untuk IT IT As Service Menurut OGC (2007, p28), A service is a means of delivering value to customers by facilitating outcomes customers want to achieve without the ownership of specific costs and risks. IT adalah salah satu kategori servis yang digunakan oleh bisnis (OGC, 2007). IT sebagai servis biasanya berupa aplikasiaplikasi dan infrastruktur yang dipaketkan dan ditawarkan sebagai servis-servis oleh IT internal organisasi atau penyedia-penyedia jasa eksternal (OGC, 2007). Fisher (2008) mencontohkan pada saat IT menyediakan desktop PC untuk karyawan baru, bagian organisasi yang melakukan permintaan desktop PC tidak tertarik atau tidak ingin mengetahui mengenai kesesuaian dengan standar-standar peralatan yang telah ditetapkan sebelumnya, instalasi aplikasi, keamanan dan patches. Adalah kesanggupan pelayanan, bukan hanya komponen-komponen, yang dibutuhkan saat karyawan baru yang telah tiba di lokasi kerja agar dapat mulai melaksanakan pekerjaan pada organisasi tersebut (Fisher, 2008). 8

2 Konsep dan Manfaat IT Service Management Tan, Cater-Steel, dan Toleman (2009) mengindikasikan adanya tren yang mendorong fungsi IT untuk lebih berorientasi servis agar lebih selaras dengan tujuan bisnis organisasi. Selain itu, tren yang juga muncul adalah semakin besarnya tekanan bagi organisasi publik dan privat untuk lebih cost-effective, meningkatnya ketergantungan pada IT untuk mencapai informasi yang bersifat nyaris real-time, untuk mendukung aktivitas-aktivitas yang bersifat missioncritical, serta kebutuhan untuk meningkatkan integritas pelaporan agar dapat memenuhi ketentuan regulasi yang semakin ketat (Tan et al., 2009). Tan et al. juga menyebutkan bahwa user-user dan manajemen senior semakin berkeinginan untuk mengurangi level toleransi dan kegagalan infrastruktur IT. Tren-tren ini menyebabkan model ITSM semakin dibutuhkan oleh IT, baik IT dalam suatu organisasi maupun sebagai penyedia jasa eksternal organisasi. Service management adalah serangkaian specialized organizational capabilities dalam menyediakan value ke customers dalam bentuk servis (OGC, 2007, p26). Istilah IT Service Management (ITSM) menunjuk pada praktek service management untuk IT sebagai suatu pendekatan berorientasi servis untuk mengelola aplikasi-aplikasi, infrastruktur-infrastruktur, serta proses-proses IT (OGC, 2007). Laporan hasil survei di Australia sehubungan dengan manfaat ITSM mengindikasikan adanya berbagai manfaat dari implementasi kerangka kerja ITSM, yang diantaranya adalah meningkatkan fleksibilitas dan kemampuan adaptasi dari servis IT (dipilih oleh 43% dari total responden), staf IT memiliki ekspektasi yang jelas (37%), cost justification dari infrastruktur dan servis IT

3 10 (35%), serta meningkatkan kualitas dari operasional bisnis (34%) (Gacenga, Cater-Steel, & Toleman, 2010). Survei ini dilakukan pada populasi berupa seluruh anggota IT Service Management Forum (ITSMF) Australia berjumlah 2085 anggota dengan jumlah respon yang dapat digunakan berasal dari 215 anggota atau tingkat respon sebesar 10 % (Gacenga et al., 2010). 2.2 IT Infrastructure Library Pada tahun 1980an, dalam rangka kebutuhan efisiensi, pemerintah Inggris membuat dokumentasi tentang bagaimana organisasi-organisasi terbaik dan tersukses melaksanakan service management (OGC, 2007). Berdasarkan literatur dari OGC, dokumentasi atas pendekatan ITSM tersebut itulah yang diterbitkan dalam bentuk seri buku dan diberi judul IT Infrastructure Library atau disingkat sebagai ITIL. Publikasi ITIL dilakukan oleh Her Majesty s Stationery Office untuk OGC pada tahun 1989 sampai 1995 di Inggris (Cartlidge et al., 2007). OGC adalah suatu independent office dari kementerian ekonomi dan keuangan di Inggris (dikenal juga sebagai Her Majesty s Treasury) yang didirikan untuk membantu pemerintah Inggris memberikan the best value dari pengeluaran atau spending (HM Treasury, n.d.; OGC, 2009). ITIL versi pertama terdiri atas 31 buku yang membahas tentang seluruh aspek dari ketentuan IT service (Cartlidge et al., 2007, p8). Menurut Cartlidge et al., penggunaan awal dari ITIL pada saat itu terutama terbatas untuk Inggris dan Belanda. Versi kedua dari ITIL (ITIL V2) diterbitkan antara tahun 2000 dan 2004 (Cartlidge et al., 2007). Cartlidge et al. menyatakan ITIL V2, yang terdiri atas

4 11 tujuh buku, lebih terhubung dan terkonsolidasi dalam suatu kerangka yang menyeluruh. Penggunaan ITIL V2 lebih universal dan digunakan oleh banyak organisasi di berbagai negara (Cartlidge et al., 2007). ITIL V3 diterbitkan pada tahun 2007 dan terdiri atas lima buku inti (core) yang membahas tentang service lifecycle, dengan Official Introduction sebagai buku keenam (Cartlidge et al., 2007). Cartlidge et al. menyebutkan bahwa lima buku inti itu menjabarkan setiap tingkat dari service lifecycle, yaitu service strategy, service design, service transition, service operation, dan continual Service Improvement. IT service lifecycle sehubungan dengan ITIL digambarkan sebagai diagram pada Gambar 2.1. Gambar 2.1 IT Service Lifecycle (OGC, 2007)

5 Definisi IT Infrastructure Library Pada literatur resmi OGC (2007, p.381) untuk ITIL V3, definisi ITIL dinyatakan sebagai, A set of Best Practice guidance for IT Service Management. OGC juga menyatakan bahwa ITIL memberikan panduan mengenai ketentuan pada Quality IT Services dan proses-proses serta fasilitasfasilitas yang dibutuhkan untuk mendukung servis-servis tersebut. ITIL memperkenalkan pendekatan ITSM yang lebih terhubung, end-toend sehingga dapat menggantikan technology silos dan isolated island of excelence (Cartlidge et al., 2007). ITIL dinyatakan juga sebagai rangkaian prosedur manajemen yang ekstensif dengan tujuan untuk mendukung bisnis guna mencapai kualitas dan value for money dari operasional IT (Zeng, 2007) Manfaat IT Infrastructure Library ITIL V3 digunakan sebagai kerangka kerja dalam melakukan koordinasi dan optimalisasi proses (Kræmmergaard, 2010). Kerangka kerja best practice ITIL memungkinkan manajer-manajer untuk melakukan dokumentasi, audit, dan meningkatkan proses-proses ITSM mereka (Tan et al., 2009). Secara spesifik untuk ITIL V3, banyak organisasi melihat bahwa ITIL V3 ditujukan untuk memfasilitasi penyelarasan proses-proses ITSM mereka dengan keseluruhan kebutuhan bisnis dan untuk menghindari kerugian akibat munculnya silo dari proses (Tan et al., 2009).

6 13 Aspek-aspek dari ITIL pada service management memberikan teknikteknik untuk (Fisher, 2006): 1. Menurunkan kesalahan-kesalahan (errors) dan kelebihan riset yang tidak perlu (research redundancies). 2. Membantu dalam perencanaan, eksekusi, dan analisis atas insiatif-insiatif yang berhubungan dengan IT. 3. Meningkatkan ketersediaan, reliability, keamanan, dan kontinuitas dari aset. 4. Mendefinisikan servis-servis untuk mendukung organisasi per kebutuhankebutuhan user pada biaya-biaya yang terendah. 5. Mengkomunikasikan peran dan tanggung jawab 6. Analisis pada key performance indicators. 7. Menerapkan lesson learned pada aktivitas-aktivitas di masa mendatang Hambatan-hambatan Implementasi ITIL Studi kasus pada tiga perusahaan dalam industri berbasis jasa oleh Shang dan Lin (2010) mengidentifikasikan hambatan-hambatan dalam melakukan implementasi atau melakukan investasi untuk ITIL pada servis-servis dan prosesproses perusahaan-perusahaan tersebut. Studi ini juga menggunakan dimensidimensi dalam Balanced Scorecard dimana hambatan-hambatan yang ditemukan adalah (Shang & Lin, 2010): 1. Ketidakpuasan customer karena adanya gap antara tingkat perbaikan kualitas servis dengan persepsi customer 2. Tidak mampu memuaskan kebutuhan spesifik customer pada waktunya

7 14 3. Biaya ekstra muncul untuk pendidikan dan manajemen 4. Jeda waktu (time lag) antara investasi proyek ITIL dengan hasil kinerja 5. Konflik antara kebutuhan yang mendesak atas peningkatan kualitas dengan pertimbangan biaya 6. Kesulitan dalam melakukan implementasi 7. Resistance dari karyawan 8. Kurangnya kemampuan dalam hal integrasi Pengaruh hambatan-hambatan di atas terhadap empat dimensi Balanced Scorecard disajikan pada Gambar 2.2. Gambar 2.2 Hubungan Hambatan-hambatan Implementasi ITIL dengan Dimensidimensi Balanced Scorecard (Shang & Lin, 2010)

8 15 Menurut Shang dan Lin (2010), hambatan-hambatan tersebut berdampak tidak hanya pada perusahaan, melainkan juga pada customers, call centers, dan staf IT service, serta karyawan-karyawan pada departemen lain. Oleh karena itu, dalam melaksanakan proyek perbaikan kualitas, sebaiknya tidak hanya memperhatikan dari salah satu aspek saja, seperti biaya implementasi, melainkan juga aspek-aspek lain yang terkena dampak akibat munculnya hambatanhambatan implementasi tersebut (Shang & Lin, 2010). Hambatan-hambatan implementasi ITIL tersebut dapat semakin diatasi dengan adanya dukungan yang kuat dari manajemen level atas, komunikasi antara internal dengan customer eksternal, mendesain sistem penghargaan yang mendorong penerapan dari proyek kualitas, dan menciptakan budaya yang menekankan perbaikan secara berkelanjutan (Shang & Lin, 2010) Faktor-faktor Penentu Kesuksesan Implementasi ITIL Studi oleh Tan et. al (2009), yang dilakukan pada proyek implementasi model ITSM secara terpusat berdasarkan ITIL menyimpulkan adanya faktorfaktor penting yang berperan pada kesuksesan proyek ITIL, yaitu: 1. Dukungan dari manajemen senior dan penunjukan senior staf dari unit-unit bisnis ke high level committees. 2. Manajemen senior harus memahami seberapa besar implementasi yang dilakukan dan menjamin bahwa proyek ITSM tersebut didukung sumber daya yang mencukupi dan sesuai atau tepat. 3. Manajer senior sebagai project champion.

9 16 4. Untuk proyek ITSM yang melibatkan vendor, dibutuhkan transfer teknologi yang efektif dari vendor ke staf perusahaan. Hal ini diupayakan tidak hanya dengan mengandalkan penerapan kontrak, tetapi juga dengan mengupayakan hubungan yang dekat dan terus terang (forthright) dengan para vendor terkait proyek ITSM. 5. Manajemen perubahan yang efektif dalam mengubah kultur dari berfokus teknologi menjadi berfokus pada servis. 6. Jika perubahan menyertakan restrukturisasi organisasi, maka dibutuhkan perencanaan yang hati-hati, reinforcement dari tujuan-tujuan proyek, dan penunjukan process owners yang tepat. 7. Rencana realisasi manfaat dijalankan agar manfaat yang nyata (tangible) dan yang tidak berwujud (intangible) dari proyek ini dapat dilacak dan dikomunikasikan sehingga komitmen manajemen senior dan manajer-manajer bisnis dapat dipertahankan. 8. Tata kelola (governance) dan eksekusi proyek secara efektif dan tetap berfokus pada tujuan proyek. Studi lain menyimpulkan bahwa faktor-faktor kritis yang menentukan kesuksesan implementasi ITIL dapat dikategorikan sebagai berikut (Kræmmergaard, Lynge, & Schou, 2010): 1. Fokus pada keselarasan strategis dan pelanggan sehingga memastikan proyek adalah masuk akal dari sisi bisnis dan berkontribusi pada organsiasi.

10 17 2. Proses implementasi yang berbasis contingency dimana sasaran, proses, sumber daya, dan lain-lain, diadaptasikan terhadap keadaan spesifik dari organisasi. 3. Proses implementasi yang terencana dan risk driven yang dapat menangani resiko nyata dari implementasi secara sistematis ketika proyek berjalan. 4. Proses implementasi yang bersifat bertingkat dimana tantangan-tantangan dapat diatasi dengan langkah-langkah yang sederhana dan tidak begitu rumit, sehingga lesson learned dapat digunakan pada tingkat selanjutnya dari proyek. 5. Paket implementasi ITIL berkualitas tinggi dengan perbaikan melalui quality assurance yang sistematis. 6. Manajemen pembelajaran dan pengetahuan dilakukan dengan cara memperoleh pengetahuan dari luar organisasi, menggunakan in-house knowledge yang ada, serta memastikan bahwa karyawan-karyawan yang terkait belajar dari praktek (learn by doing). 7. Pentingnya pelaksanaan change management saat implementasi ITIL dan juga saat implementasi jenis teknologi lain. Temuan lain dari studi oleh Kræmmergaard et al. (2010) adalah kesuksesan atau kegagalan dalam mengimplementasikan ITIL lebih ditentukan dari seberapa baik manajemen atas proses perubahan secara organisasi, dibandingkan dari detail-detail spesifik dalam ITIL.

11 Manajemen Konfigurasi Menurut Klosterboer (2008), manajemen konfigurasi adalah suatu disiplin dalam mengidentifikasi, melacak, dan mengontrol berbagai komponen dari IT environment. Klosterboer juga menyatakan bahwa informasi dari manajemen konfigurasilah yang memungkinkan keputusan yang terkait dengan IT dapat dibuat. Manajemen konfigurasi termasuk dalam tahap Service Transition dari IT Service Lifecycle (OGC, 2007). Sasaran-sasaran (goals) dari manajemen konfigurasi sesuai ITIL V3 adalah (OGC, 2007, p118): 1. Mendukung kebutuhan dan control objectives dari bisnis dan customer 2. Mendukung Service Management yang efisien dan efektif dengan cara menyediakan informasi konfigurasi yang akurat sehingga memungkinkan oran-orang membuat keputusan pada waktu yang tepat, contohnya adalah mengotorisasi perubahan dan rilis, menyelesaikan insiden dan problem lebih cepat. 3. Minimalisasi jumlah isu kualitas dan compliance yang disebabkan karena konfigurasi servis dan aset yang tidak tepat. 4. Optimalisasi aset, konfigurasi IT, kapabilitas, dan sumber daya dari servis. Tujuan dari manajemen konfigurasi adalah untuk mendefinisikan dan mengontrol komponen-komponen dari servis-servis dan infrastruktur, serta memelihara informasi konfigurasi secara akurat berdasarkan kondisi historis, kondisi yang direncanakan, dan kondisi saat ini dari servis-servis dan infrastruktur (OGC, 2007, p118).

12 19 Manajemen konfigurasi berbeda dengan manajemen aset, tetapi kedua proses ini saling berhubungan (Ward, Aggarwal, Buco, Olsson, dan S Weinberger, 2007). Aset dan configuration item adalah rangkaian yang saling overlap (Ward et al., 2007). Menurut Ward et al., manajemen aset terutama digunakan untuk mendukung akuntansi dan umumnya tidak memperhatikan hubungan antara item seperti pada manajemen konfigurasi. Umumnya, sebelum menerapkan manajemen konfigurasi, organisasi tersebut terlah menerapkan manajemen aset terlebih dahulu (Ward et al., 2007). Oleh Fisher (2006), hubungan atau pengaruh antara manajemen konfigurasi dengan beberapa proses lain dalam ITSM digambarkan pada diagram pada Gambar 2.3. Penjelasan atas beberapa bagian dari diagram tersedia pada Tabel 2.1. Gambar 2.3 Hubungan Proses Manajemen Konfigurasi Dengan Proses Manajemen atas Insiden, Problem, Rilis, dan Perubahan (Fisher, 2006)

13 20 Tabel 2.1 Penjelasan Tentang Service Desk, Manajemen Insiden, Problem, Konfigurasi, Perubahan, dan Rilis (Shang & Lin, 2010) Configuration Items dan Configuration Management Database Definisi oleh configuration items (CIs) menurut OGC (2007) adalah aset, komponen servis atau item lain yang berada atau akan berada di bawah kontrol manajemen konfigurasi. CI dapat bervariasi dalam hal kompleksitas, ukuran, dan jenis (Fisher, 2006). Pada literature dari Fisher (2006), definisi configuration management database (CMDB) dinyatakan sebagai, "a master database which contains all relevant details of each CI and details of the important relationships between

14 21 CIs. Contoh komponen dari IT environment yang termasuk dalam CMDB adalah hardware, software, dokumentasi, servis, dan user (Ward et al., 2007). Dalam rangka mengumpulkan informasi tentang inventory dan konfigurasi untuk membuat dan memelihara CMDB, organisasi dapat menggunakan suatu software untuk melakukan aktivitas tersebut. Pada studi oleh Fisher (2006), software ini disebut juga sebagai agent, yaitu software yang melakukan scan dan mengumpulkan informasi inventory dan konfigurasi untuk IT-enabled PCs, server-server, personal data assistants (PDAs) dan peralatan lain yang terhubung ke network. Penggunaan agent software ini dapat dilakukan terutama pada organisasi terhadap aset-set internal yang dimilikinya (Fisher, 2006) Penerapan ITIL pada Proses Manajemen Konfigurasi Pelaksanaan ITIL akan memperbaiki manajemen client-systems dan manajemen konfigurasi peralatan (Fisher, 2006). Dengan melihat vitalnya dukungan infrastruktur IT pada service delivery dan keseluruhan service management serta manfaat penerapan ITIL bagi performa infrastruktur, penerapan proses-proses dan disiplin ITIL kemudian akan meningkatkan juga performa bisnis (Fisher, 2006). Disimpulkan dari studi Fisher (2006), penerapan ITIL pada manajemen konfigurasi akan semakin bermanfaat pada organisasi dengan lingkungan yang bersifat fast-paced dan terdistribusi. Organisasi yang memiliki fast paced environment dapat dengan sangat cepat kewalahan jika tidak ada suatu disciplined approach dalam menangani (install, migrate, upgrade, dan troubleshoot) IT enabled devices (Fisher, 2006). Fisher menyatakan bahwa, pada lingkungan yang

15 22 terdistribusi dengan peralatan yang kompleks dan intensif dalam hal konfigurasi, praktek-praktek ITIL akan semakin sesuai untuk diterapkan dalam rangka memberikan support pada users. Dengan begitu, aktivitas-aktivitas tersebut akan menghasilkan perbaikan dalam hal servis dan biaya (Fisher, 2006). Terkait dengan dampak penerapan ITIL dalam pada proses manajemen konfigurasi, Fisher (2006) menyatakan bahwa ITIL melakukan leverage terhadap CMDB dalam hal mengelola satu sumber tunggal yang benar (a single source of truth) untuk kepustakaan (library) dari detail-detail infrastruktur. Detail-detail infrastruktur yang dimaksud Fisher tersebut diantaranya adalah karakteristik, kontrak-kontrak, dan configuration items yang terkait dengan peralatan. Menurut Fisher, beberapa manfaat dari CMDB yang telah diperbaiki menggunakan ITIL ini adalah: 1. Manajemen yang lebih baik terhadap resiko terjadinya outages, errors atau intrusions. 2. Mengurangi waktu yang dibutuhkan untuk melakukan restore dan maintainance pada IT-enabled availability dan functionality. 3. Teknik-teknik dalam ITIL membantu dalam melakukan distribusi, update versi, dan distribusi patch dari software. Gacenga et al. (2010) melaporkan bahwa, berdasarkan survei yang dilakukan di Australia, untuk jenis kerangka kerja ITSM yang digunakan, ITIL digunakan oleh 95% dari seluruh responden dimana 53% menggunakan ITIL V2 (53%) sedangkan 42% menggunakan ITIL V3. Sehubungan dengan proses-proses ITSM yang mengadopsi ITIL, analisis pada survei oleh Gacenga et al.

16 23 menemukan bahwa dari seluruh pengguna ITIL V3, change management (85%) dan incident management (85%) adalah dua proses yang paling banyak menerapkan ITIL V3. Sementara, setidaknya 40% responden telah menggunakan proses service asset and configuration management dari ITIL V3. Gambar 2.4 menunjukkan grafik hasil survei tersebut oleh Gacenga et al.. Gambar 2.4 Proporsi Implementasi Proses-proses ITIL Berdasarkan Informasi dari 215 Anggota ITSMF Australia (Gacenga et al., 2010) 2.4 Continual Service Improvement Proses Continual Service Improvement (CSI) merupakan salah satu tahap dalam IT service lifecycle yang tujuan utamanya adalah, to continually align and re-align IT services to the changing business needs by identifying and implementing improvements to IT services that support business processes. (OGC, 2007, p31). Oleh karena itu, dapat dikatakan bahwa CSI mencari cara

17 24 untuk meningkatkan efektivitas dan efisiensi proses, sekaligus mencapai efektivitas dalam hal biaya (OGC, 2007). Proses CSI mendukung pendekatan service lifecycle melalui Service Strategy, Service Design, Service Transition, dan Service Operation (OGC, 2007). Gambar 2.5 menjabarkan langkah-langkah perbaikan untuk mendukung proses CSI. Gambar 2.5 Langkah-langkah Perbaikan Untuk Melaksanakan Continual Service Improvement Process (OGC, 2007) 2.5 Pengukuran Menggunakan Metrik Pada ITSM Brooks (2006) menyatakan bahwa metrik adalah bagian penting dari sistem manajemen yang mengarahkan dan mengontrol IT dalam arah yang diinginkan. Tujuan penggunaan metrik dalam ITSM adalah (Brooks, 2006): 1. Menyelaraskan tujuan bisnis dengan IT 2. Membantu memenuhi kebutuhan compliance untuk operasi bisnis. 3. Untuk mendorong operational excellence dari IT secara strategis

18 25 Goal Question Metrics Method (GQM) adalah metode yang dimulai dari mendesain top-levels goals dari proyek, kemudian dibuatkan serangkaian pertanyaan untuk tiap goal dimana tiap pertanyaan akan dijawab jika goal tercapai, dan kemudian metrik digunakan untuk mengukur hasil dari pertanyaan tersebut (Brooks, 2006). Brooks (2006) menjelaskan bahwa pada ITSM, top-level goals yang dimaksud adalah goals dari proses. Gambar 2.6 Struktur Model GQM (Basili, Caldiera, & Rombach, 1994)

19 26 Gambar 2.7 Contoh Model GQM (Basili et al., 1994) Dalam rangka memberikan keterangan yang lengkap mengenai metrik untuk ITSM sehingga memberikan informasi yang jelas tentang cara penggunaan, pengukuran, dan fungsinya, berikut adalah field-field yang dapat digunakan untuk menjabarkan metrik (Brooks, 2006): 1. Metric: Deskripsi sederhana atas metrik. Satuan metrik ditulis dalam kurung. 2. Description: Deskripsi singkat dari metrik, sebagai tambahan atas kata-kata sebagai judul metrik.

20 27 3. Specification: Keterangan singkat untuk menspesifikasi apa yang diukur dan / atau bagaimana mengukurnya secara tepat. 4. Justification: Penjelasan mengapa metrik ini berguna dan bermakna. 5. Audience: Indikasi mengenai kepada siapa seharusnya informasi dari metrik memberikan manfaat. 6. Constraints: Isu-isu yang membatasi aplikasi atau interpretasi metrik. 7. Danger value: Kondisi tingkat metrik adalah merah. 8. Target: Nilai target metrik. 9. Possible value: Daftar nilai yang dapat diterima metrik. Pada survei oleh Gacenga et al. (2010), berdasarkan respon-respon atas pertanyaan terkait tantangan-tantangan dalam melakukan pengukuran dan pelaporan atas manfaat ITSM, ditemukan bahwa tantangan-tantangan tersebut berasal dari sisi internal bisnis atau dari sisi pelanggan. Tantangan-tantangan tersebut diperjelas dengan informasi mengenai adanya kesulitan dalam mengelola persepsi stakeholder, mengidentifikasi manfaat-manfaat yang tidak berwujud, serta jeda waktu antara perbaikan proses dan pengukuran ITSM (Gacenga et al., 2010). Gacenga et al. melihat adanya kemungkinan hubungan antara problem pengukuran ITSM dengan hasil observasi dimana hampir 50% dari respondenresponden survei itu menjawab not applicable atau do not know saat ditanyakan tentang kerangka kerja pengukuran kinerja yang digunakan.