ISSN 1858-4667 JURANAL LINK VOL 17/No. 2/September 2012 MENGUKUR EFEKTIFITAS HASIL AUDIT TEKNOLOGI INFORMASI COBIT 4.1 BERDASARKAN PERSPEKTIF END USER Indri Sudanawati Rozas 1, Danar Ayu Ristyantie Effendy 2 1,2 Jurusan Sistem Informasi, Fakultas Ilmu Komputer, Universitas Narotama Surabaya 1 indrisrozas@gmail.com, 2 danar.ayu@gmail.com Abstrak COBIT 4.1 merupakan sebuah framework yang bisa digunakan untuk menyusun Tatakelola TI maupun melaksanakan Audit TI. Di dalam framework COBIT 4.1 terdapat RACI (Responsible, Accountable, Consulted, Informed) chart yang dijadikan sebargai dasar acuan untuk menentukan siapa saja responden yang harus diaudit. RACI chart menyebutkan CIO, CEO, IT Risk Manager, dan posisi-posisi lain yang terdapat dalam suatu perusahaan/organisasi, namun tidak terdapat end-user di dalamnya. Padahal sebagaimana diketahui end user merupakan pengguna dari sebuah sistem informasi yang jumlahnya lebih banyak dari posisi yang disebutkan dalam RACI chart. Untuk itu penelitian ini berupaya mengukur efektifitas hasil Audit TI dari sudut pandang end user. Objek yang digunakan adalah hasil Audit TI yang sudah pernah dilakukan sebelumnya di Universitas Narotama Surabaya pada tahun 2011. Hasil Audit TI yang dilakukan pada tahun 2011 tersebut mengacu pada RACI chart COBIT 4.1. Metode yang digunakan dalam penelitian ini adalah dengan menggunakan desain kuisioner khusus. Kuesioner tersebut kemudian disebarkan kepada sejumlah responden dalam kategori end user. Dari hasil penelitian diperoleh bahwa persentase kesamaan antara Audit TI menggunakan RACI chart dan Audit TI dengan perspektif end user adalah 100%. Dengan demikian dapat disimpulkan bahwa keterlibatan end user dalam proses audit teknolongi informasi tidak terlalu signifikan. Kata kunci : Audit TI, COBIT, end user, responden, framework. 1. Pendahuluan COBIT 4.1 merupakan sebuah framework yang bisa digunakan untuk menyusun Tatakelola TI maupun melaksanakan Audit TI. Di dalam framework COBIT 4.1 telah terdapat RACI (Responsible, Accountable, Consulted, Informed) chart yang dijadikan sebargai dasar acuan untuk menentukan siapa saja responden yang harus diaudit. RACI chart menyebutkan dua belas posisi yang ada dalam suatu organisasi diantaranya: CEO (Chief of Executive Officer), CFO (Chief of Financial Officer), Bussines Executive, CIO (Chief of Information Officer), Bussines Proces Owner, Head Operations, Chief Architect, Head Development, Head IT Administration, PMO (Project Manager Officer), Compliance, Audit, Riks and Security, Service Manager, namun tidak menyebutkan end user di dalamnya. Padahal sebagaimana diketahui end user merupakan pengguna dari sebuah sistem informasi yang jumlahnya lebih banyak dari posisi yang disebutkan dalam RACI chart. Hal itulah yang melatarbelakangi dibuatnya penelitian ini. Penelitian ini berupaya mengukur efektifitas hasil Audit TI dari sudut pandang end user. Objek yang digunakan dalam penelitian ini adalah hasil Audit TI yang sudah pernah dilakukan sebelumnya di Universitas Narotama Surabaya pada 1-1 tahun 2011 oleh Reny Komalasari (skripsi, 2011, selanjutnya dalam dokumen ini disebut dengan Audit I). Hasil perhitungan nilai maturity level Audit I tersebut diperoleh dengan melibatkan responden yang mengacu pada RACI chart COBIT 4.1. Berdasarkan RACI chart responden yang diwawancara meliputi Head Operations di Departemen Sistem Teknologi Informasi dan Wakil Rektor I sebagai Bussines Executive. Proses TI yang diukur nilai maturity level-nya pada Audit I tersebut ada 12 (dua belas) yaitu: PO1 (Mendefinisikan Rencana Strategis Teknologi Informasi), PO4 (Mendefinisikan Proses TI, Organisasi dan Keterhubungan), PO10 (Mengelola Proyek), AI1 (Mengidentifikasi Solusi Otomatis), AI2 (Memperoleh dan Memelihara Software Aplikasi), AI6 (Mengelola Perubahan), DS5 (Memastikan Keamanan Sistem), DS11 (Mengelola Data), ME1 (Mengawasi dan Mengevaluasi Kinerja TI), ME2 (Mengawasi dan Mengevaluasi Kontrol Internal), ME3 (Memastikan Pemenuhan Terhadap Kebutuhan Eksternal), ME4 (Menyediakan Tata Kelola TI),
Metode yang digunakan dalam penelitian ini adalah dengan menggunakan desain kuisioner khusus dalam pelaksanaan survey. Kuesioner khsuus tersebut disebarkan kepada sejumlah responden dalam kategori end user. Kemudian dari kuisioner yang telah terisi dilakukan perhitungan nilai maturity level. Hasil perhitungan nilai maturity level berdasarkan perspektif end user tersebut kemudian dibandingkan dengan hasil perhitungan nilai maturity level dari Audit I yang telah dilakukan pada tahun 2011. Dari hasil perbandingan tersebut dapat diketahui seberapa signifikan keterlibatan end user dalam proses Audit TI. ITGI mengeluarkan versi COBIT secara bertahap. Dimulai dari COBIT 2.0, COBIT 3.0, COBIT 4.0, COBIT 4.1 dan terakhir yang baru dirilis pada pertengahan tahun 2012 adalah COBIT 5.0. COBIT 4.1 mengidentifikasi 34 proses TIK yang dikelompokkan ke dalam 4 domain utama, yaitu domain Planning and Organisation (PO), Acquisition and Implementation (AI), Delivery and Support (DS), dan Monitoring and Evaluate (ME). Setiap domain memiliki karakteristik yang berbeda. Peran, fungsi, serta keterkaitan antara masingmasing domain adalah sesuai dengan siklus seperti yang diperlihatkan dalam Gambar 1. 2. Landasan Teori 2.1 Audit TI Audit sistem dan teknologi informasi merupakan proses pengumpulan dan pengevaluasi bukti (evidence) untuk menentukan apakah sistem informasi dapat melindungi aset dan teknologi informasi yang ada telah memelihara integritas data sehingga keduanya dapat diarahkan pada pencapaian tujuan bisnis secara efektif dengan menggunakan sumber daya secara efektif dan efisien (Sarno, 2009). Dengan demikian, aktivitas audit perlu dilakukan untuk mengukur dan memastikan kesesuaian pengelolaan baik sistem maupun teknologi informasi dengan ketetapan dan standar yang berlaku pada suatu organisasi, sehingga perbaikan dapat dilakukan dengan lebih terarah dalam kerangka perbaikan berkelanjutan (Sarno, 2009). Weber (2000) menyatakan beberapa alasan penting mengapa audit SI/TI perlu dilakukan, antara lain adalah karena: 1. Kerugian Akibat Kehilangan Data 2. Kesalahan dalam Pengambilan Keputusan 3. Risiko Kebocoran Data 4. Penyalahgunaan Komputer 5. Kerugian Akibat Kesalahan Proses Perhitungan 6. Tingginya Nilai Investasi Perangkat Keras dan Perangkat Lunak 2.2 COBIT 4.1 COBIT adalah singkatan dari Control Objective for Information and Related Technology. COBIT merupakan standar Tata Kelola TI yang dikembangkan oleh IT Governance Institute (ITGI), yaitu sebuah organisasi yang melakukan studi tentang model Tata Kelola TI yang berbasis di Amerika Serikat. Berbeda dengan standar-standar Tata Kelola TI lainnya, COBIT mempunyai cakupan yang lebih luas, komprehensif, dan mendalam dalam melihat proses pengelolaan TI. Selain sebagai framework Tatakelola TI, COBIT juga dapat digunakan sebagai framework untuk melakukan Audit TI. 1-2 Gambar 1. Hubungan antar domain COBIT 4.1 Pembahasan COBIT 4.1 dimulai dari domain Planning and Organisation (PO) yang menyediakan arahan dan penugasan kepada domain Acquire and Implement (AI) and Deliver and Support (DS). Kemudian Acquire and Implement (AI) yang melaksanakan arahan dan mengimplementasikannya ke dalam layanan. Domain Deliver and Support (DS) bertanggungjawab atas solusi dari sistem yang dibangung dan memastikannya bisa digunakan dengan baik oleh user. Terakhir domain Monitor and Evaluate (ME) bertugas melakukan monitoring agar seluruh proses TI yang berjalan sesuai dengan aturan dan kebijakan yang telah didefinisikan. 2.3 RACI chart RACI adalah singkatan dari Responsible, Accountable, Consulted, Informed. COBIT 4.1 menerangkan bahwa RACI chart berfungsi untuk menunjukkan peran dan tanggung jawab suatu fungsi dalam organisasi terhadap suatu aktivitas tertentu dalam IT control objective. Peran dan tanggung jawab merupakan dua hal yang sangat berkaitan erat dengan proses pembuatan keputusan. Suatu keputusan dapat di buat oleh pihak-pihak yang memang memliki kewenangan sebagai pembuat keputusan. RACI diterapkan pada setiap aktivitas didalam IT control objective untuk mendukung kesuksesan IT proses pada keempat domain. Tujuan dari pemberian peran dan tanggung jawab ini adalah untuk memperjelas aktivitas, sekaligus sebagai sarana untuk menentukan peran dari fungsi-fungsi lainnya terhadap suatu aktifitas tertentu. RACI chart mendefinisikan apa dan kepada siapa harus didelegasikan, terdiri dari :
1. R = Responsible, artinya pihak yang harus memastikan aktivitas tersebut berhasil dilaksanakan. 2. A = Accountable, artinya pihak yang mempunyai kewenangan untuk menyetujui atau menerima pelaksanaan aktivitas. 3. C = Consulted, artinya pihak yang mana pendapatnya dibutuhkan dalam aktivitas (komunikasi arah). 4. I = Informed, artinya pihak yang selalu menjaga kemajuan informasi atas aktivitas yang dilakukan (komunikasi satu arah). RACI chart ini membantu auditor untuk mengidentifikasi siapa saja yang akan diwawancara. Dalam COBIT 4.1 terdapat 12 peran yang dimasukkan ke dalam RACI chart sebagai : 1. CEO (Chief of Executive Officer) 2. CFO (Chief of Financial Officer) 3. Bussines Executive 4. CIO (Chief of Information Officer) 5. Bussines Proces Owner 6. Head Operations 7. Chief Architect 8. Head Development 9. Head IT Administration 10. PMO (Project Manager Officer) 11. Compliance, Audit, Riks and Security 12. Service Manager Pada Gambar 2 berikut ini merupakan contoh dari RACI chart proses TI DS5. Gambar 2. RACI chart DS 5 2.3. End user Dalam bidang komputer sering sekali didengar istilah end user. Arti kata dari end user adalah pengguna akhir, dimana end user ini adalah kelompok konsumen yang hanya memakai suatu teknologi tanpa mengetahui proses panjang dibaliknya. Sebagai contoh, dibalik teknologi yang terlihat sangat sederhana dengan dukungan GUI (Graphical User Interface) sesungguhnya terdapat proses yang sangat panjang, namun hal ini tidak diketahui seorang end user sebagai pengguna akhir. 2.4. Presisi Dalam mengukur persentase kesamaan nilai maturity level digunakan sebuah perhitungan yang merepresentasikan tingkat keberhasilan sebuah sistem dalam melakukan pencarian atau pengelompokan sebuah data yang disebut presisi. Presisi adalah sebuah metode evaluasi yang sering digunakan dalam topik temu kembali informasi. Presisi adalah sebuah perhitungan yang merepresentasikan tingkat keberhasilan sebuah sistem dalam melakukan pencarian atau pengelompokan sebuah dokumen (Manning, 2009). Untuk mendapatkan nilai presisi dilakukan klasifikasi terlebih dahulu terhadap dokumen sebagaimana terdapat pada Tabel 1 berikut. Pada tabel tersebut terlihat bahwa dokumen yang berhasil ditemukan dipilah berdasarkan relevansinya. Tabel 1. Klasifikasi Dokumen Dokumen relevant not relevant retrieved TP FP not retrieved FN TN Dengan menggunakan definisi yang terdapat pada Tabel 1 dapat dhitung presisi dengan mengunakan persamaan 1. Dari persamaan 1 tersebut dapat didisederhanakan menjadi persamaan 2. TP presisi= (1) TP+ FP jumlahdokumenrelevan presisi= (2) jumlahseluruhdokumen 3. Metode Penelitian 3.1 Tahapan Penelitian Model penelitian dalam penelitian ini lebih mengarah kepada melakukan survei terhadap end user dengan menggunakan kerangka kerja COBIT 4.1 dengan tahap-tahap yang dilakukan dalam penelitian ini adalah : a. Observasi dan wawancara untuk mengetahui apakah ada perubahan proses bisnis yang signifikan di Universitas Narotama Surabaya. b. Membuat kertas kerja audit teknologi informasi. c. Menentukan end user. d. Mendesain kuisioner yang sesuai. e. Pelaksanaan survey. f. Analisis dan perhitungan hasil survey. 3.2. Menentukan end user Sesuai dengan tujuan penelitian yang berusaha mengukur efektifitas hasil audit berdasarkan perspektif end user, maka proses penentuan end user ini menjadi tahapan yang penting. Pemilihan yang tepat mengenai siapa saja yang dimaksud dengan end user sebagai responden akan sangat mempengaruhi pertanggungjawaban validitas hasil penelitian ini. Setelah dilakukan analisis memgenai siapa yang dimaksud dengan end user dalam batasan Audit I, maka dalam penelitian ini ditetapkan bahwa end user dibagi menjadi dua kelompok: 1-3
a. End user domain PO+ME Responden terdiri dari para karyawan Universitas Narotama Surabaya. b. End uder domain AI+DS Responden terdiri dari mahasiswa, dosen, dekan, kaprodi, karyawan perpustakaan, karyawan TU, karyawan FO dan karyawan minimart. Dasar pembagian kedua kelompok tersebut dikaitkan dengan pembagian domain menurut COBIT 4.1, dimana PO dan ME membahas mengenai kebijakan, perencanaan dan evaluasi, sedangkan domain AI dan DS membahas tentang implementasi dan support terhadap aplikasi terkomputerisasi yang berjalan. Sehingga end user terhadap kedua kelompok domain tersebut juga berbeda. 3.3. Desain Kuisioner Untuk mendapatkan hasil pengukuran yang akurat, diperlukan desain kuisioner yang tepat sasaran. Tepat sasaran di dimaksudkan agar responden dapat memberikan penilaian yang objektif dan independen pada pertanyaan-pertanaan yang diberikan. Contoh desain kuisioner yang digunakan dalam penelitian ini terdapat pada Gambar 3 berikut. Secara umum pada kuisioner tersebut terdapat tiga kolom utama. Kolom yang pertama adalah daftar pernyataan. Kolom yang kedua berwarna abu-abu adalah hasil pengukuran pada Audit I, sedangkan kolom ketiga adalah penilaian menurut perspektif responden sebagai end user. Dengan desain tersebut end user dapat melakukan koreksi apabila dianggap nilai yang diberikan pada Audit I kurang tepat. TU, karyawan FO dan karyawan minimart yang mana mereka juga merupakan end user dari semua aplikasi TI yang diterapkan di Universitas Narotama Surabaya. Dari 31 kuesioner domain PO dan ME yang telah diberikan hanya 26 responden yang bersedia mengisi, sedangkan 33 kuesioner domain AI dan DS yang telah dibagikan hanya 27 responden yang bersedia mengisi. Pada akhirnya kuesoner yang auditor gunakan untuk proses perekapan data adalah 26 kuesioner domain PO dan ME dan 26 kuesioner domain AI dan DS. 1 kuesioner domain AI dan DS tidak digunakan bertujuan agar data yang didapatkan antara domain PO dan ME dengan domain AI dan DS sama-sama berasalkan dari jumlah responden yang sama yakni 26 responden. 1 kuesioner domain AI dan DS yang tidak digunakan tersebut diambil secara acak dari 26 kuisioner yang ada. 4. Hasil Analisis dan Perhitungan Untuk melakukan perhitungan nilai audit diperlukan proses rekap data. Hal ini dikarenakan data yang digunakan dari kuisioner sebagaimana terdapat pada Gambar 3 berjumlah 26 buah. Sedangkan untuk melakukan perhitungan ke dalam kertas kerja audit hanya ada 1 nilai yang bisa diisi. Untuk itu diperlukan proses rekap data untuk menentukan nilai mana yang dimasukkan ke dalam kertas kerja. Contoh proses rekap data yang dilakukan terdapat pada Gambar 4 berikut. Gambar 3. Desain kuisioner 3.4. Pelaksanaan Survey Dalam pelaksanaan audit dilakukan survey dengan cara menyebarkan kuesioner domain PO dan ME kepada 31 responden yang diambil dari karyawan yang merupakan end user dari aplikasi yang diterapkan di Universitas Narotama Surabaya. Dan kuesioner domain AI dan DS kepada 33 responden yang diambil dari mahasiswa, dosen, dekan, kaprodi, karyawan perpustakaan, karyawan 1-4 Gambar 4. Contoh rekap data kuisioner Berdasarkan contoh Gambar 4 tersebut dapat digambarkan bahwa apabila suatu pernyataan mendapatkan nilai mayoritas sempurna dan terdokumentasi maka dalam kertas kerja nilai tersebut yang akan dimasukkan. Dalam kertas kerja COBIT 4.1 sempurna dan terdokumentasi memiliki nilai 1. Sedangkan apabila terdapat nilai 50%:50% maka akan dimasukkan ke dalam nilai yang terendah. Setelah semua proses perhitungan untuk 12 Proses TI dilakukan, kemudian diperoleh hasil pengukuran sebagaimana terdapat pada Tabel 2 berikut. Dari Tabel 2 tersebut diperoleh bahwa ratarata deviasi (penyimpangan) antara hasil Audit I dengan perspektif end user hanya sebesar 0,14 saja. Kemudian jika dikonversi ke dalam maturity level, ternyata deviasi tersebut tidak mempengaruhi level kedewasaan masing-masing Proses TI. Terlihat pada
Tabel 2 bahwa seluruh proses TI memiliki maturity level yang sama persis. Tabel 2. Hasil pengukuran efektifitas hasil audit I Beberapa saran untuk eksplorasi lebih lanjut mengenai topik penelitian ini diantaranya adalah: - Melakukan pengukuran efektifitas hasil audit berdasarkan perspektif end user dengan objek audit yang berjumlah lebih banyak lagi. - Melengkapi proses perhitungan dan analisa dengan dengan metode statistik. - Menyusun metode pengukuran yang memiliki nilai bias mimimum. Daftar Pustaka Jika presisi dari hasil pengukuran efektifitas hasil Audit I berdasarkan perspektif end user dilakukan menggunakan persamaan 2, maka akan dihasilkan nilai berikut: presisi= jumlahdokumenrelevan jumlahseluruhdokumen 12 presisi = 100% 12 = 100% Alter, S., 1996, Information System: A Management Perspektitive, Benjamin Cumming, Menlo Park, CA. Information Technology Governance Institute, 2007, COBIT 4.1: Framework, Control Objective, Management Guidelines, Maturity Models, IT Governance Institute. Rooling Meadows. Komalasari, R., 2011, Pengukuran Keselarasan Tujuan Teknologi Informasi dan Tujuan Bisnis ditinjau dari Perspektif Proses Bisnis/Internal Menggunakan COBIT 4.1 (Studi Kasus: Universitas Narotama Surabaya), Tugas Akhir, Program Sarjana, Program Studi Sistem Informasi, Universitas Narotama Surabaya, Surabaya. Manning, C. D., 2009, An Introduction to Infoemation Retrieval, Prabhakar Raghavan Hinrich Schütze Cambridge University Press Cambridge, England Sarno a, R., 2009, Strategi Sukses Bisnis dengan Teknologi Informasi Berbasis balanced scorecard & COBIT, ITS Press, Surabaya Sarno, R., 2009, Audit Sistem & Teknologi Informasi, ITS Press, Surabaya. Dan nilai presisi yang dihasilkan dari perhitungan adalah sebesar 100%. Dari nilai tersebut dapat dikatakan bahwa hasil Audit I yang menggunakan RACI chart sesuai dengan COBIT 4.1 tidak berbeda nyata dengan hasil audit berdasarkan perspektif end user. 5. Kesimpulan dan Saran Sehingga berdasarkan hasil pengukuran presisi dan analisis yang telah dilakukan dapat disimpulkan bahwa: - Perspektif end user tidak mempengaruhi hasil pengukuran Audit TI secara signifikan. - Hasil Audit I dengan jumlah responden yang hanya 2 orang (DSTI dan Wakil Rektor I) tidak berbeda nyata dengan hasil audit dengan jumlah responden 26 (end user). - Penentuan responden berdasarkan pada RACI Chart yang ada didalam COBIT 4.1 telah dibuat sesuai dengan kebutuhan audit. - Keterlibatan end user dalam proses audit teknolongi informasi tidak signifikan. 1-5