21 III. METODOLOGI PENELITIAN 3.1 Waktu Penelitian Penelitian dilakukan pada Oktober 2011 - Maret 2012. 3.2 Pengumpulan Data Pengumpulan data dilakukan dengan cara: 1. Rekapitulasi hasil uji profisiensi dari laboratorium peserta di Indonesia. 2. Pengiriman sampel ke laboratorium acuan luar negeri (Jerman) untuk memperoleh nilai acuan. 3. Wawancara kepada stake holder terkait meliputi pakar uji profisiensi, pihak laboratorium penyiap sampel. 4. Observasi lapangan pelaksanaan pengujian parameter terkait. 3.3 Metodologi Dalam penelitian ini digunakan pendekatan statistika untuk melakukan evaluasi terhadap hasil uji profisiensi. 1. Metode evaluasi hasil uji 1 : dilakukan seleksi Grubbs 1 kali saja, kemudian terhadap data yang tersisa dilakukan perhitungan Robust Z-score. 2. Metode evaluasi hasil uji 2: dilakukan seleksi Grubbs berulang kali sampai tidak ada lagi data yg keluar, kemudian terhadap data yang tersisa dilakukan perhitungan Robust Z-score. 3. Metode evaluasi hasil uji 3: dilakukan evaluasi langsung menggunakan cara perhitungan Robust Z-score. 4. Metode evaluasi hasil uji 4: dilakukan evaluasi dengan menggunakan nilai laboratorium acuan, dan sebagai nilai s pada penyebut digunakan SD-Horwitz. Untuk menghitung besarnya SD-Horwitz digunakan nilai laboratorium acuan. (ISO, 2005; IUPAC, 2006; Trevor J.F., 2006). Sebelum dilakukan evaluasi hasil uji profisiensi, dilakukan beberapa tahapan atau kegiatan. Pertama-tama dilakukan pemilihan jenis sampel. Sampel dipersiapkan sedemikian rupa sampai dinyatakan homogen. Untuk mengecek
22 homogenitas sampel, maka dilakukan uji anova sesuai Lampiran 14 Lampiran 22. Sampel dikirim ke beberapa laboratorium peserta uji profisiensi di Indonesia. Laboratorium peserta uji profisiensi tersebut melakukan pengujian terhadap sampel dengan metode rutin yang biasa digunakan di laboratorium tersebut. Data uji profisiensi untuk sampel terkait direkap. Sampel juga dikirim ke laboratorium acuan luar negeri (Jerman) dan hasil pengujiannya dianggap sebagai nilai acuan. Dilakukan beberapa teknik evaluasi data uji profisiensi serta dipilih metode evaluasi yang terbaik. Metode pengujian yang digunakan oleh peserta uji profisiensi (SNI dan metode pengujian lain) dianalis unjuk kerjanya serta dikaji kemungkinan penyebab kinerja laboratorium yang tidak baik. Diagram alir metodologi adalah sesuai Gambar 1. Pemilihan jenis sampel uji Pemilihan jenis produk/sampel uji didasarkan pada : 1. Ketentuan dari pemberi sponsor (Kementerian Riset dan Teknologi), yaitu untuk lingkup terkait pangan. 2. Jenis produk yang mendukung pelaksanaan Standar Nasional Indonesia (SNI) yang diwajibkan (kakao bubuk). 3. Jenis produk yang terkait isu hangat yang beredar di masyarakat terutama mengenai bahan tambahan makanan termasuk pengawet (saus cabe). 4. Jenis produk yang terkait dengan keikutsertaan beberapa laboratorium Indonesia dalam uji profisiensi Asia Pasifik dan dinyatakan outlier (minyak nabati). 5. Produk yang dapat diperoleh nilai acuannya. Dalam penelitian kali ini akan dibatasi pada tiga produk agroindustri, yaitu: 1. Kakao bubuk/cocoa powder (kadmium, kadar air, lemak, kehalusan lolos ayakan). 2. Saus cabe (pengawet : kalium sorbat, natrium benzoat; pemanis : sakarin; jumlah padatan terlarut). 3. Minyak nabati (miristat, palmitat, stearat, oleat, linoleat).
23 Mulai Pemilihan jenis sampel dan konfirmasi Sampel homogen? Tidak Ya Ya Analisis sampel oleh peserta dan pelaporan Analisis sampel oleh laboratorium Konfirmasi Hasil uji peserta jelas? Tidak Ya Evaluasi hasil uji untuk menentukan unjuk kerja laboratorium (berdasarkan prinsip nilai median peserta): 1. Seleksi data Grubbs (1x); dilanjutkan dengan Robust Z-score. 2. Seleksi data Grubbs berkali-kali; dilanjutkan dengan Robust Z-score. 3. Langsung Robust Z-score Evaluasi hasil uji untuk menentukan unjuk kerja laboratorium (berdasarkan nilai acuan): 1. Z-score dengan nilai acuan A
24 A Mengidentifikasi metode evaluasi hasil uji Penentuan metode evaluasi hasil uji terbaik berdasarkan: 1. CV Robust terkecil (APLAC, 2004) CV Robust = norm IQR x 100 % Median 2. Z-score yang dihasilkan, dapat membedakan unjuk kerja lab yang baik, dan tidak baik - Laboratorium yang termasuk dalam kategori tidak memuaskan (outlier), -3 > Z > 3 atau (I Z I 3 ) - Laboratorium yang termasuk dalam kategori diperingatkan (questionable) 2 < I Z I < 3 - Laboratorium yang kompeten. I Z I 2 : berarti hasil analisisnya memuaskan. (ISO, 2010) Tidak Kinerja Memuaskan dan diperingatkan Identifikasi kemungkinan penyebab hasil uji laboratorium tidak memuaskan dan kemungkinan penyebab secara umum laboratorium tidak memuaskan berdasarkan titik kritis metode pengujian Identifikasi unjuk kerja metode pengujian (SNI dan metode lain) Pembahasan (implikasi) untuk penelitian terkait dan rekomendasi Selesai Gambar 1 Diagram alir metodologi penelitian
25 Penyiapan sampel uji Sampel uji profisiensi yang homogen sangat diperlukan, agar keragaman hasil uji profisiensi dapat dipastikan karena keragaman kemampuan laboratorium peserta dan bukan dari keragaman sampelnya. Keragaman sampel ditekan sekecil mungkin. Sampel disiapkan dalam jumlah yang cukup. Dihomogenkan. Kemudian dimasukkan ke dalam kemasan. Dilakukan pengecekan terhadap homogenitas, dengan mengambil 10 kemasan, dan masing-masing diuji duplo kemudian dihitung nilai variansi dari pengambilan contoh (sampling) dan variansi dari keberulangan analisis. Kedua nilai tersebut masing-masing diperoleh dari MSB (mean square between) dan MSW (mean square within). Sampel dinyatakan homogen apabila nilai F hitung lebih kecil dari F tabel. MSB [( a + b ) X ] 2 i i ( ai ) = + bi 2( n 1) MSW = [( a b ) X ] 2 i i 2n ( ai bi) Dimana: a i b i = data pengujian pertama = data pengujian kedua n = jumlah data X = rata-rata Kriteria : Uji F = F = MSB/MSW Sampel diyatakan homogen apabila F hitung <Ftabel (db1, db2,α) (IUPAC, 2006; ISO, 2005). Kakao bubuk dilakukan uji homogenitas kadar air dan kadar lemak. Saus cabe dilakukan uji homogenitas kalium sorbat. Minyak nabati dilakukan uji homogenitas miristat 1, miristat 2, palmitat 1, palmitat 2, stearat 1, dan stearat 2. Analisis sampel oleh peserta dan pelaporan Sampel dikirimkan ke laboratorium peserta kemudian sampel diuji di laboratorium peserta sesuai dengan metode rutin yang digunakan laboratorium. Hasil uji dilaporkan secara tertulis. Dilakukan rekapitulasi hasil uji dari peserta.
26 Penentuan laboratorium peserta uji profisiensi ini adalah berdasarkan teknik purposive sampling. Purposive sampling merupakan teknik penentuan laboratorium dengan pertimbangan khusus sehingga laboratorium layak ikut serta dalam uji profisiensi ini. Laboratorium peserta yang diutamakan adalah laboratorium yang telah diakreditasi oleh Komite Akreditasi Nasional. Thompson et al. (2006) tidak mempersyaratkan jumlah minimum atau maksimum peserta uji profisiensi. Food and Consumer Safety Authority (1995) merekomendasikan jumlah minimum laboratorium adalah delapan. Edegard et al.(2000) merekomendasikan sedikitnya 8 15 laboratorium ikut serta dalam uji profisiensi. Edegard et al. (2000) juga mengindikasikan bahwa jumlah laboratorium peserta tidak perlu sama untuk seluruh level konsentrasi. Pengiriman sampel uji ke laboratorium acuan. Sampel uji dikirim ke laboratorium acuan (Jerman), untuk mendapatkan nilai acuan. Nilai tersebut akan digunakan dalam perhitungan kinerja laboratorium berdasarkan nilai acuan. Evaluasi hasil uji Dilakukan evaluasi hasil uji: 1. Metode evaluasi hasil uji 1 : dilakukan seleksi Grubbs 1 kali saja, kemudian terhadap data yang tersisa dilakukan perhitungan Robust Z-score. 2. Metode evaluasi hasil uji 2: dilakukan seleksi Grubbs berulang kali sampai tidak ada lagi data yg keluar, kemudian terhadap data yang tersisa dilakukan perhitungan Robust Z-score. 3. Metode evaluasi hasil uji 3: dilakukan evaluasi langsung menggunakan cara perhitungan Robust Z-score. 4. Metode evaluasi hasil uji 4: dilakukan evaluasi dengan menggunakan nilai laboratorium acuan (menggunakan rumus dari ISO/IEC 17043 Annex A), dan sebagai nilai s pada penyebut digunakan SD-Horwitz. Untuk menghitung besarnya SD-Horwitz digunakan nilai laboratorium acuan (ISO, 2005; IUPAC 2006; Trevor J.F., 2006).
27 Uji Grubbs Uji Grubbs adalah metode yang digunakan untuk menghilangkan data yang ekstrem. Dalam uji Grubbs harus dilakukan langkah-langkah perhitungan berikut ini: - Data diurut dari mulai yang terkecil hingga yang terbesar (x 1, x 2,... x n ). - Nilai G hasil perhitungan dibandingkan terhadap nilai kritis Grubbs yang diberikan pada Tabel (G tabel ). - Apabila nilai G hasil perhitungan lebih besar daripada G tabel, maka data yang dicurigai dibuang (outlier). - Rumus untuk perhitungan Grubbs terdiri dari 3 : G1, G 2, G 3. - Rumus dipilih berdasarkan posisi data pada kumpulan data yang sedang diuji. Rumus Grubbs untuk G1, G2, dan G3 adalah sebagai berikut: G 1(terendaht/ tertinggi) = x - x i s G 2 = X n X 1 s s = Standar Deviasi dari semua data X = Harga rata-rata X i = Data yang dicurigai outlier X n = Data tertinggi X 1 = Data terendah G 3 pasangan data terendah = 1 - [(n 3) s 2 n-2 / (n-1) s2 ] G 3 pasangan data tertinggi = 1 - [(n 3) s 2 n-2 / (n-1) s2 ] s 2 n-2 = variansi dari semua data, tanpa mengikutsertakan 2 data terendah atau 2 data tertinggi - (IUPAC, 2006; Trevor J.F., 2006) Pendekatan nilai ketetapan konsensus dari laboratorium penguji yang mengikuti uji profisiensi (Robust Z-score) Data duplo hasil analisis yang dikirimkan oleh setiap laboratorium dihitung secara statistika menggunakan metode perhitungan statistika Robust Z-score. Parameter yang dihitung disini adalah Z between laboratories. Untuk menghitung Z, mula-mula dihitung Si dengan rumus berikut ini: S i = (A i + B i )/ 2 Ai dan B i adalah kedua data duplo hasil analisis. Z = S i - median (Si)
28 IQR (Si) x 0,7413 IQR x 0,7413 adalah IQR ternormalisasi (n IQR) yang merupakan ukuran dari variabilitas data, yang mirip dengan simpangan baku. n IQR SD IQR yang merupakan singkatan dari interquartile range adalah selisih antara quartile atas dan quartile bawah. Quartile bawah (Q 1 ) adalah suatu harga dibawah mana seperempat dari seluruh hasil berada/terletak sedangkan quartile atas (Q 3 ) adalah suatu harga diatas mana seperempat dari seluruh hasil berada.normalized interquartile range (IQR) adalah perbedaan antara kuartil rendah dan kuartil tinggi. Kuartil rendah (Q1) adalah nilai dibawah dimana seperempat hasil terletak. Kuartil tinggi (Q3) adalah nilai diatas dimana seperempat hasil terletak. Kuartil dihitung dengan IQR = Q3 Q1. Normalized IQR adalah IQR dikalikan 0.7413. Qi Zhou et al (2011) menyatakan bahwa nilai 0.7413 berasal dari distribusi standar normal, dimana mempunyai nilai rata-rata 0 dan standar deviasi sama dengan satu. Lebar interquartile range pada distribusi adalah 1.34898 dan 1/1.34898 = 0.7413. Mengalikan IQR dengan faktor ini membuatnya setara dengan standar deviasi. Seperti diketahui penggunaan yang luas untuk mengukur variabilitas (atau penyebaran atau dispersi) dari data adalah standar deviasi. IQR = Q3 - Q n IQR = IQR x 0,7413 Dimana: Z = Z score antar laboratorium Ai = hasil uji sampel pertama dari laboratorium i Bi = hasil uji sampel kedua dari laboratorium i Median= nilai tengah dari sekelompok data n hitung 0.7413 = standar distribusi normal IQR = interquartile range Nilai Z dapat dikelompokkan menjadi 3 kategori: a) Laboratorium yang termasuk dalam kategori tidak memuaskan (outlier), apabila laboratorium tersebut memperoleh nilai Z yang bukan terletak diantara -3 dan +3. Besaran Z menggambarkan presisi antara laboratorium 3 > Z > 3 atau (I Z I 3 ) 1
29 b) Laboratorium yang termasuk dalam kategori diperingatkan (questionable). 2 < I Z I < 3 : berarti hasil analisisnya belum termasuk tidak memuaskan, tetapi sudah dalam batas diperingatkan. c) Laboratorium yang memuaskan (kompeten). I Z I 2 : berarti hasil analisisnya memuaskan (ISO, 2005). Pendekatan nilai ketetapan dari pengukuran sebuah laboratorium acuan Nilai Z-score dihitung berdasarkan rumus: Z-score = xi X S dimana: xi = adalah nilai yang dilaporkan oleh laboratorium penguji yang mengikuti uji profisiensi X = nilai acuan S = simpangan baku t (ISO, 2005) Untuk simpangan baku digunakan SD Horwitz CV Horwitz = SD Horwitz / nilai acuan SD Horwitz = CV Horwitz x nilai acuan Penentuan metode evaluasi hasil uji terbaik Penentuan metode evaluasi hasil uji terbaik, dalam hal ini adalah, metode yang dapat memberikan hasil yang menggambarkan kompetensi laboratorium. Metode evaluasi hasil uji terbaik dalam uji profisiensi adalah: 1. Berdasarkan Robust Coefficient of Variation (CV). Robust Coefficient of Variation yang terkecil merupakan metode yang terpilih (APLAC, 2004). Robust Coefficient of Variation adalah perbandingan antara simpangan standar dengan nilai rata-rata yang dinyatakan dengan persentase. Coefficient Variance berguna untuk melihat sebaran data dari rata-rata hitungnya 2. Metode yang dapat membedakan laboratorium yang memperoleh hasil baik,dan tidak baik (ISO, 2005). Identifikasi unjuk kerja metode pengujian yang digunakan Dari evaluasi hasil uji terpilih, dilakukan identifikasi metode pengujian baik menggunakan SNI maupun metode lain. Diidentifikasi bagaimana kinerja yang diperoleh, terutama untuk metode pengujian dengan menggunakan SNI.
30 Identifikasi kemungkinan penyebab kinerja tidak memuaskan Setelah dilakukan evaluasi hasil uji, maka hasil evaluasi tersebut akan memberikan gambaran kinerja laboratorium mana saja yang dinyatakan memuaskan dan tidak memuaskan. Bagi laboratorium yang dinyatakan tidak memuaskan akan dilakukan investigasi kemungkinan penyebabnya. Juga akan dilakukan investigasi kemungkinan penyebab (secara umum) berdasarkan titik kritis (critical point) untuk pengujian terkait. Data pendukung kemungkinan penyebab hasil kinerja tidak memuaskan dan kemungkinan penyebab secara umum berdasarkan titik kritis diperoleh dari: 1. Identifikasi metode pengujian terkait. 2. Studi pustaka mengenai metode pengujian terkait. 3. Wawancara terhadap pakar uji profisiensi, dan pakar pengujian terkait. 4. Observasi lapangan pengujian terkait di laboratorium. Kemungkinan penyebab kinerja tidak memuaskan secara umum berdasarkan titik kritis pengujian terkait, akan digambarkan dalam diagram tulang ikan (fishbone diagram) dan akan dilakukan pembahasan. Diagram tulang ikan digunakan untuk mengidentifikasi hubungan antara suatu masalah dengan kemungkinan penyebabnya.