PEMBANDINGAN BEBERAPA PENDUGA TINGKAT KESALAHAN KLASIFIKASI PADA ANALISIS DISKRIMINAN KUADRATIK

Transkripsi

1 PEMBANDINGAN BEBERAPA PENDUGA TINGKAT KESALAHAN KLASIFIKASI PADA ANALISIS DISKRIMINAN KUADRATIK (COMPARISON OF SEVERAL CLASSIFICATION ERROR RATE ESTIMATORS ON QUADRATIC DISCRIMINANT ANALYSIS) Khoiri Nisa Jurusa Matematika Uiversitas Lampug Jl. Prof. Dr. Soematri Brojoegoro Badar Lampug isa@uila.ac.id Abstract The major objective of discrimiat aalysis is to classify multivariate data ito differet populatio o the basis of a traiig sampel for which the source populatios are kow. Sice the primary goal of discrimiat aalysis is classifyig data it is importat to kow the probability of misclassificatio (which is also called: classificatio error rate) of the classificatio rule we use. I this paper we compared four methods for estimatig the classificatio error rate through Mote Carlo simulatio the methods are the Resubstituio method the Jackkife method U estimator ad U estimator. We set the simulatio usig radom samples with size: = 4 ad 6. The compariso of the predictios of error rate was doe usig the MSE (mea square error) resulted from all methods. Te result showed that the Jackkife method always performs better tha the other three methods. PENDAHULUAN Aalisis Diskrimia merupaka suatu tekik aalisis data multivariat yag diguaka utuk megklasifikasika objek ke dalam populasi-populasi yag berbeda berdasarka sampel latiha (traiig sampel) yag telah diketahui asal populasiya. Berdasarka sampel tersebut sebuah atura pegklasifikasia dibagu da selajutya diguaka utuk megklasifikasika objek baru ke dalam salah satu populasi. Atura pegklasifikasia yag diperoleh merupaka sebuah fugsi yag disebut sebagai fugsi diskrimia. Pada kasus dua populasi aalisis diskrimia dibedaka mejadi dua jeis yaitu aalisis diskrimia liier da aalisis diskrimia kuadratik. Aalisis diskrimia liier diguaka jika matriks kovaria kedua populasi diasumsika sama sedagka aalisis diskrimia kuadratik diguaka jika matriks kovaria kedua populasi diasumsika berbeda. Dalam peelitia yag diusulka ii kami memfokuska pada kasus aalisis diskrimia dua populasi dega matriks kovaria berbeda yaitu aalisis diskrimia kuadratik (ADK). Karea tujua utama dari aalisis diskrimia adalah megkalsifikasika data maka merupaka suatu hal yag sagat petig utuk megetahui peluag kesalaha klasifikasi (probability of misclassificatios) atau tigkat kesalaha klasifikasi (classificatio error rate). Berbagai peelitia tetag peaksira tigkat kesalaha pada aalisis diskrimia telah dilakuka selama beberapa dasawarsa. Diataraya oleh Critchley & Vitieelo (99) Magku (99) Joosses & Croux (3) Filzmoser dkk (4) dsb. Permasalaha yag mucul dalam peaksira peluag salah klasifikasi adalah ketika data traiig yag tersedia haya sedikit sehigga sampel yag diguaka utuk membagu fugsi diskrimia berukura relatif kecil terhadap bayakya variabel. Utuk kasus seperti ii pedugaa tigkat kesalaha klasifikasi secara kovesioal tidak dapat memberika hasil yag akurat. Utuk megatasi masalah tersebut perlu dilakuka pedugaa dega pedekata tekik resamplig yaitu pedugaa dilakuka berdasarka subsampel berulag yag diambil dari Semiar Hasil Peelitia & Pegabdia Kepada Masyarakat Uila 9

2 A-84 sampel yag sama dega mempertimbaga seluruh kemugkia subsampel (replikasi) yag dapat dibetuk. Dalam tulisa ii kami membadigka beberapa metode peduga tigkat kesalaha klasifikasi pada sampel berukura kecil. Metode peduga yag aka kami badigka yaitu metode Resubstitusi metode Jackkife metode peduga U da metode peduga U. Metode Resubsitusi merupaka metode kovesioal sedagka tiga metode laiya merupaka metode pedugaa berbasis resamplig dega spesifikasi leave oe out da validasi silag. Pembadiga keempat metode dilakuka secara empiris dega simulasi Mote Carlo utuk megetahui peduga tigkat kesalaha klasifikasi yag terbaik. Aalisis Diskrimia Kuadratik Misalka terdapat himpua buah pegamata X ={ x x } x K dalam ruag berdimesi p yag berasal dari populasi pertama Φ ~ N p (µ Σ ) da himpua buah pegamata x x K x dalam ruag berdimesi p yag berasal dari populasi kedua Φ ~ N p (µ Σ ). X ={ } Maka fugsi diskrimia kuadratik diberika oleh : Σ Q x) = l Σ t t ( x µ ) Σ ( x µ ) ( x µ ) Σ ( x )) ( µ () Sebuah pegamata baru x aka diklasifikasika ke dalam Φ jika Q(x) > c π l c π = θ dimaa c merupaka biaya yag diakibatka oleh kesalaha dalam megklasifikasika sebuah uit dalam Φ da c merupaka biaya yag diakibatka oleh kesalaha dalam megklasifikasika sebuah uit dalam Φ sedagka π merupaka peluag prior bahwa x berasal dari Φ da π merupaka peluag prior bahwa x berasal dari Φ. Dalam berbagai studi diasumsika bahwa biaya salah klasifikasi da peluag prior objek dari kedua kelompok memiliki ilai yag sama yaitu c = c da π = π sehigga diperoleh θ =. Dega kata lai keputusaya adalah sebagai berikut : klasifikasika x ke dalam Φ jika Q(x) > klasifikasika x ke dalam Φ jika Q(x) < da klasifikasika x secara sembarag ke dalam Φ atau Φ jika Q(x) = (Joosses & Croux3). Tigkat Kesalaha Klasifikasi Misalka atura pegklasifikasia yag diguaka adalah Q(x) seperti pada persamaa (). Maka tigkat kesalaha klasifikasiya ditetuka oleh rumus berikut: P = P(Q(x) < jika x berasal dari Φ T tetap) P = P(Q(x) jika x berasal dari Φ T tetap) dega T = X X. Da tigkat kesalaha total dapat dihitug dega megguaka rumus : P = P + P + + () Semiar Hasil Peelitia & Pegabdia Kepada Masyarakat Uila 9

3 Peduga Resubsitusi A-85 Peduga ii diperkealka oleh Smith pada tahu 997 (Magku 4). Ide dasarya adalah merealokasi setiap idividu dalam sampel traiig T dega megguaka atura Q(xT). Misalka kriteria perhitugaya adalah C(ij) dega ketetua sebagai berikut : jika i = j C ( i j) = utuk setiap i da j jika i j Maka peduga Resubstitusi dapat didefiisika sebagai : P ˆ ( R) = C[ G(x j T)] da P ˆ ( R) = j= C[ G(x j T)] j= dega G( x j T) merupaka hasil pegklasifikasia suatu uit dalam Φ sedagka merupaka hasil pegklasifikasia suatu uit dalam Φ. G( x j T) Peduga Jackkife Peduga Jackkife utuk pedugaa tigkat kesalaha diberika oleh rumus berikut : ˆ ( ) ( ) Pˆ Pˆ ˆ + ( R) + ( ( R R ) ( JK) = P ) ˆ (.) + ( R) + ( ( R R ) ( JK) = P ) dega R da ˆ R merupaka peduga Resubstitusi da P P (.) + R = C[ G(x k T[ j] )] j= k = + R = C[ G(x k T[ j] )] j= k = R = (.) C[ G(x k T[ j] )] j= k R = (.) C[ G(x k T[ j] )] j= k (Magku 4)

4 Peduga U A-86 Metode ii didasari pada tekik leave-oe-out da diperkealka oleh Lachebruch pada tahu 967 (Magku ). Ide dasar metode ii adalah meduga tigkat kesalaha klasifikasi dega meghilagka satu objek atau idividu dari sampel traiig T satu persatu secara bergatia da pada setiap peghilaga objek tersebut dilakuka pedugaa atura pegklasifikasia berdasarka data yag tersisa selajutya atura ii diguaka utuk megalokasika objek yag dikeluarka. Proses ii diulag sampai setiap objek telah dikeluarka satu kali dari sampel traiig. Dugaa tigkat kesalaha dari Peduga U diberika oleh proporsi dari objek yag salah diklasifikasi terhadap bayakya objek yag dikeluarka. Misalka T [ij] meotasika sampai traiig asal yag telah dikuragi oleh x ij (x ij dikeluarka dari sampel) dega i = da j = i maka peduga U diberika oleh : P ˆ ( U ) = C[ G(x j T[ j] )] da P ˆ ( U ) = j= C[ G(x j T[ j] )] j= Peduga U Peduga U juga diperkealka oleh Lachebruch da Mickey pada tahu 968 (Magku 4) peduga ii meggabugka keempirisa dari peduga U da teori distribusi ormal terhadap fugsi diskrimia. Misalka q da s adalah ilai tegah da simpaga baku dari Q(x ) q Q (x ) Q 3 (x 3 ) Q ( x ) dimaa Qij(x ij ) = Q(x ij T [ij] ). Da misalka q da adalah ilai tegah da simpaga baku dari Q(x ) Q (x ) Q 3 (x 3 ) Q ( ). Dega megasumsika keormala terhadap masig-masig fugsi diskrimia Qj(x j ) da Q j (x j ) maka tigkat kesalaha dari Peduga U diberika oleh : ˆ q = P ( U ) ψ da s q ˆ q P ( U ) = ψ s q s q x dega ψ(.) meotasika fugsi sebara peluag ormal baku. DATA DAN METODE Data yag diguaka dalam peelitia ii merupaka data simulasi yag dibagkitka dega megguaka peragkat luak SAS/IML. Data dua populasi masig-masig dibagkitka sebayak N =N = dari distribusi ormal multivariat N p (µ Σ) dega p = 3 4 da 5. Dalam peelitia ii kami megguaka kasus berbeda utuk matriks varia kovaria populasi Σ. Pada kasus I matriks Σ utuk setiap kelompok kami tetapka berbetuk diagoal yag megakibatka variabel-variabel X i salig bebas. Sedagka pada kasus II matriks Σ utuk setiap kelompok kami tetapka berbetuk odiagoal (umum) yag megakibatka variabel-variabel X i salig berkorelasi. Selajutya dari kedua kelompok populasi diambil sampel berulag ukura sampel utuk setiap kelompok ditetapka sama yaitu = dalam peelitia ii aka dicobaka = 4 da 6 dega = +. Pegulaga dilakuka sebayak kali utuk setiap ukura sampel yag diguaka. Tigkat kesalaha optimum (π) ditetuka dega megguaka ratarata peluag salah klasifikasi dari data populasi yag diklasifikasika dega megguaka fugsi diskrimia kuadratik yag dibagu berdasarka sampel traiig. Semiar Hasil Peelitia & Pegabdia Kepada Masyarakat Uila 9

5 A-87 Prosedur Simulasi. Membagkitka data populasi Φ sebayak N = yag dibagi ke dalam dua kelompok Φ da Φ masig-masig berukura N = N = dega dimesi p = 5 dari sebara ormal dega vektor ilai tegah da matriks kovaria berbeda yaitu Φ ~ N p (µ Σ ) da Φ ~ N p (µ Σ ).. Megambil sampel traiig T secara acak dari Φ da Φ yaitu X = { x x } { x x } x K da X = x K masig-masig berukura sehigga = + = dega T = X X. 3. Meghitug vektor ilai tegah da matriks kovaria dari X da X. 4. Meduga fugsi diskrimia quadratik meurut persamaa () berdasarka vektor ilai tegah da matriks kovaria yag diperoleh pada lagkah Megklasifikasika data seluruh populasi megguaka fugsi diskrimia yag diperoleh pada lagkah 4 da meghitug bayakya objek pada populasi da populasi yag salah diklasifikasika (misclassified). Selajutya meghitug tigkat kesalaha yag dihasilka da disimpa sebagai π. 6. Meghitug tigkat kesalaha klasifikasi dari fugsi diskrimia yag diperoleh dega megguaka peduga Resubstitusi Jackkife U da U. Simpa tigkat kesalaha keempat peduga berturut-turut sebagai Pˆi (R) Pˆi (JK) Pˆi (U) da Pˆi (U). 7. Ulagi lagkah sampai 6 sebayak kali. 8. Meghitug rata-rata dari π yaitu : π = 9. Meghitug ilai Kuadrat Tegah Galat () dari peduga tigkat kesalaha masig-masig metode dega rumus sebagai berikut : ( ) = i i= π Pˆ ( π ) i= i Pˆi. Ulagi lagkah sampai 9 utuk ukura sampel =4 da =6. HASIL DAN PEMBAHASAN Berdasarka hasil simulasi dega replikasi sebayak kali diperoleh ilai Kuadrat Tegah Galat ( ) utuk kasus I (variable salig bebas) pada Tabel. Berdasarka ilai pada Tabel terlihat bahwa metode Jckkife selalu memiliki ilai terkecil pada setiap ukura sampel da dimesi variabel yag dicobaka. Hal ii meujukka bahwa dugaa metode Jackkife lebih baik dibadigka dega metode laiya. Da dapat disimpulka pula bahwa peambaha variabel dalam fugsi diskrimia memperkecil ilai dugaa peluag setiap metode kecuali ilai dugaa peluag metode U. Dugaa peluag metode U terlihat tidak kosiste terhadap peambaha jumlah sampel da jumlah variabel.

6 A-88 Tabel. Nilai Kuadrat Tegah Galat Dugaa Tigkat kesalaha Klasifikasi pada Kasus I N P P( U ) Utuk lebih jelas dalam pembadiga ilai setiap metode data ilai pada Tabel disajika dalam beberapa grafik berikut :. GRAFIK NILAI PADA N= P(UBAR). Bayakya Variabel Gambar. Grafik Nilai pada = utuk kasus I.7.6 GRAFIK NILAI PADA N= P(UBAR). Bayakya Variabel Gambar. Grafik Nilai pada =4 utuk kasus I Semiar Hasil Peelitia & Pegabdia Kepada Masyarakat Uila 9

7 A-89.8 GRAFIK NILAI PADA N= P(UBAR).4. Bayakya Variabel Gambar 3a. Grafik Nilai pada =6 utuk kasus I Pada gambar-gambar di atas terlihat bahwa ilai yag dihasilka metode Jackkife selalu lebih kecil dibadigka metode laiya pada setiap ukura sampel. Meskipu pada p=3 ilai metode Resubstitusi lebih kecil dari metode Jackkife amu semaki bayak variabel yag diguaka tidak meuruka ilai metode Resubstitusi secara sigifika padahal aalisis diskrimia merupaka aalisis multivariat yag dalam praktekya serigkali melibatka bayak variabel. Dega tujua utuk mempermudah pembadiga grafik ilai pada ukura sampel =6 (Gambar 3a) disajika ulag pada Gambar 3b. berikut tapa melibatka ilai dugaa peluag metode U..35 GRAFIK NILAI PADA N= Bayakya Variabel Gambar 3b. Grafik Nilai pada =6 utuk kasus I Berdasarka gambar di atas dapat dilihat bahwa semaki bayak variabel yag diguaka dalam aalisis diskrimia maka peduga Jackkife semaki lebih baik dibadigka metode laiya. Sedagka utuk pembadiga ilai berdasarka jumlah variabel juga dapat terlihat bahwa metode Jackkife lebih baik. Sebagai cotoh berikut ii disajika grafik pembadiga ilai setiap metode pada jumlah variabel p=3.

8 A-9.6 GRAFIK NILAI PADA P= Ukura Sampel Gambar 4. Grafik Nilai pada p=3 utuk kasus I Utuk kasus ke dua (variabel salig berkorelasi) diperoleh ilai dugaa peluag setiap metode sebagai berikut : Tabel. Nilai Kuadrat Tegah Galat Dugaa Peluag pada Kasus II N P P( U ) E Pada Tabel di atas juga terlihat bahwa metode Jackkife selalu memiliki ilai terkecil pada setiap ukura sampel da dimesi variabel yag dicobaka. Hal ii meujukka bahwa dugaa metode Jackkife lebih baik dibadigka dega metode laiya. Da seperti pda kasus I pada kasusu II ii dapat disimpulka pula bahwa peambaha variabel dalam fugsi diskrimia memperkecil ilai dugaa peluag setiap metode kecuali ilai dugaa peluag metode U. Dugaa peluag metode U terlihat tidak kosiste terhadap peambaha jumlah sampel da jumlah variabel. Utuk lebih jelas dalam pembadiga ilai setiap metode data ilai pada Tabel disajika dalam beberapa grafik berikut : Semiar Hasil Peelitia & Pegabdia Kepada Masyarakat Uila 9

9 A-9 GRAFIK NILAI PADA N= KASUS II P(UBAR).. Bayakya Variabel Gambar 5. Grafik Nilai pada N= utuk kasus II.5 GRAFIK NILAI PADA N=4 KASUS II..5. P(UBAR).5 Bayakya Variabel Gambar 6. Grafik Nilai pada N=4 utuk kasus II.35 GRAFIK NILAI PADA N=6 KASUS II Bayakya Variabel Gambar 7. Grafik Nilai pada N=6 utuk kasus II Pada Gambar 5 Gambar 7 di atas terlihat bahwa ilai yag dihasilka metode Jackkife selalu lebih kecil dibadigka metode laiya kecuali pada ukura sampel =6 da p=3 amu semaki bayak variabel yag diguaka maka semaki kecil ilai metode Jackkife sebagaimaa pada kasus I. Dega demikia maka metode Jackkife memberika ilai dugaa peluag salah klasifikisasi yag lebih baik dibadigka metode laiya.

10 A-9 SIMPULAN Berdasarka uraia di atas maka dapat diambil kesimpula bahwa metode Jackkife merupaka metode peduga terbaik dibadigka metode laiya baik utuk kasus I (variabel salig bebas) maupu kasus II (variabel salig berkorelasi). Da dapat disimpulka juga bahwa semaki bayak variabel yag diguaka aka semaki meuruka tigkat kesalaha klasifikasi atau error rate dari seluruh metode. UCAPAN TERIMAKASIH Terimakasih peulis ucapka kepada Lembaga Peelitia UNILA yag telah medaai peelitia ii melalui DIPA PNBP tahu 8. DAFTAR PUSTAKA Critchley & Vitieelo C. 99. The ifluece of Observatios o Misclassificatio Probability Estimate i Liear Discrimiat Aalysis. Biometrica Vol. 78. Filzmoser P. Joosses K. & Croux C. 4. Multiple Group Liear Discrimiat Aalyisis : Robustess ad Error rate. The Caadia Joural of Statistics. Vol 9. hal Joosses K. da Croux C. 3. Empirical compariso of the classificatio performace of robust liear ad quadratic discrimiat aalysis mauscript http: // www. Eco.kuleuve.ac.be/k.joosses Magku I. W. 99. Error Rate Estimatio i Discrimiat Aalysis : aother Look at Bootstrap ad Other Empirical Techique. Tesis master tidak dipublikasika Curti Uiversity of Techology Perth Australia. Magku I.W.. Discrimiat Fuctio ad their Misclassificatio Error. Jural Matematika da Aplikasiya. Vol No.. Magku I.W. 4. Estimatig the Probability of Misclassificatio i Two-Groups Discrimiat Aalysis. Jural Matematika da Aplikasiya. Vol 3 No.. Semiar Hasil Peelitia & Pegabdia Kepada Masyarakat Uila 9