ANALISIS DISKRIMINAN

Transkripsi

1 LAPORAN MULTIVARIAT ANALISIS DISKRIMINAN Dsusun oleh : Indra Syahrar 5534 Agung Dw Suprapto 5545 Fathurochman 5576 Julanto Muhammad Nurvana 5768 FAKULTAS PENDIDIKAN MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS PENDIDIKAN INDONESIA 9

2 KATA PENGANTAR Alhamdulllahrrabl alamn. Puj dan syukur penuls panjatkan kepada Allah SWT, karena berkat lmpahan rahmat dan kash sayang-nya penuls dapat menyelesakan laporan n. Penuls memaham bahwa penulsan laporan n tdak akan berjalan dengan lancar tanpa adanya kerjasama dan bantuan dar berbaga phak. Penuls menyadar bahwa laporan n jauh dar sempurna, oleh karena tu dharapkan adanya krtkan dan masukan yang membangun kepada penuls. Akhr kata penuls berharap semoga laporan n dapat bermanfaat bag semua phak yang memerlukan, khususnya bag cvtas akademka Fakultas Ilmu Matematka dan Pengetahuan Alam, Unverstas Penddkan Indonesa. Bandung, Jun 9 Penuls

3 BAB I PENDAHULUAN. Latar Belakang Masalah Analss dskrmnan dan klasfkas merupakan teknk multvarat yang dpengaruh dengan pemsahan hmpunan-hmpunan objek (observas) yang berbeda dan dengan pengalokasan objek-objek (observas) baru ke grup yang sebelumnya telah ddefnskan. Analss dskrmnan pada dasarnya bersfat explorator. Sebaga prosedur pemsahan, analss dskrmnan serngkal dpaka pada one-tme bass untuk menyeldk perbedaan-perbedaan yang damat saat hubungan kausal tdak dapat dmengert dengan bak. Prosedur klasfkas merupakan prosedur yang sedkt explorator yang mengacu pada aturan well-defned yang bsa dgunakan menentukan objek baru. Klasfkas basanya membutuhkan struktur masalah lebh dar dskrmnas. Ketka melakukan klasfkas, sangat mungkn akan terjad kesalahan pengklasfkasan objek/observas. Sebaga contoh, seorang nelayan akan mengelompokkan kan salmon kedalam dua grup, msalnya kan yang berasal dar peraran Canada dan kan yang berasal dar peraran Alaska, berdasarkan ukuran lngkaran pertumbuhan pada ssknya. Ukuran lngkaran pertumbuhan pada ssk kan salmon peraran Alaska lebh kecl dbandngkan kan salmon peraran Canada. Akan tetap, jka nelayan tersebut tdak cukup jel untuk membedakan ukuran lngkaran pertumbuhannya, maka akan mengakbatkan terjadnya kesalahan pengelompokkan. Ikan salmon peraran Alaska bsa dkelompokkan kedalam kan salmon peraran Canada, begtu juga sebalknya. Kesalahan pengklasfkasan n basa dsebut msklasfkas. Prosedur pengklasfkasan yang bagus harus memperkecl peluang terjadnya msklasfkas. Dengan kata lan, peluang atau probabltas msklasfkas harus kecl. Oleh karena tu maka perlu dlakukan evaluas terhadap prosedur klasfkas. Berdasarkan paparan d atas, perlu kranya dbahas beberapa teor mengena analss dskrmnan dan pengklasfkasan bak untuk yang dua

4 populas maupun beberapa populas serta metodenya dalam pendeskrpsan prosedur klasfkas.. Rumusan Masalah Adapun rumuban masalah yang akan dbahas dalam makalah n adalah sebaga berkut:. Bagamana mendeskrpskan objek-objek (observas-observas) dar populas yang dketahu?. Bagamana menyusun objek-objek (observas-observas) menjad dua atau lebh label kelas? 3. Bagamana mengelompokan objek-objek dengan EOR, EAR, APPER, dan Metode Fsher?.3 Tujuan Penulsan Tujuan dar penulsan n adalah sebaga berkut:. Mampu mendeskrpskan bak secara aljabar atau secara aljabar dfferental features dar populas yang dketahu.. Mampu menyusun objek-objek (observas-observas) menjad dua atau lebh label kelas. 3. Mampu mengelompokan objek-objek dengan EOR, EAR, APPER, dan Metode Fsher..4 Batasan Masalah Pada makalah n yang akan dbahas mengena dskrmnas dan klasfkas, akan tetap dalam makalah n penuls membatasnya hanya untuk yang berpopulas normal..5 Sstematka Penulsan Makalah n mengkut sstematka penulsan sebaga berkut: BAB I : Pendahuluan Membahas latar belakang masalah, rumusan masalah, tujuan penulsan, batasan masalah, dan sstematka penulsan.

5 BAB II : Is Bab n menyajkan tentang dskrmnas dan klasfkas. BAB III : Kesmpulan dan Saran Bab n menyajkan kesmpulan dan saran dar hasl makalah yang penuls tuls

6 BAB II PEMBAHASAN DISKRIMINAN DAN KLASIFIKASI. Pemsahan dan Klasfkas Untuk Populas Untuk memperbak de, kta tuls secara berurut stuas d bawah n dmana salah satunya bsa ternasuk dalam () Pemsahan dua kelas dar objek-objek, atau () Menentukan objek baru ke salah satu dar dua kelas (atau keduanya). Kta bsa melabelkan kelas π dan π. Objek-objek n basanya dpsahkan atau dklasfkaskan pada bass pengukurannya, contohnya p dhubungkan varabel random X = [X, X,..., X P ]. Nla hasl observas untuk X berbeda besarnya dar satu kelas ke kelas lan. Kta dapat memkrkan keseluruhan nla dar kelas pertama sebaga populas dar nla x untuk π dan dar kelas kedua sebaga populas dar nla x untuk π. Dua populas n bsa dgambarkan oleh peluang fungs denstas f (x) dan f (x), dan, akbatnya kta bsa menyatakan bahwa penentuan observas-observas ke populas-populas atau objek-objek ke kelaskelas dapat dpertukarkan. Anda bsa mengngat kembal bahwa beberapa contoh berkut mengena stuas pemsahan dan klasfkas telah d perkenalkan d bagan. No. Populas π dan π Varabel X yang d ukur. Kesanggupan dan kesultan membayar pertanggungjawaban propert perusahaan asurans. Nonulcer dyspeptcs (orang yang bermasalah dengan penyakt perut) dan kontrol (normal). 3. Krtas-kertas federalst yang dtuls oleh James Madson dan oleh Total aset, baya saham dan oblgas, nla pasar dar saham dan oblgas, baya kerugan, kelebhan, jumlah hadah yang tertuls. Pengukuran dar kecemasan, ketergantungan, kesalahan, dan kesempurnaan. Frekuens dar perbedaan kata dan panjangnya kalmat.

7 Alexander Hamlton. 4. Dua speces dar chckweed Panjang kelopak dan daun bunga, ketebalan daun bunga, panjang ujung scarous, dameter tepung sar. 5. Pembel produk baru dan laggard (orang yang selalu datang terlambat) 6. Keberhaslan atau kegagalan mahasswa Penddkan, pendapatan, besar keluarga, banyaknya pergantan merek. Skor ujan masuk, nla rata-rata kenakaan kelas SMA, banyaknya kegatan d SMA. 7. Lak-lak dan perempuan Pengukuran secara antropolog sepert bentuk dan volume tengkorak purbakala. 8. Resko kredt yang bagus dan jelek Pendapatan (ncome), usa, jumlah kartu kredt, besar keluarga. 9. Alkohol dan nonalkohol Aktvtas enzm monoamne oxdase, aktvtas enzm adenylate cyclase. Kta lhat dar 5, msalnya objek-objek (para konsumen) dpsah menjad dua label kelas ( purchaser dan laggards ) pada bass dar nla observas varabel yang danggap relevan (penddkan, pendapatan, dll). Dalam termnolog dar observas dan populas, kta ngn mengdentfkas observas dar x = [x (penddkan), x (pendapatan), x 3 (besar keluarga), x 4 (banyaknya pergantan merek)] sebaga populas π : purchasers, atau populas π : laggards. Pada pon n, kta akan pada klasfkas untuk dua populas, kembal ke pemsahan d bagan.5

8 Aturan-aturan alokas atau klasfkas basanya dkembangkan dar sampel pembelajaran. Karakterstk-karakterstk yang dukur dar objek-objek yang dplh secara acak dketahu berasal dar tap dua populas yang duj dar perbedaan-perbedaannya. Sesungguhnya, hmpunan dar semua hasl sampel yang mungkn dbag dalam dua daerah, R dan R, sehngga jka observas baru jatuh d R, n dalokaskan ke populas π dan jka jatuh d R, kta mengalokaskannya d populas π. Dengan demkan, satu hmpunan yang nlanya dobservas menunjukkan π, hmpunan nla yang lan menunjukkan π. Anda mungkn bertanya-tanya pada pon n, bagamana kta mengetahu beberapa observas termasuk ke populas tertentu tetap kta tdak yakn dengan observas yang lan (n, tentu saja, akan membuat klasfkas menjad masalah). Ada beberapa syarat yang bsa member penjelasan terhadap penympangan n.. Pengetahuan yang tdak lengkap dar knerja yang akan datang. Contoh: D masa lalu, nla extrm dar varabel fnansal tertentu dobservas tahun sebelum kemudan mengalam kebangkrutan. Pengklasfkasan frma lan sebaga frma yang sehat atau sakt pada bass nla yang dobservas dar ndkator-ndkator pentng n bsa membuat para pegawa dapat mengambl tndakan perbakan, jka perlu, sebelum terlambat. Sebuah kantor sekolah aplkas pengobatan ngn mengklasfkas para pelamar sebaga akan menjad M.D. dan tdak akan menjad M.D. dengan bass skor hasl tes dan dokumen-dokumen sekolah tngg lannya. Untuk kasus n, penentuannya hanya bsa d buat pada saat akhr pelathan yang dadakan selama beberapa tahun.. Informas yang sempurna memerlukan penghancuran objek. Contoh: Lama hdupnya suatu batera kalkulator dtentukan oleh penggunaannya sampa batera tersebut mat dan kekuatan dar sepotong kayu dapat dlhat dar lamanya kayu tersebut bertahan sampa rusak (lapuk). 3. Tdak tersedanya nformas atau mahalnya nformas. Contoh: Dasumskan bahwa kertas-kertas Federalst tertentu dtuls oleh James Madson atau Alexander Hamlton karena pada kertas tersebut terdapat tanda tangan mereka. Tetap ada kertas lan yang tdak ada tanda tangannya dan hal n menark untuk menentukan mana dar dua orang tersebut yang

9 telah menuls kertas yang tdak ada tangannya. Jelas, kta tdak bsa bertanya kepada mereka. Frekuens kata dan panjang kalmat dapat membantu kta dalam mengklasfkas kertas-kertas tersebut. Banyak masalah pengobatan bsa ddentfkas secara konklusf hanya dengan melakukan operas yang mahal. Basanya, seseorang akan mendagnosa suatu penyakt dar kemudahannya damat, namun berpotens untuk terjad kekelruan, yatu gejala luar. Pendekatan n membantu untuk menghndar terjadnya operas yang sebenarnya tdak perlu dlakukan dan juga mahal. Dar contoh d atas, jelas bahwa aturan klasfkas tdak selalu menyedakan metode yang bebas dar kesalahan penandaan. Hal n bsa saja dkarenakan oleh tdak adanya penentuan yang jelas antara karakterstk-karakterstk dar populaspopulas yang dukur; yatu grup-grupnya hanya menutup sebagan saja. In bsa saja terjad, contohnya secara tdak benar mengklasfkas objek π termasuk dalam π atau objek π termasuk dalam π. Msal f (x) dan f (x) merupakan peluang fungs denstas yang dhubungkan dengan vektor p varabel acak X untuk populas π dan π. Suatu objek yang dhubungkan pengukuran x, harus d masukkan ke π atau π. Msal Ω adalah ruang sampel yang merupakan koleks dar semua observas x yang mungkn. Msal R hmpunan nla x dmana kta mengklasfkas objek-objek sebaga π dan R = Ω R merupakan hmpunan nla x yang terssa dmana kta mengklasfkas objek-objek sebaga π. Karena setap objek harus dtentukan ke salah satu dar dua populas, hmpunan R dan R bersfat salng menguntungkan dan salng melengkap. Peluang kondsonal, P( ). dar pengklasfkasan suatu objek sebaga π dmana dalam kenyataannya dar π adalah P( ) = P( X R π ) = f ( x) dx (-) R =Ω R Dengan cara yang sama, peluang kondsonal, P( ), dar pengklasfkasan suatu objek sebaga π dmana dalam kenyataannya dar π adalah P( ) = P( X R π ) = f ( x) dx (-) R

10 Tanda ntegral dalam (-) menunjukkan volume yang dbentuk oleh fungs denstas f (x) d atas daerah R. Begtu juga, tanda ntegral dalam (-) menunjukkan volume yang dbentuk oleh f (x) d atas daerah R. Msal p merupakan peluang pror dar π dan p merupakan peluang pror dar π dmana p + p =.Peluang keseluruhan dar benar atau tdaknya pengklasfkasan objek dapat dperoleh sebaga hasl dar peluang klasfkas pror dan kondsonal: P(correctly classfed as π ) = P(observaton comes from π and s correctly classfed as π ) P( X R π ) P( π ) = P( ) p = P(msclassfed as π ) = P(observaton comes from π and msclassfed as π ) P( X R π ) P( π ) = P( ) p = P(correctly classfed as π ) = P(observaton comes from π and s correctly classfed as π ) P( X R π ) P( π ) = P( ) p = P(msclassfed as π ) = P(observaton comes from π and msclassfed as π ) P( X R π ) P( π ) = P( ) p (-3) = Skema klasfkas serng kal dnla dar peluang kesalahan pengklasfkasannya, tap n mengabakan baya msklasfkas. Contohnya, untuk peluang yang terlhat kecl sepert,6 = P( ) bsa menjad terlalu besar jka baya pembuatan assgnment yang salah untuk π terlalu tngg. Sebuah aturan yang mengabakan baya dapat menmbulkan masalah. Baya msklasfkas dapat ddefnskan oleh matrks cost (baya). Klasfkas sebaga: π π Populas sebenarnya π C( ) π C( )

11 (-4) Bayanya adalah: () untuk klasfkas yang benar, () c( ) saat observas π salah dklasfkaskan sebaga π, dan (3) c( ) saat observas π salah dklasfkaskan sebaga π. Untuk setap aturan manapun, rata-rata, atau baya msklasfkas yang dharapkan (expexted cost of msclassfcaton (ECM)) d dberkan dengan mengalkan entr dagonaldalam (-4) dengan peluang kejadannya, yang ddapatkan dar (-3). Akbatnya, ECM = c( )P( )p + c( )P( )p (-5) Sebuah aturan klasfkas yang berlasan akan mempunya ECM yang kecl atau mendekat nla kecl yang mungkn. Akbat.. Daerah R dan R yang memnmas ECM ddefnskan oleh nla x sedemekan sehngga pertdaksamaan d bawah n dpenuh. f ( x) c( ) p R : f ( x ) c ( ) p pror denstas baya probablty rato rato rato f ( x) c( ) p < R : f ( x ) c ( ) p pror denstas baya < probablty rato rato rato (-6) Dar (-6) jelas bahwa mplementas dar aturan ECM mnmum memerlukan () raso fungs kepadatan dnla pada observas baru x, () raso baya, dan (3) raso peluang pror. Kemunculan dar raso-raso dalam defns dar daerah klasfkas optmal adalah sgnfkan. Serngkal, lebh mudah untuk menspesfks raso-raso darpada komponen bagannya.

12 Contohnya, mungkn sult untuk menspesfkas baya (dalam unt-unt yang bersesuaan) dar pengklasfkasan seorang sswa sebaga materal sekolah tngg ketka, pada kenyataannya da bukan dan pengklasfkasan sswa sebaga materal nonsekolah tngg ketka, pada kenyataannya da ya. Baya terhadap para pembayar pajak dar penddkan sekolah tngg dkeluarkan untuk tahun, msalnya dapat dtetapkan secara kasar. Baya untuk unverstas dan masyarakat ysmh tdak melakukan penddkan terhadap seorang sswa yang mampu lebh sult untuk dtentukan. Akan tetap bsa saja bahwa sebuah angka realsts untuk raso dar baya msklasfkas n dapat dperoleh. Apapun unt-unt dar pengukuran, tdak mengaku lulusan sekolah tngg yang prospektf mungkn bayanya lebh besar 5 kal terhadap suatu horzon waktu yang sesua, darpada mengaku dropout yang dapat terjad. Pada kasus n, raso baya adalah 5. In menark untuk memperhatkan daerah klasfkas ddefnskan dalam (-6) untuk beberapa kasus spesal. Kasus Khusus Daerah-daerah Baya Mnmum yang Dharapkan a) p /p = (peluang pror yang sama) f ( x) c( ) R f x c : ; ( ) ( ) f ( x) c( ) < ( ) ( ) R : f x c b) c( )/c( ) = (baya-baya msklasfkas yang sama) f ( x) p R f x p : ; R : ( ) f ( x ) p f ( x) p < (-7) c) p /p = c( )/c( ) = atau p /p = /( c( )/c( )) (peluang pror yang sama dan baya-baya msklasfkas yang sama) f ( x) f( x) R R : < f x f ( x ) : ; ( ) Saat peluang pror tdak dketahu, serng kal peluang pror tersebut dsamakan dan aturan ECM mnmum melbatkan pembandngan raso dar kepadatan populas terhadap raso baya-baya msklasfkas yang bersesuaan. Jka raso baya msklasfkas tdak dtentukan, basanya djadkan satu dan raso kepadatan populas dbandngkan dengan raso peluang pror. (Catat bahwa peluang pror adalah urutan terbalk dar kepadatan). Akhrnya, ketka raso

13 peluang pror dan raso baya msklasfkas adalah satu, atau raso yang satu merupakan kebalkan dar raso yang lannya, daerah-daerah klasfkas optmal dtentukan secara sederhana dengan membandngkan nla-nla dar fungs-fungs kepadatan. Pada kasus n, jka x adalah observas baru dan f (x )/f (x ), yatu f (x ) f (x ), kta petakan x ke π. D ss lan, jka f (x )/f (x ) <, atau f (x ) < f (x ), kta petakan x ke π. In adalah lathan umum terhadap kasus penggunaan sebarang c dalam (- 7) klasfkas. In serupa dengan mengsumskan peluang pror yang sama dan baya msklasfkas yang sama untuk aturan ECM mnmum. Example. Seorang ahl rset mempunya data yang cukup terseda untuk mengestmas fungs kepadatan f (x) dan f (x) yang masng-masng dhubungkan dengan populas π dan π. Msal c( )= 5 unt dan c( ) = unt. Sebaga tambahan, dketahu bahwa sektar % dar semua objek-objek (sedemkan sehngga pengukuran-pengukuran x dapat dcatat) dmlk oleh π. Dengan demkan, peluang pror adalah p =,8 dan p =,. Dberkan peluang-peluang pror dan baya-baya msklasfkas, kta bsa menggunakan (-6) untuk menurunkan daerah-daerah klasfkas R dan R. Secara spesfk, f ( x), R f x : =,5 ( ) 5,8 f ( x), R f x : < =,5 ( ) 5,8 Msalkan fungs-fungs kepadatan yang dnla d suatu observas baru x menghaslkan f (x ) =,3 dan f (x ) =,4. Apakah kta mengklasfkaskan observas baru sebaga π atau π? Untuk menjawab pertanyaan n, kta bentuk raso f( x ),3 = =,75 f ( x ),4 Dan bandngkan dengan,5. Karena f( x ) c( ) p =, 75 > =,5 f( x) c( ) p

14 Kta temukan bahwa x R dan klasfkaskan sebaga kepunyaan π. Krtera selan dar baya msklasfkas yang dharapkan dapat dgunakan menurunkan prosedur-prosedur klasfkas optmal. Contohnya, seseorang mungkn mengabakan baya-baya msklasfkas dan memlh R dan R untuk memnmumkan peluang total msklasfkas (total probablty of msclassfcaton (TPM)), TPM = P(memsklasfkaskan suatu observas π atau memsklasfkaskan suatu observas π ). = P(observas yang datang dar π dan dmsklasfkaskan) + P(observas yang datang dar π dan dmsklasfkaskan) = (-8) p f ( x) dx p f ( x) dx R R Secara matemats, masalah n ekvalen dengan memnmumkan baya msklasfkas yang dharapkan ketka baya-baya msklasfkas sama. Akbatnya, daerah-daerah optmal dalam kasus n, dberkan oleh (b) dalam (-7). Kta juga dapat mengalokaskan suatu observas baru x ke populas dengan peluang posteror yang terbesar P(π x ). Dengan aturan Bayes, peluang-peluang posteror adalah P( π terjad dan mengobservas x ) P( π x ) = P( mengobservas x ) P( mengobservas x π) P( π) P( π x ) = P( mengobservas x π ) P( π ) + P( mengobservas x π ) P( π ) p f( x ) = p f ( x ) + p f ( x ) P( π x ) = P( π x ) = p f( x ) p f ( x ) + p f ( x ) (-9) Pengklasfkasan suatu observas x sebaga π ketka P( π x ) > P( π x ) adalah ekvalen dengan menggunakan aturan (b) untuk peluang total dar msklasfkas dalam (-7) karena penyebut-penyebut dalam (-9) adalah sama. Akan tetap penghtungan peluang dar populas π dan π setelah mengobservas x (dengan demkan dnamakan peluang posteror) selalu berguna untuk tujuan dar pengdentfkasan assgnment clear-cut yang sedkt.

15 . Klasfkas dengan dua multvarat berpopulas normal Prosedur klasfkas yang ddasarkan populas normal menonjol dalam praktek statstka dkarenakan kesederhanaanya dan kelayakannya berefsens besar terhadap suatu model populas yang luas. Kta sekarang mengasumskan f (x) dan f (x) adalah multvarat berdenstas normal, vektor mean µ dan kovaran matrk untuk yang pertama dan vektor mean µ dan kovaran matrk untuk yang pertama kedua. Kasus khusus dar persamaan matks kovaran membawa ke sebuah klasfkas statstk sederhana lnear yang pentng... Klasfkas dar populas normal saat = = Asumskan denstas gabungan dar =,,..., p untuk populas π dan X X X X π dberkan oleh f ( x) = exp x x ( π ) ( µ ) ( µ ) p/ / (-) untuk =, Andakan parameter populas µ, µ, dan dketahu. Setelah penghapusan bentuk ( ) menjad p/ / π, daerah mnmum ECM dalam (-6) R : exp ( x µ ) ( x µ ) ( x µ ) ( x µ ) c( ) p + c( ) p (-)

16 R : exp ( x µ ) ( x µ ) ( x µ ) ( x µ ) c( ) p + < c( ) p Dberkan daerah R dan R d atas, kta dapat mengkontruks kadah klasfkas berkut. Hasl.. Msalkan populas π dan π ddeskrpskan sebaga multvarat berpopulas normal dar bentuk (-). Kadah alokas yang memnmumkan ECM dberkan oleh: Alokaskan x ke π jka c( ) p + ln ( µ µ ) x ( µ µ ) ( µ µ ) c( ) p (-) Alokaskan x ke π untuk sebalknya. Bukt. Karena jumlah pada (-) nonnegatf untuk semua x, kta dapat mengambl logartma natural mereka dan mempertahankan susunan dar pertdaksamaannya. Selan tu, + ( ) x µ ( x µ ) ( x µ ) ( x µ ) (-3) dan, sebaga konsekuens, = ( µ µ ) x ( µ µ ) ( µ + µ ) R : ( µ µ ) x ( µ µ ) ( µ µ ) c( ) p + ln c( ) p R : ( µ µ ) x ( µ µ ) ( µ µ ) c( ) p + < ln c( ) p (-4)

17 Kadah klasfkas ECM mnmum mengkut. Dalam kebanyakan keadaan prakts, jumlah populas µ, µ, dan tdak dketahu, jad kadah (-) harus dmodfkas. Wald [5] dan Anderson [] telah mengusulkan penggantan parameter populas dengan sampel yang setara dengan mereka. Msalkan, waktu tu, kta memlk n observas dar varabel acak multvarat =,,..., p dar π dan pengukuran n dar jumlah pada π dengan X X X X n + n p. Matrks data yang bersesuaan adalah X = x, x,..., x n ( p x n ) (-5) X = x, x,..., x n ( p x n ) Dar matrks data n, vektor mean sampel dan matrks kovaran dapat dtentukan oleh n x x j p x n j = ( ) = ; S = x x x x ( ) n ( j )( j ) p x p n j= (-6) n x x j p x n j= ( ) = ; S = x x x x ( ) n ( j )( j ) p x p n j=

18 Karena ru dasumskan bahwa populas nduk menpunya kovaran matrks yang sama, kovaran matrks sampel S dan S dkombnaskan (dkelompokkan) untuk memperoleh sebuah estmas dar yang tunggal dan tdak bas sepert dalam (6-). Secara khusus, bobot rata-rata n n S pooled = S + S ( n ) + ( n ) ( n ) + ( n ) = ( ) + ( ) ( n + n ) n S n S (-7) adalah estmast dar yang tdak bas jka data matrks X dan X mengandung sampel acak dar populas π dan π, secara berturut-turut. Mensubsttuskan x untuk π, x untuk π, dan memberkan kadah klasfkas sample. S pooled untuk dalam (-) Estmas Kadah ECM Mnmum untuk Dua Pupolas Normal Alokaskan x ke π jka c( ) p + ln ( x x ) S x ( x x ) S ( x x ) pooled pooled c( ) p Alokaskan x ke π untuk sebalknya. (-8)

19 c( ) p Jka, dalam (-8), = c( ) p maka ln ( ) = dan estmas kadah ECM mnmum untuk dua populas normal dengan sejumlah perbandngan varabel y = x x S x = lˆ x (-9) skalar ( ) pooled yang devaluaskan pada x, dengan blangan mˆ = ( x x ) S ( x + x ) = ( ) pooled y y (-) dmana ( ) y = x x S x = l x dan ( ) pooled ˆ y = x x S x = lˆ x. pooled Itulah, estmas kadah ECM mnmum untuk dua populas normal yang sama dengan pembuatan dua unvarat populas untuk nla y dengan mengambl kombnas lnear yang sesua dar obserbas dar populas π dan π dan kemudan menentukan sebuah observas baru, x ke π atau π tergantung atas apakah y = l ˆ x jatuh pada kanan atau kr dar ttk tengah, ˆm, dantara rata-rata dua unvarat y dan y. Sewaktu estmas paremater dmasukkan pada jumlah populas yang tdak dketahu yang bersesuaan, tdak ada kepastan yang menghaslkan kadah yang akan memnmukan baya yang dharapkan dar msklasfkas dalam aplkas khusus. In karena kadah optmal dalam (-) berasal pada asums multvarat denstas normal f ( x ) dan f ( ) x yang dketahu dengan sepenuhnya. Pernyataan (-8) hanya sebuah estmas dar kadah optmal. Bagamanapun, tu kelhatannya beralasan untuk mengharapkan bahwa tu akan berjalan bak jka ukuran sampel besar. Untuk merngkas, jka data yang muncul adalah multvarat normal, statstk klasfkas pada pertdaksamaan kr dalam (-8) dapat dhtung untuk

20 setap observs baru x. Observas n dklasfkaskan dengan membandngkan c( ) p nla mereka dengan nla dar ln. c( ) p Contoh.3 Contoh n dadaptas dar sebuah pembelajaran [4] mengena deteks dar pembawa hemofla A. Untuk membuat sebuah prosedur untuk mendeteks potens pen=mbawa hemofla A, sampel darah dperksa untuk dua grup wanta dan ukuran pada dua varabel, X log ( AHF actvty) ( ) = dan X = log AHF lke antgen dcatat. Grup pertama dar n = 3 wanta dplh dar sebuah populas dar wanta yang tdak membawa gen hemofla. Grup n dsebut grup normal. Grup kedua dar n = wanta dplh dar pembawa hemofla A yang dketahu (putr dar hemofla, bu dengan lebh dar satu putra hemofla, dan bu dengan satu putra hemofla dan hubungan hemofla lannya). Grup n dsebut pembawa wajb. Pasangan observas (, ) x x untuk kedua grup dgambarkan dalam Fgur.4(lhat buku halaman 56). Juga dtunjukkan estmas kontur mengandung 5% dan 95% dar probabltas untuk bvarat dstrbus normal yang berpusat pada x dan x, secara berturut-turut. Matrks kovaran umum mereka dambl menurut matrks kovaran sampel yang dkelompokkan, S pooled sesua dengan data cukup bak.. Dalam contoh n, dstrbus normal bvarat kelhatannya Pemerksa (lhat [4]) menyedakan nformas.65 x =.39,.483 x =.6, = S pooled

21 Oleh karena tu, baya yang sama dan fungs dskrmnan pror yang sama [lhat(-9)] adalah ˆ ( ) y = l x = x x S pooled x = [.48.65] x x 37.6x 8.9x = ˆ = = = Selan tu, y l x [ ] y ˆ.483 [ = l x = ] =.6. dan ttk tengah antara ratanya [lhat(-)] adalah mˆ = ( y y ) = (.88.) = 4.6. Pengukuran dar AHF actvty dan AHF-lke antgen pada seorang wanta yang mungkn seorang pembawa hemofla A memberkan x =. dan x =.44. Seharusnya wanta tersebut dklasfkaskan sebaga π : normal atau π : pembawa wajb? Dengan menggunakan (-8) dengan baya yang sama dan pror yang sama maka ln() =, kta mendapatkan: alokaskan x ke π jka y l x m = ˆ = 4.6 x =..44. dmana [ ] alokaskan x ke π jka y l x m = ˆ < = 4.6

22 . y ˆ l x = = = 6.6 < 4.6 = m.44 Karena [ ] mengklasfkaskan wanta tu sebaga π : pembawa wajb. Observas baru dndkaskan oleh sebuah bntang pada Fgur.4 (lhat buku hal 56). Kta melhat bahwa tu jatuh ke dalam estmas.5 kontur probabtas dar populas π dan sektar pada estmas.95 probabltas kontur dar populas π. Oleh karena tu, klasfkas tersebut tdak clearcut. Msalkan sekarang probabltas pror dar jumlah anggota suatu grup dketahu. Sebaga contoh, msalkan pemerkasaan darah pengukuran x dan x d atas dambl dar saudara sepupu bu dar seorang hemofla. kta Kemungknan genetk menjad seorang pembawa hemofla A dalam hal n adalah.5. Sebaga konsekuens, probabltas pror dar jumlah anggota grup adalah p =.75 dan p =.5. Dasumskan, setkt tdak secara realsts, bahwa baya dar msklasfkas adalah sebandng sedemkan sehngga c( ) = c( ) dan dengan meggunakan statstk klasfkas w = x x S x x x S x + x ( ) ( ) ( ) pooled pooled atau w l x ˆ m x =..44, m ˆ = 4.6, dan = dengan [ ] kta mempunya w = 6.6 ( 4.6) =. l x =, 6.6 p.5 Aplkaskan (-8), kta melhat bahwa w =. < ln = ln =. p.75 dan kta klasfkaskan wanta tersebut sebaga π : pembawa wajb.

23 Koefsen vektor ˆ l S ( x x ) = tdak unk. Itu unk hanya tergantung pada pooled subuah konstanta multplkatf, jad untuk c, sebarang vektor cl ˆ juga akan bertndak sebaga koefsen dskrmnan. Vektor ˆl serng dskalakan atau dnormalkan untuk mempermudah nterpretas dar elemen-elemennya. Dua dar yang palng umum normalsas yang dgunakan adalah:. Hmpunan (-) lˆ * = lˆ ˆ ˆ l l sehngga * ˆl mempunya satuan panjang.. Hmpunan (-) lˆ * lˆ = lˆ sehngga elemen pertama dar koefsen vektor * ˆl adalah. Dalam kedua kasus, ( ˆ ˆ l l ) / c = dan untuk (), * ˆl merupakan bentuk dar c = ˆ. l ˆ cl. Untuk normalsas (), Besarnya ˆ, ˆ,..., ˆ p l l l dalam (-) semuanya terletak dalam nterval [,] * * *. Dalam (-), ˆ * * l = dan l ˆ ˆ,..., l p dekspreskan sebaga kelpatan dar mambatas * * ˆl, pada nterval [,] * ˆl. Untuk basanya memudahkan sebuah perbandangan vsual dar koefsen. Dengan cara yang sama, Pengekspresan koefsen sebaga pengal dar * ˆl memenuh satu untuk sap menaksr kepentngan relatf (sebaga lawan X ) dar varabel X,..., X p sebaga dskrmnator.

24 Menormalkan drekomendaskan hanya jka varbel telah dstandarsaskan. Jka bukan kasus n, uraan yang besar dar keteltan harud dperhatkan dalam mengnterpretaskan haslnya... Klasfkas dar populas normal saat Sepert yang dharapkan, kadah klasfkas lebh rumt ketka matrks kovaran populas tdak sama. Pertmbangkan denstas normal multvarat dalam (-) dengan, =,, menggantkan. Dengan begtu, matrks kovaran maupun vektor mean berbeda dat satu dengan yang lan untuk dua populas. Sepert yang telah kta lhat, daerah ECM mnmum dan probabltas total dar msklasfkas (TPM) mnmum bergantung pada raso dar denstas, ( ) / ( ) f x f x, atau sebandng dengan logartma natural dar raso denstas, ( ) ( ) = ( ) ( ) ln f x / f x ln f x ln f x. Ketka denstas normal multvarat mempunya struktur kovaran yang berbeda, hubungan dalam raso denstas yang menyangkut / tdak dhlangkan sepert yang dlakukan ketka =. Selan tu, bentuk kuadratk dalam eksponen dar f ( x ) dan f ( ) dgabungkan untuk memberkan hasl yang lebh sederhana dalam (-3). x tdak Mensubsttuskan denstas normal multvarat dengan matrks kovaran yang berbeda ke dalam (-6) memberkan, setelah mengambl logartma natural dan menyederhanakannya, daerah klasfkas c( ) p + R : x ( ) x ( µ ) µ x k ln c( ) p (-3)

25 c( ) p + < R : x ( ) x ( µ ) µ x k ln c( ) p dmana k = ln + ( µ µ µ µ ) (-4) Daerah klasfkas ddefnskan oleh fungs kuadrat dar x. Ketka =, hubungan kuadratk, ( ) x x, menghlang dan daerahnya ddefnskan oleh (-3) dreduks menjad yang ddefnskan oleh (-4). Kadah klasfkas untuk populas normal multvarat umum mengkut secara langsung bentuk (-3). Hasl.3. Dberkan populas π dan π ddeskrpskan oleh denstas normal multvarat dengan vektor mean dan matrks kovaran µ,, µ, dan, secara berturut-turut. Kadah alokas yang memnmumkan baya yang dharapkan dar msklasfkas dberkan oleh: Alokaskan x ke π jka c( ) p x ( ) x + ( µ ) µ x k ln c( ) p Alokaskan x ke π untuk sebalknya. D sn, k dtentukan dalam (-4). Dalam lathan, kadah klasfkas dalam Hasl.3 dmplementaskan dengan mensubsttuskan besaran sampel x, x, S, dan S (laht (-6)) untuk µ, µ,, dan, secara berturut-turut.

26 Kadah Klasfkas Kuadratk (Populas Normal dengan matrks kovaran yang tdak sama) Alokaskan x ke π jka c( ) p x ( S S ) x + ( x S ) xs x k ln c( ) p (-5) Alokaskan x ke π untuk sebalknya. Klasfkas dengan fungs kuadratk lebh aneh dalam lebh dar dmens dua dan dapan membuat ke hasl yang aneh. In secara khusus benar ketka data tdak (secara esensal) normal multvarat. Fgur.5(a) (lhat buku hal 5) menunjukkan baya yang sama dan pror yang sama berdasarkan pada kasus deal dar dua dstrbus normal dnegan varans yang berbeda. Kadah kuadratk n membawa pada sebuah daerah R yang mengandung dua hmpunan salng lepas dar ttk. Dalam banyak aplkas, ttk ujung untuk dstrbus π akan lebh kecl darpada yang berlaku pada dstrbus normal. Lalu, sepert yang dtunjukkan dalam Fgur.5(b) (lhat buku hal 5), bagan ujung dar daerah R, yang dhaslkan dengan prosedur kuadratk, tdak berjalan sebak dengan dstrbus populas dan dapat membawa ke nla error yang besar. Kelemahan yang pentng dar kadah kuadratk adalah tu senstf pada awal dar normaltas. Jka data tdak normal multvarat, ada dua plhan yang terseda. Pertama, data yang tdak normal dapat dtransformaskan menjad data yang lebh mendekat normal dan sebuah tes untuk persamaan dar matrks kovaran dapat dlaksanakan untuk melhat apakah kadah lnear (-8) atau kadah kuadratk (-5) yang tepat. Transformas ddskuskan dalam Bab 4. (Tes yang umum untuk homogentas kovaran sangat dpengaruh oleh non normaltas. Konvers dar data non normal ke data normal harus dlakukan sebelum tes n dlakukan.)

27 Kedua, kta dapat menggunakan kadah lnear (atau kuadratk) tanpa khawatr tentang bentuk dar populas nduk dan berharap bahwa tu akan bekerja secara layak dengan bak. Pembelajaran (lhat [] dan []) telah menunjukkan, bagamanapun jga, bahwa ada kasus non normal dmana fungs klasfkas lnear berfngs dengan buruk walaupun matrks kovaran dar populasnya sama. Etkanya adalah selalu mengecek hasl dar sebarang prosedur klasfkas. Sekutang-kurangnya, n harus dlakukan dengan hmpunan data yang dgunakan untuk membangun klasfkasnya. Idealnya, akan ada cukup data yang terseda untuk memberkan terhadap sample lathan dan sampel valdas. Sampel lathan dapat dgunakan untuk mengembangkan fungs klasfkas dan sampel valdas dapat dgunakan untuk mengevaluas haslnya..3 Mengevaluas Fungs Klasfkas Satu cara yang pentng dar menla hasl dar sebarang rosedur klasfkas adalah dengan menghtung nla errornya, atau probabltas msklasfkas. Ketka bentuk dar populas nduk dkenal secara menyeluruh, probabltas msklasfkas dapat dhtung dengan relatf mudah, sepert yang telah dtunjukkan dalam contoh.4. Karena populas nduk jarang sekal dketahu, kta seharusnya berkonsentras pada nla error yang berhubungan dengan fungs klasfkas sampel. Segera sesudah fungs klasfkas n dbentuk, pengukuran dar haslnya dalam sampel yang akan datang merupakan perhatan kta. Dar (-8) TPMnya adalah (-8) p f ( x) dx p f ( x) dx R R Nla terkecl dar jumlah n, dperoleh dengan plhan bjaksana dar R dan R, dsebut nla error oprmum (OER). Nla error optmum (-6) OER = p f ( x) dx p f ( x) dx R R dmana R dan R dtentukan oleh kasus (b) dalam (.7) Oleh karena tu, OER adalah nla error untuk kadah klasfkas TPM mnmum.

28 Contoh.4 Dberkan sebuah pernyataan untuk nla error optmum ketka p = p = dan f ( x ) dan f ( ) x merupakan denstas normal multvarat dalam (-). Sekarang, kadah klasfkas ECM mnmum dan TPM mnmum serupa ketka c( ) = c( ). Karena probabltas pror juga sama, daerah klasfkas TPM mnmum ddefnskan untuk populas normal oleh (-), dengan c( ) p =. Kta mendapatkan c( ) p R : ( ) µ µ x ( µ µ ) ( µ µ ) + R : ( ) µ µ x ( µ µ ) ( µ µ ) + < Hmpuan n dapat dnyatakan dalam hubungan dar ( ) = µ µ = sebaga R ( y ) : y ( µ µ ) ( µ + µ ) R ( y ) : y < ( µ µ ) ( µ + µ ) y x l x Tetap Y merupakan sebuah kombnas lnear dar varabel acak normal, jad probabltas denstas dar Y, f ( y ), dan f ( ) (lhat hasl 4.) dengan rata-rata dan varans dberkan oleh ( ) µ = l µ = µ µ µ Y ( ) µ = l µ = µ µ µ Y ( ) ( ) σ = l l = µ µ µ µ = Y y, adalah normal unvarat

29 Sekarang, TPM = P [kesalahan mengklasfkas observas π sebaga π ] π sebaga π ] + P [ kesalahan mengklasfkas observas Tetap, P [kesalahan mengklasfkas observas π sebaga π ] = P ( ) = P Y < ( µ µ ) ( µ + µ ) Y µ σ Y Y = P < ( µ µ ) ( µ + µ ) ( µ µ ) µ P Z = < = Φ dmana Φ(.) merupakan fungs dstrbus kumulatf dar varabel acak normal standar. Dengan cara yang sama, P [kesalahan mengklasfkas observas π sebaga π ] = P ( ) = P Y ( µ µ ) ( µ + µ ) = P Z = Φ = Φ Probabltas msklasfkas n dtunjukkan dalam Fgur.6 (laht buku hal 53). Oleh karena tu, nla error optmumnya adalah OER = TPM mnmum = Φ + Φ = Φ (-7)

30 Jka, sebaga contoh, ( µ µ ) ( µ µ ) = =, lalu =.56 =.6.56 dan mengunakan tabel appendks, TPM mnmum =.6 Φ = Φ(.8) =.9 Kadah klasfkas optmal d sn akan dengan tdak tepat dalokaskan, ke satu populas atau yang lannya, sektar % dar mater. Contoh.4 menglustraskan bagamana nala error optmum dapad dhtung ketka fungs denstas populasnya dketahu. Jka, pada umumnya sepert halnya dalam kasus, paremeter populas khusus yang muncul dalam kadah alokas harus destmas dar sampel, maka evaluas dar nla error tdak langsung. Hasl dar fungs klasfkas sampel dapat, dalam prnspnya, devaluas dengan mengkalkulaskan nla error aktual (AER), (-8) AER = p f ( x) dx p f ( x) dx Rˆ ˆ R dmana ˆR dan ˆR mewalk daerah klasfkas yang dtentukan oleh ukuran sampel n dan n, secara berturut-turut. Sebaga contoh, jka fungs klasfkas dalam (-8) dpaka, daerah ˆR dan ˆR ddefnskan oleh hmpunan dar x dmana pertdaksamaan berkut n memenuh. ˆR : ( x x ) S x ( x x ) S ( x x ) c( ) p + ln pooled pooled c( ) p ˆR : ( x x ) S x ( x x ) S ( x x ) c( ) p + < ln pooled pooled c( ) p AER mengndkaskan bagamana fungs klasfkas sampel akan menghaslkan dalam sampel yang akan datang. Sepert nla error optmum, tu tdak dapat, secara umum, dhrung karena tu tergantung pada fungs denstas

31 yang tdak dketahu f ( x ) dan f ( ) x. Bagamanapun juga, sebuah estmas dar jumlah yang berhubungan dengan nla error aktual dapat dhtung, dan estmas n akan dbahas secara sngkat. Ada sebuah pengukuran dar hasl yang tdak bergantung pada bentuk dar populas nduk dan dapat dhtung untuk sebarang prosedur klasfkas. Pengukuran n, dsebut nla error nyata (APER), ddefnskan sebaga fraks dar observas dalam sampel lathan yang merupakan msklasfkas oleh fungs klasfkas sampel. Nla error nyata dapat dengan mudah dhtung dar matrks confuson, yang mana menunjukkan grup anggota aktual melawan predks. Untuk n observas dar π dan n observas dar π, matrks confuson mempunya bentuk Anggota predks π π Anggota n C n M = n n C π Nyata (-9) nm = n nc n C π dmana n C = blangan dar mater π secara benar dklasfkaskan sebaga mater π n M = blangan dar mater π salah dklasfkaskan sebaga mater π n C = blangan dar mater π secara benar dklasfkaskan n M = blangan dar mater π salah dklasfkaskan

32 n M + n Nla error nyatanya adalah APER = n n M (-3) yang mana dkenal sebaga propors dar mater dalam hmpunan lathan yang salah dklasfkas. Walau APER mudah dhtung, tap APER terlalu rendah menaksr AER dan masalah n tdak akan hlang kecual jka ukuran sampel n dan n sangat besar. Hal n terjad karena data yang dgunakan untuk membuat fungs klasfkas juga dgunakan untuk mengevaluasnya. Taksran error rate dapat dbuat lebh bak dar AER, relatve tetap mudah dhtung dan tdak memerlukan asums dstrbusonal. Satu prosedur untuk memsahkan sampel total kedalam sampel tranng dan sampel valdas. Sampel tranng/tranng sampel dgunakan untuk mengkontruks fungs klasffkas dan sampel valdas dgunakan untuk mengevaluasnya. Error rate dtentukan oleh propors kesalahan klasfkas pada sampel valdas. Walaupun metode n mengatas masalah bas atau penympangan dengan tdak menggunakan data yang sama bak untuk membentuk fungs klasfkas dan menlanya, namun metode n mempunya dua cacat utama, yatu :. Membutuhkan sampel yang berukuran besar,. Fungs yang devaluas bukan fungs yang dhaslkan. Pada akhrnya hampr semua data harus dgunakan untuk membentuk fungs klasfkas. Jka tdak, nformas berharga dapat saja hlang. Pendekatan lannya, selan memsahkan sampel total kedalam sampel tranng dan sampel valdas, yang nampaknya bekerja dengan bak dsebut prosedur holdout Lachenbruch. Algortma prosedur n adalah sebaga berkut :. Mula dengan pengamatan pada grup. Abakan satu observas dar grup n dan haslkan fungs klasfkas berdasarkan pada ssa, observas.. Klasfkas observas yang dtahan (the holdout observaton) dengan menggunakan fungs yang dhaslkan pada langkah.

33 3. Ulang langkah dan sampa semua observas dklasfkaskan. Msal adalah banyaknya observas holdout dalam grup n (H) yang salah dklasfkaskan. 4. Ulang langkah sampa 3 untuk observas. Msal adalah banyaknya observas holdout dalam grup n yang salah dklasfkaskan. Taksran dan dar probabltas msklasfkas bersyarat pada (-) dan (-) dberkan oleh : = (-3) = dan total propors msklasfkas, + + adalah, hampr tak bas mengestmas AER yang dharapkan, E(AER). = Fungs Dskrmnan Fsher Pemsahan Populas Fsher baru menyampakan statstk pengklasfkasan yang lner (-9) dengan menggunakan suatu yang sama sekal yang berbeda. Gagasan Fsher mengubah bentuk pengamatan-pengamatan multvarate x ke pengamatanpengamatan unvarate y bahwa y berasal dar populas-populas π dan π yang telah dpsahkan. Fsher mengusulkan pengamblan kombnas lner dar x untuk membentuk y karena fungs-fungs x cukup sederhana untuk dtangan dengan mudah. Pendekatan Fsher tdak berasums bahwa populas-populas tu bersfat normal. bagamanapun, secara mplst mengasumskan matrks kovarans populas bersfat sama karena suatu perkraan dar matrks kovarans yang dsatukan yang umum dgunakan. Suatu kombnas lnar yang dtetapkan dperbak x dambl dar nla-nla y, y,..., y untuk pengamatan-pengamatan dar populas yang pertama dan lnl

34 nla-nla y, y,...., y untuk pengamatan-pengamatan dar populas yang kedua. Pemsahan dua hmpunan n dar unvarate y dtaksr dar selsh antara y dan y dyatakan dalam smpangan baku. Yatu; n pemsahan = y - sy y ; dmana s y = n n ( y j - y) + ( y j - y) j= j= n + n - adalah estmas yang dsatukan dar varans. Tujuannya untuk memlh kombnas lner x untuk mencapa pemsahan yang maksmum dar sampel y dan y. Result.4. Kombnas lner $l ( ) H. pooled memk y = x = x x S x ksmalkan raso atas semua vektor-vektor koefsen l $ yang mungkn dman d = ( x x ). na Maksmum dar perbandngan (-33) adalah D = ( x x ) S H. pooled ( x x) Bukt. Maksmum dar perbandngan d dalam (-33) dber dengan menerapkan (-5) secara langsung. Jad; Dengan demkan, menentukan d = ( x x)

35 d mana D adalah jarak kuadrat sampel antara kedua rerata. Catat bahwa s d dalam (-33) bsa dhtung sebaga y Dengan y j = l $ x j dan y = l $ x j j Contoh.8 Suatu stud terkat dengan pendeteksan hemofl A dperkenalkan d Example.3. Ingat bahwa cost dan fungs dskrmnan lnear pror yang sama adalah Fungs dskrmnan lnear d atas adalah fungs lnear Fsher, yang secara maksmal memsahkan kedua populas-populas, dan pemsahan yang maksmum d dalam sampel-sampel tu adalah Solus Fsher dalam masalah pemsahan dapat juga dgunakan untuk menggolongkan pengamatan-pengamatan baru. Satu aturan alokas yang ddasarkan pada Fungs Dskrmnan Fsher alokaskan x o ke π jka atau alokaskan x o ke π jka atau

36 Prosedur (-33) dgambarkan, secara sstematks untuk p = d dalam Gambar 8. Semua ttk-ttk d dalam scatterplots tu dproyekskan ke satu bars d dalam arah l $ dan arahh n bervaras sampa sampel berpsah secara maksmal. Gambar.8 penyajan yang bergambar prosedur Fsher untuk dua populas Fungs dskrmnan lnear Fsher d dalam (-35) dkembangkan d bawah asums dua populas, yang mempunya suatu matrks kovarans yang umum. Sebaga konsekwens, mungkn tdak mengejutkan bahwa metoda Fsher berkorespodens dengan kasus tertentu dar aturan ekspektas cost msclassfcaton mnmum. Istlah yang pertama, $ y = ( x x ) SH. pooled x d dalam aturan pengklasfkasan (-8) adalah fungs lnear yang dperoleh oleh Fsher bahwa unvarate "antara" sampel varabltas relatve dengan "d varabltas [ lhat (-33)]. Yatu; memaksmalkan dalam" sampel serng dsebut fungs pengklasfkasan Anderson (statstk). Sekal lag, jka ( c ( ) / c ( ) )( p ( )( ) = ( ) ( ) / p sehngga ln c / c p / p = (-8) dapat dperbandngkan dengan aturan (-35) berdasar pada fungs dskrmnan lnear Fsher. Jad; Dengan demkan, dengan syarat kedua populas- ). Aturan

37 populas normalyang mempunya matrks kovarans yang sama, aturan pengklasfkasan Fshers adalah setara dengan ECM yang mnmum dengan peluang pror dan cost msclassfcaton sama. Secara rngkas, selama dua populas, pemsahan relatf maksmum dapat dperoleh dengan mempertmbangkan kombnas lner pengamatan-pengamatan multvarate dengan jarak D yang sama. In tepat karena D dapat dgunakan, d dalam stuas-stuas yang tertentu, untuk menguj apakah rerata populas µ dan µ berbeda secara sgnfkan. Sebaga akbatnya, suatu test untuk selsh rerata d dalam vektor-vektor dapat dpandang sebaga suatu test sgnfkan dar pemsahan yang dapat dcapa. Msalkan populas-populas π dan π adalah normal multvarate dengan suatu matrks kovarans yang umum.lalu, sepert d Secton 6.3, suatu test dar Ho: µ =µ melawan H : µ µ dapat dtunjukan oleh; n + n p nn D n + n p n + n ( ) Suatu F-dstrbuton dengan df v = p dan v = n + n - p -. Jka H o dtolak, kta dapat menympulkan pemsahan antara kedua populas-populas π dan π adalah sgnfkan Pemsahan sgnfkan tdak perlu menyratkan pengklasfkasan bak. Sepert kta sudah melhat d Secton.4, kemanjuran dar suatu prosedur pengklasfkasan dapat devaluas bebas dar setap test perpsahan. Sebalknya, jka pemsahan tu tdak sgnfkan, pencaran suatu aturan pengklasfkasan yang bermanfaat mungkn akan membuktkan tdak berart.

38 .5 Klasfkas Untuk Beberapa Populas Teornya, secara umum prosedur klasfkas dar sampa g grup akan djelaskan dsn. Meskpun, tdak banyak yang mengetahu tentang syarat dar korespondens fungs klasfkas sampel dan, faktanya, nla kekelruan dar klassfkas d atas tdak dapat dhtung. Teor Robust dar statstk klasfkas lner dua grup, msalnya, kovaran tdak sama atau tdak berdstrbus normal dapat kta pelajar dengan menggunakan program komputer yang mendukung samplng ekspermen. Untuk populas lebh dar dua, pendekatan n tdak dapat menghaslkan kesmpulan secara umum karena syaratnya bergantung pada d mana populas tu akan dtempatkan dan mash banyak bentuk yang dpelajar lebh dalam. Sebelumnya pendekatan kta pada bahasan sekarang akan dbentuk aturan optmal secara teor selanjutnya modfkas yang dperoleh pada aplkas kehdupan nyata. Nla Harapan Mnmum dar Msclassfcaton Method Msal ( ) f x fungs kepadatan dar populas π, =,,..., g.[sebagan besar kta akan menggunakan f ( ) x berupa fungs kepadatan multvarat normal, tetap tdak dperlukan pada pembentukan teor secara umum.]. Msal p = probabltas pror dar populas π, =,,..., g ( ) c k = nla alokas dar tem π, kenyataannya berkatan dengan π untuk k, =,,..., g ( ) untuk k =, c =. Nla harapan kondsonal dar klasfkas x dar π sampa π, atau π,..., π adalah 3 g k ( ) = P ( ) c( ) + P ( ) c ( ) + + P( g ) c( g ) ECM g = k = ( ) c( k ) P k Perkalan dar ECM kondsonal masng-masng oleh probabltas prornya dan djumlahkan akan menghaslkan

39 ( ) ( ) ( ) ECM = p ECM + p ECM p ECM g g g g ( ) ( ) ( ) ( )... g ( ) ( ) k = k = k = g g p P( k ) c ( k ) (-37) = k = k g = p P k c k + p P k c k + + p P k g c k g = Perhtungan jumlah klasfkas optmal pada pemlhan kualtas daerah klasfkas R, R,..., R g khusus dan mendalam sepert pada (-37) adalah mnmum. Hasl.5 daerah klasfkas untuk nla ECM mnmum (-37) ddefnskan oleh pengalokasan x pada populas π k, k =,,..., g d mana g = k p f ( x) c( k ) (-38) adalah yang terkecl. Jka berkatan, x dapat dmasukkan ke populas yang berkatan tu. Bukt. Lhat Anderson []. Msalkan semua nla msklasfkas sama, pada kasus nla harapan mnmum dar aturan msklasfkas adalah probabltas total mnmum dar aturan msklasfas. (Tanpa menghlangkan sfat umum kta dapat menentukan semua nla msklasfka sama dengan.) Menggunakan alasan sebelumnya pada (- 38), kta akan mengalokaskan x pada π k, k =,,..., g, d mana g = k p f ( x ) ( -3 9 ) adalah yang terkecl. (-39) akan menjad yang terkecl ketka mengabakan bentuk p f ( ) k k x yang terbesar. Akbatnya, ketka semua nla msklsfkas sama, nla harapan mnmum dar aturan msklasfkas dtunjukkan bentuk sederhana. Syarat klasfkas ECM mnmum dengan nla msklasfkas sama alokas x pada π k jka atau, ekvalen dengan alokas x pada π k jka ( ) > ( ) untuk semua (-4) p f x p f x k k k ( ) ( ) ln p f x > ln p f x untuk semua k (-4) k k

40 Hal n menark untuk dngat bahwa aturan klasfkas pada (-4) adal dentk dengan memaksmumkan probabltas posteror, ( x) dgant dengan x dar observas), dmana = ( x) ( x) ( pror) x ( lkelhood ) ( pror) x ( lkelhood) P π k = P (x dar π k pk fk P ( π k x) = = untuk k =,,..., g g p f (-4) Persamaan (-4) adalah bentuk umum dar persamaan (-9) untuk g grup. Anda seharusnya mengngat hal tersebut, umumnya, aturan ECM mnmum mempunya tga komponen: probabltas pror, nla msklasfkas, dan fungs kepadatan. Komponen n sudah dketahu (atau destmas) sebelum aturan n dgunakan. Contoh.9 Msalkan ddapat observas x ke suatu g = 3 populas π, π, atau π 3, dberkan hpotess probabltas pror, nla msklasfkas, dan nla fungs kepadatan. Kta gunakan prosedur ECM mnmum. π Klasfkas : π Probabltas pror: Kepadatan d π 3 c Populas π π π 3 = c = 5 c 3 = ( ) ( ) ( ) c = c 3 = 5 p =,5 ( ) ( ) ( ) c = c 3 = ( ) ( ) ( ) c 3 = 5 c 3 3 = x : f ( x ) =, f ( x ) =,85 f ( x ) p =,6 p 3 =,35 = 3 adalah = k Nla dar p f ( x ) c ( k ) lhat ( -38) ( ) ( ) ( ) ( ) ( )( )( ) ( )( )( ) ( ) ( ) ( ) ( ) ( )( )( ) ( )( )( ) ( ) ( ) ( ) ( ) ( )( )( ) ( )( )( ) k = : p f x c + p f x c =, 6,85 5 +,35 = 35 k = : p f x c + p f x c =, 5, +,35 5 = 35, 55 k = 3: p f x c 3 + p f x c 3 =, 5, 5 +, 6,85 =, 5

41 3 yang terkecl untuk k = = k Karena p f ( x ) c ( k ) alokaskan x ke π., kta akan Jka semua nla msklasfkasnya sama, kta akan memasukkan x berdasarkan (-4), sehngga dperoleh Karena p f ( x ) ( )( ) ( x ) ( )( ) ( x ) = ( )( ) = p f p f 3 3 =, 5, =,5 =, 6,85 =,5,35, 7 ( ) ( ) p f x =,7 p f x, =, 3 3 Kta harus mengalokaskan x ke π 3. Ekvalen dengan, perhtungan probabltasnya, [lhat (-4)] ( π x ) ( π x ) ( π x ) ( x ) ( x ) ( x ) ( x ) ( x ) ( x ) (,5)(,) (, 5)(, ) + (, 6)(,85) + (,35)( ) P = = =, 4 3 = (, 6)(,85) (, 5)(,) + (, 6)(,85) + (,35)( ) P = = =, 4 3 = (,35)( ) (, 5)(, ) + (, 6)(,85) + (,35)( ) 3 3 P 3 = = =,578 3 = p f p f p f p f p f p f Kta lhat bahwa x dalokaskan ke π 3, populas dengan probabltas posteror terbesar. Klasfkas dengan Populas Normal Kasus khusus terjad ketka f ( x) = exp ( ) ( ),,,..., (-43) p x µ Σ x µ g = π Σ ( )

42 Adalah kepadatan multvarat normal dengan vektor mean µ dan matrks Σ. Jka c =, c k =, k (atau, ekvalen, nla msklasfkasnya sama ddapat ( ) ( ) semua), (-4) menjad: Alokas x ke π k jka p ln pk fk x ln pk ln ln k x k k x k = max ln p f 44 ( ) = ( π ) Σ ( µ ) Σ ( µ ) ( x) ( ) p Konstanta ln ( π ) dapat dabakan pada (-44) karena sama untuk semua populas. Selanjutnya kta defnskan nla dskrmnan kuadrat untuk ke-i populas berupa Q d x x x p, g ( ) = ln Σ ( µ ) Σ ( µ ) + ln =,,..., ( -45) Q Nla kuadrat, ( ) d x, terdr dar kontrbus dar varans umum Σ, probabltas pror p, dan kuadrat jarak dar x ke populas mean µ. Catatan, meskpun fungs jarak berbeda, dengan orentas dan ukuran konstanta jarak ellpsod berbeda, sebaknya lakukan pada masng-masng populas. Gunakan nla dskrmnas aturan klasfkas dar (-44) sepert d bawah Probabltas Total Mnmum dar Aturan Msklasfkas untuk Populas Normal- Alokas x ke π k jka ( ) = ( ) ( ) ( ) Nla kuadrat d x maks dar d x, d x,..., d x ( ) Q Q Q Q g Q dmana d x dberkan pada (-45), =,,..., g. Σ berbeda Pada lathan, µ dan Σ tdak dketahu, tetap lathan penentuan dar pengklasfkasan observas yang benar serng berguna untuk mengestms. Kuanttas sampel yang relevan untuk populas π adalah x S n = = = vektor mean sampel matrk kovaran sampel ukuran sampel

43 Estmas nla dskrmnan kuadrat $ Q d ( ) x adalah $ Q ( ) ( ) ( ) d x = ln S x x S x x + ln p (-47) Dan aturan klasfkas yang sesua dengan sampel sebelumnya. Aturan Estmas TPM Mnmum untuk Beberapa Populas Normal- Σ berbeda Alokas x ke π k jka Penyederhanaan bsa dlakukan jka matrks kovaran populas Ketka Σ = Σ, untuk =,,..., g, nla dskrmnan pada (-45) menjad Σ sama. Q d ( x) = ln Σ x Σ x + µ Σ x µ Σ µ + ln p Dua bentuk pertama nlanya sama untuk Q ( ), Q ( ),..., Q ( ) d x d x d x, dan mengakbatkan, dapat kta abakan. Bentuk yang lannya terdr dar konstanta c = ln p µ Σ µ dan kombnas lner dar komponen x. Defns nla dskrmnan lner Q d ( x) = µ Σ x µ Σ µ + ln p (-49) Estmas $ Q Q d ( x ), dar nla dskrmnan lner d ( ) gabungan Σ, S $ Q ( ) pooled = Dan dberkan oleh $ Q ( ) $ Q ( ) $ Q ( ) $ Q d x = d x d x d g ( x) Nla kuadrat maks dar,,..., (-48) dmana d x dberkan pada (-47), =,,..., g. ( ) + ( ) ( g ) n S n S n S n + n n g g g x sesua dengan estmas g (-5)

44 d ( x) = xs - x xs - x + ln p ( -5) pooled pooled Aturan Estmas TPM Mnmum untuk Populas Normal dengan Kovaran sama Alokas nla x ke π k jka $ Q ( ) $ Q ( ) $ Q ( ) $ Q d x = d x d x d g ( x) Nla dskrmnan lner maks dar,,..., (-5) $ Q ( ) dmana d x dberkan pada (-5), =,,..., g. Keterangan. Persamaan (-49) adalah fungs lner dar x yang sesua. Sama sepert untuk kasus kovaran sama yang ddapat dar (-45) dengan mengabakan bentuk konstanta, ln Σ. Haslnya, estmas sampel yang dmasukkan untuk kuanttas populs yang tdak dketahu, selanjutnya dapat dnterpretaskan dalam bentuk kuadrat jarak ( ) = ( ) pooled ( ) D x x x S x x Dar x ke vektor mean sampel x. Aturan menempatkannya adalah: Masukkan x ke populas π yang ( ) (-53) - D x + ln p terbesar (-54) Kta lhat bahwa aturan n atau ekvalennya, (-5)-masukkan x ke populas terdekat. (ukuran jarak dnyatakan oleh ln p.) Jka probabltas prornya tdak dketahu, prosedur yang berguna adalah menentukan p = p =... = pg =. Observas selanjutnya dmasukkan ke g populas yang terdekat. Contoh. Mar kta htung nla dskrmnan lner yang berasal dar data dengan g = 3. Populas dasumskan sebaga normar bvarat dengan matrk kovaran basa. Sampel acak dar populas π, π, dan π 3 dsebutkan d bawah, beserta mean sampel dan matrks kovarannya.