aljabar geo g metr me i

Transkripsi

1 Pertemuan 12 & 13 ANALIS KOMPONEN UTAMA & FUNGSI DISCRIMINAN Obyektif : Reduksi variabel Interpretasi Aplikasi AKU dalam Anls Regresi Discrimination Fisher and Classification Classification with two Multivariate Normal Population

2 Pengertian. Analisis Komponen Utama (AKU) merupakan upaya mereduksi p variabel pengamatan asli (semula) menjadi k variabel baru yang saling ortogonal, dimana masing-masing k variabel baru tersebut merupakan kombinasi linier dari p variabel asal (semula). Dari segi aljabar, komponen utama, secara khusus merupakan kombinasi linier dari p variabel random Secara geometri, Kombinasi-kombinasi linier yang terbentuk merepresentasikan sistem koordinat baru melalui rotasi sistem koordinat semula dengan sebagai sumbu-sumbu koordinat. Komponen Utama hanya tergantung pada matriks Covarians ( atau matriks korelasi ) dari Tidak dibutuhkan anggapan distribusi normal multivariat. Akan tetapai komponen utama yang diturunkan dari populasi normal multivariat mempunyai banyak interpretasi yang berguna.

3 Misalkan vektor random memiliki matriks Covarians nilai-nilai eigen Pang kombinasi-kombinasi linier dari p peubah asal, dengan dengan

4 Proporsi konstribusi suatu komponen utama ke-i sebesar Konstribusi q komponen utama sebesar

5 Contoh Variabel random mempunyai matriks varians-kovarians Tentukan a. Ketiga Komponen utama b. Var (Y1) Cov(Y1,Y2) c. Proporsi varians komponen utama yang diterangkan oleh komponen utama d. Hitung Solusi Nilai-nilai eigen vektor-vektor eigen (standar) dari dimana masing-masing

6 a. Ketiga komponen utma adalah b. Tampak bahwa variabel X3 merupakan salah satu komponen utama, sebab tidak berkorelasi dengan kedua variabel lainnya (X1 X2)

7 c. Proporsi yang diterangkan untuk komponen utama pertama terhadap total varians populasi adalah sebesar ( 73 % dari varians populasi) Proporsi yang diterangkan oleh dua komponen utama pertama terhadap total varians populasi adalah sebesar ( 98 % dari varians populasi) d. Koefisien korelasi Hal ini menunjukkan sama pentingnya untuk komponen utama pertama Selanjutnya, Komponen utama ke tiga adalah unimportant

8 APLIKASI ANALISIS KOMPONEN UTAMA DALAM ANALISIS REGRESI Tahapan yang dilakukan dalam analisis regresi Komponen Utama adalah : Peubah bebas asal menghitung nilai eigen ( dibakukan dengan, vektor eigen skor komponen utama Meregresikan peubah respon (Y) terhadap skor komponen utama yang terpilih (*) Mentransformasi persamaan regresi dengan peubah bebas ke peubah bebas dengan Mentransformasi persamaan regresi dengan peubah bebas ke peubah bebas

9 Varians (ragam) koefisien regresi peubah bebas X adalah dimana adalah varians (ragam) galat dari persamaan (*) Pengujian keberatian koefisien regresi, dilakukan dengan menggunakan uji t-student dengan statistic uji

10 KOMPONEN UTAMA YANG DIPEROLEH DARI VARIABEL TERSTANDARISASI Komponen utama dapat pula diperoleh melalui variabel terstandarisasi Atau dalam bentu matriks Dimana matriks diagonal Jelaslah bahwa

11 Teorema Komponen utama ke-i dari variabel terstandarisasi dengan diberikan oleh Dengan Dalam hal ini vektor eigen dari matriks Korelasi adalah pasangan nilai eigen dengan

12 Contoh (Komponen utama yang diperoleh dari matrik covarians matrik korelasi akan berbeda) Diberikan matriks covariansi Tentukan matriks korelasi a. Komponen utama untuk b. Komponen utama untuk c. Proporsi variansi yang diterangkan oleh komponen utama pertama dari a) b) d. Hitung

13 Solusi Pasangan nilai eigen vektor eigen dari adalah Pasangan nilai eigen vektor eigen dari adalah a. Komponen utama dari b. Komponen utama dari

14 c. Proporsi variansi yang diterangkan oleh komponen utama pertama dalam a) adalah dalam b) adalah d.

15 FUNGSI DISKRIMINAN & KLASIFIKASI

16 ANALISIS DISKRIMINAN DAN KLASIFIKASI Analisis diskriminan adalah teknik multivariat untuk mengelompokan individu-individu kedalam kelompok-kelompok yang saling bebas dengan tegas berdasarkan segugus peubah bebas. Analisis diskriminan juga dapat digunakan untuk mengalokasikan pengamatan baru kedalam kelompok yang telah di definisikan sebelumny. Atau dengan kata lain, analisis diskriminan adalah teknik multivariat untuk memisahkan objek-objek ke dalam himpunan yang berbeda dengan mengalokasikan objek baru kedalam himpunan-himpunan tersebut. Tujuan Analisis diskriminan klasifikasi adalah Menyatakan baik secara grafik atau aljabar objek-objek yang berbeda dari populasi yang diketahui. Akan dicari diskriminan yang nilainya sedemikian sehingga populasi-populasi tersebut terpisah semaksimal mungkin. Mensortir objek kedalam 2 kelas atau lebih. Menentukan aturan yang bisa digunakan untuk mengalokasikan objek baru kedalam salah satu kelas.

17 Dua asumsi yang harus diperhatikan dalam analisis diskriminan adalah : Assumsi pertama, p peubah bebas menyebar mengikuti sebaran normal ganda Assumsi kedua, matriks ragam peragam berdimensi p x p dari peubah-peubah bebas dalam setiap kelompok harus sama (homogen). KLASIFIKASI UNTUK DUA POPULASI Fungsi Diskriminan Linier Fisher Ide Fisher adalah mentransformasi pengamatan multivariat x menjadi pengamatan univariat y sedemikian sehingga y dapat diturunkan dari populasi populasi yang dipisahkan sejauh mungkin Fisher menyarankan untuk mengambil kombinasi linier dari x untuk menghasilkan y sebab merupakan fungsi sederhana yang mudah ditangani

18 Pembahasan Obyektif Memisahakan dua kelas (populasi) sejauh mungkin Mengalokasikan objek baru kedalam salah satu kelas berdasar pengukuran pada p variabel random Misal adalah vektor mean observasi multivariat dari populasi adalah vektor mean observasi multivariat dari populasi matriks kovarians kedua populasi diasumsikan sama, yakni

19 Selanjutnya pang kombinasi linier dengan mean Y adalah variansi Y adalah Akan dipilih kombinasi linier dimana yang memaksimumkan rasio

20 Rasio tersebut akan maksimum jika Dengan memilih, diperoleh kombinasi linier

21 Misalkan nilai tengah antar kelompok (titik tengah mean populasi univariat) adalah adalah nilai fungsi diskriminan untuk observasi dari Maka aturan klasifikasi untuk observasi Alokasikan kedalam bila Alokasikan kedalam bila atau Alokasikan kedalam bila Alokasikan kedalam bila adalah :

22 Akan tetapi adalah parameter populasi yang pada umumnya tidak diketahui, perlu ditaksir dari observasi sampel Misalakan dipunyai observasi variabel random multivariat dari populasi observasi variabel random multivariat dari populasi Data matriksnya berturut turut adalah yang merupakan penaksir tak bias untuk

23 Fungsi diskriminan linier Fisher untuk sampel adalah adalah titik tengah diantara kedua mean sampel univariat Aturan klasifikasi berdasar sampel menjadi Alokasikan kedalam bila Alokasikan kedalam bila

24 Contoh 1 Diberikan dua himpunan data dengan Tentukan a. Matrik varians kovarians gabungan b. Fungsi diskriminan linier Fisher c. Allokasikan observasi observasi

25 Solusi Dengan menggunakan rumus diperoleh sehingga a. b. Fungsi diskriminan linier

26 , Jadi fungsi diskriminan linier adalah c. diperoleh Untuk observasi Karena maka objek Dengan cara serupa, untuk observasi Karena dadi objek dialokasikan pada diperoleh dialokasikan pada juga.

27

28 Klasifikasi untuk dua populasi normal multivariat adalah densitas normal multifvariat, Misalkan yang pertama dengan mean matriks kovariansi segkan yang kedua dengan mean matriks kovariansi Kasus spesial jika diasumsikan keduanya memiliki matriks kovariansi sama,. untuk Misalkan densita bersama (joint densities) dari populasi diberikan oleh Misalakan pula parameter-parameter populasi diketahui.

29 Daerah yang meminimumkan ECM (Expected Cost of Misclassification) adalah Teorema Populasi dengan mean masing-masing berdistribusi normal multivariat matriks kovariansi sama Maka aturan alokasi yang meminimumkan ECM adalah bila dalam Alokasikan Bila tidak demikian, alokasikan kedalam Catatan: Alokasi yang meminimumkan ECM a Alokasi menurut Fisher sama bila, karena

30 Penduga aturan yang meminimumkan ECM untuk 2 populasi normal adalah Alokasikan dalam Bila tidak demikian, alokasikan dimana bila kedalam

31 Normals Obligatory carriers

32 A pictorial representation of Fisher s procedure for two population with p=2

33 A pictorial representation of Fisher s procedure for two population with p=2

34 KLASIFIKASI LEBIH DARI DUA POPULASI ESTIMATED MINIMUM TPM (Total Probabbilty of Misclassification) RULE FOR EQUAL-COVARIANCE NORMAL POPULATION Allokasikan with dalam bila The linier discriminant score

35 , Contoh 2 Tentukan nilai/skor diskriminan linier yang didasarkan pada data populasi diasumsikan masing-masing normal bivariat dengan covarians sama. Sampel random dari ketiga populasi, vektor mean matriks covarians diberikan sebagai berikut Dengan Dan allokasikan

36 Solusi Selanjutnya Sehingga

37 Dengan cara serupa diperoleh sehingga Dan Subtitusi nilai numerik diperoleh

38 Karena memiliki skor diskriminan terbesar, maka observasi dimasukkan dalam populasi