Minggu XI ANALISIS KOMPONEN UTAMA. Utami, H

Transkripsi

1 Minggu XI ANALISIS KOMPONEN UTAMA Utami, H

2 Outline 1 Pendahuluan 2 Tujuan 3 Analisis Komponen Utama 4 Contoh Utami, H Minggu XIANALISIS KOMPONEN UTAMA 2 / 16

3 Outline 1 Pendahuluan 2 Tujuan 3 Analisis Komponen Utama 4 Contoh Utami, H Minggu XIANALISIS KOMPONEN UTAMA 2 / 16

4 Outline 1 Pendahuluan 2 Tujuan 3 Analisis Komponen Utama 4 Contoh Utami, H Minggu XIANALISIS KOMPONEN UTAMA 2 / 16

5 Outline 1 Pendahuluan 2 Tujuan 3 Analisis Komponen Utama 4 Contoh Utami, H Minggu XIANALISIS KOMPONEN UTAMA 2 / 16

6 Diperkenalkan oleh Pearson (1901) dan Hotelling (1933) yang menggambarkan variasi dari data multivariat untuk suatu himpunan variabel-variabel tak berkorelasi. Misalkan dipunyai matriks data n observasi untuk masing observasi p variabel berkorelasi, x 1, x 2,..., x p. Analisis komponen utama mencari transformasi dari x i ke variabel baru y i yang tidak berkorelasi. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 3 / 16

7 Dalam statistika, analisis komponen utama (principal component analysis / PCA) adalah teknik yang digunakan untuk menyederhanakan suatu data, dengan cara mentransformasi linier sehingga terbentuk sistem koordinat baru dengan varians maksimum. PCA dapat digunakan untuk mereduksi dimensi suatu data tanpa mengurangi karakteristik data tersebut secara signifikan. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 4 / 16

8 Analisis komponen utama merupakan suatu tehnik statistik untuk mengubah dari sebagian besar variabel asli yang digunakan yang saling berkorelasi satu dengan yang lainnya menjadi satu set variabel baru yang lebih kecil dan saling bebas (tidak berkorelasi lagi). Jadi analisis komponen utama berguna untuk mereduksi data, sehingga lebih mudah untuk menginterpretasikan data-data tersebut (Johnson & Wichern, 1982). Analisis komponen utama merupakan analisis antara dari suatu proses penelitian yang besar atau suatu awalan dari analisis berikutnya, bukan merupakan suatu analisis yang langsung berakhir. Misalnya komponen utama bisa merupakan masukan untuk regresi berganda atau analisis faktor. Analisis komponen utama lebih baik digunakan jika variabel-variabel asal saling berkorelasi. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 5 / 16

9 Tujuan mereduksi data memungkinkan untuk data berdimensi p dapat direpresentasikan dalam k dimensi dengan k < p tanpa kehilangan banyak informasi. menginterpretasikan komponen utama (variabel baru). Utami, H Minggu XIANALISIS KOMPONEN UTAMA 6 / 16

10 Analisis Komponen Utama Misalkan vektor random: x = [ x 1 x 2 x p ] dengan matriks kovariansi Σ dan eigenvalue dari Σ adalah λ 1 λ 2... λ p. Pada analisis komponen utama, dikonstruksikan p kombinasi linear dari x : y 1 = a 1x = a 11 x 1 + a 12 x a 1p x p y 2 = a 2x = a 21 x 1 + a 22 x a 2p x p. y p = a px = a p1 x 1 + a p2 x a pp x p Utami, H Minggu XIANALISIS KOMPONEN UTAMA 7 / 16

11 y 1, y 2,..., y p merupakan komponen-komponen utama, dimana mereka tidak saling berkorelasi dan mempunyai variansi sebesar mungkin. Jadi var(y i ) = a i Σa i, untuk i = 1, 2,..., p cov(y i, y k ) = a i Σa k, untuk i, k = 1, 2,..., p Utami, H Minggu XIANALISIS KOMPONEN UTAMA 8 / 16

12 Komponen utama pertama: Kombinasi linear a 1x yang memaksimalkan var(a 1x) dengan a 1a 1 = 1, Komponen utama kedua: Kombinasi linear a 2x yang memaksimalkan var(a 2x) dengan a 2a 2 = 1 dan cov(a 1x, a 2x) = 0. Ini berarti komponen utama kedua tidak berkorelasi dengan komponen utama pertama.. Komponen utama ke-i: Kombinasi linear a i x yang memaksimalkan var(a ix) dengan a i a i = 1 dan cov(a i x, a kx) = 0 untuk k < i. Ini berarti komponen utama ke-i tidak berkorelasi dengan komponen utama sebelumnya. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 9 / 16

13 Misalkan Σ adalah matriks kovariansi dari x = [ x 1 x 2 ] x p dan mempunyai pasangan eigenvalue-eigenvektor (λ 1, e 1 ), (λ 2, e 2 ),..., (λ p, e p ) dengan λ 1 λ 2... λ p 0, maka komponen utama dapat diperoleh sbb: y i = e ix = e i1 x 1 + e i2 x e ip x p untuk i = 1, 2,..., p di mana var(y i ) = e iσe i, i = 1, 2,..., p cov(y i, y k ) = e iσe k, i k Jika beberapa λ i sama, maka komponen utama tidak tunggal. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 10 / 16

14 Misalkan Σ adalah matriks kovariansi dari x = [ x 1 x 2 ] x p dan mempunyai pasangan eigenvalue-eigenvektor (λ 1, e 1 ), (λ 2, e 2 ),..., (λ p, e p ) dengan λ 1 λ 2... λ p 0 dan y 1 = e 1x, y 2 = e 2x,..., y p = e px adalah komponen-komponen utama maka p σ 11 + σ σ pp = var(x i ) i=1 = λ 1 + λ λ p = p var(y i ). i=1 Utami, H Minggu XIANALISIS KOMPONEN UTAMA 11 / 16

15 Suatu ukuran penting dari komponan utama ke-k: λ k p λ i i=1 yang merupakan variansi relatif yang diterangkan oleh masing-masing komponen utama. Pada analisis komponen utama, sejumlah komponen utama yang terbentuk akan dianggap cukup jika variansi kumulatif yang diterangkan oleh komponen-komponen utama lebih dari 50% sampai 70%. Perhatian: Dalam pembentukan Principle Component, terkadang perlu dilakukan transformasi data sehingga semua variabel mempunyai skala yang relatif sama. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 12 / 16

16 Contoh Dipunyai data tentang 4 observasi untuk variabel random x 1, x 2, x 3 sebagai berikut: x 1 x 2 x Tentukan 3 komponen utama y 1, y 2, y 3! Utami, H Minggu XIANALISIS KOMPONEN UTAMA 13 / 16

17 Matriks kovariansi dari x = [ x 1 x 2 x p ] adalah: Σ = 1, 50 2, 50 1, 00 2, 50 6, 00 3, 50 1, 00 3, 50 5, 25 Pasangan eigenvalue dan eigenvektor dari Σ :. λ 1 = 9, 92 e 1 = [ 0, 29 0, 73 0, 61 ] λ 2 = 2, 53 e 2 = [ 0, 42 0, 48 0, 77 ] λ 3 = 0, 30 e 3 = [ 0, 86 0, 48 0, 16 ] Utami, H Minggu XIANALISIS KOMPONEN UTAMA 14 / 16

18 Komponen-komponen utama yang terbentuk: y 1 = e 1x = 0, 29x 1 + 0, 73x 2 + 0, 61x 3 y 2 = e 2x = 0, 42x 1 + 0, 48x 2 0, 77x 3 y 3 = e 3x = 0, 86x 1 0, 48x 2 + 0, 16x 3 σ 11 + σ σ pp = 1, 5 + 6, 0 + 3, 5 = 12, 75 = 9, , , 30 = λ 1 + λ λ p. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 15 / 16

19 Variansi relatif yang diterangkan oleh masing-masing komponen utama: λ 1 9, 93 = = 0, , 75 λ i i=1 λ 2 = 3 λ i i=1 λ 3 = 3 λ i i=1 2, 53 12, 75 0, 30 12, 75 = 0, 198 = 0, 024 Komponen utama pertama, y 1, dapat menjelaskan 77, 8% keragaman data. Komponen utama kedua, y 2, bersama dengan y 1 keduanya mempresentasikan 97, 6% keragaman total. Utami, H Minggu XIANALISIS KOMPONEN UTAMA 16 / 16