Analisis Komponen Utama (Principal component analysis)

Transkripsi

1 Analisis Komponen Utama (Principal component analysis) A. LANDASAN TEORI Misalkan χ merupakan matriks berukuran nxp, dengan baris-baris yang berisi observasi sebanyak n dari p-variat variabel acak X. Analisis komponen utama merupakan salah satu metode untuk mereduksi dimensi dari variabel acak X. Reduksi dimensi dilakukan dengan mendefinisikan p-variat variabel acak baru Y dimana masing masing Y i, i = 1,, p merupakan kombinasi linear dari p-variat variabel acak X, sehingga informasi yang dimiliki oleh p-variat variabel acak X tetap termuat pada masing-masing anggota dari p-variat variabel acak baru Y. Dengan demikian, dapat kita pilih beberapa anggota dari p-variat variabel acak Y sebagai bentuk reduksi dari p-variat variabel acak X tanpa menghilangkan terlalu banyak informasi. Proses pendefinisian p-varait variabel acak Y sering disebut juga pembobotan, dimana: Y i = δ Τ X = p j =1 δ j 2 X j, i = 1,. p sehingga δ j = 1 Dengan X = (X 1, X 2,, X p ) Τ dan δ = (δ 1, δ 2,, δ p ) Τ. (δ disebut dengan vektor pembobotan) Agar variabel acak baru Y mampu mewakili variasi dari p-variat variabel acak X, akan dipilih arah-arah δ sehingga δ Τ X memiliki variansi yang besar: p j =1 max δ: δ =1 Var δ Τ X = max δ: δ =1 max [δ: δ =1] n = ((x i μ). δ) 2 i=1 max δ: δ =1 δ Τ Var X δ = δ Τ (x i μ) T (x i μ) Dapat dilihat dari persamaan diatas bahwa memaksimumkan variansi dari δ Τ X sama saja dengan memaksimumkan jumlahan dari kuadrat panjang proyeksi (x i μ) pada δ. n i=1 δ Dari ilustrasi gambar di samping, karena jarak ke pusat ordinat selalu konstan, dapat disimpulkan bahwa memaksimumkan jumlahan kuadrat panjang proyeksi sama saja dengan meminimumkan jarak antara titik yang akan diproyeksikan (x i μ) dengan vektor δ. Hal ini lah yang membedakan konsep dari Principal Component analisis dengan regresi. Untuk lebih jelasnya dapat dilihat pada gambar berikut. PCA Regresi Ket: adalah panjang garis yang diminimumkan 1

2 Sumber: Dari persamaan yang telah dipaparkan sebelumnya, memaksimumkan variansi dari proyeksi, yaitu Var δ Τ X sama saja dengan memaksimumkan nilai dari δ Τ Var X δ. Untuk memaksimumkan nilai dari δ Τ Var X δ, kita gunakan teorema berikut: Teorema Jika A dan B merupakan matriks simetri, dan B > 0, maka nilai maksimum dari x T A x diberikan oleh nilai x T B x eigen terbesar dari B 1 A. Secara umum, max xt A x x T B x = λ 1 λ 2 λ p = min xt A x x T B x Dimana λ 1, λ 2,, λ p menotasikan nilai eigen dari B 1 A. Vektor yang meminimumkan (memaksimumkan) x T A x x T B x merupakan vektor eigen dari B 1 A yang memiliki nilai eigen terkecil (terbesar). Jika x T B x = 1, maka: max x T A x = λ 1 λ 2 λ p = min x T A x Berdasarkan teorema diatas, karena Var X merupakan matriks simetri, maka nilai dari δ Τ Var X δ Τ yang terbesar sama dengan nilai eigen value terbesar dari matriks kovariansi = Var X. Secara umum: = Γ Λ Γ T = λ j γ j γ j T j =1 Λ = diagonal(λ 1, λ 2, λ 3,, λ p ) p Γ = (γ 1, γ 2,, γ p ) max δ Τ Var X δ Τ = λ 1 λ 2 λ p = min δ Τ Var X δ Τ,sehingga arah δ yang memberikan nilai Var δ Τ X terbesar ialah vektor eigen dari Var X dengan nilai eigen terbesar dimana vektor eigen tersebut merupakan vektor kolom dari Γ. Matriks Var X bersifat semi definit positif sehingga nilai eigennya tidak mungkin negatif. Pada bidang aljabar, proses diatas serupa dengan mengubah basis baku menjadi basis vektor eigen dengan vektor eigen sebagai matriks perubahan basis. Jika nilai lambda tidak ada yang sama, maka vektor eigen yang terbentuk merupakan basis orthonormal, yaitu vektor-vektor yang saling tegak lurus dengan masing-masing vektor memiliki panjang 1 unit. Catatan: Principal component analysis dihitung melalui matriks kovariansinya, maka seperti halnya matriks kovariansi, nilainya akan bergantung pada satuan yang digunakan. B. Aplikasi Analisis Komponen Utama pada Data Nilai Mahasiswa Berikut ialah contoh aplikasi analisis komponen utama pada data nilai wisudawan matematika angkatan 2007 (Data dapat dilihat pada bagian lampiran). χ merupakan matriks berukuran nxp, dengan n merupakan jumlah mahasiswa (101 mahasiswa) dan p merupakan jumlah mata kuliah (14 mata kuliah). Baris-baris matriks χ berisi nilai masing-masing mahasiswa untuk ke 14 mata kuliah. Kita Definisikan 14- variat variabel acak X sebagai berikut: X 1 =nilai Fisika I A X 2 = nilai Kalkulus IA X 3 =nila Fisika II A X 4 =nilai Kalkulus II A X 8 = nilai Kalkulus Peubah Banyak X 9 = nilai Komputasi Matematika X 10 = nilai Metode Matematika X 11 = nilai Pengantar Analisis Kompleks 2

3 X 5 = nilai Aljabar Linier Elementer A X 6 = nilai Matematika Diskrit X 7 = nilai Analisis Data X 12 = nilai Matematika Numerik X 13 = nilai Teori Peluang X 14 = nilai Pengantar Analisis Real Langkah-langkah yang harus dilakukan untuk mencari reduksi variabel menggunakan analisis komponen utama ialah sebagai berikut: 1. Mencari matriks kovariansi empirik dari 14-variat variabel acak X yaitu = Var X. Matriks Kovariansi empirik ialah matriks yang nilai-nilai kovariansi pada tiap cell-nya diperoleh dari sampel. Misalkan Y dan Z ialah variabel acak, maka: cov Y, Z = 1 (y n i y)(z i z ) i=1 Dengan y dan z merupakan rataan sampel dari variabel Y dan Z, dan y i dan z i merupakan nilai observasi ke-i dari variabel Y dan Z. Pembagian dengan n digunakan karena jumlah sampel yang dimiliki lebih dari 20. Dari data nilai yang digunakan, diperoleh matriks kovariansi berukuran 14x Mencari nilai eigen dan vektor eigen dari matriks kovariansi empirik yang telah diperoleh. Nilai eigen dan vektor eigen dapat dihitung menggunakan program matlab. Nilai eigen diurutkan mulai dari nilai yang terbesar hingga terkecil. Matriks yang kolom-kolomnya berisi vektor eigen dari nilai eigen terkait disesuaikan urutannya berdasarkan nilai eigen yang telah urut. Dengan menggunakan algoritmat matlab, diperoleh 14 nilai-nilai eigen yang telah diurutkan,yaitu : Eigen = (3.4970, , , , , , , , , , , , , ) n Masing-masing variabel baru Y i yang terbentuk memiliki variansi yang besarnya sama dengan nilai eigen yang terkait dengan vektor eigen pembentuknya. Grafik diatas ditampilkan untuk memperjelas penurunan variansi (nilai eigen) yang terjadi. 3. Menghitung proporsi variansi masing-masing PC beserta nilai akumulasi untuk q-pc pertama. Ukuran seberapa baik q -PC pertama mampu menjelaskan variansi diberikan melalui proporsi relatif ψ q = q j =1 λ j p j =1 λ j. Tabel dibawah ini memperlihatkan proporsi variansi dari masing-masing PC serta nilai akumulasinya jika kita menggunakan q-pc pertama. 3

4 Pemilihan banyak PC yang akan digunakan tergantung dari kebutuhan. Dapat kita lihat bahwa 2 PC saja mampu menyerap variansi sebesar 56%, apabila persentasi ini dirasa cukup, dapat kita gunakan 2 PC yang ada. Pemilihan 2 hingga 3 PC lebih sering dilakukan untuk mempermudah visualisasi. Apabila kita menginginkan jumlah PC yang lebih dari 50 persen dan memberikan akumulasi variansi yang cukup signifikan,maka dapat kita lihat melalui kecuraman ( gradien) dari grafik akumulasi variansi q-pc. Digunakan garis-garis linier untuk mempermudah visualisasi perubahan gradien yang terjadi. Semakin landai gradien antara 2 titik yang ada, maka semakin kecil perubahan akumulasi variansi yang dijelaskan. Dari plot diatas, dapat dilihat bahwa pemilihan 3 PC dapat dibilang cukup baik karena viualisasi yang mudah serta nilai pertambahan akumulasi PC yang signifikan. Pemilihan 3 PC mampu menjelaskan 63% variansi dibandingkan dengan apabila kita menggunakan 14 PC yang ada. 4. Interpretasi Hasil dari Analisis Komponen Utama Untuk mempermudah visualisasi dan interpretasi, maka kita pilih 2-PC dengan nilai eigen terbesar. Berikut disajikan hasil PC pertama (Y 1 ) dan kedua (Y 2 ) dari data nilai yang telah dipaparkan diatas: Y 1 = nilai Fisika I A nilai Kalkulus IA nilai Fisika II A nilai Kalkulus II A nilai Aljabar Linier Elementer A nilai Matematika Diskrit nilai Analisis Data nilai Kalkulus Peubah Banyak nilai Komputasi Matematika nilai Metode Matematika nilai Pengantar Analisis Kompleks nilai Matematika Numerik nilai Teori Peluang nilai Pengantar Analisis Real Nilai dari Y 1 lebih banyak dijelaskan oleh variabel nilai Kalkulus Peubah Banyak, nilai Pengantar analisis Kompleks, dan nilai Teori Peluang. Hal ini dapat dilihat dari koefisien yang cukup besar dibanding variabel lainnya. 4

5 Apabila sebuah variabel memiliki koefisien yan besar dan positif (negatif) pada kombinasi linear yang mendefiniskan sebuah PC, maka dapat dikatakan bahwa terdapat korelasi yang kuat dan positif (negatif) antara variabel tersebut dengan PC yang didefinisikan. Dapat disimpulkan bahwa apabila nilai Y 1 besar, maka nilai dari Kalkulus Peubah Banyak, Pengantar analisis Kompleks, dan nilai Teori Peluang juga besar. Namun, apabila kita melihat koefisien-koefisien yang ada pada kombinasi linier diatas, dapat dikatakan bahwa koefisien yang ada tidak terlalu berbeda jauh. Tidak ada nilai koefisien yang sangat besar baik koefisien yang bernilai positif maupun negatif. Hal ini sebenarnya juga memengaruhi seberapa bermanfaat penggunaan metode analisis komponen utama pada data. Analisis Komponen utama sebaiknya digunakan apabila nilai korelasi antara q-pc yang digunakan dengan variabel-variabel awal (dalam hal ini p-variat variabel acak X) memiliki nilai yang besar. Y 2 = nilai Fisika I A nilai Kalkulus IA nilai Fisika II A nilai Kalkulus II A nilai Aljabar Linier Elementer A nilai Matematika Diskrit nilai Analisis Data nilai Kalkulus Peubah Banyak nilai Komputasi Matematika nilai Metode Matematika nilai Pengantar Analisis Kompleks nilai Matematika Numerik nilai Teori Peluang nilai Pengantar Analisis Real Nilai dari Y 2 dapat dijelaskan cukup baik oleh variabel nilai Kalkulus IA dan nilai Matematika Diskrit. Koefisien pada kedua variabel bertanda negatif. Hal ini mengindikasikan bahwa korelasi antara Y 2 dengan jumlahan dari nilai Kalkulus IA dan nilai Metematika Diskrit negatif. Artinya, apabila nilai dari variabel Y 2 dari seorang mahasiswa kecil, maka dapat disimpulkan bahwa nilai Kalkulus dan nilai Matematika Diskrit dari mahasiswa tersebut besar. Sehingga dengan melihat nilai dari Y 2, kita dapat menarik kesimpulan mengenai nilai Kalkulus IA dan nilai Matematika Diskrit. Berikut disajikan Plot dari PC pertama terhadap PC kedua dari data yang ada. Dari gambar scatterplot diatas, dapat disimpulkan bahwa: 1. Interval dari Y 1 lebih besar dari interval dari Y 2. Hal ini memperkuat bukti bahwa Y 1 memiliki variansi yang lebih besar. Sehingga dapat dikatakan bahwa jumlahan dari nilai Kalkulus Peubah Banyak, nilai Pengantar analisis Kompleks, dan nilai Teori Peluang menghasilkan variansi yang besar. 2. Sebagian besar titik berada pada daerah yang dilingkupi oleh garis oval berwarna biru. Pola ini menunjukkan kecenderungan dari mahasiswa matematika angkatan

6 3. Beberapa titik berada di bagian pojok kiri bawah dari grafik. Titik-titik yang berada pada bagian pojok kiri bawah dari grafik dapat dikatakan sebagai pencilan karena tidak mengikuti kecenderungan yang dijelaskan pada poin 2 dan berada jauh dari garis oval berwarna biru. Titiktitik tersebut memiliki nilai Y 1 dan Y 2 yang tergolong kecil, sehingga dapat disimpulkan bahwa sebagian kecil mahasiswa memiliki jumlahan nilai Kalkulus Peubah Banyak, Pengantar analisis Kompleks,dan nilai Teori Peluang yang kecil, sedangkan jumlahan nilai Kalkulus IA dan nilai Matematika Diskrit besar. 4. Mahasiswa yang memiliki jumlahan nilai Kalkulus IA dan nilai Matematika Diskrit paling besar memilki jumlahan nilai Kalkulus Peubah Banyak, nilai Pengantar analisis Kompleks, dan nilai Teori Peluang yang tergolong tidak besar. (lihat titik yang dilingkupi segitiga berwarna hijau) Plot diatas sangat berguna apabila kita memberikan pendefinisian kategori yang memasukkan masing-masing individu ke dalam sebuah kategori. Pemberian warna pada scatterplot diatas dapat membantu visualisasi dari kategori yang ada. Dengan melihat pola dari scatterplot dari tiap-tiap kategori, maka kita dapat menyimpulkan karakteristik dari tiap- tiap kategori. 6

7 7

8