Principal Component Analysis Siana Halim Subhash Sharma, Applied Multivariate Techniques, John Willey & Sons, 1996
Pendahuluan Sebuah analis keuangan ingin menentukan sehat tidaknya sebuah departement keuangan pada sebuah industri. Dalam penelitian awal telah diidentifikasikan terdapat sejumlah rasio keuangan (kirakira ada 120 variabel) yang dapat digunakan untuk analisa di atas. Tentu saja, tidaklah mudah untuk menginterpretasikan 120 buah informasi untuk menentukan apakah departement keuangan tsb dalam keadaan sehat atau tidak. Apa yang harus dilakukannya? Tugas pertama dari analysis tersebut tentunya adalah menyederhanakan/mereduksi ke-120 rasio menjadi beberapa index saja (misalnya 3), ),yang mana index tersebut merupakan kombinasi linear dari seluruh rasio awal (120 rasio).
Pendahuluan Manajer marketing berkeinginan untuk membangun sebuah model regresi untuk menentukan forecast dari sales. Namun demikian, ternyata variable-variable yang seharusnya independent ternyata saling berkorelasi (multicollinearity). Dalam model regresi adanya multicollinearity dapat menyebabkan standard error dari estimasi parameter sangat tinggi, dan model regressi yang dihasilkan menjadi tidak stabil. Apa yang harus dilakukan oleh manager tersebut? Akanlah sangat membantu, bila marketing manajer tersebut membangun variable baru yang merupakan kombinasi linear dari variable-variable lama, sedemikian hingga variable- variable baru tersebut tidak saling berkorelasi. Variablevariable baru ini dapat digunakan untuk membangun model regresi yang dikehendakinya.
Bagaimana Caranya? Gunakan Principal Component Analysis (PCA). PCA adalah sebuah teknik untuk membangun variablevariable baru yang merupakan kombinasi linear dari variable-variable asli. Jumlah maximum dari variablevariable baru ini akan sama dengan jumlah dari variable lama, dan variable-variable baru ini tidak saling berkorelasi satu sama lain.
Secara Geometri X1 X2 Observasi Original Mean Original Mean Corrected Corrected 1 16 8 8 5 2 12 4 10 7 x x * 1 = cosθ x1 + sin θ x * 2 = sinθ x1 + cos 2 θ x 3 13 5 6 3 Dicari θ optimum s.d.h variance x * 1 4 11 3 2-1 maximum dan x 2 * orthogonal (saling 5 10 2 8 5 tegak lurus) dengan x * 1 6 9 1-1 -4 7 8 0 4 1 θ = 43.261 2 8 7-1 6 3 9 5-3 -3-6 10 3-5 -1-4 11 2-6 -3-6 12 0-8 0-3 * 1 =.728 x1 0. 685 x 0 + x * 2 =.685x1 0. 728 x 0 + x 2 2 S = 23.091 16.455 1 0.746 R = 16.455 21.091 0.746 1
Secara Geometri Mean Corrected Data New Variables Observasi X1 X2 X1* X2* 1 8 5 9.253-1.841 2 4 7 7.710 2.356 3 5 3 5.697-1.242 4 3-1 1.499-2.784 5 2 5 4.883 2.271 6 1-4 -2.013-3.598 7 0 1 0.685 0.728 8-1 3 1.328 2.870 9-3 -6-6.297-2.313 10-5 -4-6.382 0.514 11-6 -6-8.481-0.257 12-8 -3-7.882 3.298 Mean 0 0 0.000 0.000 38.576 0 SS 424.334 61.666 S = 0 61.666 R 1 = 0 0 1 Variance 38.576 5.606
Objective dari PCA Dalam PCA Variable-variable baru disebut sebagai principle component dan nilai-nilai bentukan dari varible ini disebut sebagai principle component score. Variable yang baru merupakan kombinasi linear dari variable-variable asli. Variable baru pertama berhubungan dengan variance maximum dari data. Variable baru kedua menunjukkan variance maximum yang belum terhitung pada variable pertama Variable baru ketiga menunjukkan variance maximum yang belum terhitung pada kedua variable pertama Variable baru ke-p menunjukkan variance maximum yang belum terhitung pada p-1 variable terdahulu. Seluruh p variable baru tidak berkorelasi.
Loadings Loadings adalah korelasi antara variable asli dengan variable baru. Loadings memberikan indikasi variable original mana yang sangat penting atau mempengaruhi pembentukan variable baru Semakin tinggi nilai Loading maka variable lama ybs semakin memiliki pengaruh terhadap pembentukan variable baru. Loading dapat pula dihitung dengan menggunakan rumus sbb: l ij = w s ij j L ij adalah loading dari variable ke-j untuk principal component ke-i, w ij adalah bobot dari variable ke-j terhadap principal component ke-i, λ i adalah nilai eigen dari principal component ke-i dan s j adalah standard deviasi dari variable ke-j λ i
Hal-hal yang berhubungan dengan PCA 1. Adakah effect dari type data (misalnya mean corrected ataupun data yang telah di-standard-kan) terhadap PCA? 2. Apakah PCA merupakan teknik yang memadai? 3. Berapakah jumlah Principal Component yang harus dipilih? 4. Bagaimana menginterpretasikan t ik PCA? 5. Bagaimana penggunaan dari Principal Component Scores?
1. Adakah effect dari type data (misalnya mean corrected ataupun data yang telah di-standard-kan) terhadap PCA? Secara umum, bobot yang dibebankan /diberikan pada sebuah variable dipengaruhi oleh variance relative dari variable, karena itu data seharusnya distandardkan s.d.h. variance untuk setiap variable menjadi sama (yaitu satu). Namun demikian, pilihan antara memproses data awal dengan mean corrected atau data yang distandardkan a a juga tergantung pada faktor-faktor lain. Sebagai contoh, jika tidak ada alasan yang memaksa seorang pengambil keputusan untuk menganggap sebuah variable ibl lbih lebih penting dari variable ibl yangli lain maka analisa akan lebih baik jika kita menggunakan data yang distandardkan. Namun demikian bila, ada alasan bahwa variance dari suatu variable menunjukkan tingkat kepentingan dari variable tersebut, maka analisa akan lebih baik jika kita menggunakan mean corrected data.
2.Apakah PCA merupakan teknik yang memadai? Jika objective dari analisa data adalah membangun kombinasi linear yang tidak saling berkorelasi maka keputusan apakah PCA cukup baik digunakan atau tidak tergantung pada apakah hasil dari PCA ini dapat diinterpretasikan atau tidak. Bila hasil dari PCA tidak dapat diinterpretasikan, maka penggunakan PCA tidak ada artinya dan sebaiknya dihindari. d i Jika objective dari analisa data adalah untuk mengurangi jumlah variable (principle component) yang merupakan kombinasi linear dari variable-variable asli, maka jumlah principle component harus kurang dari jumlah variable asli. Dalam kasus seperti ini, PCA hanya boleh dilakukan bila data dapat direpresentasikan dalam beberapa buah principle component tanpa menghilangkan informasi secara substansial (without a substantial loss of information)
3. Berapakah jumlah Principal Component yang harus dipilih? Jika data yang digunakan adalah data yang sudah distandardkan, gunakan aturan nilai eigen yang lebih dari satu untuk menentukan jumlah principal component Plot prosentase dari variance pada tiap principal component dan lihatlah pada siku pada plot tersebut (scree plot). ) Aturan ini dapat digunakan untuk mean-corrected data ataupun data yang telah distandardkan. Gunakan komponen-komponen yang secara statistik signifikan.
4. Bagaimana menginterpretasikan PCA? Gunakan nilai Loading untuk menginterpretasikan PCA. Semakin tinggi nilai loading dari suatu variable maka variable tersebut memiliki pengaruh dalam pembentukan principle component score dan sebaliknya. Secara tradisional, nilai loading yang dianggap sebagai nilai cutoff adalah 0.5.
5. Bagaimana penggunaan dari Principal Component Scores? Nilai principal component scores dari dua variable baru (principal component) utama, dapat digunakan sebagai input variable untuk data clustering. Secara umum scores dari principal component juga dapat digunakan sebagai input variable untuk analisa regressi dan analisa diskriminant (discriminant analysis) Keuntungan menggunakan principal component score adalah variable-variable baru ini tidak saling berkorelasi sehingga masalah multicolinearity dapat dihindari.