TINJAUAN ATAS SHONDA KUIPER, "INTRODUCTION TO MULTIPLE REGRESSION : HOW MUCH IS YOUR CAR WORTH?"

Transkripsi

1 TINJAUAN ATAS SHONDA KUIPER, "INTRODUCTION TO MULTIPLE REGRESSION : HOW MUCH IS YOUR CAR WORTH?" Rivan Syamsurijal Biya, ST Program Magister Teknik Industri Univeristas Trisakti Abstrak Multiple Regression adalah salah satu alat statistik yang sangat baik untuk membuat model hubunganhubungan antara beberapa variabel dengan variabel lainnya. Data-data yang digunakan dalam paper adalah campuran antara data-data Variabel kualitatif (Kategorik) dan Variabel kuantitatif (Numerik). Beberapa kesalahan terjadi, setidaknya menurut anggapan-anggapan awal yang dibuat untuk membuat analisis Multiple Regression adalah perlakukan Variabel-variabel Katergorik. Tetapi secara keseluruhan paper ini sangat baik untuk menemukan model yang baik dengan menggunakan Metode Multiple Regression. Keyword : Multiple Regression, Kualitatif, Kuantitatif, Kategorik, Numerik, Metode. I. Pengantar Introduction to Multiple Regression : How Much is your Car Worth?, adalah Pengantar untuk perkenalan salah satu metode Statistik yaitu Multiple Regression, dengan menggunakan data-data dari Kelly Blue Book yang berupa ratusan (84) data Mobil-mobil bekas produksi General Motor. Pencarian adalah seberapa besar pengaruh variabel-variabel Mobil-mobil bekas GM ini mempengaruhi harga Mobil bekas tersebut. Variabel-variabel tersebut adalah : Mileage (Jumlah Km) : Jumlah miles (km) yang telah dipergunakan oleh Mobil Bekas tersebut. Make (Model Pabrik) : Pabrik dari mobil bekas tersebut, Stturn, Pontiac, atau Chevrolet. Model : Model dari Mobil tersebut. Trim : Tipe Khusus (dibandingkan Model) dari Model tersebut. Type : Tipe Badan mobil bekas tersebut, sedan, coupe, dll. Cylinder : Jumlah Silinder dalam mesin mobil tersebut. Liter : Ukuran dari besaran dari Mesin Mobil bekas tersebut. Doors (Pintu) : Jumlah Pintu Mobil. Cruise : Ada tidaknya Pengendali Cruise dari mobil. Sound : Ada tidaknya Upgrade speaker (klakson) dari mobil. Leather : Ada tidaknya tempat duduk mobil terbuat dari kulit. Sedangkan Variabel tidak bebasnya (yang dicari) adalah Price (harga mobil bekas tersebut). II. Metode Penelitian dari Paper Asli. Metode Penelitian dapat terlihat di Paper_Asli.pdf. Didalam Paper, langkah demi langkah

2 yang diambil untuk membuat model dari Harga Mobil Bekas yang berdasarkan parameterparameter fitur dan penggunaan mobil tersebut dapat disebutkan sebagai berikut : 1. Langkah Pertama adalah : Membuat model Regresi Linear dari Variabel yang mungkin paling berpengaruh terhadap Variabel tidak bebasnya. Untuk Mobil bekas GM ini (dan mungkin mobil-mobil lainnya), yang paling berpengaruh adalah penggunaan Mileage-nya. Sehingga dibuatlah model Regresi Linearnya. Yang perlu dilihat adalah R-Sqnya dan seberapa fit data Variabel Bebasnya (milege) dengan Variabel tidak bebasnya (harga). Results for: Used_Car_Price.mtw Regression Analysis: PRICE versus MILEAGE The regression equation is PRICE = MILEAGE S = R-Sq = 2.% R-Sq(adj) = 1.9% Analysis of Variance Source DF SS MS F P Regression E Error E Total E+1 Fitted Line: PRICE versus MILEAGE Plot Hamburan dari Hubungan Price dan Mileage PRICE = MILEAGE 7 6 S 9789,29 R-Sq 2,% R-Sq(adj) 1,9% 5 PRICE MILEAGE 4 5 Gambar 1. Fit Plot antara Price dan Mileage.

3 2. Langkah Kedua adalah : Karena Model Regresi Linear tidak cocok meskipun nilai P nya kecil yang mengindikasikan bahwa ada hubungan erat antara Price dan Mileage, tetapi sebaran data Mileagenya masih besar (R-Sq yang kecil) sehingga perlu dicari Variabel-variabel yang lain dan pengaruhnya terhadap Price (Harga) Mobil bekas, dengan menggunakan metode subset, mencari variabel-variabel apa saja yang berpengaruh terhadap Price dan yang tidak. Nilai R-Sq/R-Sq (Adj) yang besar, dan Nilai s (mse) dan Mallows cp yang kecil untuk mendapatkan variabel-variabel mana saja yang berpengaruh. Best Subsets Regression: PRICE versus MILEAGE, CYLINDER,... Response is PRICE C M Y L I L C E L I L D R S A E N I O U O T A D T O I U H Mallows G E E R S N E Vars R-Sq R-Sq(adj) Cp S E R R S E D R X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X X 3. Langkah ketiga adalah : Membuat Model Persamaan Multiple Regression dari variabel-variabel yang didapatkan pada analisis Subset sebelumnya. Regression Analysis: PRICE versus MILEAGE; CYLINDER;... The regression equation is PRICE = ,171 MILEAGE + 32 CYLINDER DOORS CRUISE SOUND LEATHER Predictor Coef SE Coef T P Constant ,14, MILEAGE -,1752,3186-5,35, CYLINDER 32,1 23, 15,77, DOORS -1463,4 38,3-4,75, CRUISE 625,5 651,5 9,53, SOUND -224,4 57,7-3,55, LEATHER 3327,1 597,1 5,57, S = 7387,11 R-Sq = 44,6% R-Sq(adj) = 44,2%

4 Analysis of Variance Source DF SS MS F P Regression ,8, Error Total Plots for PRICE Plots for PRICE Normal Probability Plot Versus Fits Percent 99, , Fitted Value 4 12 Histogram 3 Versus Order Frequency Observation Order 7 8 Gambar 2. Plot untuk Persamaan Langkah Ketiga adalah Melakukan Optimasi dengan Variabel-variabel Kualitatifnya karena dari Model Regresi pada langkah ketiga, masih ditemukan outlier yang tidak cocok dengan model, dan nilai R-Sq masih 44.6 %. Pada Optimasi ini, outlier dianggap dipisahkan dari sebaran data rata-ratanya. Terlihat bahwa Outlier ini adalah permasalahan Mobil-mobil bekas GM dengan harga tinggi, biasanya adalah tipe mobil Sport. Untuk mobil Sport yang berpengaruh dalam performanya adalah besar Cylinder dan Liter dari Mobil tersebut. Akhirnya seperti yang dijelaskan dari paper didapatkan kembali Persamaan 3 yang nilai R-Sq nya tinggi sekitar 91.7 %, tetapi sebelumnya Variabel Response Price nya harus dirubah menjadi TPrice = log (Price). Untuk selanjutnya Optimasi dilakukan dengan melakukan menukar variabel-variabel tidak bebas lainnya seperti pada persamaan 4. Regression Analysis: TPRice versus MILEAGE; LITER;... The regression equation is TPRice = 3,98 -,3 MILEAGE +,997 LITER +,4 MAKE_Buick +,249 MAKE_Cadillac -,937 MAKE_Chevrolet +,136 MAKE_Pontiac +,345 MAKE_SAAB

5 Predictor Coef SE Coef T P Constant 3,97991, ,5, MILEAGE -,348,22-15,61, LITER,99725,2 49,87, MAKE_Buick,39969,92 4,34, MAKE_Cadillac,24933, ,63, MAKE_Chevrolet -,9372,7336-1,28,22 MAKE_Pontiac,13613,8116 1,68,94 MAKE_SAAB,34535, ,93, S =, R-Sq = 91,7% R-Sq(adj) = 91,6% Analysis of Variance Source DF SS MS F P Regression 7 23,3561 3, ,35, Error 796 2,1174,27 Total 83 25,4735 Plots for TPRice Plots for TPRice Normal Probability Plot Versus Fits 99,99,2 Percent ,1, -,1,1 -,2 -,1,,1,2 4, 4,2 4,4 Fitted Value 4,6 4,8 1 Histogram,2 Versus Order Frequency ,12 -,8 -,4,,4,8,12,16,1, -, Observation Order 7 8 Gambar 3. Plot untuk Persamaan 3.

6 III. Tinjauan Paper. Untuk langkah 1, tidak ada masalah karena konsistensi antara variabel-variabel yang dilakukan membawa hasil analisis dan simulasi regresi yang konsisten juga. Tetapi sebagai perbandingan, digunakan Neural Network untuk mendapatkan Fit Plot yang sesuai dengan data-data. Untuk mendapatkan data yang dapat dibaca oleh Matlab, maka data dalam fomat excel harus diimport dengan kode seperti berikut, function importfile(filetoread1) %IMPORTFILE(FILETOREAD1) % Imports data from the specified file % FILETOREAD1: file to read % Auto-generated by MATLAB on 6-Aug-211 8:3:2 % Import the file newdata1 = importdata(filetoread1); % Break the data up into a new structure with one field per column. colheaders = genvarname(newdata1.colheaders); for i = 1:length(colheaders) databycolumn1.(colheaders{i}) = newdata1.data(:, i); end % Create new variables in the base workspace from those fields. vars = fieldnames(databycolumn1); for i = 1:length(vars) assignin('base', vars{i}, databycolumn1.(vars{i})); end Konfigurasi Jaringan Saraf tiruan untuk model ini dapat dilihat pada gambar berikut : Gambar 4. Konfigurasi JST untuk model Price Mileage. Input terdiri dari 1 variabel (84 data-mileage) dengan 2 node Hidden layer, 1 node Output layer, dan 1 variable output (84 data-price). Training menggunakan Metode Backpropagation yang mendapatkan hasil fit plot seperti pada gamabr 5. Hasil m-code dari JST adalah function net = create_fit_net(inputs,targets) %CREATE_FIT_NET Creates and trains a fitting neural network. % % NET = CREATE_FIT_NET(INPUTS,TARGETS) takes these arguments:

7 % INPUTS - RxQ matrix of Q R-element input samples % TARGETS - SxQ matrix of Q S-element associated target samples % arranged as columns, and returns these results: % NET - The trained neural network % % For example, to solve the Simple Fit dataset problem with this function: % % load simplefit_dataset % net = create_fit_net(simplefitinputs,simplefittargets); % simplefitoutputs = sim(net,simplefitinputs); % % To reproduce the results you obtained in NFTOOL: % % net = create_fit_net(x1,x); % Create Network numhiddenneurons = 2; % Adjust as desired net = newfit(inputs,targets,numhiddenneurons); net.divideparam.trainratio = 7/1; % Adjust as desired net.divideparam.valratio = 15/1; % Adjust as desired net.divideparam.testratio = 15/1; % Adjust as desired % Train and Apply Network [net,tr] = train(net,inputs,targets); outputs = sim(net,inputs); % Plot plotperf(tr) plotfit(net,inputs,targets) plotregression(targets,outputs) Hasil training dari data input (Mileage) terhadap output (Price) dapat dilihat sebagai berikut. Gambar 5. Fit Grafik dari Price dan Mileage menggunakan Backpropagation NN.

8 Pendekatan garis persamaannya cukup baik, tetapi masih belum tepat karena mse yang didapatkan setelah 4 epoch, hanya 1 8 yang nilainya cukup besar. Gambar 6. mse dan Epoch yang dilakukan olen NN. Yang perlu diperhatikan dalam menyusun sebuah persamaan adalah konsistensi satuan dan keseragaman jenis angka, bilangan, atau nilai yang menyusunnya. Dalam hal ini, ketika perhitungan dan analisis sebaran data seperti pada Multiple Regression ini dilakukan maka harus secara hati-hati untuk memperlakukan Variabel yang kualitatif dan Variabel yang kuantitatif. Plot Hamburan dari Hubungan Price dan Cylinder PRICE = CYLINDER 7 6 S 8133,16 R-Sq 32,4% R-Sq(adj) 32,3% 5 PRICE CYLINDER 7 8 Gambar 7. Fit Plot Price dan Cylinder sebelum Cylinder dirubah dari Varibel Kategorik menjadi Variabel Kuantitatif dengan menggunakan Indicator Variabel.

9 Plot Hamburan dari Hubungan Price dan Cylinder 4 (Variabel Indicator) PRICE = CYLINDER_4 7 6 S 9282,32 R-Sq 11,9% R-Sq(adj) 11,8% 5 PRICE ,,2,4,6 CYLINDER_ 4,8 1, Gambar 8. Fit Plot antara Price dan Cylinder 4 setelah Variabel Cylinder dibuat Indicator variabelnya, terlihat tren yang berbeda antara keduanya. Sehingga jika digunakan Variabel keduanya akan menghasilkan hasil yang berbeda untuk analisis Regresi. Seperti pada analisis persamaan 2 diatas, terlihat sepertinya Variabel Mileage, dan Variabelvariabel lainnya Cylinder, Cruise, Doors, Sound, dan Leather diperlakukan sama bahwa Variabel-variabel tersebut adalah Variabel-variabel kuantitatif. Padahal dari data-data, dapat dilihat bahwa Variabel-variabel Cylinder, Cruise, Doors, Sound, dan Leather adalah Variabelvariabel kualitatif. Untuk itu diusulkan analisis baru untuk persamaan dua seperti dibawah ini, General Regression Analysis: PRICE versus MILEAGE; CYLINDER; DOORS; CRUISE;... Regression Equation CYLINDER DOORS CRUISE SOUND LEATHER 4 2 PRICE = 17782,6 -, MILEAGE PRICE = 1889,4 -, MILEAGE PRICE = 16992,8 -, MILEAGE PRICE = 181,6 -, MILEAGE PRICE = 2463,6 -, MILEAGE PRICE = 25711,4 -, MILEAGE PRICE = 23813,8 -, MILEAGE PRICE = 24921,6 -, MILEAGE 4 4 PRICE = 1676,3 -, MILEAGE PRICE = 17814,2 -, MILEAGE PRICE = 15916,6 -, MILEAGE PRICE = 1724,4 -, MILEAGE

10 4 4 1 PRICE = 23527,3 -, MILEAGE PRICE = 24635,2 -, MILEAGE PRICE = 22737,6 -, MILEAGE PRICE = 23845,4 -, MILEAGE 6 2 PRICE = 18396,4 -, MILEAGE PRICE = 1954,2 -, MILEAGE PRICE = 1766,6 -, MILEAGE PRICE = 18714,4 -, MILEAGE PRICE = 25217,4 -, MILEAGE PRICE = 26325,2 -, MILEAGE PRICE = 24427,6 -, MILEAGE PRICE = 25535,4 -, MILEAGE 6 4 PRICE = 1732,1 -, MILEAGE PRICE = , MILEAGE PRICE = 1653,3 -, MILEAGE PRICE = 17638,2 -, MILEAGE PRICE = 24141,1 -, MILEAGE PRICE = , MILEAGE PRICE = 23351,3 -, MILEAGE PRICE = 24459,2 -, MILEAGE 8 2 PRICE = 3558,1 -, MILEAGE PRICE = 36615,9 -, MILEAGE PRICE = 34718,3 -, MILEAGE PRICE = 35826,1 -, MILEAGE PRICE = 42329,1 -, MILEAGE PRICE = 43436,9 -, MILEAGE PRICE = 41539,3 -, MILEAGE PRICE = 42647,1 -, MILEAGE 8 4 PRICE = 34431,8 -, MILEAGE PRICE = 35539,7 -, MILEAGE PRICE = 33642,1 -, MILEAGE PRICE = 34749,9 -, MILEAGE PRICE = 41252,8 -, MILEAGE

11 PRICE = 4236,7 -, MILEAGE PRICE = 4463,1 -, MILEAGE PRICE = 4157,9 -, MILEAGE Coefficients Term Coef SE Coef T P Constant 26927,1 686,361 39,2316, MILEAGE -,2,28-6,1591, CYLINDER ,1 361,169-16,9259, ,3 375,963-14,6272, DOORS 2 538,1 281,63 1,9146,56 CRUISE -341,5 29,124-11,7553, SOUND 394,9 256,984 1,5367,125 LEATHER -553,9 275,856-2,8,45 Summary of Model S = 6562,25 R-Sq = 56,31% R-Sq(adj) = 55,93% PRESS = R-Sq(pred) = 55,32% Analysis of Variance Source DF Seq SS Adj SS Adj MS F P Regression 7 4,41831E+1 4,41831E+1 6,31188E+9 146,573, MILEAGE 1 1,6559E+9 1,63359E+9 1,63359E+9 37,935, CYLINDER 2 3,691E+1 2,27768E+1 1,13884E+1 264,459, DOORS 1 2,9773E+8 1,57852E+8 1,57852E+8 3,666,5595 CRUISE 1 5,95823E+9 5,9581E+9 5,9581E+9 138,188, SOUND 1 5,75938E+7 1,1685E+8 1,1685E+8 2,361, LEATHER 1 1,73632E+8 1,73632E+8 1,73632E+8 4,32,44981 Error 796 3,42782E+1 3,42782E+1 4,3631E+7 Lack-of-Fit 795 3,42646E+1 3,42646E+1 4,311E+7 3,156, Pure Error 1 1,36549E+7 1,36549E+7 1,36549E+7 Total 83 7,84614E+1 didapatkan beberapa persamaan untuk kategori yang berbeda-beda, R-Sq 56%, dan terlihat bahwa beberapa variabel kualitatif/katergori yang tidak siginifkan berpengaruh dalam penentuan harga Price Mobil bekas GM adalah Doors, Sound, dan Leather dengan nilai P yang lebih besar dari nilai α,.55,.12, dan.449. Meskipun dengan tidak mennggunakan metode General Regression dan menggunakan metode Regresi biasa, tetapi Variabelvariabel kualitatif nilai-nilainya harus dirubah dulu ke dalam bentuk kuantatif, seperti yang diperlakukan pada Variabel Make untuk analisis persamaan 3 seperti pada paper (telah dicontohkan pada grafik sebelumnya). Untuk persamaan 3, dapat diusulkan model Multiple Regression yang baru adalah : Regression Analysis: PRICE versus MILEAGE; LITER_1,6;... * LITER_6, is highly correlated with other X variables * LITER_6, has been removed from the equation.

12 * MAKE_SAAB is highly correlated with other X variables * MAKE_SAAB has been removed from the equation. The regression equation is PRICE = ,182 MILEAGE LITER_1, LITER_1, LITER_2, LITER_2, LITER_2, LITER_2, LITER_2, LITER_3, LITER_3, LITER_3, LITER_3,5-266 LITER_3, LITER_3, LITER_4, LITER_5, MAKE_Buick MAKE_Cadillac MAKE_Chevrolet - 28 MAKE_Pontiac Predictor Coef SE Coef T P Constant 4295,4 938,8 45,7, MILEAGE -,18211, ,1, LITER_1, ,9 83,6-33,85, LITER_1, ,79, LITER_2, -9137,6 986,7-9,26, LITER_2,2-2562,9 771, -33,21, LITER_2, ,68, LITER_2, ,4, LITER_2, ,57, LITER_3, ,21, LITER_3, ,84, LITER_3, ,13, LITER_3,5-2125,9 81,6-26,22, LITER_3, ,28, LITER_3, ,7 84,3-24,21, LITER_4, ,62, LITER_5, ,7, MAKE_Buick 2181,2 756, 2,89,4 MAKE_Cadillac 18224,6 955,9 19,7, MAKE_Chevrolet -389,1 533,6 -,73,466 MAKE_Pontiac -28,2 638,2 -,44,661 S = 3215,65 R-Sq = 89,7% R-Sq(adj) = 89,4% Analysis of Variance Source DF SS MS F P Regression ,24, Error Total R-Sq nya tidak sebesar pada paper yaitu 89.7%, tetapi secara intuitif metode berdasarkan awal review ini (Variabel Kualitatif harus dibedakan dari Variabel Kuantitatif) maka model ini lebih dapat dipertanggung-jawabkan. Cara lain adalah menggunakan General Regression jika tidak ingin menggunakan Indicator Variabel, hasil yang didapatkan juga untuk R-Sq nya tidak sebesar pada persamaan 3 dipaper, sekitar 89 %. Dan dengan sendirinya untuk pemodelan Outlier pada mobil-mobil sport (bekas) GM gagal dilakukan karena anggapan-anggapan yang dibuat juga sudah gagal.

13 IV. Kesimpulan. Plots for PRICE Normal Probability Plot Versus Fits 99, Percent , Fitted Value 4 5 Histogram Versus Order 3 2 Frequency Observation Order Gambar 9. Pada plot ini dapat terlihat outlier yang gagal dioptimalisasikan pada metode Regresi. 7 8 Tulisan ini sangat baik tentang bagaimana harus membuat sebuah Model Multiple Regeresi (Linear) yang baik, dengan prosedur ini keakuratan dari model tersebut dapat dicari yang terbaik. Tetapi anggapan-anggapan yang dilakukan harus dilakukan dengan benar, agar perhitungan dapat dilaksanakan dengan konsisten dan tidak bias. Sebagai catatan akhir hubungan antara TPrice = log(price) dengan Mileage menjadi semakin tidak jelas karena perubahan fungsi Price yang bertujuan untuk mengakomodasi Variabel Kategorik Liter, Make (yang telah dirubah menjadi Variabel Indicator). Ketika dicoba dengan variabel asa Price maka analisis dan simulasi akan gagal. V. Referensi [1] Birger Madsen, Statistics for Non-Staticians, Springer New York, 28. [2] Drs. Jong Jek Siang, M.Sc, Jaringan Syaraf Tiruan dan Pemrogramannya Menggunakan MATLAB, Penerbit Andi Yogyakarta, 29. [3] Minitab 6, Help Manual.