Pemodelan. The model should be complex enough to fit the data well, but simpler models are easier to interpret

Transkripsi

1 Pemodelan tujuan The model should be complex enough to fit the data well, but simpler models are easier to interpret

2 Study Confirmatory Exploratory

3 How Many Predictors Can You Use?

4 Strategi Pemilihan Model

5 Strategi pemilihan model Evaluasi variabel bebas : Ideal : 10 respon untuk 1 prediktor Example : Jika n = 1000 hanya ada 30 pengamatan dengan Y = 1 Idealnya hanya ada 3 prediktor Prediktor yang banyak rentan dengan kasus MULTIKOLINIERITAS

6 CONTOH KASUS Studi mengenai faktor yang mempengaruhi banyaknya satellite kepiting betina. X Berat Lebar cangkang Warna 1 = agak terang 2 = sedang 3 = agak gelap 4 = gelap Kondisi Capit 1 = kedua-duanya baik, 0 selainnya 2 = salah satunya cacat, 0 selainnya Y 1 = memiliki satellite 1 0 = tidak memiliki satellite

7 Menggunakan peubah boneka: MODEL LOGITNYA : Logit [P(Y=1)] = α +β 1 Weight +β 2 Width + β 3 C 1 + β 4 C 2 + β 5 C 3 + β 6 S 1 + β 7 S 2 X 1 = Berat X2 = Lebar Cangkang C1 = 1 untuk warna agak terang, 0 selainnya C2 = 1 untuk warna sedang, 0 selainnya C3 = 1 untuk warna agak gelap, 0 selainnya S1 = 1 untuk kondisi capit yang kedua-duanya baik, 0 selainnya S2 = 1 untuk kondisi capit yang salah satunya jelek, 0 selainnya

8 HASIL ANALISIS Parameter Estimate SE Intercept Color (1) Color (2) Color (3) Spine (1) Spine (2) Weight Width

9 Testing Global Null Hypothesis: BETA=0 Test Chi-Square DF Pr > ChiSq Likelihood Ratio <.0001 Score <.0001 Wald

10 Uji likelihood-ratio (simultan) Hipotesis Uji H 0 : β1 = = β7 = 0. H 1 : minimal ada βi 0, i = 1, 2,,7 Statistik Uji G = 2(L 0 L 1 ) = 40.6 db = 7, Pvalue < Yang berarti tolak H 0 didapatkan kesimpulan bahwa minimal ada 1 prediktor yang mempengaruhi banyaknya satellite pada kepiting betina.

11 UJI PARSIAL (WALD) Parameter Estimate Std Error Wald Chi Square Pr> Chisq Intercept Color (1) Color (2) Color (3) Spine (1) Spine (2) Weight Width

12 Uji Parsial lanjutan Catatan : Walaupun secara simultan hasilnya signifikan, tetapi secara parsial hanya color yang sedang yang signifikan, ini mengindikasikan adanya multikolinieritas. Telah diuji dan dibuktikan bahwa width berpengaruh signifikan terhadap model, sehingga variabel width digunakan untuk analisis. Sedangkan variabel weight dibuang. weight and width have a strong correlation (0.887). For practical purposes they are equally good predictors, but it is nearly redundant to use them both. width (W), Color (C) dan spine (S).

13 SELEKSI MODEL Stepwise untuk menyeleksi variabel prediktor yang masuk dalam model : 1.Forward : Menyeleksi satu persatu variabel yang masuk dalam model secara sequential 2. Backward : Dimulai dengan memasukkan semua variabel prediktor, kemudian dibuang satu persatu secara sequential, sampai didapatkan model yang paling layak digunakan

14 CONTOH KASUS : METODE BACKWARD Data Kepiting Model Prediktor Deviance df AIC Model Banding 1 C*S+C*W+S*W Beda Deviance 2 C + S + W (2)-(1) 12.9 (df=11) 3a C + S (3a)-(2) 22.2 (df=1) 3b S + W (3b)-(2) 7.8 (df=3) 3c C + W (3c)-(2) 0.9 (df=2) 4a C (4a)-(3c) 24.6 (df=1) 4b W (4b)-(3c) 7.0 (df=3) 5 C = dark + W (5)-(3c) 0.5 (df=2) 6 None (6)-(5) 37.8 (df=2)

15 l. Memilih model UJI signifikansi MODEL : Hipotesis Ujinya : Ho : model sederhana lebih baik Ha : model Yang lebih Lengkap yang lebih baik Model 2 (C+S+W) Vs Model 1 (C*S+C*W+S*W) Beda Deviance = = 12.9 db = = 11, P-value = 0.30, Tolak Ha : Tidak diperlukan interaksi pada semua factor dalam model Model 4b (W) Vs Model 3c ( C+W) Beda deviance = = 7.0 Db = = 3, P-value = 0.07 Tolak Ha : untuk model ini tidak perlu memasukan variabel Color

16 MEMILIH model lanjutan Akaike information criterion (AIC) AIC = -2 (log likelihood jumlah parameter dalam model) = -2 log likelihood + 2 (jumlah parameter dalam model) Model C + W didapat -2 log likelihood = Jumlah parameter 5 ( 1 intercept, width, dan 3 color), AIC = (5) = Model yang lebih sederhana C = dark + W didapat -2 log likelihood = 188 Jumlah parameter 3 ( 1 intercept, color, width) AIC = (3) = 194.0

17 TINGKAT KEBAIKAN PREDIKSI MODEL TABEL KLASIFIKASI ŷ = 1 ketika πi > π o dan ŷ =0 ketika πi π o untuk beberapa nilaicut off pada π 0 Untuk model (C + W)sebagai prediktor, dari data 173 kepiting sebanyak 111 memiliki satellite dengan proporsi sampel = 111 / 173 = 0.64.

18 Uji Diagnostik Semakin sensitif uji diagnostik, semakin besar kemungkinan Anda akan mengklasifikasikan individu dengan penyakit sebagai positif. Semakin spesifik uji diagnostik, semakin besar kemungkinan Anda akan mengklasifikasikan individu tanpa penyakit sebagai negatif. Agar uji diagnostik untuk menjadi akurat, uji tersebut HARUS sensitive DAN spesifik.

19 Tabel Uji Diagnostik Hasil uji Sakit Ya Tidak Positif TP (a) FP(b) Negatif FN(c) TN(d) a= TP=True Positive b=fp = False Positive c =FN = False Negative d= TN = True Negative Sensitivitas = proporsi pasien dengan penyakit yang memiliki hasil tes positif = a / (a + c) Spesifisitas = proporsi pasien tanpa penyakit yang memiliki hasil tes negatif = d / (b + d) Positif Predictive Value (PPV) = proporsi pasien dengan hasil tes positif yang memiliki penyakit = a / (a + b) Negatif Nilai prediktif (NPV) = proporsi pasien dengan hasil tes negatif yang tidak memiliki penyakit = d / (c + d)

20 A classification table has limitations: It collapses continuous predictive values πˆ into binary ones. The choice of π0 is arbitrary. Results are sensitive to the relative numbers of times that y = 1 and y = 0.

21 PREDIKSI MODEL Table klasifikasi π 0 = 0.50 dan π 0 = 0.64

22 TABEL KLASIFIKASI lanjutan Sensitivitas = Spesifisitas = Ketika π 0 = dugaan sensitivitasnya = 74 / 111 = dan dugaan spesifisitasnya = 42/62 = Proporsi keseluruhan untuk kebenaran klasifikasi = ( ) / 173 = P P yˆ 0 yˆ 1 y y 0 1

23 Kurva ROC ROC menggambarkan hubungan antara sensitivitas dan spesifisitas (lihat slide berikutnya). ROC berhubungan sensitivitas disumbu x dan 1-spesifisitas pada sumbu y.

24 Kurva ROC (A receiver operating charateristic) 1 - Specificity ROC curve for the model for the horseshoe crabs using width and color as predictors

25 Ketika π0 mendekati 0, hampir semua prediksi y = 1; sensitivitas dekat 1, spesifisitas dekat 0, dan titik untuk (1 - spesifisitas, sensitivitas) memiliki koordinat dekat (1, 1). Ketika π0 mendekati 1, hampir semua prediksi y = 0; sensitivitas dekat 0, spesifisitas dekat 1, dan titik untuk (1 - spesifisitas, sensitivitas) memiliki koordinat dekat (0, 0). Untuk spesifisitas, daya prediksi yang lebih baik adalah yang memiliki sensitivitas lebih tinggi. Jadi, semakin baik daya prediksi, semakin tinggi kurva ROC.

26 When π0 = 0.642, specificity = 0.68, sensitivity = 0.67, and the point plotted has coordinates (0.32, 0.67). The area under the ROC curve is identical to the value of a measure of predictive power called the concordance index. Consider all pairs of observations (i, j ) such that yi = 1 and yj = 0. The concordance index c estimates the probability that the predictions and the outcomes are concordant, which means that the observation with the larger y also has the larger πˆ.

27 A value c = 0.50 means predictions were no better than random guessing. This corresponds to a model having only an intercept term. Its ROC curve is a straight line connecting the points (0, 0) and (1, 1). For the horseshoe crab data, c = with color alone as a predictor, with width alone, with width and color, and with width and an indicator for whether a crab has dark color.

28 ilustrasi Sumber:

29 Gambar A menunjukkan bahwa dengan titik cut-off dari CK> = 280 IU, sensitivitas sedikit rendah sementara spesifisitas tinggi. Gambar B menunjukan bahwa dengan cut-off point >=80 IU, sensitivitas dan spesifisitas tinggi. Sumber:

30 Gambar C menunjukkan bahwa dengan cut-off point >=40 IU, sensitivitas tinggi dan spesifisitas agak rendah. Intinya, cut-off point yang dipilih menentukan sensitivitas dan spesififitas tes Ketepatan (akurasi) keseluruhan tes diagnostik dapat diterangkan oleh luasnya area di bawah kurva ROC; makin luas area makin bertambah baik hasil tesnya (terbaik adalah area ROC pada Gambar B). Sumber:

31 Choose Sensitive or Specific Test? Sebuah uji yang ideal sangat sensitif dan spesifik. Namun, karena baik sensitivitas dan spesifisitas yang dibingkai tabel kontingensi 2x2, kenaikan sensitivitas akan menyebabkan penurunan spesifisitas, dan sebaliknya. Pilih tes yang sangat sensitif jika pengobatan yang efektif tersedia untuk TP(mis tuberkulosis,syphillis, dll). Selain menjadi efektif, perawatan ini mungkin murah, dan non-ekspansif, sehingga efek samping diabaikan. Di sisi lain, temuan FN akan merugikan pasien dan komunitas yang lebih besar dan menempatkan mereka pada risiko tinggi untuksuatu penyakit karena mereka tidak diobati dengan tersedia pengobatan yang efektif. Pilih uji yang sangat spesifik jika tes invasif, mahal, dan mengakibatkan efek samping banyak (kemoterapi misalnya untuk kanker) untuk temuan TN, sementara temuan FP akan menstigmatisasi pasien (mis HV / AIDS) Sumber:

32 PEMERIKSAAN MODEL Uji Likelihood-ratio yaitu : membandingkan model yang sederhana dengan model yang lebih kompleks Model kompleks kemungkinan mengandung efek non linier

33 PERBANDINGAN MODEL Mis : X = width sebagai prediktor Modelnya : logit[π(x)] = α + βx Dibandingkan dengan unsur Kuadrat Modelnya : logit[ (x)] = α + β1x + β2x 2 Hipotesis Uji : Ho : β2 = 0 Ha : β2 0

34 Statistik Uji : Uji Likelihood Ratio =0.83 dengan db=1, P-Value = 0.36 Kesimpulan : Terima Ho yang artinya Model sederhana lebih baik atau tidak perlu menggunakan unsur kuadrat dalam model.

35 GOODNESS Of FIT dan DEVIANCE Deviance dapat dicari dengan rumus : G 2 (M) = 2 observed [log(observed/fitted)] Statistic pearson dengan rumus : X 2 (M) =(observed fitted) 2 /fitted dengan; M = model yang diduga

36 CONTOH KASUS Suatu studi ingin mengetahui apakah AZT dapat memperlambat gejala AIDS Logit( ) = X z

37 Peluang gejala AIDS-nya akan terus meningkat bagi subjek yang menggunakan AZT secepatnya yaitu : Proporsi Ras putih yang menggunakan AZT Proporsi = 14/107 = Peluangnya = 0.131/( ) = Karena ada 107veteran kulit putih yang menggunakan AZT maka Dugaannya : 107 (0.150) = 16 Dugaan veteran yang gejala AIDSnya tidak meningkat = 107 (0.85) = 91.

38 G 2 = 1.38 dan X 2 = G 2 dan X 2 yang kecil mengindikasikan bahwa model yang didapatkan cocok.

39 RESIDUAL MODEL LOGIT

40 CONTOH KASUS Pelamar yang diterima (Y), gender (G) dan Departemen (D). nik adalah Jumlah gender i dalam departemen k, Yik adalah jumlah pelamar yang lulus dan πik adalah peluang sukses. contoh departemen astronomi menerima 6 wanita dengan standar deviasi = 2.87 departemen memiliki standar residual yang paling besar yang diduga oleh model.

41 the model may be inadequate, perhaps because a gender effect exists in some departments or because the binomial assumption of an identical probability of admission for all applicants of a given gender to a department is unrealistic. Its goodness-of-fit statistics are G2 = 44.7 and X2 = 40.9, both with df = 23. This model fits rather poorly (P-values = and 0.012).

42 Departments with large standardized residuals are responsible for the lack of fit. Significantly more females were admitted than the model predicts in the Astronomy and Geography departments, and fewer were admitted in the Psychology department. Without these three departments, the model fits adequately (G2 = 24.4,X2 = 22.8, df = 20). For the complete data, next we consider the model that also has a gender effect. It does not provide an improved fit (G2 = 42.4,X2 = 39.0, df = 22),

43 DIAGNOSTIK PENGARUH Identifikasi pengamatan berpengaruh dapat dilakukan dengan statistic D f beta, DifChisq, dan C bar (mirip dengan cook s distance pada regresi linear).

44 Contoh kasus Suatu studi dengan subyek pria berusia digolongkan : x = tekanan darah y = sakit jantungnya meningkat atau tidak selama periode pengamatan. Π i = peluang sakit jantung untuk tekanan darah kategori i Modelnya : logit(πi ) = α + βx i x i memiliki skor (111.5, 121.5, 131.5, 141.5, 151.5, 161.5, 176.5, 191.5)

45 HASIL ANALISIS Untuk data ini didapatkan G 2 = 5.9, X 2 = 6.3 dengan df = 6 tidak mengindikasikan lack of fit ( ketidakcocokan model).

46