SIDANG TUGAS AKHIR CATATAN ATAS PENGAMBILAN KEPUTUSAN PADA KASUS ASYMMETRIC LOSS FUNCTION

Transkripsi

1 SIDANG TUGAS AKHIR CATATAN ATAS PENGAMBILAN KEPUTUSAN PADA KASUS ASYMMETRIC LOSS FUNCTION DAN PERMASALAHAN PENGUKURAN ERROR PADA METODE TRENDLINE Pembimbing : Yudha Andrian Saputra, S.T., MBA Yonna Ribut Perdana Putra ( )

2 Aktual > Peramalan Error Positif Selisih nilai aktual dengan nilai Peramalan Cara pengambilan keputusan terkait metode peramalan terbaik dengan mempertimbangkan penalty setiap konsekuensi Error Negatif Aktual < Peramalan MAD, MAPE, s- MAPE Penalty Penalty Sama Berbeda Asymmetric Loss Function (Diebold, 2001)

3 Linear Data Metode Trend Line Kuadrat Pengukuran Error Kubik Konsep Pengukuran Error yang fair pada metode Trend Line Koefisien regresi kecil kemungkinan = 0 Mekanisme Update Data Model Derajat Polinomial Lebih Besar akan Lebih Unggul (Diebold, 2001)

4 Kasus Asymmetric Loss Function Bagaimana cara pengambilan keputusan pada kasus asymmetric loss function terkait metode peramalan terbaik dengan mempertimbangkan penalti pada setiap konsekuensi yang dihasilkan dari metode peramalan? Pengukuran Error pada Metode Trend Line Bagaimana konsep pengukuran error yang lebih fair pada metode trend line dibandingkan dengan pengukuran error saat ini?

5 Kasus Asymmetric Loss Function Membuat sebuah basic framework tentang cara pengambilan keputusan terkait dengan metode peramalan yang terbaik pada kasus asymmetric loss function dengan mempertimbangkan besarnya penalty pada setiap konsekuensi yang dihasilkan dari sebuah metode peramalan Pengukuran Error pada Metode Trend Line Melakukan evaluasi terhadap pengukuran error saat ini serta memberikan konsep pengukuran error pada metode trendline

6 Data yang digunakan merupakan data pengujian numerik Metode pengukuran error yang akan digunakan dalam penelitian ini ialah MAPE, MAD, dan MSE.

7 Tinjauan Pustaka Loss Function Forecast Error Trend Analysis Symmetric Loss Function Asymmetric Loss Function

8 Penentuan nilai optimal dan pseudo optimal predictor dengan Linlin Loss Function ( Christoffersen & Diebold, 1994) Perumusan model loss function yang baru dan penentuan nilai parameter model ( Elliot, et. al, 2004) Penentuan karakteristik optimal dan pseudo optimal predictor dengan linlin loss function ( Christoffersen & Diebold, 1994) Melakukan evaluasi hasil peramalan dengan model linlin loss function yang dikembangkan oleh Elliot (2004) ( Tshuciya, 2012) Cara pengambilan keputusan pada kasus asymmetric loss function Melakukan perbandingan optimal & pseudo optimal pada model linlin loss function ( Ulu, 2007)

9 PENGUKURAN ERROR METODE TREND LINE SAAT INI MSE, MAD, Tracking Signal ( Dervitsiotis, 1984) ME, MSE, MSPE, RMSE, RMSPE, MAE, MAPE ( Diebold, 2001) Kecenderungan Derajat Polinomial lebih tinggi selalu lebih unggul PRESS Statistic ( Montgomery, 2001) ME, MAD ( Vollmann, 2005) MSE, MAD, MAPE (Minitab, 2004) MSE, MAD, MAPE, Tracking Signal ( Chopra, 2006) Klasifikasi Metode Pengukuran Error ( Hyndman & Koehler, 2006) KONSEP PENGUKURAN ERROR YANG LEBIH FAIR PADA METODE TREND LINE

10 Studi Literatur Loss Function Characteristics Asymmetric Loss Function Pengukuran Error Persiapan Penyusunan Metode Asymmetric Loss Function Error Negatif Error Positif Besaran Konsekuensi Error Negatif Besaran Konsekuensi Error Positif Perhitungan Risiko Error Pemilihan Metode Peramalan Terbaik Pengujian Data Pengujian Data Analisis Perbandingan Metode Analisis Perbandingan Penarikan Kesimpulan Kesimpulan dan Saran

11 Asymmetric Loss Function umum terjadi (Diebold, 2001) Jumlah barang yang dipenuhi berdasarkan pertimbangan demand Demand Forecasting Surplus Penalty Surplus Replenishment Case Pengambilan Keputusan Evaluasi Metode Peramalan Shortage Penalty Shortages Likelihood Perhitungan Risiko Consequences

12 Pengujian Pada Kasus 1 (Consumer Product) Evaluasi metode peramalan tanpa perhitungan risiko Periode Aktual Forecast Absolute Forecast Absolute Linear Deviation Kuadratik Deviation MAD Linear MAD Kuadratik

13 Pengujian Pada Kasus 1 (Consumer Product) Evaluasi metode peramalan dengan perhitungan risiko Penalti Error Positif : 0.7 Penalti Error Negatif : 0.3 Periode Aktual Forecast Linear Error Penalti Risiko Rata - rata Risiko Linear Periode Aktual Forecast Kuadratik Error Penalti Risiko Rata - rata Risiko Kuadratik Hasil Keputusan Berbeda

14 Analisis Hasil Pengujian Kasus 1 Evaluasi metode peramalan tanpa memperhitungkan risiko dapat menghasilkan keputusan yang berbeda dengan evaluasi metode dengan memperhitungkan risiko

15 Pengujian Pada Kasus 2 (Perishable Product) Evaluasi metode peramalan tanpa perhitungan risiko Periode Aktual Forecast Absolute Forecast Absolute Linear Deviation Kuadratik Deviation MAD Linear MAD Kuadratik

16 Pengujian Pada Kasus 2 (Perishable Product) Evaluasi metode peramalan dengan perhitungan risiko Penalti Error Positif : 0.1 Penalti Error Negatif : 0.9 Periode Aktual Forecast Linear Error Penalti Risiko Rata - rata Risiko Linear 2687 Periode Aktual Forecast Kuadratik Error Penalti Risiko Rata - rata Risiko Kuadratik Hasil Keputusan Berbeda

17 Analisis Hasil Pengujian Kasus 2 Besaran penalti dapat mempengaruhi besar risiko dari sebuah metode peramalan Memahami dan menempatkan besaran penalti pada konsekuensi yang tepat menjadi penting dalam pemilihan metode peramalan berdasarkan risiko

18 Pengujian Pada Kasus 3 (Consumer Product dengan Safety Stock) Periode Aktual Forecast Keputusan Sisa Stock Linear Produksi Error Penalti Risiko Rata - rata Risiko Linear Periode Aktual Forecast Keputusan Sisa Stock Kuadratik Produksi Error Penalti Risiko Rata - rata Risiko Kuadratik Penalty Error Positif : 0.7 Penalty Error Negatif : 0.3 n : 1.6 Keputusan replenishment = ( n x Nilai Peramalan ) sisa stock

19 Analisis Hasil Pengujian Kasus 3 Keputusan replenishment Hasil forecast Perhitungan risiko tidak didasarkan pada nilai error saja, melainkan berdasarkan nilai riil yang harus ditanggung Terjadinya perubahan teknik perhitungan risiko Dapat saja mengubah keputusan Pemahaman terhadap konsep risiko menjadi hal penting

20 Studi Literatur Persiapan Pengukuran Error Metode Trendline Forecasting Penyusunan Framework Potential Error n-data aktual Performance Error Membuat model trendline Model Trendline Menghitung nilai error untuk n-data Pemilihan model Menggunakan Model untuk meramalkan periode ke depan Peramalan periode n+1 Menggunakan model untuk meramalkan Update data aktual periode n+1 Cek data aktual periode tersebut Catat sebagai Error Performance n+1 data aktual Peramalan periode n+2 Membuat model trendline Model Trendline Menghitung nilai error untuk n-data Pemilihan model Menggunakan Model untuk meramalkan periode ke depan Menggunakan model untuk meramalkan Update data aktual periode n+1 Cek data aktual periode tersebut Catat sebagai Error Performance dst dst dst A

21 A

22 Pengujian Data Untuk Pengukuran Error Saat Ini Periode Data Aktual Periode 9 Data Aktual

23 Hasil Pengujian Data Untuk Pengukuran Error Saat ini

24 Analisis Hasil Pengujian 1. Model polinomial derajat lebih tinggi menghasilkan error lebih kecil Koefisien regresi akan kecil kemungkinan = 0 Memperkecil nilai error 2. Adanya update data Tidak Fair Model terupdate Membentuk fitting line baru dengan metode Least Square Pengukuran Potential Error Nilai Error menjadi lebih kecil

25 Konsep Pengukuran Error yang Ditawarkan Periode Data Aktual Periode 11 Data Aktual Peramalan Periode 16 Linear Data Aktual Error Periode 16 Linear Peramalan Periode Data Aktual Peramalan Periode 16 Error Periode 16 Pengukuran Performance Error

26 Hasil Pengujian Data Untuk Konsep Pengukuran Error yang Ditawarkan

27 Analisis Hasil Pengujian 1. Nilai error performance yang dihasilkan oleh model kuadratik dan kubik ternyata tidak selalu lebih kecil daripada nilai error yang dihasilkan pada model linear. 2. Tidak adanya update data, maka tidak ada pembaruan model. Nilai error yang dihasilkan tidak selalu lebih kecil 3. Error performance dapat menunjukkan nilai error yang aktual dihasilkan dari sebuah metode peramalan 4. Harus dilakukan tracing apabila belum tersedia data peramalan sebelumnya, sehingga tidak efisien

28 Kesimpulan (Kasus Asymmetric Loss Function) 1. Melakukan pengambilan keputusan terkait pemilihan metode peramalan dapat dihitung dengan menggunakan konsep risiko yang ditimbulkan dari metode peramalan tersebut. 2. Keputusan yang diambil terkait pemilihan metode terbaik dapat berbeda ketika didasarkan hanya pada nilai error dengan ketika didasarkan pada risiko yang ditimbulkan. 3. Menetapkan besaran penalty untuk masing masing konsekuensi yang tepat serta pemahaman terhadap konteks konsekuensi untuk melihat risiko dari sebuah metode peramalan menjadi hal yang penting untuk diperhatikan dalam melakukan evaluasi metode peramalan karena dapat mempengaruhi hasil keputusan untuk pemilihan metode peramalan yang terbaik.

29 Kesimpulan (Kasus Pengukuran Error di Metode Trend Line) 1. Pengukuran error pada metode trendline yang ada saat ini menunjukkan bahwa model dengan polinomial derajat yang lebih tinggi selalu menghasilkan nilai error yang lebih kecil, adanya mekanisme update data juga menyebabkan terbentuknya fitting line baru yang membuat nilai error menjadi lebih kecil. Tidak menunjukkan performansi error aktual. 2. Untuk mengetahui performansi aktual dari sebuah model peramalan trendline, dapat dilakukan pengukuran berdasarkan error performance. Nilai error performance yang dihasilkan oleh model kuadratik dan kubik ternyata tidak selalu lebih kecil daripada nilai error yang dihasilkan pada model linear.

30 Saran 1. Melakukan pengembangan yang lebih mendalam terkait pengukuran error pada kasus asymmetric loss function, khususnya pada pengembangan metode penentuan besaran penalty untuk masing masing konsekuensi dari error. 2. Melakukan aplikasi pengukuran error performance pada kasus kasus yang lebih variatif agar dapat ditemukan perbedaan yang lebih mendalam

31 Armstrong, J. S., & Collopy, F. (1993). Error Measures for Generalizing about forecasting methods: Empirical comparisons. International Journal of Forecasting, Chopra, S., & Meindl, P. (2006). Supply Chain Management Strategy, Planning, and Operation. Prentice Hall. Christoffersen, P. F., & Diebold, F. X. (1996). Further Results on Forecasting and Model Selection Under Asymmetric Loss. Journal of Applied Econometrics, Christoffersen, P. F., & Diebold, F. X. (1994). Optimal Prediction Under Asymmetric Loss. Economic Theory, Coleman, C. D., & Swanson, D. A. (2007). On MAPE-R as a measure of cross-sectional estimation and forecast accuracy. Journal of Economic and Social Measurement, Dervitsiotis, K. N. (1984). Operations Management. McGraw-Hill. Diebold, F. X. (2001). Elements of Forecasting. South Western. Elliot, G., Komunjer, I., & Timmermann, A. (2004). Estimation and Testing of Forecast Rationality under Flexible Loss. Review of Economic Studies,

32 Elliot, G., Komunjer, I., & Timmermann, A. (2004). Estimation and Testing of Forecast Rationality under Flexible Loss. Review of Economic Studies, Goodwin, P., & Lawton, R. (1999). On the asymmetry of the symmetric MAPE. International Journal of Forecasting, Granger, C. (1969). Prediction with a generalized cost of error function. Operational Research Quarterly, Lee, T.-H. (2007). Loss Functions in Time Series Forecasting. California: University of California. Makridakis, S. (1993). Accuracy measures: Theoretical and Practical Concerns. International Journal of Forecasting, Mentzer, J. T., & Cox, J. E. (1984). Familiarity, application, and performanceof sales forecasting techniques. Journal of Forecasting, Mentzer, J. T., & Kahn, K. (1995). Forecasting Technique Familiarity,Satisfaction, Usage, and Application. Journal of Forecasting,

33 Montgomery, D. C. (2002). Applied Statistics and Probability For Engineers. John Willey & Sons. Paul Goodwin, R. L. (1999). On the Asymmetry of Symmetric MAPE. International Journal of Forecasting, Rob J. Hyndman, A. B. (2006). Another Look at Measures of Forecast Accuracy. Interbational Journal of Forecasting, Swanson, D. A., Tayman, J., & Bryan, T. M. (2007). MAPE-R: A Rescaled Measure of Accuracy for Cross-Sectional Forecasts. San Diego: University of California. Tshuciya, Y. (2012). Evaluating Japanese corporate executives forecasts under an asymmetric. Economic Letters, Ulu, Y. (2007). Optimal Prediction under LINLIN Loss : Empirical Evidence. International Journal of Forecasting, Vollmann, T. E., Berry, W. L., & Whybark, D. C. (1997). Manufacturing Planning and Control System. Ohio: McGraw-Hill.

34