METODE STEEPEST DESCENT DENGAN UKURAN LANGKAH BARU UNTUK PENGOPTIMUMAN NIRKENDALA DJIHAD WUNGGULI

Transkripsi

1 1 METODE STEEPEST DESCENT DENGAN UKURAN LANGKAH BARU UNTUK PENGOPTIMUMAN NIRKENDALA DJIHAD WUNGGULI SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR BOGOR 2015

2 2

3 3 PERNYATAAN MENGENAI TESIS DAN SUMBER INFORMASI SERTA PELIMPAHAN HAK CIPTA* Dengan ini saya menyatakan bahwa tesis berjudul Metode Steepest Descent dengan Ukuran Langkah Baru utuk Pengoptimuman Nirkendala adalah benar karya saya dengan arahan dari komisi pembimbing dan belum diajukan dalam bentuk apa pun kepada perguruan tinggi mana pun. Sumber informasi yang berasal atau dikutip dari karya yang diterbitkan maupun tidak diterbitkan dari penulis lain telah disebutkan dalam teks dan dicantumkan dalam Daftar Pustaka di bagian akhir tesis ini. Dengan ini saya melimpahkan hak cipta dari karya tulis saya kepada Institut Pertanian Bogor. Bogor, Februari 2015 Djihad Wungguli NIM G

4 4 RINGKASAN DJIHAD WUNGGULI. Metode Steepest Descent dengan Ukuran Langkah Baru untuk Pengoptimuman Nirkendala. Dibimbing oleh BIB PARUHUM SILALAHI dan SUGI GURITMAN. Masalah pengoptimuman dapat dikategorikan dalam dua bagian yaitu pengoptimuman berkendala dan pengoptimuman nirkendala. Untuk menyelesaikan permasalahan pengoptimuman nirkendala, khususnya untuk fungsi nonlinear dapat digunakan metode steepest descent. Metode steepest descent merupakan prosedur paling mendasar yang diperkenalkan oleh Cauchy pada tahun Metode ini adalah metode gradien sederhana yang menggunakan vektor gradien untuk menentukan arah pencarian pada setiap iterasi. Kemudian, dari arah tersebut akan ditentukan besar ukuran langkahnya. Pada beberapa kasus, metode steepest descent ini memiliki kekonvergenan yang lambat menuju solusi optimum karena langkahnya berbentuk zig-zag. Hal ini menunjukkan bahwa masalah pemilihan ukuran langkah menjadi masalah penting. Penelitian tentang pencarian ukuran langkah diantaranya adalah metode Barzilai-Borwein, Alternatif Minimisasi dan metode Yuan. Penelitian ini memiliki tiga tujuan utama yaitu: (1) merekonstruksi algoritme steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan algoritme Yuan; (2) memodifikasi metode steepest descent dengan ukuran langkah baru; dan (3) membandingkan secara eksperimental output dari modifikasi algoritme dengan metode steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan Yuan untuk kasus fungsi kuadratik ditinjau dari proses iterasi dan running time. Metode dalam penelitian ini disusun melalui tiga tahap, (1) melakukan telaah pustaka metode steepest descent klasik, metode Barzilai- Borwein, metode Alternatif Minimisasi dan metode Yuan, (2) memodifikasi ukuran langkah pada metode steepest descent dengan ukuran langkah yang baru, (3) mengimplementasikan algoritme tersebut menggunakan perangkat lunak. Kemudian dilakukan pengujian dan perbandingan untuk kasus fungsi kuadratik yang dibangkitkan secara acak. Dalam penelitian ini dihasilkan dua modifikasi ukuran langkah baru disebut Algoritme (4.5) dan Algoritme (4.6). Kedua modifikasi ini merupakan gabungan dari metode steepest descent dan metode Yuan. Dari rata-rata hasil perbandingan masalah fungsi kuadratik untuk semua dimensi metode steepest descent memberikan kinerja yang buruk dibandingkan dengan metode lainnya. Selanjutnya pada masalah dengan dimensi yang kecil, metode Yuan mampu menemukan solusi nilai minimum dengan iterasi dan running time yang terkecil. Meskipun demikian Algoritme (4.5) dan (4.6) mampu menyeimbangi kecepatan metode Yuan dan mampu mengungguli hasil dari metode Barzilai-Borwein, serta metode Alternatif Minimisasi. Untuk kasus fungsi kuadratik dengan dimensi yang besar, metode Yuan memberikan hasil yang buruk. Sedangkan, Algoritme (4.5) dan (4.6) menghasilkan iterasi dan running time yang terkecil, hal ini disebabkan oleh tingkat konvergensi yang lebih cepat pada kedua metode ini. Kata kunci: fungsi kuadratik, metode gradien, running time, steepest descent, ukuran langkah baru.

5 5 SUMMARY DJIHAD WUNGGULI. Steepest Descent Method with New Step Size for Unconstrained Optimization. Supervised by BIB PARUHUM SILALAHI and SUGI GURITMAN. The problem of optimization could be categorized into constrained and unconstrained optimization. The unconstrained optimization problem especially nonlinear function can be solved by steepest descent method. This is a basic procedure as introduced by Cauchy in It is a simple gradient method that uses gradient vector to determine the search direction in its iteration. Furthermore, from the direction will be determined the size of the step. In many cases, the steepest descent method has a slow convergence towards the optimum solution because of a zigzag steps. It involved indicates that the selection of step size problem is an important issue. There are many studies conducted on searching the step size in the steepest descent method, such as in Barzilai-Borwein, Alternative Minimization and Yuan method. This research has three main objectives: (1) reconstructing the method of steepest descent, Barzilai-Borwein, Alternative Minimization, and the Yuan algorithms; (2) modifying the method of steepest descent by using new step sizes; and (3) comparing experimentally results of modification algorithms steepest descent, Barzilai-Borwein, Alternative Minimization, and Yuan method for quadratic function in terms of the iteration and running time process. This research composed in three stages method, (1) reviewing literatures on the classic steepest descent, Barzilai-Borwein, Alternative Minimization, and Yuan method, (2) modifying the step size in the steepest descent method by new step sizes, (3) computer implementation using software. Furthermore, testing and compared results was carried out using the quadratic function cases that generated randomly. This research has two new step size modifications known as Algorithm (4.5) and (4.6). Both of them are combination of steepest descent and Yuan method. The average results of comparison quadratic function for all steepest descent method dimensions give poor performance compared to the other methods. While for the problem of small dimensions, the Yuan method reached the minimum value solutions with the iteration number and the running time minimum. Nevertheless, the Algorithm (4.5) and (4.6) able to compete the speed of Yuan method and perform better than the Barzilai-Borwein and Alternative Minimization method. For the quadratic functions case with large dimensions, Yuan method gives bad results. While Algorithm (4.5) and (4.6) produce the smallest of iteration and running time than the other methods, it is happen because this is related with the convergence speed within the Algorithm (4.5) and Algorithm (4.6). Keywords: quadratic function, gradient method, running time, steepest descent,.new step size.

6 6 Hak Cipta Milik IPB, Tahun 2015 Hak Cipta Dilindungi Undang-Undang Dilarang mengutip sebagian atau seluruh karya tulis ini tanpa mencantumkan atau menyebutkan sumbernya. Pengutipan hanya untuk kepentingan pendidikan, penelitian, penulisan karya ilmiah, penyusunan laporan, penulisan kritik, atau tinjauan suatu masalah; dan pengutipan tersebut tidak merugikan kepentingan IPB Dilarang mengumumkan dan memperbanyak sebagian atau seluruh karya tulis ini dalam bentuk apa pun tanpa izin IPB

7 7 METODE STEEPEST DESCENT DENGAN UKURAN LANGKAH BARU UNTUK PENGOPTIMUMAN NIRKENDALA DJIHAD WUNGGULI Tesis sebagai salah satu syarat untuk memperoleh gelar Magister Sains pada Program Studi Matematika Terapan SEKOLAH PASCASARJANA INSTITUT PERTANIAN BOGOR BOGOR 2015

8 8 Penguji Luar Komisi pada Ujian Tesis: Dr Ir Fahren Bukhari, MSc

9 9 Judul Tesis : Metode Steepest Descent dengan Ukuran Langkah Baru untuk Pengoptimuman Nirkendala Nama : Djihad Wungguli NIM : G Disetujui oleh Komisi Pembimbing Dr Ir Bib Paruhum Silalahi, MKom Ketua Dr Sugi Guritman Anggota Diketahui oleh Ketua Program Studi Matematika Terapan Dekan Sekolah Pascasarjana Dr Jaharuddin, MS Dr Ir Dahrul Syah, MScAgr Tanggal Ujian: 28 Januari 2015 Tanggal Lulus:

10 10 PRAKATA Puji dan syukur penulis panjatkan kepada Allah Subhanahu wa ta ala atas segala nikmat dan karunia-nya sehingga karya ilmiah ini berhasil diselesaikan. Tema yang dipilih dalam penelitian yang dilaksanakan sejak bulan Februari 2014 ini ialah teori optimasi, dengan judul Metode Steepest Descent dengan Ukuran Langkah Baru untuk Pengoptimuman Nirkendala. Penulisan tesis ini merupakan salah satu syarat memperoleh gelar Magister Sains pada program studi Matematika Terapan Sekolah Pascasarjana Institut Pertanian Bogor. Dalam proses penulisan tesis ini, penulis menyadari bahwa telah memperoleh dorongan dan bantuan baik moril maupun materil dari berbagai pihak untuk melengkapi keterbatasan-keterbatasan yang dimiliki penulis. Untuk itu, melalui kesempatan ini penulis ingin mengucapkan terima kasih dan rasa hormat yang sebesar-besarnya kepada: 1. Bapak Dr Ir Bib Paruhum Silalahi, MKom selaku pembimbing I dan Bapak Dr Sugi Guritman selaku pembimbing II. 2. Dr Jaharuddin, MS selaku Ketua Program Studi Matematika Terapan. 3. Seluruh dosen dan staf pegawai tata usaha Departemen Matematika. 4. Direktorat Jenderal Pendidikan Tinggi (DIKTI) sebagai sponsor Beasiswa Unggulan. 5. Ayahanda dan Ibunda tercinta, Bapak Usman Wungguli dan Ibu Hadidjah Luther, Adik Rahmad Wungguli dan Rini Wahyuni Mohamad serta seluruh keluarga yang selalu memberikan dorongan dan mendoakan untuk keberhasilan studi bagi penulis. 6. Seluruh mahasiswa Departemen Matematika khususnya teman-teman angkatan tahun 2012 di program studi S2 Matematika Terapan. 7. Seluruh rekan rekan mahasiswa Asrama Gorontalo di Bogor. 8. Sahabat-sahabat yang tak dapat disebutkan satu persatu yang telah banyak membantu penulis dalam penyelesaian tesis ini. Semoga segala bantuan, bimbingan, dan motivasi yang telah diberikan kepada penulis senantiasa mendapat balasan dari Allah Subhanahu wa ta ala. Akhirnya, semoga penulisan tesis ini dapat memperkaya pengalaman belajar serta wawasan kita semua. Bogor, Februari 2015 Djihad Wungguli

11 11 DAFTAR GAMBAR DAFTAR LAMPIRAN DAFTAR ISI 1 PENDAHULUAN 1 Latar Belakang 1 Tujuan Penelitian 2 2 TINJAUAN PUSTAKA 3 Ruang Vektor 3 Matriks 4 Ortogonalitas 5 Pengoptimuman Matematik 6 Turunan Parsial 6 Turunan Berarah 6 Vektor Gradien dan Matriks Hesse 7 Minimum Global dan Minimum Lokal 8 Fungsi Kuadratik di 8 Kedefinitan Matriks 8 Kekonveksan Fungsi 9 Tingkat Konvergensi 9 Deret Taylor 10 Ketaksamaan Kantorovich 10 Iterasi dan Running Time 10 3 METODE PENELITIAN 11 4 HASIL DAN PEMBAHASAN 11 Metode Steepest Descent 11 Exact Line Search 14 Kekonvergenan Metode Steepest Descent 17 Metode Barzilai dan Borwein 19 Metode Alternatif Minimisasi 20 Metode Yuan 22 Modifikasi Metode Steepest Descent dengan Ukuran Langkah Baru 25 Hasil Numerik 26 5 SIMPULAN 31 DAFTAR PUSTAKA 31 LAMPIRAN 32 RIWAYAT HIDUP 42 vi vi

12 12 DAFTAR TABEL 1 Rata-rata jumlah iterasi dari metode steepest descent 27 2 Rata-rata running time dari metode steepest descent 28 DAFTAR GAMBAR 1 Pencarian arah d gradien terhadap vektor gradien 12 2 Ilustrasi steepest descent dalam plot kontur 13 3 Ilustrasi perbandingan metode Alternatif Minimisasi dan metode steepest descent 21 4 Perbandingan rata-rata iterasi dan running time dari metode steepest descent untuk λ n = Perbandingan rata-rata iterasi dan running time dari metode steepest descent untuk λ n = Perbandingan rata-rata iterasi dan running time dari metode steepest descent untuk λ n = Kekonvergenan dari metode steepest descent 30 DAFTAR LAMPIRAN 1 Sintaks dari setiap metode steepest descent 32 2 Hasil pengujian dari setiap metode steepest descent 38

13 1 PENDAHULUAN Latar Belakang Dalam aktivitas sehari-hari sering dijumpai kegiatan yang menyangkut pengoptimuman. Kegiatan pengoptimuman ini bertujuan untuk memaksimumkan atau meminimumkan. Hal ini biasanya dijumpai dalam bidang industri, teknik, ekonomi, pertanian dan banyak sektor bidang lainnya. Pengoptimuman dapat didefinisikan sebagai proses untuk mendapatkan keputusan terbaik yang memberikan nilai maksimum atau minimum dari suatu fungsi dengan cara penentuan solusi yang tepat. Dari segi fungsinya pengoptimuman dapat dibedakan menjadi pengoptimuman linear dan pengoptimuman nonlinear. Sedangkan dari bentuknya pengoptimuman dikelompokkan menjadi pengoptimuman berkendala dan pengoptimuman nirkendala. Pengoptimuman berkendala adalah pengoptimuman suatu fungsi dengan syarat-syarat tertentu yang membatasinya. Sebaliknya pengoptimuman nirkendala adalah pengoptimuman tanpa adanya syarat-syarat tertentu yang membatasinya (Griva et al. 2009). Kegiatan Pengoptimuman selalu identik dengan nilai maksimum atau nilai minimum yang terbaik. Padahal, pengoptimuman yang baik seharusnya mempertimbangkan juga metode yang akan digunakan serta pemrograman yang tepat dalam aspek komputasi. Komputasi dapat diartikan sebagai cara untuk menemukan pemecahan masalah dari data input dengan menggunakan suatu algoritme dalam menyelesaikan suatu masalah. Dalam aspek komputasi hal yang diperhatikan adalah kompleksitas ruang dan kompleksitas waktu. Hal ini dapat dilihat dari tingkat kerumitan serta waktu yang dibutuhkan dari suatu algoritme dalam menyelesaikan suatu fungsi. Suatu algoritme dikatakan baik jika tingkat kerumitannya semakin kecil dan prosesnya membutuhkan waktu yang kecil. Namun pada kenyataannya banyak metode pengoptimuman yang bentuknya sederhana akan tetapi membutuhkan waktu yang lama dalam proses komputasinya. Oleh karenanya sangat diperlukan suatu perbaikan dari motode pengoptimuman baik dari segi kompleksitas ruang maupun dari segi kompleksitas waktunya. Metode pengoptimuman umumnya dapat dilakukan secara analitik maupun secara numerik. Namun untuk kasus pengoptimuman nirkendala dengan fungsi nonlinear multivariabel, terdapat persoalan yang tidak bisa diselesaikan dengan metode analitik. Sehingga diperlukan metode numerik untuk menyelesaikan permasalahan tersebut. Metode numerik yang digunakan dalam masalah pengoptimuman biasanya bersifat iteratif. Salah satu metode iteratif yang digunakan adalah metode line search steepest descent. Metode steepest descent (SD) merupakan prosedur paling mendasar untuk meminimumkan fungsi terdiferensialkan beberapa variabel yang diperkenalkan oleh Cauchy pada tahun 1847 (Bazaraa et al. 2006). Metode ini adalah metode gradien sederhana yang menggunakan vektor gradien (turunan parsial orde pertama dari fungsi f ) untuk menentukan arah pencarian disetiap iterasi dan dari arah tersebut akan ditentukan besar ukuran langkahnya. Pada beberapa kasus, metode SD ini memeliki kekonvergenan yang lambat ketika menuju ke solusi optimum, hal ini terjadi karena langkahnya yang berbentuk zig-zag. Secara

14 2 intuitif arah yang digunakan dalam metode SD adalah arah dengan penurunan yang tercepat, akan tetapi secara umum tidak berarti menuju titik minimum lokal yang tercepat. Sehingga dalam beberapa tahun terakhir ini menjadi lebih jelas bahwa pimilihan ukuran langkah menjadi masalah penting dalam metode steepest descent. Penentuan ukuran langkah ini dapat mempengaruhi cepat atau lambatnya kekonvergenan ke solusi optimum. Sebuah hasil yang mengejutkan diberikan oleh Barzilai dan Borwein (1988) yang berusaha menyempurnakan metode ini dengan memodifikasi algoritme dan hasilnya berjalan cukup baik untuk masalah dengan dimensi yang besar. Metode ini kemudian dikenal dengan metode Barzilai- Borwein (BB) Hasil metode BB (1988) telah memicu banyak penelitian pada metode steepest descent. Penelitian-penelitian yang dilakukan untuk mendapatkan algoritme pencarian ukuran langkah yang memungkinkan konvergensi cepat dan monoton. Diantaranya penelitian yang dilakukan oleh Dai dan Yuan (2003) yang dinamakan Alternatif Minimisasi (AM) dengan ide penggabungan ukuran langkah yang bergantian antara meminimumkan nilai fungsi dan norm gradien disepanjang garis steepest descent. Penelitian lainnya dilakukan oleh Yuan (2006), dengan algoritme ukuran langkah baru pada iterasi genap dan exact line search pada iterasi ganjil. Metode Yuan ini sangat efisien untuk masalah dengan dimensi kecil. Berdasarkan penelitian-penelitian yang telah dilakukan, maka dalam penelitian ini akan dimodifikasi ukuran langkah pada metode SD dengan ukuran langkah baru untuk memperoleh kekonvergenan yang lebih cepat dari metodemetode yang telah dilakukan sebelumnya. Modifikasi ukuran langkah yang dilakukan diharapkan dapat memperkecil kompleksitas ruang maupun kompleksitas waktu yang dibutuhkan dari algoritme. Tujuan Penelitian a. Merekonstruksi algoritme steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan metode Yuan. b. Memodifikasi algoritme steepest descent dengan ukuran langkah baru. c. Membandingkan secara eksperimental hasil output dari modifikasi algoritme dengan metode steepest descent, Barzilai-Borwein, Alternatif Minimisasi, dan metode Yuan untuk kasus fungsi kuadratik ditinjau dari proses iterasi dan running time.

15 3 2 TINJAUAN PUSTAKA Ruang Vektor Definisi 2.1 (Ruang Vektor) Misalkan V adalah himpunan dengan pendefinisian operasi penjumlahan dan operasi perkalian dengan skalar. Setiap pasangan elemen dan di dalam V terdapat suatu elemen yang tunggal juga berada di dalam V serta setiap elemen di dalam V dan setiap skalar terdapat yang tunggal juga berada di dalam V. Himpunan V dengan operasi penjumlahan dan operasi perkalian dengan skalar ini dinamakan ruang vektor jika memenuhi aksioma berikut sehingga. 4. terdapat sehingga. 5. dan skalar. 6. dengan skalar dan skalar. 7. dengan skalar dan skalar. 8.. Elemen dalam V adalah vektor sedangkan symbol 0 menyatakan vektor nol. (Leon 1998) Definisi 2.2 (Ruang Bagian) Jika S adalah himpunan bagian takkosong dari suatu ruang vektor V dan S memenuhi syarat-syarat berikut 1. jika untuk sembarang skalar 2. jika dan, maka S disebut ruang bagian dari V. (Leon 1998) Definisi 2.3 (Kombinasi Linear) Misalkan adalah vektor-vektor dalam suatu ruang vektor V. Jumlah vektor-vektor yang berbentuk dengan skalar-skalar disebut kombinasi linear dari. (Leon 1998) Definisi 2.4 (Merentang) Misalkan adalah vektor-vektor dalam suatu ruang vektor V. Himpunan vektor dikatakan merentang suatu vektor V jika setiap vektor pada V selalu dapat dinyatakan sebagai kombinasi linear dari vektor. (Leon 1998) Definisi 2.5 (Bebas Linear) Vektor-vektor dalam ruang vektor V disebut bebas linear jika mengakibatkan semua skalar-skalar harus sama dengan nol. (Leon 1998)

16 4 Definisi 2.6 (Bergantung Linear) Vektor-vektor dalam ruang vektor V disebut bergantung linear jika terdapat skalar-skalar yang tidak semuanya nol sehingga. (Leon 1998) Definisi 2.7 (Basis) Vektor-vektor membentuk basis untuk ruang vektor V jika dan hanya jika bebas linear dan merentang V. (Leon 1998) Definisi 2.8 (Dimensi) Misalkan V adalah ruang vektor. Jika V memiliki basis yang terdiri atas n vektor, maka V dikatakan memiliki dimensi n. (Leon 1998) Matriks Definisi 2.9 (Matriks Identitas) Matriks identitas adalah matriks yang berukuran, dengan { (Leon 1998) Definisi 2.10 (Invers dari Suatu Matriks) Suatu matriks yang berukuran dikatakan taksingular jika terdapat matriks B sehingga. Matriks B dikatakan invers multiplikatif dari matriks. Invers multiplikatif dari matriks taksingular secara sederhana disebut juga sebagai invers dari matriks dan dinotasikan dengan. (Leon 1998) Definisi 2.11 (Traspose dari Suatu Matriks) Transpos dari suatu matriks yang berukuran adalah matriks yang berukuran yang didefinisikan oleh untuk setiap dan. Transpos dari dinotasikan oleh. (Leon 1998) Definisi 2.12 (Matriks Simetris) Suatu matriks berukuran disebut matriks simetris jika (Leon 1998) Definisi 2.13 (Matriks Diagonal) Matriks diagonal adalah matriks berukuran yang semua unsur selain diagonal utama ialah nol. Matriks diagonal berukuran dapat ditulis sebagai [ ] dengan disebut unsur diagonal utama. Matriks diagonal D memiliki invers yang dapat dinyatakan sebagai

17 5 D 1 1 d d d n Dengan semua unsur diagonal utama adalah taknol sehingga. Matriks dapat dikatakan matriks simetris karena. (Anton & Rorres 2005) Ortogonalitas Definisi 2.14 (Hasil Kali Skalar) Misalkan dengan, - dan, - maka hasil kali skalar dari adalah (Leon 1998) Definisi 2.15 (Norm) Suatu pemetaan disebut norm jika dan hanya jika memenuhi sifat berikut: (i) (ii) (iii) Untuk, maka dari didefinisikan sebagai: Dalam prakteknya, hanya tiga ( ) ( ) yang digunakan yaitu: Norm vektor lainnya yang sering digunakan adalah norm ellipsoid yang didefinisikan sebagai Misalkan dengan, -, maka norm dari vektor di adalah (Sun dan Yuan 2006) Definisi 2.16 (Ortogonal) Vektor vektor dan disebut ortogonal jika. (Leon 1998)

18 6 Pengoptimuman Matematik Definisi 2.17 Pengoptimuman matematik adalah suatu proses formulasi masalah dan penentuan solusi dari suatu masalah pengoptimuman berkendala dengan bentuk umum:, - dengan kendala (2.16) dimana adalah fungsi dari x. Komponen-komponen dari, - dinamakan variabel keputusan, adalah fungsi objektif, menyatakan fungsi kendala pertaksamaan, adalah fungsi-fungsi kendala persamaan. Vektor optimum yang menjadi solusi dari masalah dinyatakan dengan dan nilai optimumnya adalah. Jika tidak ada kendala maka masalah dinamakan masalah pengoptimuman nirkendala. (Snyman 2005) Turunan Parsial Definisi 2.18 Andaikan bahwa f adalah suatu fungsi dua variabel x dan y. Jika y di jaga agar tetap konstan, katakanlah, maka adalah fungsi satu variabel x. Turunannya di x = x 0 disebut turunan parsial f terhadap x di dan dinyatakan oleh. Jadi Dengan cara serupa, turunan parsial f terhadap y di dinyatakan oleh dan diberikan oleh Misalkan f suatu fungsi tiga variabel x, y, dan z. Turunan parsial f terhadap x di (x,y,z) dinyatakan oleh dan didefenisikan oleh Turunan parsial terhadap y dan z didefenisikan secara serupa. (Varberg et al. 2007) Turunan Berarah Definisi 2.19 Untuk tiap vektor u, misalkan jika limit ini ada, disebut turunan berarah f di p pada arah u

19 Untuk menghitung turunan berarah dari suatu fungsi, biasanya digunakan teorema berikut: Teorema 2.1 Misalkan f terdiferensialkan di p, maka f mempunyai turunan berarah di p dalam arah vektor satuan u = (a, b) dan yaitu (Varberg et al. 2007) 7 Vektor Gradien dan Matriks Hesse Definisi 2.20 (Vektor Gradien) Untuk fungsi yang terdapat di setiap titik yang merupakan vektor dari turunan parsial orde pertama disebut vektor gradien yaitu: ( ) Definisi 2.21 (Matriks Hesse) Jika fungsi f terdiferensialkan secara kontinu dua kali maka di titik terdapat matriks turunan parsial kedua yang disebut matriks Hesse:, - ( ) dimana adalah matriks simetrik. (Snyman 2005)

20 8 Minimum Global dan Minimum Lokal Definisi 2.22 Titik adalah minimum global dari f pada D jika Titik adalah minimum lokal jika terdapat sehingga * + dengan menyatakan norm Euclid. Syarat perlu dan syarat cukup untuk minimum lokal teorema berikut: dinyatakan dalam Teorema 2.2 (Syarat perlu) Misalkan adalah fungsi yang mempunyai turunan parsial kedua di. Jika adalah minimum lokal, maka, (syarat orde pertama) dan matriks Hesse semidefinit positif (syarat orde kedua). Titik sehingga dinamakan titik kritis atau titik stasioner fungsi f. Teorema 2.3 (Syarat cukup) Misalkan adalah fungsi yang mempunyai turunan parsial kedua di. Jika dan matriks Hesse definit positif, maka adalah minimum lokal dari. (Snyman 2005) Fungsi Kuadratik di Definisi 2.23 Suatu fungsi dinamakan fungsi kuadratik dalam n variabel jika dapat dituliskan sebagai Dengan, b vektor real berukuran n, dan A matriks real berukuran. Jika maka (2.26) Sehingga matriks adalah matriks simetrik. (Snyman 2005) Kedefinitan Matriks Teorema 2.4 Misalkan matriks berukuran dan misalkan adalah minor utama ke-k dari matriks untuk maka 1. definit positif jika dan hanya jika, untuk k = 1,2,,n, 2. definit negatif jika dan hanya jika, untuk k = 1,2,,n.

21 Teorema 2.5 Jika suatu matriks simetrik, maka matriks adalah 1. definit positif jika dan hanya jika semua nilai eigen dari adalah positif, 2. definit negatif jika dan hanya jika semua nilai eigen dari adalah negatif, 3. takdefinit jika dan hanya jika mempunyai paling sedikit satu nilai eigen positif dan paling sedikit satu nilai eigen negatif. (Peressini et al. 1988) 9 Definisi 2.24 (Ruas Garis) dan Kekonveksan Fungsi Misalkan dan dua titik di, maka ruas garis yang menghubungkan adalah * + (2.27) Definisi 2.25 (Himpunan Konveks) Himpunan dikatakan himpunan konveks jika dan hanya jika untuk setiap dan di C, maka ruas garis yang menghubungkan dan juga terletak di C. Definisi 2.26 (Fungsi Konveks) Misalkan, 1. fungsi f dikatakan konveks pada himpunan konveks C jika ( ) untuk setiap, di C dan untuk setiap dengan 2. fungsi f dikatakan konveks sempurna pada himpunan konveks C jika ( ) untuk setiap, di C dengan dan untuk setiap dengan Misalkan mempunyai turunan parsial kedua yang kontinu pada suatu himpunan C di. Jika matriks Hesse dari f adalah definit positif pada C, maka adalah fungsi konveks sempurna pada C. (Snyman 2005) Tingkat Konvergensi Defenisi 2.27 Misalkan diberikan barisan iterasi * + yang dihasilkan oleh suatu algoritme konvergen ke pada sejumlah norm yaitu, Jika terdapat bilangan real dan bilangan konstan positif yang bebas terhadap iterasi k, sehingga

22 10 maka dapat dikatakan * + memiliki -order tingkat konvergensi yang dapat dibagi menjadi tiga bagian: 1. jika dan maka barisan * + konvergen Q-Linear 2. jika dan atau, dan maka barisan * + konvergen Q-Superlinear 3. jika maka barisan * + konvergen Q-Kuadrat (Sun dan Yuan 2006) Deret Taylor Definisi 2.28 Deret Taylor dari fungsi real yang terturunkan untuk semua tingkatan disekitar titik dapat ditulis sebagai berikut: dimana adalah gradien pada dan adalah matriks Hessian. (Varberg et al. 2007) Ketaksamaan Kantorovich Teorema 2.6 Diberikan matriks simetrik definit positif dengan nilai eigen. Maka untuk setiap berlaku Ketaksamaan: ()() (Sun dan Yuan 2006) Iterasi dan Running Time Definisi 2.29 (Iterasi) Iterasi adalah sifat tertentu dari algoritme atau program komputer dimana suatu urutan atau lebih dari langkah algoritmik yang dilakukan pada loop program. Iterasi merupakan proses yang dilakukan secara berulang dalam menyelesaikan permasalahan matematik. (Chapman 2008) Definisi 2.30 (Running Time) Running time dari suatu algoritme didefenisikan sebagai ukuran operasi primitif atau tahapan proses yang dieksekusi. (Cormen et al. 2001)

23 3 METODE PENELITIAN Penelitian ini disusun melalui tiga tahap, pertama dilakukan telaah pustaka (buku dan jurnal terkait) mengenai metode steepest descent. Pada tahap pertama ini akan merekonstruksi empat metode gradien steepest descent yaitu metode steepest descent klasik, metode Barzilai-Borwein, metode Alternatif Minimisasi dan metode Yuan. Selanjutnya pada tahap kedua, memodifikasi ukuran langkah pada metode steepest descent dengan ukuran langkah yang baru. Kemudian pada tahap ketiga, mengimplementasikan metode kedalam bahasa pemrograman dengan menggunakan perangkat lunak. Setelah itu, dilakukan pengujian untuk kasus fungsi kuadratik yang dibangkitkan secara acak. Rata-rata dari hasil pengujian akan dibandingkan untuk melihat metode yang terbaik dalam menemukan solusi nilai minimum dengan iterasi dan running time yang terkecil. 4 HASIL DAN PEMBAHASAN Metode Steepest Descent Seperti yang telah dijelaskan dalam pendahuluan bahwa metode steepest descent adalah metode gradien sederhana untuk pengoptimuman nirkendala. Metode ini digunakan untuk meminimumkan fungsi terdiferensialkan beberapa variabel yang menggunakan vektor gradien (turunan parsial orde pertama dari fungsi f ) untuk menentukan arah pencarian disetiap iterasi. Metode ini diperkenalkan pertama kali oleh Cauchy pada tahun 1847 dengan bentuk permasalah pengoptimuman: dimana adalah fungsi terdiferensialkan secara kontinu di. Secara umum dapat berupa fungsi nonlinear. Metode steepest descent merupakan metode iteratif untuk memperoleh solusi pendekatan dari problem awal. Dalam pembahasan metode iteratif ini, vektor yang diperoleh pada iterasi ke-k dinyatakan dengan. Misalkan diberikan suatu titik awal kemudian akan dicari, sehingga. Pergerakan pada setiap iterasi haruslah memenuhi (4.2) Misalkan f adalah fungsi yang terdefinisi di yang mempunyai turunan parsial pertama yang kontinu. Arah descent ditentukan dengan menggunakan turunan berarah di. Misalkan dan. Dengan menggunakan aturan rantai diperoleh sehingga (4.3) (4.4)

24 12 menyatakan laju perubahan di pada arah, yang disebut juga dengan turunan berarah dari di pada arah (Gambar 1). x k d k Gambar 1 Pencarian arah d gradien terhadap vektor gradien Perhatikan bahwa (4.5) dimana adalah sudut antara dengan. Karena maka (4.6) Di titik dicari vektor satuan sehingga turunan berarah mempunyai nilai terkecil relatif terhadap semua kemungkinan vektor satuan di. Nilai terkecil dari turunan berarah tersebut adalah pada saat, yaitu pada saat sudut antara dengan adalah, yang berarti sudut antara dengan adalah 0. Jadi vektor arah berimpit dengan vektor. Ini berarti arah sehingga turunan berarah fungsi di sekecil mungkin adalah. Secara umum metode steepest descent memiliki bentuk sebagai berikut: (4.7) atau (4.8) dimana dan adalah vektor gradien dari di dan > 0 adalah ukuran langkah. Ukuran langkah dapat diperoleh dengan pencarian exact line search yaitu: * + (4.9) Jika ingin menemukan nilai minimum dari maka dapat dilakukan dengan mencari sehingga diperoleh (4.10) ini berarti gradien dari titik saat ini dan gradien dari titik selanjutnya saling tegak lurus (ortogonal). Untuk batas keturunan nilai fungsi untuk setiap iterasi dalam exact line search diberikan oleh, dimana menunjukkan sudut antara dan. Lebih jelasnya teori kekonvergenan exact line search dijelaskan pada subbab selanjutnya.

25 Metode steepest descent selalu konvergen. Artinya, secara teori metode ini tidak akan berhenti atau akan terus melakukan iterasi sampai titik stasionernya ditemukan. Adapun algoritme stespest descent dituliskan dalam tahap-tahap sebagai berikut: Algoritme 4.1 Steepest Descent Step 0. Diberikan titik awal dan batas toleransi. Tetapkan. Step 1. Tentukan. Jika, berhenti. Jika tidak tentukan. Step 2. Tentukan yang meminimumkan Step 3. Hitung Step 4. Beri nilai, dan pergi ke Step 1. Pada algoritme metode steepest descent ini memerlukan sembarang nilai awal atau titik awal. Pemberian nilai awal ini merupakan kriteria dari suatu metode iteratif. Selanjutntya dalam metode ini membutuhkan batas toleransi yang digunakan untuk pemberhentian dari proses iteratif. Batas toleransi ini digunakan untuk membatasi nilai. Pembatasan ini dilakukan untuk menentukan tingkat ketelitian dari solusi. Semakin kecil batas toleransi yang diberikan maka solusi dari permasalahan akan semakin mendekati ke nilai yang sebenarnya. Pada dasarnya dalam metode steepest descent terdapat beberapa kriteria untuk pembatasan proses iterasi atau disebut uji konvergensi diantaranya yaitu norm dari selisih dua nilai terakhir yang disimbolkan dengan. Selain itu dapat juga menggunakan selisih dari dua nilai fungsi terakhir yaitu. Untuk kriteria pembatasan proses iterasi ini dapat digunakan secara bersamaan sehingga proses iterasi akan berhenti ketika salah satu kreteria terpenuhi. Selanjutnya langkah terpenting dalam metode steepest descent yaitu menentukan vektor gradien dan menentukan ukuran langkah. Vektor gradien digunakan untuk menentukan arah dimana suatu kurva pada titik mengalami penurunan yang tercuram sedangkan ukuran langkah digunakan untuk menentukan seberapa besar ukuran atau langkah pada arah penurunan tercuram tersebut. Sehingga akan didapatkan titik yang baru. Proses ini akan terus berlangsung sampai kriteria pemberhentian terpenuhi. d 1 d 3 d 5 13 d 2 d 4 d 6 Gambar 2 Ilustrasi steepest descent dalam plot kontur (Snyman 2005).

26 14 Meskipun titik optimum lokal ditemukan dengan arah yang tercuram metode steepest descent sering berkinerja buruk mengikuti jalan zig-zag. Hal ini menyebabkan konvergensi lambat dan menjadi ekstrim ketika masalah dengan skala yang besar yaitu ketika bentuk kontur yang sangat panjang. Kinerja yang buruk ini disebabkan oleh fakta bahwa metode steepest descent memberlakukan secara berturut arah pencarian yang ortogonal (4.10) seperti yang ditunjukkan pada Gambar 2. Meskipun dari sudut pandang teoritis metode ini dapat terbukti menjadi konvergen, tetapi dalam prakteknya metode ini tidak dapat secara efektif konvergen dalam jumlah langkah terbatas. Hal ini tergantung pada titik awal yang diberikan, bahkan konvergensi buruk ini juga terjadi ketika menerapkan metode steepest descent walaupun untuk fungsi kuadratik yang definit positif. Exact Line Search Line search adalah pencarian satu dimensi yang mengacu pada prosedur pengoptimuman untuk fungsi dengan variabel tunggal. Line search ini merupakan dasar dari pengoptimuman multivariabel (4.8) untuk mencari Nilai dapat dicari dengan meminimumkan fungsi tujuan pada arah dan dapat dituliskan sebagai berikut: atau (4.12) Line search biasanya dinamakan exact line search karena berdasarkan (4.12) dapat ditemukan titik minimum yang tepat dan titik stasioner dari fungsi. Untuk lebih jelasnya akan dibuktikan kekonvergenan dari exact line search. Teorema 4.1 (Teori Kekonvergenan untuk Exact Line Search) Misal diberikan yang merupakan solusi dari (4.12). Dimisalkan pula, dimana M adalah bilangan positif, maka Bukti. Dari ekspansi deret Taylor diperoleh: dari asumsi, sehingga dimisalkan ( ) sehingga dari (4.15) dan (4.11) diperoleh ( ) ( )

27 15 ( ) Teorema 4.2 (Teori Kekonvergenan untuk Exact Line Search) Misalkan adalah fungsi kontinu terdiferensialkan pada himpunan terbuka, diasumsikan barisan dari (4.12) memenuhi dan. Misalkan merupakan titik akumulasi dari * + dan merupakan indeks dengan * +. Diasumsikan juga terdapat sehingga. Jika adalah titik akumulasi dari * + maka ( ) (4.16) Selanjutnya, jika terdiferensialkan dua kali pada maka ( ) (4.17) Bukti Misalkan merupakan indeks dengan. Jika maka (4.16) memiliki solusi trivial. Jika tidak maka dipertimbangkan dua kasus berikut. (i) Terdapat indeks sehingga. Karena merupakan ukuran langkah yang tepat, maka. Karena merupakan terbatas seragam dan, maka diambil hasil limit ( ) (ii) Untuk. Misalkan adalah indeks dari dengan. Andaikan bahwa (4.16) tidak benar maka ( ) Jadi terdapat lingkungan ( ) dari dan indeks sehingga ( ) dan, Misal adalah bilangan positif terkecil, sehingga untuk dan, ( ). Pilih ( ), maka dari exact line search dan ekspansi Taylor diperoleh ( ), -, -, -

28 16 dimana. Kontradiksi di atas menunjukkan bahwa (4.16) juga berlaku untuk kasus (ii). Untuk pembuktian (4.17) sama halnya dengan pembuktian (4.16) yaitu secara kontradiksi hanya berbeda pada ekspansi deret Taylor orde kedua dan memisalkan ( ). ( ), -, - * + [ ] Hal ini kontradiksi dengan (4.17). Dalam kasus pengoptimuman dengan fungsi kuadratik (2.25) pencarian dengan exact line search dapat diubah dalam bentuk sederhana. Misalnya secara umum akan diminimumkan dengan arah descent. Karena masalah pengoptimuman berbentuk fungsi kuadratik (2.25) sehingga fungsi menjadi Jika diminimumkan maka turunan (4.18) ke nol yaitu dari (4.19) diperoleh, (4.19) berdasarkan (2.26) dan gradien maka didapatkan Jadi untuk proses pencarian ukuran langkah pada metode steepest descent untuk kasus fungsi kuadratik dapat digunakan rumus (4.20), dimana adalah matriks simetrik dan definit positif.

29 17 Kekonvergenan Metode Steepest Descent Teorema 4.3 (Konvergensi Global Metode Steepest Descent) Misalkan. Untuk setiap titik akumulasi dari barisan iterasi * + yang dihasilkan dari Algoritme 4.1 dengan exact line search adalah titik stasioner. Bukti Misalkan merupakan titik akumulasi dari * + dan adalah indeks terbatas sedemikian hingga. Tetapkan. Karena maka barisan * + terbatas seragam dan. Karena asumsi Teorema 4.2 terpenuhi, maka ( ) ini berarti bahwa ( ). Teorema 4.4 (Konvergensi Global Metode Steepest Descent) Misalkan terdiferensialkan dua kali pada dan untuk konstanta positif. Diberikan nilai awal dan. Maka untuk barisan yang dihasilkan dari Algoritme 4.1 terbatas dibanyak iterasi, atau atau Bukti Perhatikan kasus yang tak terbatas, dari Algoritme 4.1 dan Teorema 4.1 diperoleh sehingga, - Dengan mengambil limit maka dihasilkan atau. Teorema 4.5 (Laju Konvergensi Dari Metode Steepest Descent Untuk Kasus Fungsi Kuadratik) Perhatikan masalah minimasi nirkendala berikut dimana adalah matriks simetris dan definit positif. Misalkan dan masing-masing adalah nilai eigen terbesar dan terkecil dari. Misalkan merupakan solusi dari masalah (4.21), maka barisan * + yang dihasilkan oleh metode steepest descent konvergen ke, dengan tingkat konvergen linear dan berlaku batas-batas berikut: dimana.

30 18 Bukti Diketahui bentuk metode steepest descent (4.7) yaitu Karena masalah pengoptimuman (4.21) berbentuk kuadratik maka dituliskan dalam bentuk dapat dengan, sehingga Dengan menggunakan ketaksamaan Kantorovich (2.33) maka diperoleh [ ] [ ] terbukti untuk (4.22). Selanjutnya akan dibuktikan untuk (4.23) dan (4.24). Misalkan. Perhatikan bahwa merupakan matriks simetrik dan definit positif, sehingga (4.26) jika maka (4.27) dari (4.26) diperoleh (4.28) sehingga dari (4.25), (4.27) dan (4.28) diperoleh terbukti untuk (4.23) dan (4.24). Teorema diatas berlaku juga untuk fungsi kuadratik dengan bentuk dimana adalah matriks simetris definit positif dan.

31 19 Metode Barzilai dan Borwein Metode Barzilai dan Borwein atau disebut metode BB merupakan metode pengembangan dari metode steepest descent dengan mengganti ukuran langkah. Ide utama dari pendekatan metode BB adalah menggunakan informasi dalam iterasi sebelumnya untuk menentukan ukuran langkah dalam iterasi selanjutnya. Ukuran langkah metode BB diturunkan dari dua titik pendekatan ke garis potong persamaan yang didasari oleh metode Quasi-Newton. Adapun metode Quasi- Newton yaitu sebagai berikut: (4.30) dimana dan adalah matriks identitas. Misalnya diberikan ekspansi deret Taylor (2.32) dari fungsi real untuk pendekatan kuadratik yang terturunkan untuk semua tingkatan di sekitar titik yaitu dimana dan. Misalnya, jika (4.31) diturunkan terhadap maka Kemudian dimisalkan dan sehingga diperoleh (4.32) atau (4.33) Pertama akan dibahas masalah (4.32). Jika masalah (4.32) diselesaikan dengan menggunakan least-squares (kuadrat terkecil) maka akan diperoleh: kemudian disederhanakan menjadi Dari syarat perlu minimum lokal (Teorema 2.2) didapatkan sehingga Karena maka Jadi telah didapatkan ukuran langkah pertama (4.34) dari metode BB. Untuk masalah (4.33) akan dicari nilai dengan cara penyelesaian yang sama pada masalah (4.32) maka diperoleh ukuran langkah yang kedua

32 20 Dari penyelesaian (4.32) dan (4.33) telah didapatkan dua ukuran langkah yang baru yaitu (4.34) dan (4.35). Kedua ukuran langkah ini merupakan ukuran langkah dari metode Barzilai dan Borwein yang memiliki langkah Q-super linear konvergensi pada tiga langkah berturut-turut (Dai 2003). Lebih jelasnya algoritme dari metode Barzilai dan Borwein dituliskan sebagai berikut: Algoritme 4.2 Barzilai dan Borwein (BB) Step 0. Diberikan titik awal dan batas toleransi. Tetapkan. Step 1. Tentukan. Jika, berhenti. Jika tidak tentukan. Step 2. Jika k = 0 maka tentukan dengan exact line search. Jika tidak Tentukan dengan dimana dan Step 3. Hitung Step 4. Beri nilai, dan pergi ke Step 1. Metode Alternatif Minimisasi Dalam beberapa pengertian, prinsipnya bahwa meminimumkan suatu fungsi yang kontinu dan terdiferensialkan dua kali (fungsi smooth) adalah setara dengan meminimumkan norm gradien. Hal ini merupakan ide dasar dari metode gradien Alternatif Minimisasi (Dai dan Yuan 2003). Metode Alternatif Minimisasi (AM) adalah modifikasi metode steepest descent dengan ukuran langkah yang bergantian antara meminimumkan nilai fungsi dan norm gradien disepanjang garis steepest descent. Lebih tepatnya untuk dipilih ukuran langkah sehingga * + dan * + Dapat dilihat bahwa gradien dari dan masing-masing adalah dan, sehingga dari (4.36) dan (4.37) diperoleh (4.38) dan (4.39) Dari hubungan di atas dapat simpulkan bahwa saling konjugat dengan, sedangkan dan saling ortogonal. Berdasarkan (4.7) dan didapatkan Kemudian dari (4.38) dan (4.39) diperoleh

33 21 Dari ketaksamaan Cauchy dan asumsi bahwa positif, diperoleh { matriks simetrik definit Hal ini menunjukkan bahwa ukuran langkah metode AM pada setiap iterasi ganjil lebih kecil atau sama dengan ukuran langkah dari metode SD, yaitu * + Untuk ukuran langkah pada iterasi genap jelas terlihat bahwa (4.41) (4.42) Dari hubungan (4.41) dan (4.42) menunjukkan bahwa metode AM melakukan langkah SD penuh setelah langkah SD yang diperpendek. Sebagai contoh diilustrasikan dalam Gambar 3 dengan persamaan. /. / Dari Gambar 3 dapat dilihat dan merupakan iterasi yang dihasilkan oleh metode SD yang dimulai dari titik, sedangkan dan merupakan iterasi dari metode AM. Dapat dilihat bahwa yang berarti bahwa metode AM adalah monoton. Terlihat dari Gambar 3 bahwa tetapi. Meskipun tidak selalu berlaku untuk kasus fungsi konveks kuadratik. x k SD x 2k 1 AM x 2k AM x 2k 1 SD x 2k Gambar 3 Ilustrasi perbandingan metode Alternatif Minimisasi dan metode steepest descent

34 22 Algoritme 4.3 Alternatif Minimisasi (AM) Step 0. Diberikan titik awal dan batas toleransi. Tetapkan. Step 1. Tentukan dan. Jika, berhenti. Step 2. Jika k ganjil maka tentukan jika tidak tentukan Step 3. Hitung Step 4. Beri nilai, dan pergi ke Step 1. Metode Yuan Metode Yuan (Yuan 2006) menggunakan ukuran langkah yang bergantian seperti yang dilakukan pada metode AM. Akan tetapi metode Yuan menggunakan ukuran langkah yang baru. Untuk analisis pada metode Yuan, diasumsikan bahwa fungsi objektif adalah sebagai berikut: dimana dan simetris dan definit positif. Metode baru yang digunakan akan memberikan nilai minimum dari dengan melakukan iterasi. Dapat dilihat bahwa pencarian exact line harus dilakukan pada iterasi terakhir sebelum algoritme berhasil menemukan solusinya. Diasumsikan bahwa digunakan pencarian exact line pada iterasi pertama untuk mendapatkan keberuntungan apabila ada kasus dimana algoritme dapat menemukan solusi pada iterasi pertama. Oleh karena itu, dibuatlah algoritme sebagai berikut: dimana dan didapat dari pencarian exact line dan adalah solusi. Perlu dicari formula untuk sehingga akan menjadi nilai minimum dari fungsi objektif. Metode steepest descent adalah invarian dengan transformasi ortogonal. Untuk mempermudah analisis, dipelajari kasus dimana dan adalah dua buah sumbu. Sesuai dengan pencarian exact line pada iterasi pertama, gradien dan adalah ortogonal. Oleh karena itu untuk semua vektor dapat dituliskan sebagai kombinasi linear dari dan. Misalkan diberikan fungsi: ( ) ( ). /. / ( ). /

35 Berdasarkan pencarian exact line (4.20) pada iterasi pertama dan kedua, diperoleh, dan sehingga ( ) ( ). /. / ( ). / Dari persamaan di atas, dapat diketahui nilai minimum dari fungsi objektifnya dengan dan, sehingga diperoleh masing-masing: dan 23 (4.43) (4.44) Jika dilakukan eliminasi terhadap (4.43) dan (4.44) diperoleh dan Disederhanakan menjadi Untuk mendapatkan. / ( ), perlu diketahui bahwa arah gradien sejajar terhadap vektor residual. Untuk itu, diperlukan dua arah dan. / ( ) ( ) ( ) ( ) yang merupakan dua arah yang sejajar. Dua arah tersebut masing-masing sejajar terhadap. ( ) / dan ( ) Diasumsikan bahwa. ( ) / ( )

36 24 untuk. Berdasarkan baris pertama persamaan (4.45) didapatkan. Kemudian nilai λ tersebut disubtitusikan ke baris kedua pada persamaan (4.45) sehingga diperoleh ( ) Persamaan ini ekuivalen dengan ( ( ) ) Karena definit positif, diketahui bahwa ( ) Dari persamaan (4.46) diperoleh dua solusi positif untuk yaitu : ( ) ( ) Dari dua solusi tersebut dipilih nilai yang lebih kecil dan dapat dituliskan sebagai berikut: ( ) dengan. inilah yang disebut ukuran langkah baru dan kemudian akan diaplikasikan ke dalam metode hasil modifikasi steepest descent. Untuk fungsi konveks kuadratik di n ( > 2) dimensi, berdasarkan (4.47) dapat dituliskan Secara umum ukuran langkah ( ) dari metode Yuan adalah, Algoritme 4.4 Yuan Step 0. Diberikan titik awal dan batas toleransi. Step 1. Tentukan dan. Jika, berhenti. Tetapkan. Step 2. Tentukan. Kemudian hitung Step 3. Jika, berhenti Step 4. Tentukan dan. Tentukan ( ) Hitung Step 5. Jika, berhenti Step 6. Beri nilai, dan pergi ke Step 2.

37 25 Modifikasi Metode Steepest Descent dengan Ukuran Langkah Baru Telah dibahas pada sub-bab sebelumnya bahwa metode gradien Yuan menggunakan ukuran langkah dengan exact line search pada iterasi ganjil dan kemudian menggunakan ukuran langkah (4.48) pada iterasi genap yang secara umum dituliskan seperti pada (4.49). Berdasarkan metode Yuan ini maka akan dilakukan modifikasi ukuran langkah dengan dua ukuran langkah yang baru. Untuk ukuran langkah yang pertama akan dibentuk suatu algoritme dengan ide langkah sebagai berikut: (4.50) dimana dan merupakan ukuran langkah dengan proses pencarian menggunakan exact line search, sedangkan untuk dan menggunakan ukuran langkah Yuan (4.48). Algoritme (4.50) ini merupakan bentuk awal dari proses iterasi, sehingga untuk proses iterasi (4.50) selanjutnya akan terus berlanjut sampai solusi nilai ditemukan. Secara umum ukuran langkah dari bentuk (4.50) dapat dituliskan sebagai berikut:, Algoritme 4.5 Ukuran Langkah Baru (a) Step 0. Diberikan titik awal dan batas toleransi. Tetapkan. Step 1. Tentukan dan. Jika, berhenti. Step 2. Jika mod(k,4) = 0 atau 1 maka tentukan jika tidak tentukan dan ( ) Step 3. Hitung Step 4. Beri nilai, dan pergi ke Step 1. Untuk ukuran langkah baru yang kedua dapat dibuat algoritme dengan ide langkah sebagai berikut: (4.52) dimana dan merupakan ukuran langkah dengan proses pencarian menggunakan exact line search, sedangkan untuk dan menggunakan ukuran langkah Yuan. Sama halnya proses iterasi pada (4.50) proses iterasi pada

38 26 (4.52) pula akan terus berlanjut sampai solusi nilai ditemukan. Secara umum ukuran langkah dari bentuk (4.52) dapat dituliskan sebagai berikut:, Algoritme 4.6 Ukuran Langkah Baru (b) Step 0. Diberikan titik awal dan batas toleransi. Tetapkan. Step 1. Tentukan dan. Jika, berhenti. Step 2. Jika mod(k,4) = 1 atau 2 maka tentukan Jika tidak tentukan dan ( ) Step 3. Hitung Step 4. Beri nilai, dan pergi ke Step 1. Hasil Numerik Pada sub-bab ini dilakukan perbandingan hasil numerik dari setiap metode gradien yang telah dijelaskan pada sub-bab sebelumnya, yaitu SD, BB, AM, Yuan, Algoritme 4.5 dan Algoritme 4.6. Sintaks dari setiap metode dapat dilihat pada Lampiran 1. Ukuran langkah untuk metode SD menggunakan (4.20) yang merupakan penyederhanaan dari exact line search. Untuk metode BB dibagi menjadi dua bagian, yaitu BB1 menggunakan ukuran langkah (4.34) dan BB2 menggunakan ukuran langkah (4.35). Perbandingan dilakukan untuk kasus fungsi nonlinear dengan bentuk kuadratik. Fungsi kuadratik yang digunakan dalam penelitian ini dibangkitkan secara acak dalam bentuk menyatakan dimensi dari fungsi kuadratik dengan. vektor merupakaan bilangan acak integer pada interval, -. Selanjutnya dan merupakan kondisi dari matriks Hesse dari fungsi. Kemudian adalah bilangan acak integer pada interval, -. Untuk semua dimensi dan diberikan titik awal vektor nol dan kriteria penghentian adalah. Percobaan dilakukan sebanyak 5 kali untuk setiap dimensi dan setiap dari setiap metode. Sehingga percobaan yang dilakukan untuk satu dimensi sebanyak 105 kali dan total percobaan untuk semua dimensi sebanyak 1260 kali (Lampiran 2). Rata-rata jumlah iterasi dan running time dari percobaan disajikan pada tabel.

39 27 n Tabel 1 Rata-rata jumlah iterasi dari metode steepest descent λ n Rata-rata jumlah iterasi SD BB1 BB2 AM Yuan (4.5) (4.6) ** ** ** ** ** ** ** ** ** ** ** ** Lebih dari 2000 iterasi

40 28 n λ n Tabel 2 Rata-rata running time dari metode steepest descent Rata-rata running time (s) SD BB1 BB2 AM Yuan (4.5) (4.6) ** ** ** ** ** ** ** ** ** ** ** ** Lebih dari 1800 sekon