Konvergensi Global Metode Spectral Conjugate Descent yang Baru Menggunakan Pencarian Garis Armijo yang Termodifikasi

Transkripsi

1 42 ISSN Vol. 2 No. 2, April 2014 Konvergensi Global Metode Spectral Conjugate Descent yang Baru Menggunakan Pencarian Garis Armijo yang Termodifikasi Global Convergence of the New Spectral Conjugate Descent Method with the Modified Armijo-type Line Search Dahliatul Hasanah Fakultas MIPA Universitas Negeri Malang Jalan Semarang 5, Malang abstrak Metode nonlinear spectral conjugate descent yang baru merupakan gabungan dari metode conjugate descent metode spectral conjugate gradient. Metode ini menghasilkan yang berorientasi menurun (descent direction). Dengan menggunakan pencarian garis strong Wolfe Rule, metode ini telah dibuktikan konvergen global. Tulisan ini menganalisis tentang konvergensi global metode tersebut dengan menggunakan pencarian garis Armijo yang termodifikasi. Analisis ini menunjukkan bahwa menggunakan pencarian garis Armijo yang termodifikasi, metode nonlinear spectral conjugate descent yang baru konvergen global. Kata kunci: metode nonlinear spectral conjugate descent, konvergen global, pencarian garis Armijo yang termodifikasi abstract The new nonlinear spectral conjugate descent method is constructed by combining the spectral conjugate gradient method and conjugate descent method. This method generates descent direction d k. Under the strong Wolfe rule this method is globally convergent. This paper analyzed global convergence of this method using the modified Armijo line search. The result shows that the new nonlinear spectral conjugate descent method is globally convergent under the modified Armijo line search. Key words: nonlinear spectral conjugate descent method, global convergence, modified Armijo line search pendahuluan Beberapa tahun terakhir banyak bermunculan metode-metode baru yang merupakan modifikasi dari metode-metode lama untuk menyelesaikan masalah optimasi tanpa kendala. Hal ini dikarenakan masalah optimasi tanpa kendala banyak digunakan di berbagai big seperti transportasi, eksplorasi bahan bakar minyak, aerospace, sebagainya (Liu et al., 2012). Semakin besar skala atau variabel yang terlibat dalam masalah optimasi tanpa kendala, maka semakin besar pula kebutuhan akan aya suatu metode yang mampu menyelesaikan masalah optimasi tanpa kendala dalam skala besar. Masalah optimasi nonlinier tanpa kendala merupakan pencarian nilai minimum dari fungsi bernilai f(x) yaitu min f(x), x R n...(1.1) f adalah fungsi nonlinier yang kontinu terdiferensialkan dengan gradien g(x) = f(x). Masalah tersebut dapat diselesaikan secara numerik, yaitu dengan cara iteratif. Iterasi yang dijalankan dinotasikan dengan x k, k=1,2,... Setiap iterasi diberikan oleh x k+1 =x k + a k d k...(1.2) Alamat Korespondensi: iyut_dlia@yahoo.com

2 Hasanah: Konvergensi Global Metode Spectral Conjugate Descent 43 a k adalah panjang langkah (step length) yang ditentukan oleh suatu pencarian garis, d k adalah arah pencarian x 1 adalah titik awal. Salah satu metode yang terkenal untuk menyelesaikan masalah ini adalah metode conjugate gradient. Metode ini membutuhkan memori yang sedikit mempunyai sifat kekonvergenan lokal maupun global. Namun arah pencarian yang dihasilkan dari metode ini tidak dijamin arah yang menurun. Di lain pihak, metode spectral gradient menggunakan hanya gradien sebagai arahnya di setiap pencarian garisnya. Metode ini mempunyai performa yang lebih bagus daripada metode conjugate gradient dalam berbagai masalah (Birgin & Martinez, 2001). Birgin & Martinez (2001) mengembangkan metode spectral conjugate gradient yang merupakan gabungan dari metode spectral gradient metode conjugate gradient. Metode ini terbukti sangat efektif untuk menyelesaikan masalah optimasi tanpa kendala nonlinier. Akan tetapi metode ini menghasilkan arah yang belum tentu menurun. Metode lain yang terkenal adalah metode conjugate descent dengan menggunakan pencarian garis strong Wolfe. Metode ini dikembangkan oleh Fletcher (1987). Salah satu sifat penting dari metode ini adalah arah pencarian yang dihasilkan merupakan arah pencarian yang menurun (descent direction). Termotivasi oleh Birgin & Martinez, Liu et al. (2012) mengembangkan metode yang menggabungkan metode conjugate descent metode spectral conjugate gradient yang disebut dengan metode spectral conjugate descent. Metode ini menghasilkan arah pencarian yang menurun. Liu et al. (2012) telah menunjukkan bahwa metode ini konvergen global menggunakan pencarian garis strong Wolfe. Di lain pihak, untuk pencarian garis yang lain belum ditunjukkan kekonvergenan globalnya. Dalam makalah ini dibahas kekonvergenan global metode spectral conjugate descent dengan menggunakan pencarian garis Armijo yang termodifikasi. Hal ini termotivasi oleh Kim et al. (2008) yang menunjukkan bahwa pencarian garis Armijo yang termodifikasi lebih efisien dalam mencari nilai minimum lokal walaupun membutuhkan perhitungan yang lebih banyak dibandingkan pencarian garis lainnya. metode penelitian Kekonvergenan metode spectral conjugate descent dengan menggunakan pencarian garis Armijo yang termodifikasi dianalisis dengan menggunakan pendekatan secara numerik. Metode Conjugate Gradient Pada umumnya metode conjugate gradient dideskripsikan oleh iterasi berikut ini: ak>0 adalah panjang langkah (steplength) yang ditentukan oleh suatu pencarian garis, d k didefinisikan oleh:...(2.1) dengan g k =g(x k ) adalah gradien dari f di titik x k, b k adalah parameter yang jika digunakan untuk meminimumkan fungsi kuadratik yang konveks ketat, maka arah pencarian d k d k-1 merupakan konjugat berdasarkan Hessian dari fungsi objektif (Zhang et al., 2006). Dai et al. (2004) menyatakan bahwa jika fungsi objektifnya adalah fungsi kuadratik yang konveks ketat menggunakan pencarian garis eksak, maka metode conjugate gradient menghasilkan araharah pencarian yang konjugat satu dengan lainnya. Terdapat banyak formula untuk b k yang terkenal, di antaranya adalah Fletcher-Reeves (FR), Polak-Ribiere- Polyak (PRP) conjugate descent (CD). Formulaformula tersebut diberikan berikut ini:...(2.2) dengan Euclidean norm....(2.3)...(2.4) menyatakan Metode Spectral Conjugate Gradient Metode spectral gradient awalnya dikembangkan oleh Barzilai Borwein pada tahun 1988, kemudian Ray mengembangkan metode ini lebih jauh untuk menyelesaikan masalah optimasi tanpa kendala dalam skala besar. Birgin & Martinez (2001) mengembangkan tiga macam metode spectral conjugate gradient yang merupakan gabungan dari metode spectral gradient metode conjugate gradient. Arah pencarian diberikan oleh:

3 44 Sains & Mat, Vol. 2 No. 2, April 2014: parameter b k ditentukan oleh: b k adalah...(2.7) segkan adalah spectral gradient yang dapat ditentukan oleh:...(2.5). Secara numerik metode ini sangat efisien, akan tetapi arah pencarian yang dihasilkan belum tentu arah yang menurun (descent direction). Berdasarkan metode spectral conjugate gradient, Zhang et al. (2006) memodifikasi metode Flethcer- Reeves sehingga arah pencarian yang dihasilkan adalah arah pencarian yang menurun. Metode Fletcher-Reeves yang termodifikasi diberikan oleh:...(2.8) Dengan menggunakan pencarian garis Armijo yang termodifikasi akan ditunjukkan bahwa metode ini konvergen global serta menghasilkan arah pencarian yang menurun. Pencarian Garis Armijo Yang Termodifikasi Pencarian garis merupakan salah satu bagian yang penting dalam metode optimisasi. Terdapat dua jenis pencarian garis, yakni pencarian garis eksak tidak eksak. Namun dalam praktiknya, pencarian garis yang tidak eksak lebih dipilih daripada pencarian garis yang eksak karena sifat pencarian garis eksak yang terlalu mahal tidak efisien. Di lain pihak, bagi sebagian besar metode-metode optimisasi, sebagai contoh metode Newton metode Quasi-Newton, kekonvergenan metodenya tidak bergantung pada pencarian garis eksak yang digunakan. Secara umum, pencarian garis tidak eksak mencari panjang langkah (steplength) yang sesuai sehingga fungsi objektif merupakan fungsi yang menurun di setiap iterasinya. Salah satu pencarian garis yang tidak eksak adalah pencarian garis Armijo yang dideskripsikan sebagai berikut: diberikan,, terdapat bilangan bulat nonnegatif paling kecil sedemikian sehingga diberikan oleh (2.2). Modifikasi pencarian garis Armijo berdasarkan fungsi Jika pencarian garis yang digunakan adalah pencarian garis eksak, maka metode ini kembali ke metode Fletcer-Reeves yang standar. Metode Spectral Conjugate Descent Untuk mendapatkan arah pencarian yang menurun, Liu et al. (2012) mengkombinasi metode spectral conjugate gradient metode conjugate descent. Arah pencarian dari metode conjugate gradient descent diberikan oleh:...(2.6) B k adalah matriks simetris definit positif yang dikembangkan oleh Wei et al. (2000). Untuk memudahkan penggunaan, modifikasi ini dapat digunakan dengan mengubah B k menjadi mi untuk m>0. Untuk metode conjugate descent, pencarian garis Armijo yang termodifikasi dideskripsikan sebagai berikut: diberikan,,,, misal didefinisikan,, pencarian garis Armijo yang termodifikasi adalah mencari a k di mana j k adalah bilangan bulat nonnegatif paling kecil sehingga...(2.10)

4 Hasanah: Konvergensi Global Metode Spectral Conjugate Descent 45 Misal h>0 e>0 bilangan riil yang sangat kecil, maka jk yang paling sesuai ditentukan oleh...(2.11) Jika,, maka b k =0. Dengan demikian dari (2.6), (2.8) asumsi bahwa didapatkan dengan Bukti. 0 Dengan menggunakan induksi, kita akan tunjukkan bahwa kes 7 Bukti. Dengan menggunakan berlaku induksi,, sehingga kita akan berlaku tunjukkan bahwa kesimpulan Sehin hasil pembahasan berlaku. Kita asumsikan, sehingga benar berlaku untuk 7 Bukti. Dengan menggunakan induksi, kita akan tunjukkan bahwa kesimpulan benar. Untuk, yaitu (3.2) Berikut adalah algoritma metode spectral conjugate. Kita Bukti. asumsikan Dengan, benar maka menggunakan untuk. Dari induksi, (2.4), kita (2.6), akan yaitu tunjukkan (2.8) didapatkan bahwa k descent dengan menggunakan pencarian berlaku garis Armijo, sehingga berlaku (3.2) benar untuk Bukti. Dengan menggunakan induksi, kita akan tunjukkan bahwa kesimpulan benar. Untuk yang termodifikasi. Jadi kesimpulan, maka berlaku benar untuk. Dari (2.4),, sehingga k. Dengan (2.6) berlaku demikian (2.8) didapatkan Seh. Kita asumsikan benar untuk, yaitu. Jika berlaku, sehingga berlaku (3.2) benar untuk terbukti bahwa. Kita metode asumsikan spectral benar conjugate untuk descent, yaitu Algoritma SCD-MA. Kita asumsikan benar, maka untuk. Dari (2.4), (2.6) menghasilkan, yaitu (2.8) arah pencarian ( didapatkan yang ) menurun,. Jika yaitu Langkah 1 : diberikan,, Jika, maka, maka. Dari (2.4), dari (2.6) (2.6), (2.8) didapatkan asums, maka. Dari ( (2.4), (2.6) untuk setiap iterasinya.,. Pilih titik awal 0. Set Jika )(2.8) didapatkan didapatkan, maka. dari (2.6), (2.8) asumsi bahwa,. Jika, maka stop. Dengan menggunakan pencarian garis Armijo yang Jika (, maka ). didapatkan dari (2.6), (2.8) Langkah 2 : menentukan j k pada (2.11) cari a termodifikasi, f(x k k )} adalah ( asumsi bahwa barisan yang ) menurun. Hal Jika, maka. dari (2.6), (2.8) asum yang memenuhi (2.9) (2.10). didapatkan Jika, maka. dari ini (2.6), mengakibatkan (2.8) ( asumsi x k } yang bahwa dihasilkan ) oleh Algoritma L a n g k a h 3 : m i s a l d a n SCD-MA Jadi termuat didapatkan kesimpulan di W. benar Akibatnya untuk. Dengan terdapat demikian suatu terbukti bahwa met didapatkan (.. Jika maka stop. Jadi konstan ) kesimpulan descent f* sedemikian benar menghasilkan untuk sehingga. arah Dengan pencarian demikian yang terbukti menurun, bahwa yaitu metode spect Langkah 4 : tentukan b k oleh (2.7) j k oleh (2.8), Jadi kesimpulan ( benar ) untuk. Dengan descent demikian menghasilkan iterasinya. terbukti...(3.3) arah bahwa pencarian metode yang spectral menurun, conjugate yaitu maka tentukan d k oleh (2.6). iterasinya. Jadi kesimpulan Dengan menggunakan benar untuk pencarian. Dengan garis demikian Armijo terbukti yang bahwa termodi m Langkah 5 : set k=k+1, kembali descent ke menghasilkan langkah 2. arah pencarian yang menurun, yaitu untuk setiap Jadi kesimpulan benar untuk. Dengan demikian Asumsi terbukti bahwa SCD-MA metode juga spectral mengakibatkan conjugate terdapat Kekonvergenan global Algoritma SCD-MA akan Dengan barisan descent menggunakan yang menghasilkan menurun. pencarian Hal arah ini mengakibatkan pencarian garis Armijo yang menurun, yang yang termodifikasi, dihasilkan yaitu iterasinya. ole suatu konstan M>0 sedemikian sehingga untuk semua dibuktikan dengan descent menggunakan menghasilkan arah asumsi-asumsi pencarian yang menurun, yaitu untuk setiap barisan k berlaku yang termuat iterasinya. menurun. di. Hal Akibatnya ini mengakibatkan terdapat suatu konstan yang dihasilkan sedemikian oleh sehingga Algorit berikut. Dengan menggunakan pencarian garis Armijo yang termodifikasi, adalah iterasinya. termuat di...(3.4) Akibatnya Dengan terdapat menggunakan suatu konstan pencarian sedemikian garis Armijo sehingga yang termo barisan yang menurun. Hal ini mengakibatkan yang dihasilkan oleh Algoritma SCD-MA Asumsi SCD-MA Dengan menggunakan pencarian garis Armijo yang termodifikasi, adalah Asumsi barisan SCD-MA yang menurun. juga mengakibatkan Hal ini mengakibatkan terdapat suatu konstan yang dihasilkan sedo 1. Level set termuat di. Akibatnya terbatas; terdapat suatu konstan sedemikian sehingga barisan yang menurun. Hal ini mengakibatkan Lemma yang 3.2. dihasilkan Misalkan oleh Algoritma Asumsi SCD-MA berlaku. x 1 adalah titik awal. Asumsi SCD-MA semua termuat juga berlaku di mengakibatkan. Akibatnya terdapat terdapat suatu suatu konstan sedemikian sedemikian sehing s Maka 2. Gradien dari termuat fungsi di objektif. Akibatnya memenuhi terdapat kondisi suatu konstan sedemikian sehingga (3.3) semua berlaku Lipschitz, yaitu terdapat Asumsi L SCD-MA > 0 sedemikian juga mengakibatkan terdapat suatu konstan sedemikian sehingga...(3.5) untuk sehingga untuk semua Lemma Asumsi 3.2. SCD-MA Misalkan juga semua berlaku Asumsi mengakibatkan SCD-MA (3.3) berlaku. terdapat Maka suatu konstan s Asumsi SCD-MA juga mengakibatkan terdapat suatu konstan sedemikian sehingga untuk Bukti. Dari (3.3) kita dapatkan Lemma 3.2. semua Misalkan berlaku Asumsi SCD-MA berlaku. Maka (3.4) semua berlaku...(3.1) Bukti. Dari (3.3) kita dapatkan Berikut adalah teorema yang Lemma menunjukkan 3.2. Misalkan bahwa Asumsi SCD-MA berlaku. Maka (3.4) Algoritma SCD-MA menghasilkan arah pencarian Bukti. ( Dari Lemma (3.3) kita 3.2. dapatkan ) Misalkan ( Asumsi SCD-MA berlaku. ) (3.5) Maka yang menurun. Lemma 3.2. Misalkan Asumsi SCD-MA berlaku. Maka ( ) ( Bukti. Dari (3.3) kita dapatkan ( ( (3.5) ) ) Teorema 3.1. Misal g k } d k } dihasilkan oleh Bukti. Dari (3.3) kita dapatkan Bukti. Dari (3.3) kita dapatkan Algoritma SCD-MA, maka (...(3.2) Dengan Dengan ( demikian ).., Segkan dari (2.9) segkan dari (2.9) didapatkan Bukti. Dengan menggunakan induksi, kita akan Dengan ( demikian ( ) ( ) ). Segkan ( dari (2.9) didapatk tunjukkan bahwa kesimpulan benar. Untuk k=1 Dengan demikian ( berlaku d 1 =g 1, sehingga berlaku. Ini mengakibatkan. Segkan dari (2.9) ) didapatkan ( ). B Dengan demikian. Segkan dari (2. Dengan demikian, Dengan (3.2) demikian benar ( untuk ( k=1. Kita ) Ini ). mengakibatkan Segkan deret ( dari tersebut (2.9) adalah didapatkan deret ) nonnegative sehingga deret tersebut. Berdasarka adalah asumsikan benar untuk k-1,, yaitu ( ) ( deret tersebut Dengan adalah demikian deret nonnegative sehingga deret tersebut adalah deret. y (. Jika Ini mengakibatkan,, maka ) ( ). Berdasarkan (3.2), kedua. Dari (2.4), (2.6) deret (2.8) tersebut didapatkan adalah deret nonnegative Dengan Ini sehingga demikian Ini mengakibatkan deret tersebut adalah deret yang menurun... Ini mengakibatkan. Berdasarkan (3.2), (3.2), kedua kedua deret deret tersebut adalah deret nonnegative sehingga deret tersebut ada Dengan demikian. deret tersebut adalah deret nonnegative sehingga tersebut deret tersebut adalah adalah deret deret nonnegatif yang menurun. sehingga deret Dengan demikian. Dengan demikian.

5 46 Sains & Mat, Vol. 2 No. 2, April 2014: tersebut adalah deret yang menurun. Dengan demikian.. Kedua sifat ini sangat penting untuk menunjukkan kekonvergenan global Algoritma SCD-MA. Lemma 3.3. Misal Asumsi SCD-MA berlaku. Jika ada suatu konstan e>0 sedemikian sehingga untuk semua k>1 berlaku, maka terdapat suatu konstan M 1 >0 sedemikian sehingga untuk semua k berlaku...(3.6) Bukti. Untuk k=1 kita peroleh d 1 =g 1 sehingga.. Untuk k>2, jika,, maka dengan menggunakan (2.4), (2.6), (2.8) ketaksamaan segitiga didapatkan Lemma 3.4. Misal asumsi SCD-MA berlaku, x k } g k } dihasilkan oleh algoritma SCD-MA. Oleh karena itu, terdapat suatu konstan M 2 >0 sedemikian sehingga untuk semua k berlaku...(3.7) Bukti. (3.7) dapat dibuktikan pada beberapa kasus berikut. Kasus 1. a k =1. Berdasarkan (3.2) kita peroleh sehingga.. Hal ini mengakibatkan. Dengan demikian untuk. Karena g memenuhi kondisi Lipschitz,, maka Dari (3.4) untuk semua k, maka Karena, maka terdapat suatu konstan q (0,1) bilangan bulat K sedemikian sehingga untuk semua k>k, Dengan demikian, untuk semua k>k berlaku Kita definisikan }. Oleh karena itu, dapat disimpulkan bahwa untuk semua k. Kasus 2. a k <1. Jika a k <1 maka j k -1 adalah bilangan nonnegatif. Berdasarkan definisi a k dalam pencarian garis Armijo yang termodofikasi, tidak mungkin memenuhi (2.9) (2.10) secara bersamaan. Jika tidak memenuhi (2.9), maka ( ) Berdasarkan Teorema Nilai Rata-rata terhadap turunan, terdapat sedemikian sehingga ( ) ( ) ( ) Kedua ruas dibagi dengan dengan didapatkan ( ( ) ) kemudian dikurangkan

6 Hasanah: Konvergensi Global Metode Spectral Conjugate Descent 47 Karena ( ( ) ) ( ), maka ( ( ) ) Kita dapatkan Dari (3.2) diperoleh Jika tidak memenuhi (2.10), maka Kedua ruas dikurangi oleh maka didapatkan ( ) Berdasarkan asumsi SCD-MA didapatkan ( ( ) ) ( ) Didefinisikan Teorema 3.5. Misalkan Asumsi SCD-MA berlaku, x k } g k } dihasilkan oleh algoritma SCD-MA. Maka Bukti. Andaikan tidak benar bahwa Maka terdapat suatu konstan e>0 sedemikian sehingga untuk setiap k berlaku. Berdasarkan lemma 3.3, terdapat konstan M 1 >0 sedemikian sehingga untuk semua k berlaku. Di lain pihak, untuk suatu konstan M 2 >0. kita dapatkan Untuk berlaku.. Hal ini kontradiksi dengan untuk semua k untuk suatu e>0. berlaku Dengan demikian metode spectral conjugate descent menghasilkan arah pencarian d k yang menurun. Dengan menggunakan pencarian garis Armijo yang termodifikasi, metode ini konvergen global. simpulan saran Metode nonlinear spectral conjugate descent baru yang merupakan gabungan dari metode conjugate descent metode spectral conjugate gradient terbukti mempunyai arah pencarian yang menurun (descent direction). Dengan menggunakan pencarian garis Strong Wolfe, metode ini konvergen global. Dengan menggunakan pencarian garis Armijo yang termodifikasi yang dilaporkan merupakan pencarian garis yang efisien, metode spectal conjugate descent memberikan hasil yang konvergen global. Selain pencarian garis Armijo yang termodifikasi, masih terdapat dua pencarian garis tidak eksak yang termodifikasi yang perlu diteliti kekonvergenan metode nonlinear spectral conjugate descent dengan pencarian garis tersebut sehingga dapat digunakan sebagai bahan penelitian selanjutnya. maka didapatkan }.. daftar pustaka Birgin EG & Martinez JM, A Spectral Conjugate Gradient Method for Unconstrained Optimization. Appl. Math. Optim.; 43:

7 48 Sains & Mat, Vol. 2 No. 2, April 2014: Dai YH, Liao LZ & Li D, On Restart Procedures for the Conjugate Gradient Method. Numerical Algorithms; 35: Kim M, Kwon S & Oh S, The Performance of A Modified Armijo Line Search Rule in BFGS Optimization Method. Journal of The Chungcheong Mathematical Society; 21(1): Liu J & Jiang Y, Global Convergence of A Spectral Conjugate Gradient Method for Unconstrained Optimization. Abstract and Applied Analysis; Vol doi: /2012/ Wei Z, Qi L, Ito S, New step-size rules for optimization problems. Guangxi: Department of Mathematics and Information Science, Guangxi University. Wei XW, Li GY & Qi LQ, Global Convergence of The Polak- Ribiere-Polyak Conjugate Gradient Method with an Armijo- Type Inexact Line Search for Nonconvex Unconstrained Optimization Problems. Mathematics of Computation; 77(264): Zhang L, Zhou W & Li D, Global Convergence of a Modified Fletcher-Reeves Conjugate Gradient Method with Armijo-Type Line Search. Numer. Math; 104: