BAB III ANALISIS. job[0] <no_mesin1 waktu_operasi1> <no_mesin2 waktu_operasi2>.. job[1] <no_mesin1 waktu_operasi1> <no_mesin2 waktu_operasi2>..

Transkripsi

1 BAB III ANALISIS 3.1 Pendahuluan Dalam tugas akhir ini, permasalahan job shop scheduling diselesaikan dengan menerapkan sistem multiagent dengan kemampuan pembelajaran (learning) dan penalaran (reasoning) dan. Sistem multiagent ini akan melakukan simulasi pemrosesan job yang didefinisikan user untuk menghasilkan jadwal pemrosesan yang optimal. Setiap agen akan belajar menentukan aksi (dalam hal ini, dispatch priority rule yang dipakai untuk memilih job) yang memberikan hasil optimal saat menghadapi kondisi tertentu (digambarkan dengan kondisi job pada tiap mesin). Pembelajaran dilakukan dengan metode reinforcement learning, jadi agen akan belajar melalui interaksi dengan lingkungan (dalam hal ini, memproses job dan memperoleh reward). Pengetahuan yang diperoleh agen melalui pengalamannya saat memproses job disimpan dalam bentuk kasus-solusi (case-solutions). Penalaran pengetahuan dilakukan agen dengan memanfaatkan paradigma penalaran berbasis kasus (case-based reasoning). 3.2 Representasi Job Shop Problem Representasi job shop problem pada tugas akhir ini mengacu pada definisi permasalahan job shop scheduling pada Operational Research (OR) Library ( : jumlah_job jumlah_mesin job[0] <no_mesin1 waktu_operasi1> <no_mesin2 waktu_operasi2>.. job[1] <no_mesin1 waktu_operasi1> <no_mesin2 waktu_operasi2>.. job[jumlah_job] <no_mesin1 waktu_operasi1> <no_mesin2 waktu_operasi2> contoh: III-1

2 III jumlah_job adalah jumlah job yang harus diselesaikan. jumlah_mesin adalah jumlah mesin yang tersedia untuk menyelesaikan seluruh job yang ada. Tiap job memiliki dua atribut, yaitu : 1. no_mesin adalah mesin yang harus dilalui oleh job tersebut untuk dapat dinyatakan selesai. 2. waktu_operasi adalah waktu operasi pada setiap mesin ke-no_mesin. jumlah_mesin dan definisi tiap job harus konsisten. Jika di dalam urutan_mesin terdapat instans mesin yang indeks nya berada di luar batas jumlah_mesin, maka masalah job shop scheduling tersebut tidak dapat diselesaikan. Untuk melakukan simulasi penyelesaian tiap job yang ada, maka dibuat sebuah struktur data untuk memuat informasi setiap job Job: <urutan_mesin, urutan_waktu_operasi, penghitung>. Mengacu pada contoh representasi permasalahan job shop scheduling di atas maka struktur data dari job pertama adalah Job[0] < { }, { },0> Penghitung adalah nilai yang akan terus dimutakhirkan sesuai dengan lama proses yang telah dialami job tersebut (jadi diinisialisasi dengan 0). 3.3 Representasi Agen Pendekatan Sistem multiagent untuk penyelesaian permasalahan job shop scheduling ini dilakukan dengan membuat agen, yaitu machine agent, untuk tiap mesin yang bertugas untuk mengambil keputusan (job atau operasi yang dipilih) pada tiap kondisi dan melakukan pembelajaran dari tiap keputusan yang diambil. Penjelasan lebih lanjut tentang representasi

3 III-3 pengetahuan machine agent dan proses pembelajarannya akan dijelaskan di subbab representasi pengetahuan agen dan pembelajaran agen. Tugas dari machine agent hanyalah untuk mengambil keputusan dan melakukan pembelajaran, karena itu diperlukan sebuah agen lagi, yaitu control agent, yang bertugas mengatur seluruh proses pembuatan jadwal. Control agent bertugas untuk memulai dan menghentikan proses simulasi, melakukan simulasi pemberian daftar job ke setiap machine agent, melakukan pemutakhiran status tiap job dan status tiap machine agent saat simulasi dan mencatat semua aksi yang diambil seluruh machine agent di setiap waktu ke dalam sebuah jadwal. Interaksi antar kedua jenis agen ini menghasilkan sebuah simulasi penyelesaian masalah job shop scheduling yang hasil akhirnya adalah jadwal penyelesaian seluruh job. Tahap-tahap interaksi machine agent dan control agent dapat dilihat pada flowchart pada Gambar III-3 Flowchart global program. Pada lampiran A, dapat dilihat interaksi antara control agent dan machine agent dalam salah satu contoh permasalahan job shop scheduling. 3.4 Representasi Pengetahuan Agen Representasi pengetahuan yang dimiliki oleh machine agent berupa sejumlah kasus Casebase = <state, solution>. Diagram dari representasi pengetahuan agen dapat dilihat pada Gambar III-1. Gambar III-1 Diagram representasi pengetahuan agen

4 III-4 Bagian state yang merupakan identifier dari tiap kasus direpresentasikan oleh keadaan sistem yang digambarkan oleh status tiap job dan mesin. Menurut [RIE99] keadaan sistem dapat dibedakan menjadi dua yaitu: 1. Keadaan sistem statik, yaitu spesifikasi awal dari sistem tersebut. Contoh: jumlah job, jumlah mesin, estimasi makespan (dengan perhitungan) 2. Keadaan sistem dinamis, yaitu keadaan sistem yang berbeda dari waktu ke waktu. Keadaan sistem dinamis, menggambarkan progress sistem tersebut saat beroperasi. a. Kondisi job : due date setiap job, processing time job, slack time dari job b. Konsekuensi dari aksi : slack time rata-rata akibat penerapan aksi c. Hubungan antara job/operasi : urutan operasi yang belum dilalui tiap job Setiap kasus harus memiliki state yang unik dan menggambarkan kasus yang sedang dihadapinya. Dalam analogi dokter dan pasien, seorang dokter harus bisa melihat ciri-ciri atau gejala penyakit pasien dengan tepat untuk bisa menentukan kasus penyakit pasien dan pengobatannya. Demikian juga dalam kasus job shop scheduling, state yang digunakan harus menggambarkan keadaan sistem. Karena fokus utama sistem multiagent ini adalah untuk menyelesaikan dengan optimal suatu permasalahan, maka state yang digunakan adalah keadaan sistem dinamis, yaitu kondisi job : total due date, total slack time dan total processing time dari seluruh job yang belum selesai. Selain itu ditambahkan juga current time atau waktu simulasi (incremental value yang menggambarkan waktu simulasi) untuk meningkatkan keunikan state kasus Casebase.state = < total_due_date, total_slack_time, total_processing_time, current_time > Bagian solution merupakan daftar tuple pengalaman (experience) E = <aksi, jumlah_update, nilai_q> dan nilai evaluasi dari solusi (evaluation value). Nilai evaluasi merupakan nilai boolean yang menyatakan apakah solusi tersebut pernah diakses / digunakan atau tidak. Seperti yang telah disebutkan di atas, aksi yang menjadi pilihan dalam proses learning ada tiga buah : EDD, MS dan SPT. Ketiga pilihan aksi tersebut direpresentasikan dalam bentuk kode: 0 = EDD, 1 = MS dan 2 = SPT. Casebase.solution = <E,V> Casebase.solution.E[0] = <aksi, jumlah_update, nilai_q> Casebase.solution.E[1] = <aksi, jumlah_update, nilai_q>

5 III-5 Casebase.solution.E[2] = <aksi, jumlah_update, nilai_q> Aksi = {0, 1, 2} Aksi yang diambil oleh machine agent adalah cara pemilihan job (job dispatching rule). Dalam tugas akhir ini, daftar aksi yang dipilih dibatasi menjadi tiga yaitu : 1. Earliest Due Date (EDD) : job yang dipilih adalah job dengan total waktu proses (operation time) terkecil. Algoritma dapat dilihat pada Algoritma III-1. function duedate (j: job, tahap_rute: integer): integer i,result:integer i := tahap_rute iterate i to job.route.length result:= result + job.optime[i] duedate := result Algoritma III-1 Earliest Due Date 2. Minimum Slack (MS) : job yang dipilih adalah job dengan waktu sisa proses (slack) terkecil. Algoritma dapat dilihat pada Algoritma III-2. function slack (j: job, tahap_rute: integer): integer slack := duedate(job, tahap_rute) job[i].penghitung Algoritma III-2 Minimum Slack 3. Shortest Processing Time (SPT): job yang dipilih adalah job dengan waktu proses tersingkat untuk mesin yang bersangkutan. Algoritma dapat dilihat pada Algoritma III-3. function processingtime (j: job, tahap_rute: integer): integer processingtime := j.optime[tahap_rute] Algoritma III-3 Shortest Processing Time Kasus (case) pada basis pengetahuan agen terurut berdasarkan kedatangannya. Sedangkan atribut experience dari bagian solution terurut menaik berdasarkan nilai_q (Q-value). Q- value merupakan nilai yang diperoleh dari hasil pembelajaran agen,yaitu dengan memproses job yang diberikan kepadanya. Semakin rendah nilai Q, artinya aksi yang memiliki nilai Q tersebut memberikan reward yang lebih baik (meminimalisasi makespan).

6 III-6 {fungsi untuk menghitung derajat perbedaan antara dua kasus} function dif(s1: state, s2: state): integer {kamus} i: integer sum : integer {algoritma} sum :=0 i traversal 0.. jumlah_atribut_state sum := sum + (s1.atribut i - s2.atribut i ) dif := akarkuadrat(sum) Algoritma III-4 Difference antara state Proses retrieval atau pengambilan kembali kasus dilakukan dengan menggunakan nearest neighbour (pencarian kasus tersimpan yang paling mendekati kondisi yang dihadapi sistem). Perbandingan dilakukan pada state kasus sebagai identitas unik dari setiap kasus yang disimpan. Format spesifikasi dari kondisi sistem yang dibandingkan harus sama dengan format state kasus yang disimpan. Algoritma untuk menentukan perbedaan (difference) antara kasus yang dihadapi dengan kasus yang disimpan menggunkan Euclidean distance dengan algoritma yang dapat dilihat pada Algoritma III Pembelajaran Agen Pembelajaran dilakukan dengan reinforcement learning (metode Q-learning) dengan tujuan untuk menemukan policy, yaitu aksi (dispatching rule) yang paling tepat untuk tiap kondisi sistem secara global (kondisi tiap waiting job). Pada Sistem multiagent, di mana terdapat banyak agen yang bekerja secara konkuren, maka aksi yang dipelajari oleh sistem sebenarnya adalah vektor dari aksi-aksi elementer tiap agen. Setiap agen memberikan kontribusi aksi untuk menghasilkan vektor aksi gabungan (joint action vector). Jadi tujuan bersama dari tiap agen (tujuan dari pembelajaran sistem) adalah mencari joint policy yang merupakan pemetaan kondisi-aksi untuk tiap agen yang menghasilkan reward yang optimal [GAB06]. Sehingga pada model permasalahan job shop scheduling ini, tujuan utama yang ingin dicapai adalah menghasilkan rangkaian cara pemilihan job yang tepat untuk tiap machine agent

7 III-7 sehingga dapat dihasilkan jadwal kerja yang optimal. Jadwal kerja yang optimal dicapai dengan menghasilkan keterlambatan penyelesaian (tardiness) yang minimal untuk seluruh job. Perhitungan nilai assignment Q dapat dilihat pada Algoritma III-5. Casebase.solution.E[0] merupakan aksi terbaik yang diketahui machine agent, yaitu yang memiliki nilai Q paling rendah dari kondisi suksesor. Sehingga fungsi Q yang ada akan semakin meminimumkan tardiness (keterlambatan penyelesaian). {prosedur untuk memutakhirkan nilai q} function updateq (var cbold: casebase, cbnew: casebase) cbold.solution.e[i].nilai_q := (1-α) cbold.solution.e[i].nilai_q + α(r+γ cbnew.solution.e[0].nilai_q) Algoritma III-5 Assignment nilai Q Nilai α merupakan learning rate yaitu faktor yang menentukan pemutakhiran nilai Q dapat dilihat pada Algoritma III-6. Semakin besar nilai α maka nilai Q akan dimutakhirkan semakin mendekati nilai Q yang baru. {fungsi untuk menghitung learning rate} function getlearningrate(cb: casebase): double learningrate := 1 / 1 + cb.solution.e[i].nilai_update Algoritma III-6 Fungsi penghitung learning rate Nilai reward yang ada diperoleh dari tardiness job. Sehingga, nilai reward yang terbaik adalah 0. Semakin tinggi nilai reward, artinya semakin buruk aksi yang telah dilakukan. Algoritma untuk menghitung nilai reward ada pada Algoritma III-7. {fungsi untuk menghitung reward value di setiap agen} function getreward(waktu_penyelesaian: integer, duedate: integer): double getreward := waktu_penyelesaian duedate Algoritma III-7 Fungsi penghitung reward Nilai global reward dihitung dengan menjumlahkan total nilai reward (dari seluruh agen) dengan rata-rata slack time dari seluruh job (dapat dilihat pada Algoritma III-8). Global

8 III-8 reward akan diberikan ke seluruh agen sehingga setiap agen mengetahui dampak global dari aksi yang dilakukannya. {fungsi untuk menghitung reward value global} function getglobalreward(totalreward: integer, jobs: array of job, arr_tahap_rute: array of integer): double {kamus} i:integer totalslack: double {algoritma} totalslack := 0 i traversal 0..(jobs.length-1) totalslack := totalslack + slack(job[i],arr_tahap_rute[i]) getglobalreward := totalreward + (totalslack / jobs.length) Algoritma III-8 Fungsi penghitung global reward Dengan penalaran case-based reasoning dan pembelajaran reinforcement learning, akan terbentuk suatu basis pengetahuan yang terdiri dari kumpulan case yang saling terhubung pada tiap agen. Bentuk basis pengetahua yang terbentuk dapat diilutrasikan seperti pada Gambar III-2 Ilustrasi basis pengetahuan yang terbentuk. Gambar III-2 Ilustrasi basis pengetahuan yang terbentuk

9 III Algoritma program Pada program simulasi ini, tiap agen yaitu machine agent mewakili tiap mesin, yang bertugas untuk mengambil keputusan. Setiap mesin diberi nama/kode berupa : [0 jumlah_mesin]. Sedangkan seluruh simulasi proses pembuatan jadwal dilakukan pada satu agen yaitu control agent. Urutan kerja agen: 1. Control agent akan mengirimkan daftar job kepada tiap machine agent 2. Machine agent akan memutuskan job yang dipilih berdasarkan pengetahuan yang dimilikinya dan mengirim keputusannya kepada control agent 3. Control agent memutakhirkan jadwal dan status job dan machine agent dan kemudian kembali mengirimkan job kepada tiap machine agent 4. Jika semua job sudah selesai diproses maka control agent akan men-shutdown dirinya dan semua machine agent Setiap machine agent melakukan pembelajaran mesin dengan reinforcement learning. Tujuan pembelajaran ini adalah mencari policy atau aturan yang meminimumkan waktu total yang dibutuhkan untuk menyelesaikan seluruh job (meminimumkan waktu jadwal selesai). Algoritma program utama (main program) dijelaskan pada flowchart program pada Gambar III-3, sedangkan pseudocode program dapat dilihat pada Algoritma III-9.

10 III CB : list of casebase <state,solution>; Ct : global time; Jumlah_mesin : jumlah machine agent; S : kondisi (state) S : kondisi suksesor V : casebase 2. Repeat a. S:=S ; b. For machine agents(i jumlah_mesin) do i. If CB = Ø or tidak ada kasus yang cukup dekat then Tambah case base dengan kondisi S dan solusi kosong; Reinisialisasi 2 kasus terdekat dengan S ii. Cari V:= casebase terdekat (nearest neighbour) dari kondisi S pada CB; iii. Pilih aksi a[i]:=yang terbaik atau random; c. Terapkan joint-actions a:={a[0],a[1]..,a[i]}; d. Berikan global reward ke semua agen; e. S := kondisi suksesor akibat a; f. For machine agents(i jumlah_mesin) do i. V := casebase terdekat (nearest neighbour) dari kondisi S pada CB; ii. Tentukan α:= 1/1+ V.solution.E[i].nilai_update; iii. Tentukan V.solution.E[i].nilai_Q := (1-α) V.solution.E[i].nilai_Q + α(r+γ V.solution.E[0].nilai_Q); iv. V.solution.E[i].nilai_update ++; v. Urutkan E menaik berdasarkan nilai_q; g. Until(semua job selesai dikerjakan) Algoritma III-9 Algoritma global program

11 III-11 Legenda Gambar III-3 Flowchart global program

12 III-12 CB adalah kumpulan case base dari tiap machine agent (tiap machine agent memiliki CB tersendiri). Ct adalah global time, yang menjadi acuan waktu yang sama bagi seluruh elemen sistem. Sedangkan jumlah_mesin adalah jumlah mesin yang didefinisikan pada permasalahan job shop tersebut Siklus CBR pada sistem ini adalah sebagai berikut : 1. Retain Untuk semua machine agent, tambahkan case base dari kondisi (state) yang baru S jika CB machine agent kosong atau S tidak memiliki neighbour yang cukup dekat (dibatasi dengan nilai threshold yang dihitung dari rata-rata operation time seluruh job) pada CB. Ketika case baru dengan state S ditambah, maka dua case terdekat dengan case baru harus direinisialisasi karena setelah case baru ditambahkan, transisi dari kedua case tersebut akan berubah. 2. Retrieval dan Reuse Setelah itu, ambil V yaitu case base yang paling dekat dengan kondisi S. Pilih aksi sebagai solusi elementer dari V. Aksi bisa dipilih secara acak (eksplorasi) atau dipilih aksi terbaik (eksploitasi, menggunakan aksi yang memiliki nilai Q terendah). Kedua kemungkinan pemilihan aksi ini ditentukan dengan nilai probabilitas eksplorasi yang juga ditentukan oleh user. 3. Revise Aksi yang diperoleh dari setiap machine agent, yang memiliki daftar pekerjaan pada saat itu, digabungkan menjadi vektor aksi yang kemudian diterapkan pada sistem. Setelah menerima immediate reward dari hasil penerapan aksi tersebut, nilai immediate reward dikirimkan ke semua agen yang berkontribusi di dalam vektor aksi yang telah diterapkan. Setelah itu, kondisi (state) suksesor S adalah kondisi sistem akibat dari penerapan vektor aksi pada sistem. Setelah itu, untuk semua machine agent, lakukan pemutakhiran nilai-nilai atribut experience dari solution pada case base V yang merupakan case base terdekat dari kondisi S. Untuk melakukan pemutakhiran dibutuhkan immediate reward dan nilai Q dari case base V yang merupakan case base terdekat dari kondisi suksesor S. Nilai yang dimutakhirkan adalah nilai Q dan nilai update (menandakan berapa kali solusi tersebut telah digunakan). Setelah nilai selesai dimutakhirkan, maka experience dari solution pada case base V akan diurutkan menaik berdasarkan nilai Q. Dengan pengurutan ini, dijamin

13 III-13 bahwa aksi pada indeks pertama dari experience adalah aksi yang terbaik (memiliki nilai Q terendah). Siklus dimulai dari retain karena pada awal sistem ini karena untuk memilih aksi, machine agent harus memiliki basis pengetahuan lebih dulu (minimal satu case). Jika machine agent belum memiliki case sama dalam basis pengetahuannya, machine agent tidak bisa memutuskan aksi yang akan digunakan.