SUBSAMPLE IN BIG DATA BASED SOME METHOD

Transkripsi

1 SUBSAMPLE IN BIG DATA BASED SOME METHOD (LEVERAGE, MEAN OF LOG LIKELIHOOD, BUGS OF LITTLE BOOTSTRAPS (BLB)) TUGAS PENGANTAR BIG DATA Dosen Pengampu : Danang Akbar Riyano Farah Adibah M Dr.Danardono, MPH Vemmie Nastiti, M.Si Disusun oleh : Dita Dwi Aprilliani Ayu Lestari Andi Giofanny M (13/352688/PA/15690) (14/363866/PA/15867) (14/364245/PA/15965) (14/368626/PA/16297) DEPARTEMEN MATEMATIKA FAKULTAS MATEMATIKA DAN ILMU PENGETAHUAN ALAM UNIVERSITAS GADJAH MADA YOGYAKARTA 2017

2 BAB I PENDAHULUAN Pada bagian ini akan diberikan pengantar mengenai latar belakang dituliskannya paper ini. Dimulai dengan permasalahan umum dari big data dan beberapa cara untuk mengatasinya. Dalam pendahuluan ini akan dijelaskan secara umum mengenai beberapa untuk menyelesaikan kasus dalam big data. 1.1 Latar Belakang Belakangan ini, big data menjadi isu yang hangat dalam dunia statistika. Big data mulai masuk dan dikenal di Indonesia sejak tahun 2000 seiring dengan kebutuhan manusia yang semakin banyak dan keinginan pemenuhan kebutuhannya yang semakin cepat dan serba praktis. Oleh karena itu big data merupakan sebuah tantangan baru yang harus dieksekusi sesegera mungkin dan seefisien mungkin. Semakin besar sebuah data maaka semakin besar yang harus ditangani. Big data tidak hanya mengenai suatu data yang berjumlah besar tetapi lebih pada sebuah sistem yang merupakan perpaduan dari tiga unsur utama, yaitu volume, variasi dan kecepatan. Volume menyangkut mengenai jumlah dari data yang besar, bahkan mencapai angka miliaran data. Selain itu, volume juga menunjukkan berbagai sub-sub populasi dari berbagai karakteristik yang bersatu padu dalam kapasitas yang besar. Variasi, elemen variasi dalam Data Besar menunjukkan besarnya keragaman karakteristik yang ada dari setiap kombinasi antar data dalam jumlah yang besar dalam satuan volume tertentu. Secara mendalam adanya variasi menunjukkan keanekaragaman informasi dalam suatu data sehingga semakin bervariasi artinya data tersebut semakin besar memberikan informasi dalam beragam karakteristik. Oleh karena itu, dalam big data terdapat informasi yang memungkinkan hampir tidak terbatas jumlahnya sehingga sangat diperlukan alat yang sesuai untuk analisis yang nantinya digunakan sebagai pengambilan. Kecepatan, elemen ketiga ini sangat erat hubungannya dengan kendala waktu atas keinginan para pengguna data karena selain ada beberapa sifat data yang sangat sensitif dan strategis juga terdapat pula data yang memang perlu waktu relatif lama untuk digunakan. Kecepatan diperlukan karena menyangkut

3 strategi bisnis dan perdagangan sehingga menuntut agar informasi mengenai data tersebut bisa didapatkan oleh pengguna data dengan cepat untuk segera mengambil keputusan dan kebijakan bisnis dan perdagangan. Semakin besar jumlah data maka akan menghasilkan informasi yang semakin banyak, valid dan mengambarkan kenyataan. Namun, dalam kenyataannya sangat sulit untuk mengolah data dalam jumlah yang sangat besar. Selain itu juga masih terbatasnya jurnal dan alat yang dapat digunakan untuk mengolah big data. Sejalan dengan kemajuan dan perkembangan ilmu pengetahuan dan teknologi, peranan ilmu statistika mengalami banyak perubahan ke arah yang lebih baik, khususnya metodologi penelitian, baik eksak maupun non-eksak. Keterkaitan dengan metodologi penelitian, dalam prosedur untuk sampai tahapan analisis secara umum salah satunya dapat menggunakan metode sub sampling. Subsampling adalah sebuah metode statistika unuk mengukur dan mengontrol non-sampling error dan mengestimasi standard errors. Metode ini menjadi sebuah alat mengambil kesimpulan dari berbagai kondisi populasi. Metode ini mulai berkembang sejak berkembangnya metode bootstraping yang mampu mengestimasi dan membangun sampling distribution menggunakan nilai dari subsample-nya. Terkait dalam upaya mendapatkan sampel, dalam perkembangannya para ahli statistika telah mengembangkan berbagai bentuk formula mengenai seberapa besar jumlah sampel yang relevan untuk digunakan sebagai pondasi bahan baku analisis data. Relasinya dengan Big Data, dengan volumenya yang banyak dengan variasi yang besar serta adanya kendala waku dalam aspek kecepatan dalam penyajian hasil kepada konsumen data, menjadikan metode sub sampling bisa digunakan sebagai salah satu alternatif dalam mengolah big data. Dalam tugas ini akan dibahas beberapa metode dalam subsampling seperti Bootstrap, Laveraging, dan Mean Log-Likelihood. 1. Leveraging Dalam metode laveraging sebuah sampel diambil dari proporsi tertentu sebuah data dengan bobot tertentu dari data keseluruhan, kemudian dilakukan perhitungan

4 jumlah sampel keseluruhan. Inti dari metode laveraging adalah proses pembobotan, distribusi marginal dari setiap sampel. Salah satu analisis statistik yang lazim digunakan dalam menentukan nilai suatu sampel adalah regresi linier. Dalam tugas ini akan dibahas proses laveraging untuk model regresi dalam melakukan analisis big data. Dimulai dengan membahas model linier dan estimasi parameternya. Ordinary Lest Square (OLS) merupakan salah satu metode yang sering digunakan dalam membuat suatu model linier. Diberikan model regresi linier gaussian y = Xβ 0 + ε dimana y adalah vektor varibel respon berukuran n x 1, X merupakan matrix variabel prediktor berukuran n x p, β 0 adalah vektor keofisien berukuran p x 1, dan noise vector ε~n(0, σ 2 I). Dengan kondisi keofisien β 0 diestimasi dengan maximum likelihood estimation dan diperoleh β ols = argmin β y Xβ 2 = (X T X) 1 X T y dalam kasus ini vektor respon didapatkan y = Hy, dimana H = (X T X) 1 X T. Diagonal elemen ke-i th dari H dituliskan h ii = x T i (X T X) 1 T x i, dimana x i adalah baris ke-i th dari X, adalah statistical laverage dari i th atau disebut sampel. Sejak H dapat dituliskan seperti H = UU T dimana U adalah setiap basis ortogonal untuk ruang kolom dari X, leverage dari observasi i th dituliskan p 2 h ii = U ij = u i 2 j=1 dimana u T i adalah baris ke-i th dari U. Untuk estimasi β, nilai kesalahan estimator β diukur dengan Mean Ssquared Error didefinisikan MSE(β ) = 1 n E [(Xβ 0 Xβ ) T (Xβ 0 Xβ )] = 1 n Tr(Var[Xβ ]) + 1 n (E[Xβ ] Xβ 0 ) T (E[Xβ ] Xβ 0 )

5 = 1 n Tr(Var[Xβ ]) + 1 n (bias[xβ ]) T (bias[xβ ]) dimana β 0 adalah nilai sebenarnya dari β. MSE dapat digunakan sebagai pembanding dengan estimator subsampling lain. Ketika ukuran sampel n sangat besar estimator OLS dapat menyebabkan bias dalam melakukan estimasi. Misalnya, jika p = n, perhitungan estimator OLS adalah O(n 2 ) untuk n yang sangat besar mungkin tidak layak digunakan. Untuk mengoptimalisasikannya dapat digunakan metode laveraging. Seperti yang telah dijelaskan sebelumnya, salah satu hal terpenting dalam metode ini adalah proses pembobotannya. Langkah pembobotan metode laveraging adalah sebagai berikut: - Mengambil random subsample dengan besar r dari data yang probablitas samplingny telah ditentukan π = {π 1, π 2,, π n }. Membuat random subsample dari r<<n, tuliskan sebagai (X, y )dari sampel keseluruhan dengan probabilitas π. Lalu simpan matrix sampling probabilitas θ = diag{π k } yang saling berkorespondensi - Berikutnya dilakutan pembobotan least square menggunakan subsample yang telah dihasilkan. Lalu akan diperoleh estimator OLS menggunakan subsample. Estimasi dari β yang diperoleh dari subsample pembobotan least square, sehingga diperoleh 2. Mean Log-likelihood β wls = argmin β θ 1 2 y θ 1 2 Xβ 2 Metode ini menggunakan rata-rata Monte Carlo yang dihitung dari sub-sampel untuk memperkirakan ukuran yang dibutuhkan untuk data penuh. Misalkan dimiliki n sampel X 1, X 2,, X n, selanjutnya dari setiap sampel dilakukan perhatingan subsample yang dinotasikan dengan x 1, x 2,, x n. Untuk setiap x i, i = 1,2,, n merupakan rata-rata Monte Carlo berikutnya dilambangkan μ i. Selanjutnya dengan mengambil f(μ 1, μ 2,, μ n ; θ) dengan θ Ω dimana θ adalah parameter yang tidak diketahui serta

6 Ω adalah ruang parameter yang menunjukan himpunan seluruh nilai θ yang mungkin maka fungsi likelihood dari θ adalah sebagai berikut L(θ) = f(μ 1 ; θ)f(μ 2 ; θ) f(μ n ; θ) L(θ) merupakan fungsi peluang bersama dari variabel random X 1, X 2,, X n yang bersifat i.i.d (identically independent distributed). Prinsip maximum likelihood dalam mengestimasi θ adalah memilih estimator θ yang memaksimumkan nilai likelihood-nya (Bain dan Engelhard, 1991). Nilai suatu θ dalam Ω yang memaksimumkan L(θ) disebut sebagai Maksimum Likelihood Estimator (MLE). Nilai θ merupakan suatu nilai dari θ yang memenuhi f(μ 1 ; θ)f(μ 2 ; θ) f(μ n ; θ ) = max θ Ωf(μ 1 ; θ)f(μ 2 ; θ) f(μ n ; θ) L(θ) maksimum jika turunan pertamanya sama dengan nol dan turunan keduanya bernilai negatif, maka nilai MLE dapat diperoleh dengan menyelesaikan persamaan L(θ) θ = 0 2 L(θ) θ 2 < 0 Diferensiasi yang dilakukan pada fungsi likelihood umumnya lebih mudah dilakukan pada nilai logaritmanya yaitu logl(θ), fungsi tersebut dikenal dengan log likelihood. Fungsi log likelihood yang naik tegas dalam interval (0, ) menyebabkannya akan memliki nilai ekstrem yang sama sehingga dapat merepresentasikan fungsi likelihood. Karena setiap nilai θ yang memaksimalkan L(θ) juga akan memaksimalkan logl(θ) maka fungsi log likelihood dapat digunakan sebgai berikut. log L(θ) = 0 θ log 2 L(θ) θ 2 < 0

7 BAB II Bags of Little Bootstraping Pada bab ini akan dibahas mengenai metode bootstraping, dan metode bags of little bootstraping sebagai metode pengembangannya. Pembahasan dimulai dengan pengenalan metode bootstrap secara umum dan dilanjutkan dengan bags of little bootstrap. Berikutnya dilanjutkan dengan algoritma dari metode bags of little bootstrap. 2.1 Metode Bootstrap Bootstrap adalah suatu metode yang dapat bekerja tanpa membutuhkan asumsi distribusi karena sampel asli digunakan sebagai populasi. Bootstrap adalah teknik resampling nonparametrik yang bertujuan untuk menentukan estimasi standar eror dan interval konfidensi dari parameter populasi seperti mean, rasio, median, proporsi, koefisien korelasi atau koefisien regresi tanpa menggunakan asumsi distribusi. Bootstrap diperkenalkan pertama kali oleh Efron pada tahun Metode bootstrap dilakukan dengan mengambil sampel dari sampel asli dengan ukuran sama dengan ukuran sampel asli dan dilakukan dengan pengembalian. Kedudukan sampel asli dalam metode bootstrap dipandang sebagai populasi. Metode peyampelan ini biasa disebut dengan resampling bootstrap. Misalkan x n = (X 1, X 2,, X n ) merupakan sampel berukuran n dari variabel random i.i.d yang nilainya terdapat diruang sample S dan memiliki distribusi probabilitas yang belum diketahui P, dimana P diasumsikan mengikuti distribusi tertentu dari Ρ. Kumpulan dari Ρ mungkin besifat parametric, semiparametric, atau nonparametric. Tentu keluarga distribusi dari Ρ diparameterisasi dari koleksi probabilitas P didalam Ρ, dengan tidak perlu memberi batasan terhadap Ρ. Hal yang menarik dalam membangun interval konfidensi untuk beberapa parameter θ(p), didalam range {θ(p): P Ρ} dapat dinotasikan Θ. Θ merupakan sebuah subset dari garis bilangan real, namun Θ dapat

8 disesuaikan dengan parameter lain yang lebih umum. Secara deskriptif fungsi dari metode bootstrap dapat dilihat melalu gamabr dibawah: Gambar 3.1 Deskripsi Penggunaan Bootstrap POPULASI SAMPLE BOOTSTRAP SAMPLE Sebagai contoh akan dibahas proses pengestimasian parameter model regresi. Metode bootstrap yang diberikan pada regresi ini adalah resampling residual. Misalkan dimiliki sampel berpasangan antara variabel dependen dan independen yang dituliskan dalam bentuk matrik Y dan X dengan ukuran sampel n. Selanjutnya sampel ini disebut sampel asli. Prosedur bootstrap resampling residual untuk estimasi parameter regresi dapat dituliskan sebagai berikut : 1. Menentukan fit model berdasarkan sampel asli dengan menggunakan metode kuadrat terkecil, diperoleh Y = Xβ 2. Menghitung nilai residual e = Y Y, diperoleh e = (e 1, e 2,, e n ) 3. Mengambil sampel bootstrap berukuran n dari e 1, e 2,, e n secara random dengan pengembalian, diperoleh sampel bootstrap pertama sebagai berikut e 1 = (e 1 1, e 1 2,, e 1 n ) 4. Menghitung nilai bootstrap untuk Y dengan menambahkan e 1 pada fit model, sehingga diperoleh Y 1 = Xβ + e 1 5. Menghitung koefisien regresi untuk sampel bootstrap yang pertama dengan Y 1 dengan X, diperoleh β 1 = (X T X) 1 X T Y 1 6. Mengulangi proses diatas sebanyak B kali, diperoleh β 1, β 2,, β B

9 7. Pendekatan estimasi bootstrap untuk parameter regresi adalah mean dari distribusi β 1, β 2,, β B Estimasi interval konfidensi bootstrap untuk parameter regresi diberikan dalam interval pendekatan normal dan interval persentil. Interval konfidensi bootstrap dengan pendekatan normal sebenarnya analog dengan interval konfidensi standar. Pemanfaatan metode bootstrap dalam mengkonstruksi interval ini adalah untuk menentukan standar eror dari estimator. Berdasarkan sampel bootstrap dengan replikasi B kali diperoleh β 1, β 2,, β B. Variansi estimator bootstrap β k diberikan oleh B V(β k ) = (β kb β k ) 2 b=1 (B 1) 2.2 Metode Bags of Little Bootstrap Bags of Little Bootstrap (BLB) merupakan pengembangan dari metode bootstrap yang telah dikenalkan sebelemunya. Fungsi BLB berasal dari rata-rata hasil dari proses bootstraping. Misalkan sample dari BLB dengan subset s berukuran b yang diambil dari sampel berukuran n. Besarnya b dapat ditentukan dengan b = n γ, dimana γ ε [0.5,1]. Dalam jurnalnya A Scalable Bootstrap for Massive Data Kleiner menuliskan hasil penelitiannya dimana dari 1 Terra Byte (TB) data populasi, ketika menggunakan metode bootstrap standar dibutuhkan sampel sebesar 632 Giga Byte (GB) untuk merepresentasikan atau mendekati sifat-sifat yang dimiliki populasi. Ketika menggunakan metode BLB hanya diperlukan sampel sebesar 4GB untuk untuk dapat merepresentasikan populasi yang ada. Diberikan x n = (X 1, X 2,, X n ) merupakan sampel berukuran n dari variabel random i.i.d yang nilainya terdapat diruang sample S dan memiliki distribusi probabilitas yang belum diketahui P. Berikutnya untuk setiap X i, i = 1,2,, n dilakukan proses resampling dengan mengambil m r = (M 1, M 2,, M r ) sebesar b. Paramater-parameter dari populasi dapat diestimasi dangan merata-rata parameter yang dihasil dari setiap bootstrap sampling. Misalkan ingin diestimasi interval konfidensi sebuah populasi

10 sebesar N, karena besarnya ukuran N maka dilakukan pengambilan sampel sebesar n. Dari sampel sebesar n diambil subsampel sebanyak s dan sebesar b. Menggunakan setiap subsampel diambil sampel bootstrap sebanyak r dengan ukuran n, selanjuntnya kita dapat mengestimasi batas atas dan bawah interval konvidensi dari setiap subsampel. Dan ratarata batas atas dan rata-rata batas bawah sampel bootstrap dapat mengestimasi interval konvidensi populasi keseluruhan. Dalam penelitiannya Kleiner juga menyimpulkan beberapa hasil penelitiannya mengenai kelebihan metode bags of little bootstrap selain yang telah disebutkan sebelumnya adalah: - Sederhana dalam proses komputasinya - Memiliki fleksibelitas seperti metode bootstrap pada umumnya - Memiliki sifat robustness dibanding metode sebelumnya - Mempertahankan sifat statistik dari metode bootstrap

11 BAB III ILUSTRASI Pada bab ini akan diberikan ilustrasi penggunaan metode bags of bootstrap untuk mengestimasi nilai median dan interval konvidensi. Data yang digunakan dalam ilustrasi adalah data dari sektor penerbangan dengan sampel sebesar 5268 data dan terdapat beberapa variabel antara lain, tanggal penerbangan, lokasi, operator, aboard, fatalities, dan ground. Deskriptif algoritma pada metode BLB bekerja sebagai berikut: Gambar 3.1 Deskripsi Prosess Bags of Little Bootstrap POPULASI (N) SAMPLE (n) SUBSAMPLE (dilakukan subsampling sebanyak m kali dengan ukuran b, dimana b = n γ Bootstrap Sample Dari setiap subsample yang dilakukan resample dengan besar setiap resample sebesar n Dengan menggunakan langkah diatas kita dapat memperoleh estimasi nilai-nilai standar error dan interval konfidensi dari parameter populasi seperti mean, rasio, median, proporsi, tanpa harus mengetahui distribusi data penerbangan yang sebenarnya.

12 BAB IV KESIMPULAN Setelah dilakukan diskusi dalam pembuatan makalah ini diperoleh beberapa kesimpulan mengenai beberapa metode subsample yang dapat diaplikasikan dalam big data yaitu antara lain 1. Sebuah data dikatakan sebuah big data ketika suatu data memliki volume, velocity, dan variance dengan nilai yang besar. 2. Dalam metode laveraging proses pembobotan setiap subsample merupakan hal terpenting. 3. Metode mean log-likelihood dapat mengestimasi parameter populasi dengan mencari rata-rata subsample menggunakan metode Monte Carlo. 4. Bootstrap merupakan metode sampling yang sangat sederhana dalam mencari tahu kondisi parameter populasi 5. Bags of little bootstrap memiliki banyak keunggulan dibanding metode bootstrap sederhana. Menurut Kleiner dalam analisis big data, BLB membutuhkan jumlah sampel dengan ukuran lebih kecil dibanding bootstrap biasa.

13 Lampiran cs=read.delim("clipboard") #Membuat Data Frame head(cs) length(cs$aboard) clean=na.omit(cs) #Melakukan cleaning data head(clean) BLB = function(x,nss,r1,g1){ jj = r1*nss med = matrix(0, nrow = r1, ncol = nss) IC = matrix(0, nrow = r1*nss, ncol = 2) m=length(x)^g1 for(i in 1:nss){ #Fungsi BLB #Menentukan ukuran matriks #Membuat matriks untuk nilai median #Membuat matriks untuk nilai intervalkonvidensi #Menentukan besar subsampel #Menentukan replikasi subsampel for(j in 1:r1) { #Menentukan replikasi sampling bootstrap ss = sample(length(x),m,t) datass = as.numeric(x[ss]) med[j,i] = median(datass) #Mencari rata-rata nilai median }} for(j in 1:jj) { ss = sample(m,length(x),t) datass = as.numeric(x[ss]) error = (qnorm(0.95,mean = mean(datass),sd = sd(datass))*sd(datass)) / (length(datass)^0.5) IC[j,1] = mean(datass) - error IC[j,2] = mean(datass) + error #Mencari batas bawah interval konvide #Mencari batas atas interval konvidensi } print(med) print(colmeans(med))print(mean(colmeans(med))) print(ic)print(colmeans(ic)) }BLB(x=clean$Aboard, nss=10, r1=5, g1=0.8)