Sentiment Analysis menggunakan Naïve Bayes

Transkripsi

1 Sentiment Analysis menggunakan Naïve Bayes Sentiment Analysis atau biasa disebut opinion mining merupakan proses untuk mengklasifikasikan sebuah tulisan atau dokumen dalam bentuk sentiment atau opini positif, netral atau, negative. Contoh sentiment analysis yang sering kita jumpai yaitu movie/product review di berbagai website ecommerce. Dari kumpulan-kumpulan review yang ditulis oleh user kita dapat menggali informasi sebuah sentiment atau opini bagaimana produk itu dimata user, apakah bagus menandakan sentiment yang positif atau bahkan dari mendapatkan sentiment negative. Pada praktikum ini, kita akan mencoba mengimplementasikan sentiment analysis menggunakan salah satu metode / algoritma klasifikasi yaitu Naïve Bayes. Metode Naïve Bayes sendiri adalah sebuah pengklasifikasi probabilitas sederhana yang mengklasifikasikan Teorema Bayes dengan asumsi ketidaktergantungan (independent) yang tinggi. Secara general rumus dari Naïve Bayes seperti berikut : P(A B) = P(B A)P(A) P(B) Metode Naïve Bayes membutuhkan data training dan untuk praktikum ini kita menggunakan data training dari twitter yang sudah ada label sentiment. 1

2 Percobaan : Tujuan dari percobaan ini untuk mengklasifikan dari sebuah kalimat apakah mempunyai sentiment Positive atau Negative. Pada contoh data training yang diberikan, Symfony is the best merupakan kalimat Positive, sebaliknya No Symfony is bad merupakan kalimat Negative. Jadi ketika kita memberikan sebuah kalimat baru, aplikasi kita harus dapat mengembalikan sebuah sentiment pada kalimat tersebut. Tabel 1. Data Training Statement Symfony is the best PhpStorm is great Iltar complains a lot No Symfony is bad Type Positive Positive Negative Negative <?php class Type { const POSITIVE = 'Positive'; const NEGATIVE = 'Negative'; class Classifier { private $types = [Type::POSITIVE, Type::NEGATIVE]; private $words = [Type::POSITIVE => [], Type::NEGATIVE => []]; private $documents = [Type::POSITIVE => 0, Type::NEGATIVE => 0]; public function guess($statement){ $words = $this->getwords($statement); // get the words $best_likelihood = 0; $best_type = null; 2

3 foreach ($this->types as $type) { $likelihood = $this->ptotal($type); // calculate P(Type) // echo $likelihood. "<br/>"; foreach ($words as $word) { $likelihood *= $this->p($word, $type); // calculate P(word, Type) if ($likelihood > $best_likelihood) { $best_likelihood = $likelihood; $best_type = $type; return $best_type; public function learn($statement, $type){ $words = $this->getwords($statement); foreach ($words as $word) { if (!isset($this->words[$type][$word])) { $this->words[$type][$word] = 0; $this->words[$type][$word]++; // increment the word count for the type $this->documents[$type]++; // increment the document count for the type public function p($word, $type){ $count = 0; if (isset($this->words[$type][$word])) { $count = $this->words[$type][$word]; return ($count + 1) / (array_sum($this->words[$type]) + 1); 3

4 public function ptotal($type){ return ($this->documents[$type] + 1) / (array_sum($this->documents) + 1); public function getwords($string){ return preg_split('/\s+/', preg_replace('/[^a-za-z0-9\s]/', '', strtolower($string))); $classifier = new Classifier(); // read training files $file = fopen("training.txt","r"); $regex = ":::"; $list_tweet = []; while(! feof($file)){ $line = fgets($file); if (!empty($line)) { $text = explode($regex,$line); if(trim(type::positive) == trim($text[1])){ $classifier->learn($text[0], Type::POSITIVE); else if(trim(type::negative) == trim($text[1]) ){ $classifier->learn($text[0], Type::NEGATIVE); $classifier->learn('symfony is the best', Type::POSITIVE); $classifier->learn('phpstorm is great', Type::POSITIVE); 4

5 $classifier->learn('iltar complains a lot', Type::NEGATIVE); $classifier->learn('no Symfony is bad', Type::NEGATIVE); //Test Tweet $tweet_1 = "have a nice day"; $tweet_2 = "i dont like this product"; echo "text : ". $tweet_1. ", sentiment : ". $classifier->guess($tweet_1). "<br/>"; echo "text : ". $tweet_2. ", sentiment : ". $classifier->guess($tweet_2). "<br/>";?> Output : Dengan kalimat test : - Symphony is great : Positive - I have bad day : Negative 5

6 Fungsi learn($statement, $type) : Sebelum algoritma dapat mengklasifikasikan sebuah kalimat baru, maka dibutuhkan sebuah data training untuk dipelajari. Pada fungsi ini akan menghitung jumlah setiap kata yang muncul pada setiap statement / type. Contoh : Word Positive Word Negative symfony 1 iltar 1 is 2 complains 1 the 1 a 1 best 1 lot 1 phpstorm 1 no 1 great 1 symphony 1 is 1 bad 1 Fungsi ptotal($type) : Pada fungsi ini menghitung probabilitas kehadiran Type dibanding total dari dokumen, dinotasikan sebagai P(Type). Contoh : P(Positive) : (2+1) / ( 4+1 ) = 0.6 P(Negative) : (2+1) / ( 4+1 ) = 0.6 Fungsi p($word,$type) : Pada fungsi ini menghitung probabilitas sebuah word terhadap sebuah Type, dinotasikan sebagai P(word,Type). Contoh : P(is,Positive) : (2+1) / (7+1) =

7 Fungsi getwords($string) : Seperti sentiment analysis secara general, sebelum dilakukan proses training maupun algoritma seharusnya dilakukan preprocessing seperti menghilangkan kata/karakter yang tidak dibutuhkan. Fungsi guess($statement) : Untuk mengklasifikasikan sentiment/type sebuah kalimat baru, metode harus menghitung probabilitas setiap type pada kalimat yang diberikan. Secara general, dinotasikan P(Type, sentence). Nilai probabilitas type yang tertinggi yang akan diambil sebagai hasil klasifikasi. Untuk menghitung P(Type, sentence), metode yang digunakan yaitu Naïve Bayes didefinisikan sebagai berikut : P(Type sentence) = P(sentence Type) P(Type) P(sentence) Kita dapat menghilangkan bagian P(sentence) karena kita menghitung kalimat yang sama disetiap type. Jadi bisa disederhanakan menjadi : P(Type sentence) = P(sentence Type) P(Type) Dan untuk menghitung P(sentence Type), kita dapat menerapkan chain rule pada setiap word di kalimat. Jadi untuk n word pada sebuah kalimat sama dengan seperti : P(word_1 Type) P(word 7 Type) P(word 8 Type) P(word_n Type) 7

8 Contoh kasus : Kalimat test : symfony is great P(word,Type) : P(symfony, Positive) : (1+1) / (7+1) = 2/8 = 0.25 P(is, Positive) : (2+1) / (7+1) = 3/8 = P(great, Positive) : (1+1) / (7+1) = 2/8 = 0.25 P(symfony, Negative) : (1+1) / (8+1) = 2/8 = 0.22 P(is, Negative) : (2+1) / (8+1) = 3/8 = 0.2 P(great, Negative) : (1+1) / (8+1) = 2/8 = 0.25 P(Type,sentence) : P(Positive, symfony is great ) : (0.25*0.375*0.25) * 0.6 = P(Negative, symfony is great ) : (0.222*0.222*0.111) * 0.6 = Nilai P(Positive, symfony is great ) > P(Negative, symfony is great ) : symfony is great = Positive 8

9 Tugas : 1. Tambahkan data training yang telah ada minimal ada penambahan 100 kalimat. 2. Silahkan buat UI semenarik mungkin dari percobaan di atas. Sentence test Have a nice day!!! Submit Sentiment Positive 3. Nilai tambah : - Dapat membaca file melalui proses upload file data training (bukan hardcode directory/path) - Dapat menghilangkan stopwords atau mengurangi repeated letters. 9

10 References : - Machine Learning : Naïve Bayes 10