Pengenalan Bahasa Isyarat Tangan Menggunakan Metode PCA dan Haar-Like Feature Dosen Pembimbing : 1) Prof.Dr.Ir. Mauridhi Hery Purnomo M.Eng. 2) Dr. I Ketut Eddy Purnama ST., MT. Oleh : ATIK MARDIYANI (2207100529)
BAHASA ISYARAT Bahasa yang mengutamakan komunikasi manual, yaitu menggunakan bahasa tubuh, tangan dan gerakan bibir tanpa suara. Komunikasi yang berguna bagi para tunarungu.
BATASAN MASALAH TUGAS AKHIR Dibuat hanya menentukan bahasa isyarat statik saja dimana gambar (image 2 dimensi) konfigurasi tangan dan jari sebagai komponen utama. Aplikasi ini dapat digunakan oleh satu orang saja. Karena sifat bahasa isyarat yang tidak universal serta kompleks maka sistem ini hanya menerjemahkan isyarat huruf A hingga Z, kecuali huruf I dan J. Background yang ada menggunakan background putih atau putih kecoklatan. Pencahayaan harus cukup (normal). Hasil keluaran dari aplikasi ini berupa text atau dimana text yang dihasilkan bersesuaian dengan huruf alfabet pada sistem isyarat bahasa Indonesia (SIBI). Aplikasi ini menggunakan bahasa pemrograman C# dan library EmguCV.
DIGITAL IMAGE PROCESSING Pengolahan citra digital merupakan suatu metode yang dipergunakan untuk melakukan proses atau manipulasi gambar digital yang disimpan dalam skala dua dimensi. (Gonzalez & Wood, 2002) Tujuan : Mengolah dan memproses dari gambar asli agar menghasilkan gambar lain sesuai dengan kebutuhan Dasar dari pengolahan citra adalah pengolahan warna RGB pada tiap pixel
TEKNIK PENGAMBILAN CITRA Model citra digital dinyatakan dalam bentuk matrik yang nilainya berupa nilai derajat keabuan. Citra dengan derajat keabuan (citra gray level) bisa memiliki beragam nilai derajat keabuan, mulai dari 2 nilai derajat keabuan yaitu 0 & 1 (citra biner),
RGB TO GRAYSCALE Untuk citra berwarna digunakan model RGB (Red, Green, Blue) dimana satu citra berwarna dinyatakan sebagai 3 buah matrik gray-scale yang berupa matrik untuk Red (R-layer), Green (G-layer) dan Blue (B-layer). Mengubah citra RGB menjadi citra grayscale digunakan untuk menyederhanakan model citra, sehingga waktu yang dibutuhkan untuk melakukan proses selanjutnya berjalan lebih cepat Nilai grayscale : S = r g 3 b
METODE PCA (Principal Component Analysis) Metode Principal Component Analysis (PCA) merupakan suatu metode matematika untuk merepresentasikan data, mengekstraksi ciri-ciri data tersebut dan mereduksinya dengan cara mentransformasikannya menggunakan eigenvalue dan eigenvektor secara linier Kegunaan utama dari Principal Component Analysis (PCA) adalah untuk mengurangi variasi yang ada dengan tetap menjaga informasi yang diperlukan, supaya variasi yang tersisa memang variasi yang paling menonjol dan paling mencerminkan feature yang ada. Sisa variasi yang tersisa ini disebut sebagai Principal Component. Pada proses pengurangan variasi ini dilakukan dengan mereduksi daerah matriks yang mempunyai nilai ciri mulai dari yang paling lemah. Kegunaan lain dari Principal Component Analysis (PCA) adalah akan membuat aplikasi yang menggunakannya akan lebih cepat, karena data yang digunakan sudah direduksi. Suwandi et al (2006 : hal 8 )
DETEKSI OBJEK HAAR-LIKE FEATURE TEORI VIOLA JONES INTEGRAL IMAGE CASCADE CLASSIFIER STAGE CLASSIFIER
HAAR-LIKE FEATURE Ada beberapa alasan mengapa harus menggunakan fitur daripada pengolahan pixel secara langsung. 1. Bahwa fitur dapat bertindak untuk melakukan encode ad-hoc pada daerah pengetahuan yang sukar untuk dipelajari apabila menggunakan suatu kuantitas data pelatihan yang terbatas. 2. Operasi dasar dari suatu fitur jauh lebih cepat jika dibandingkan dengan pengolahan pixel. Nilai haar-like feature adalah perbedaan antara jumlah nilai-nilai piksel gray level dalam daerah kotak hitam dan daerah kotak putih f(x) = sum black rectangle(pixel gray level) sum white rectangle(pixel gray level)
TEORI VIOLA JONES Ada 3 kontribusi utama dalam teori viola jones, yaitu : Integral Image, yaitu penyajian gambar menggunakan teknik yang mengijinkan perhitungan feature dapat dilakukan dengan cepat karena dilakukan pada waktu yang konstan. Adaptive Boosting atau AdaBoost, adalah metode untuk membangun suatu pengklasifikasian dengan menyeleksi sejumlah fitur penting. Mengkombinasikan pengklasifikasian dalam sebuah stuktur cascade yang akan meningkatkan kecepatan dari proses pendeteksian, yaitu dengan cara memusatkan perhatian pada daerah-daerah dalam image yang berpeluang saja. Hal ini dilakukan untuk menentukan di mana letak obyek yang dicari pada suatu gambar.
INTEGRAL IMAGE Representasi tengah (intermediate) untuk suatu citra yang terdiri dari jumlah nilai keabu-abuan (grayscale pixel) dari citra tersebut dengan tinggi y dan lebar x. Integral Image pada lokasi x,y merupakan jumlah dari piksel-pixel mulai dari atas sampai piksel sebelah kiri dari x,y. ii(x,y) = Σ x < x,y < y i (x, y ) ii(p4) + ii(p1) ii(p2) ii(p3) jumlah nilai-nilai piksel di dalam D : P1 = A P2 = A + B P3 = A + C P4 = A + B + C + D P1 + P4 - P2 - P3 = A + A + B + C + D A B A C = D
CASCADE CLASSIFIER Sebuah rantai stage classifier, dimana setiap stage classifier digunakan untuk mendeteksi apakah di dalam image sub window terdapat obyek yang diinginkan (object of interest).
STAGE CLASSIFIER Stage classifier dibangun dengan menggunakan algoritma adaptive-boost (AdaBoost). Algoritma tersebut mengkombinasikan performance banyak weak classifier untuk menghasilkan strong classifier. Weak classifier dalam hal ini adalah nilai dari haar-like feature. Algoritma pembelajaran AdaBoost digunakan untuk meningkatkan performa pengklasifikasian weak learning algorithm.
DESAIN DAN IMPLEMENTASI SISTEM Menggunakan pemograman C# dan library Emgu CV. Diagram blok sistem sbb : Capture Image Deteksi Objek Tangan (Haar Training) Ekstraksi Image Webcam Laptop Set Data Image Training (.bmp) Tahap Awal Pengambilan Data Hitung PCA (Eigen Vektor & Eigen Value Identifikasi Image Yang Diharapkan Webcam Laptop Capture Image Deteksi Objek Tangan (Haar Training) Hasil Pengenalan Bahasa Isyarat (Text) Tahap Pengenalan Data
PROSES CAPTURE IMAGE Resolusi display yang digunakan 320 x 240. Dalam melakukan koneksi dengan webcam, menggunakan fungsi capture pada EmguCV. N MULAI INISIALISASI WEBCAM? Y CAPTURE IMAGE STOP WEBCAM Y SELESAI N
PROSES DETEKSI OBJEK Pada proses ini pendeteksian dilakukan dengan menggunakan algoritma haar classifier. Dalam melakukan proses haar classifier dibutuhkan data training berupa data image positif dan image negatif. Tool atau program yang digunakan adalah : 1. Objectmarker.cpp, program ini digunakan untuk manandai object secara manual. 2. Createsamples.cpp, program ini digunakan untuk menciptakan sample dataset positif. 3. Haartraining.cpp, program ini digunakan untuk proses training. 4.Convert_cascade.cpp, program ini digunakan untuk mengubah cascade classifier ke bentuk file xml, untuk kemudian digunakan pada program utama. MULAI Mengumpulkan gambar tangan yang akan dideteksi (gambar positif) sebagai pembanding Mengambil potongan gambar bentuk tangan (Crop Image) sebagai penanda objek Membuat sampel baru image postif tangan Haar Training Mendapatkan nilai cascade Mengubah nilai cascade ke file.xml database Selesai
PROSES PENYIMPANAN DATA IMAGE Pengambilan data jumlah data image yang diambil untuk setiap bentuk postur tangan,dimana image ini merepresentasikan huruf A-Z (kecuali huruf J dan Z). Data image diambil dengan posisi tegak, dan jarak yang telah ditentukan (30 s/d 50cm). Dari setiap hasil capture image deteksi objek disimpan dalam format grayscale (*.bmp) berukuran 48x48 pixel. MULAI Hitung Data Training Deteksi Objek Tangan Y Crop dan Resize Image N Pelabelan dan show image (grayscale) SELESAI
PROSES PENGENALAN DENGAN EIGEN OBJECT Dalam library Emgu CV terdapat fungsi EigenObject dimana fungsi ini dapat digunakan sebagai tahapan klasifikasi dan pengenalan suatu objek. Informasi - informasi yang relevan dari data yang disimpan akan dilakukan tahap penghitungan eigenvalue dan eigenvector dari citra bentuk tangan dan jari MULAI Input Capture EigenObject Hitung rata-rata perbedaan data fitur input dan fitur hasil training Pengenalan dan Identifikasi Tangan SELESAI Data fitur tangan (deteksi_tangan.xml)
DESAIN GUI PROGRAM Sebelum running program Setelah running program
PENGUJIAN & ANALISA SISTEM PENGUJIAN AKURASI DETEKSI TERHADAP CAHAYA PENGUJIAN AKURASI DETEKSI TERHADAP JARAK PENGUJIAN AKURASI PROGRAM (Baca Huruf) UJI DENGAN KURVA ROC
PENGUJIAN AKURASI DETEKSI TERHADAP CAHAYA Tabel 1 Uji ke- Gelap Normal Remang 1 X V V 2 X V V 3 X V X 4 X V X 5 X V V 6 X V X 7 X V V 8 X V V 9 X V V 10 X V V Akurasi Terdeteksi 0% 100% 70% Faktor pencahayaan sangat mempengaruhi deteksi objek tangan. Program yang dijalankan harus berada pada kondisi pencahayaan yang cukup (normal) Keterangan : X = terdeteksi V = tidak terdeteksi
PENGUJIAN AKURASI DETEKSI TERHADAP JARAK Tabel 2 Uji Coba Ke- Jarak (cm) 10 30 50 70 90 1 X V V V X 2 X X V V V 3 X V V X V 4 X X V V X 5 X V V V X 6 V V V V X 7 X V V V X 8 X V V V V 9 X V V X X 10 X V V X V Akurasi Terdeteksi 10% 80% 100% 70% 40% Faktor jarak antara alat (webcam) dan objek tangan mempengaruhi dalam pendeteksian Keterangan : X = terdeteksi V = tidak terdeteksi
Tabel 3 PENGUJIAN AKURASI PROGRAM (Baca Huruf) Percobaan ke- Huruf 1 2 3 4 5 6 7 8 9 10 Akurasi Deteksi A Y Y Y Y Y Y Y Y Y Y 100% B Y Y Y Y Y Y Y Y Y Y 100% C Y Y Y Y Y Y Y Y Y Y 100% D Y Y N Y N Y Y N Y Y 80% E Y N N N Y Y N N Y N 60% F Y Y Y Y Y Y Y Y Y Y 100% G Y Y Y Y Y Y Y Y N Y 90% H Y Y Y Y Y Y Y Y Y Y 100% I Y N Y Y Y N Y Y Y Y 80% K Y Y Y Y Y Y Y Y Y Y 100% L Y Y Y N N Y Y N Y Y 70% M N N Y N Y N Y Y N N 40% N N Y N Y Y N N N Y N 40% O Y Y Y Y Y Y N Y Y Y 90% P Y Y Y Y Y Y Y Y Y N 90% Q Y Y Y Y Y Y Y Y Y Y 100% R Y Y N Y Y N Y N Y Y 70% S N Y Y N N Y N N N Y 40% T Y N N Y Y Y N N N N 40% U Y Y Y Y N Y Y Y N Y 80% V Y Y Y Y Y Y Y Y Y Y 100% W Y Y Y Y Y Y Y N Y Y 90% X Y Y Y N Y Y Y Y Y Y 90% Y Y Y N Y Y Y Y N Y Y 80% Rata-Rata Akurasi Deteksi Tangan 80,42 %
KURVA ROC (Receiver Operating Characteristics) Teknik pengujian yang digunakan untuk menilai kinerja atau performa sistem
KESIMPULAN Dari hasil pengujian dapat disimpulkan bahwa faktor pencahayaan pada program yang telah dibuat sangat berpengaruh dalam pendeteksian objek. Pencahayaan normal (pecahayaan tidak terlalu terang, remang, maupun gelap) memiliki efektivitas deteksi tangan sebesar 100%. Jarak efektif deteksi objek tangan dilakukan pada jarak 30 s/d 50 cm. Selebihnya akurasi baca tangan akan turun pada jarak melebihi jarak tersebut. Posisi deteksi baca tangan hanya dapat dilakukan pada posisi tegak sesuai dengan bentuk bahasa isyarat yang telah ditentukan. Dengan menggunakan metode PCA (EigenObject) pada program yang telah dibuat memiliki akurasi rata-rata baca huruf sebesar 80,42%. Untuk pembacaan huruf M, N, S, T memiliki akurasi baca yang rendah 40% dikarenakan adanya kesamaan pola atau postur tangan huruf A dan E. Program yang telah dibuat hanya dapat mengenali huruf statis berupa text huruf tanpa adanya pergerakan sehingga untuk pembacaan huruf I dan J belum dapat dilakukan karena huruf ini menggunakan gerakan dinamik tangan.
TERIMA KASIH