Perceptual Human Computer Interaction / Interface Menggunakan Teknik Computer Vision Khairul Sani Program Magister Teknologi Informasi, Fakultas Teknik, Universitas Gadjah Mada E-mail : khairul.mti13@mail.ugm.ac.id Abstract Teknik dengan menggunakan computer vision telah banyak diterapkan terkait dengan perceptual human computer interaction untuk aplikasi seperti game, sistem informasi pada pendidikan dan lain sebagainya. Pada penelitian ini, yaitu teknik yang digunakan yaitu untuk melakukan menangkap gambar, normalisai, deteksi gerakan, pelacakan, representasi dan recognition. Selain itu, aplikasi computer vision di HCI dalam computer dalam beberapa kategori yaitu vision enabled pointing dan positioning, vision untuk manipulasi objek, training dan education. Kata Kunci : Perceptual interaction, computer vision. A. Pendahuluan User Interface adalah bagian dari sistem informasi yang membutuhkan interaksi pengguna untuk membuat inputs dan outputs. Untuk mendesain UI dapat menggunakan eight golden rules, aturanaturan dalam mendesain UI yang baik. Aturan-aturannya meliputi konsistensi, memudahkan user dengan adanya shortcut, menggunakan informasi feedback, mendesain dialog, error handling, memungkinkan undo, mendukung internal control, mengurangi waktu loading. Hal-hal yang perlu dipahami mengenai user interface baik secara fisik, perceptual, dan konseptual adalah : 1. Aspek fisik dari user interface yang meliputi segala perangkat yang pengguna gunakan baik keyboard, mouse, touch screen, atau keypad. 2. Aspek perceptual dari user interface yang meliputi segala sesuatu yang pengguna akhir lihat, dengar, atau sentuh (di luar perangkat fisik) 3. Aspek konseptual dari user interface yang meliputi segala sesuatu yang user tahu mengenai cara menggunakan sistem, termasuk semua dari problem domain things dalam sistem yang user manipulasi, operasi yang dapat dijalankan, prosedur yang diikuti untuk menjalankan operasi. IMK atau interaksi manusia dan komputer adalah suatu ilmu yang sangat berkaitan dengan disain implementasi dan evaluasi dari sistem komputasi iyang interaktif untuk digunakan oleh manusia dan studi tentang ruang lingkupnya,ada interaksi antara satu atau lebih manusia dan satu atau lebih komputasi mesin. Pada tahun 1970 mulai dikenal istilah antarmuka pengguna (user interface), yang juga dikenal dengan istilah Man-Machine Interface (MMI), dan mulai menjadi topik perhatian bagi peneliti dan perancang sistem. HCI didefinisikan sebagai disiplin ilmu yang berhubungan dengan perancangan, evaluasi, dan implementasi sistem komputer interaktif untuk digunakan oleh manusia dan studi tentang fenomena di sekitarnya. HCI pada prinsipnya membuat agar sistem dapat berdialog dengan penggunanya seramah mungkin (user friendly). Tidak hanya perancangan layout layar monitor. Dari sudut pandang pengguna merupakan keseluruhan sistem sehingga Useful, Usable, Used. Useful: fungsional, dapat mengerjakan sesuatu, Usable: Dapat mengerjakan sesuatu dengan mudah, mengerjakan sesuatu yang benar (does the right things), Used yaitu terlihat baik,
tersedia dan diterima/digunakan oleh organisasi. Computer Vision atau juga disebut machine vision adalah ilmu pengetehuan yang mengembangkan teori-teori dan algoritma dimana informasi yang berguna mengenai dunia dapat secara otomatis diekstraksi dan dianalisis dari sebuah citra penelitian, sekumpulan citra, atau citra yang berurutan dari sebuah komputasi yang dibuat oleh komputer. Computer Vision berhubungan dengan otomatisasi interpretasi citra untuk membuat berbagai pengukuran yang objektif atau untuk meningkatkan visibilitas ketelitian. B. Pembahasan Perceptual atau persepsi merupakan sebuah proses pemberian makna terhadap sensasi dari panca indra sehingga menjadi sebuah informasi. Dalam memproses sebuah informasi, persepsi sangatlah berperan penting karena kesalahan dari persepsi akan menimbulkan kesalahan dalam memproses sebuah informasi. Dalam hubungannya dengan interaksi, dimana interaksi merupakan komunikasi 2 arah antara manusia atau user dengan sistem computer akan mendapatkan hasil yang maksimal apabila antara user dengan computer memberikan stimulan dan respon yang saling mendukung satu dengan yang lainnya. Stimulan dan respon tersebut didapatkan dari sensasi yang dihasilkan oleh persepsi manusia dalam berhubungan dengan computer yang didukung juga oleh interface atau antarmuka yang dapat menghubungkan user dengan computer. Sifat dari perceptual interface harus dari dua arah dimana keduanya akan mengambil keuntungan dari machine perception yang berasal dari lingkungan mereka terutama informasi yang mereka dapat dari proses mendengar, melihat maupun dari pemodelan user lain yang berinteraksi dengan sistem computer tersebut karena peningkatkan kemampuan perceptual manusia akan lebih efektif jika mereka berkomunikasi melalui gambar, video dan juga suara. Oleh karena itu, jika indera ikut terlibat dalam interaksi antara user dengan computer maka user tidak akan merasa canggung dalam menggunakan aplikasi tersebut sehingga tifak akan membatasi komunikasi antara manusia dengan computer atau sistem. Hubungan tersebut juga akan memungkinkan user dalam menyalurkan ketrampilan social alami mereka untuk berinteraksi dengan teknologi, mengurangi beban user dan dapat melatih kebutuhan kognitif pengguna. Perceptual interface juga akan memanfaatkan kemampuan manusia untuk melakukan beberapa tugas dalam satu waktu dan beberapa hal lain yang saat ini belum dapat dilakukan oleh sistem dengan baik. Sebagai contoh pengembangan Perceptual User Interaction adalah arsitektur interface dari sistem QuickSet merupakan integrasi multimodal yaitu digunakan untuk mengintegrasikan antara speech dan gesture dan digunakan sebagai sistem untuk simulasi militer dan yang masih berhubungan dengan kemiliteran. Selanjutnya ada sebuah sistem yang mengintegrasikan antara suara dan gerakan visual yang diterapkan untuk parsing video laporan cuaca. Contoh yang lainnya adalah sebuah sistem Speech Reading yang dikembangkan dengan menggabungkan antara visual dan pendengaran untuk memahami ucapan manusia yang akan sangat membantu terutama dalam lingkungan yang bising sehingga sangat sulit dalam memahami informasi tersebut. Ada banyak penelitian tentang perceptual user interface dimana salah satunya adalah menggunakan teknik computer vision untuk memvisualisasikan dan mengamati aspek yang paling relevan dari pengguna. Vision based interface merupakan bagian dari perceptual user interface yang konsentrasinya pada pengembangan kesadaran visual dari user. Vision merupakan salah satu elemen penting dalam komunikasi antar user karena kekayaan dan keanekaragaman
komunikasi tidak dapat diterima dengan sama oleh user jika hanya menggunakan suara atau text. Body language seperti ekspresi muka, anggukan maupun gerak tubuh lainnya dapat menambahkan kepribadian, kepercayaan dan informasi penting dalam dialog tersebut. Ada beberapa vision based interface yang akan dibahas dalam paper ini, antara lain adalah : 1. MMI for HCI in Gamming Dalam game komputer dan juga beberapa aplikasi lain, seluruh logika proses dapat dianggap sebagai serangkaian interaksi antara objek internal dan pengguna eksternal, di mana pengguna dapat mengontrol gerak benda-benda dan tanggapan. Ini merupakan kata yang nyata dari sers dan virtual world dalam game komputer. Akibatnya, teknik Man- Machine Interface (MMI) dapat diterapkan untuk mencapai setidaknya tiga sasaran: i) mengendalikan bergerak dari objek permainan, ii) mengendalikan tindakan / tanggapan dari objek permainan, iii) menggabungkan adegan dunia nyata dengan yang satu virtual untuk pengalaman gaming. Akibatnya, teknik vision komputer secara luas diterapkan dalam beberapa tahap pengolahan termasuk menangkap data, analisis gerak, pelacakan dan gerakan / wajah pengakuan. Pada gambar dibawah ini menggambarkan diagram vision MMI berbasis HCI dalam aplikasi game komputer, di mana MMI membantu untuk mengubah tindakan pengguna untuk permainan kontrol dengan kendala logika permainan. Akibatnya, negara permainan akan diperbarui dalam menanggapi perintah ini. Kemudian, permainan akan menunggu perintah baru pengguna dari MMI, dan proses ini akan loop sampai akhir pertandingan. Visi MMI berisi enam blok fungsi utama, yaitu menangkap gambar, normalisasi, deteksi gerak, representasi fitur, pelacakan dan positioning, dan pengakuan. Kontrol permainan dapat hasil yang diperoleh dari pelacakan dan positioning, dan / atau diakui gerakan dan ekspresi wajah. 2. Vision MMI pada computer gaming Pada bagian ini, rincian teknis dari teknik vision diterapkan dalam MMI untuk aplikasi game dibahas, sesuai dengan diagram pada gambar berikut : Gambar 1. Diagram visi berbasis MMI interface dalam aplikasi game komputer. 3. Menangkap gambar dan Motion data. Pada kebutuhan permainan, ada beberapa cara untuk menangkap gambar adegan serta data gerakan dunia nyata. Salah satunya adalah penggunaan kamera, di mana kamera tunggal berguna dalam gerakan deteksi 2-D dan positioning. Untuk 3-D positioning, dua atau lebih kamera yang esired; seperti pasangan kamera stereo digunakan dalam dan beberapa kamera yang digunakan. Meskipun kamera khusus yang digunakan untuk menangkap gerak cepat, peralatan tambahan juga digunakan dalam beberapa aplikasi, seperti untuk merasakan 2-D pad tari bergerak arah kaki, nirkabel dan pergelangan dipasang accelerometers untuk pelacakan dan menandatangani
pengakuan bahasa, sensor tangibility yang tertanam serta kamera yang melekat pada kepala dipasang perangkat di layar. Karena sebagian besar perangkat ini yang mengganggu, yaitu yang dipasang pada tubuh manusia, hal ini juga telah menghambat aplikasi sistem yang sesuai, meskipun sensor tersebut telah jelas meningkatkan akurasi dan ketahanan dalam analisis gerak, pelacakan dan pengakuan. 4. Normalization Pada gambar yang diambil, preprocessing seperti normalisasi diperlukan untuk pengukuran yang konsisten untuk menangani perubahan pencahayaan dan koordinat spasial. Untuk normalisasi spasial, kalibrasi umumnya digunakan, terutama untuk 3-D game dengan beberapa kamera. Untuk aplikasi dengan kamera tunggal, warping geometris sering diadopsi. Berikut terdeteksi titik sudut, seperti bilinear yang digunakan dalam transformasi papan-game berbasis visi-mana perubahan dalam hal posisi kamera. Pada gambar berikut menunjukkan hasil contoh normalisasi spasial dan pencahayaan, menggunakan gambar papan permainan ditangkap dengan webcam. Meskipun dua gambar asli dari perubahan yang signifikan dalam ukuran, orientasi dan kondisi pencahayaan, normalisasi telah berhasil mengatasi masalah tersebut untuk deteksi akurat objek bergerak. Gambar 2. Contoh normalisasi spasial dan pencahayaan dalam Game board untuk deteksi obyek yang bergerak. 5. Motion Detection Untuk Mendeteksi gerakan juga mengacu pada segmentasi gerak, yang bertujuan untuk ekstraksi dan segmentasi bergerak atau mengubah benda dalam adegan. Meskipun peralatan tambahan mungkin berguna dalam memberikan petunjuk dari objek bergerak, visi berbasis deteksi gerakan otomatis masih diinginkan karena tidak memiliki kendala untuk aplikasi umum. Ada tiga teknik utama yang digunakan untuk mendeteksi gerakan berbasis visi-, yang meliputi latar belakang pengurangan, image differencing dan pendekatan berbasis aliran optik. Gambar 3: Contoh untuk menunjukkan ketahanan medan aliran optik diambil dari dua gambar dengan perubahan intensitas yang signifikan 6. Computer vision Teknik visi komputer telah berhasil diterapkan dalam menghitung game di banyak aplikasi. Sesuai dengan karakteristik mereka, game-game ini dapat diklasifikasikan ke dalam beberapa kategori dan diringkas sebagai berikut. 6.1. Vision enable pointing Dalam aplikasi ini, teknik visi komputer yang digunakan untuk pelacakan dan posisi bagian tubuh tertentu, dan ini lebih digunakan untuk mensimulasikan fungsi mouse. Sebenarnya, ini adalah aplikasi dasar
vision HCI berbasis di game. Kamera video digunakan untuk mensimulasikan mouse kamera dengan melacak daerah wajah tertentu, yang kemudian digunakan untuk membantu (dinonaktifkan) pengguna untuk menjelajahi internet dan menguraikan pesan, Pendekatan optikaliran digunakan untuk memilih "tombol" untuk interaksi.untuk fungsi mouse disimulasikan melalui pelacakan ujung hidung dan mendeteksi berkedip mata. 6.2.Vision for Manipulating Objects Menggunakan teknik berbasis visiuntuk manipulasi objek adalah aplikasi khas di HCI game komputer, yang meliputi pengendalian gerakan berbasis objek bergerak. Dalam komputer vision dan teknologi pendengaran diterapkan untuk game komputer mendalam dan menarik secara fisik, di mana gerakan anak-anak dan gerakan yang terdeteksi untuk memanipulasi objek permainan. Gambar 4. Contoh untuk menunjukkan bagaimana mengenali gerakan yang dapat digunakan untuk mengontrol pergerakan objek permainan C. Kesimpulan Meskipun antarmuka berbasis visimemfasilitasi lebih alami dan ramah HCI sambil mengontrol permainan, beberapa isu perlu ditangani sepenuhnya sebelum bermigrasi sistem yang relevan dari laboratorium ke aplikasi nyata. Hal ini terutama disebabkan oleh keterbatasan teknik visi yang digunakan, di mana Pendekatan yang belum matang dapat menghambat migrasi tersebut terutama dalam deteksi yang kuat dan efisien, pelacakan dan pengakuan dari pengguna motif dan niat bawah lingkungan tak terbatas. Akibatnya, untuk mengatasi masalah yang menantang tak diragukan lagi akan menarik sebagai arah masa depan untuk penyelidikan lebih lanjut. Usability adalah masalah kunci lain untuk sukses game komputer. Meskipun fitur baru seperti gerakan diaktifkan Visi HCI memberikan tantangan tambahan bagi pengguna, itu dapat membawa pengalaman yang tidak menyenangkan terutama ketika visi HCI sulit untuk menguasai atau untuk beradaptasi dengan. Hal ini juga memerlukan alami dan lancar integrasi HCI dengan permainan asli. Dengan kata lain, antarmuka baru harus alami dalam konteks game; selain itu perlu opsional dan tidak menimbulkan beban untuk pengguna umum. Seperti disebutkan sebelumnya, vision based berdasarkan HCI lebih berfokus pada deteksi gerak dan pelacakan, di mana pengakuan dan pemahaman wajah dan ekspresi wajah serta modalitas lain seperti tangibility belum diterapkan secara luas. Cara alami mengintegrasikan teknik ini untuk afektif HCI juga akan menjadi topik yang menarik dan layak mengeksplorasi. Referensi : 1. Dominic K Misaro. Perceptual Interfaces In Human Computer Interaction. Perceptual Science Laboratory, Department of Psychology, University of California, Santa CW, CA 95064 USA. 2. Jinchang Ren; Theodore Vlacos; Vasileios Argyriou. Immersive and Perceptual Human-Computer Interaction Using Computer Vision Techniques. 978-1-4244-7030- 3/10/2010 IEEE. 3. A. Jaimes and N. Sebe. Multimodal human-computer interaction: a survey. Computer Vision and Image
Understanding. 108(1-2): 116-134, 2007. 4. L. Szirmay-Kalos. Machine vision methods in computer games, 2009. KEPAF Conf. Image Analysis and Pattern Recognition.