Shortcut Aplikasi Komputer Dengan Ucapan (Speech Shortcut)

Transkripsi

1 Shortcut Aplikasi Komputer Dengan Ucapan (Speech Shortcut) Nur Rokhman,S.Si 1 Muhammad Fuad DR 2 Fajri Kurniawan 2 Cipta Atsahlantusay 2 Abstrak Dalam jurnal ini, kami akan mengeksplorasi penggunaan voice command 3). Dimana untuk membangun voice command tersebut, dibutuhkan speech recognizer. Speech recognizer adalah satu sistem dimana sistem tersebut dapat mengenali ucapan (speech) sehingga user dan sistem dapat berkomunikasi. Hal yang memotivasi kami untuk mengeksplorasi speech recognizer adalah karena penggunaan speech recognizer saat ini belum maksimal, khususnya di Indonesia. Sebagai tambahan, dari hasil eksplorasi tersebut kami membuat sebuah aplikasi yang kami beri nama Myna, dimana aplikasi tersebut digunakan sebagai alternatif perintah masukkan (input command) ke komputer lewat ucapan (dalam hal ini ucapan manusia). 1 Kaprodi dan Dosen Ilmu Komputer UGM. 2 Mahasiswa S1 Ilmu Komputer UGM. 3 Mengeksekusi suatu preintah, dalam hal ini perintah komputer, dengan ucapan atau perintah melalui suara.

2 Pengantar Shortcut adalah sebuah berkas (file) yang memiliki link ke sebuah aplikasi. Pengguna komputer biasanya lebih suka memanggil/mengeksekusi program dengan shortcut dibandingkan dengan mengeksekusi program langsung dari direktori tempat program disimpan, biasanya terletak jauh di dalam sistem berkas komputer (misal c:\program files\openoffice.org\writer.exe ). Bagi para pemula, shortcut sangat membantu karena bagi mereka mengeksplorasi sistem berkas komputer adalah sesuatu yang sangat asing (terutama di sistem operasi GNU/Linux) dan membingungkan. Sedang bagi yang sudah mahir meski telah familiar dengan sistem berkas pada komputer tetap saja penggunaan shortcut lebih efisien. Shortcut ini dapat berupa icon pada desktop, icon pada desktop toolbar, menu pada start menu, ataupun kombinasi pada keyboard. penggunaan shortcut konvensional (shortcut sesuai dengan definisi di atas) tidak efisien. Untuk pekerjaan-pekerjaan yang menyibukkan tangan dan mata, seperti pengetikan, pengeditan video, pendesainan dll, penggunaan shortcut konvensional cukup mengganggu pekerjaan-pekerjaan tersebut. Misalnya saat sedang mengetik sebuah dokumen, ada sebuah file spreadsheet yang mesti dibuka, sebagai data pendukung pengetikan dokumen tadi. Saat seperti ini file biasanya dibuka dengan membuka program pada tempat aslinya ataupun dengan menggunakan shortcut konvensional. Hal ini tentunya akan cukup mengganggu pekerjaan pengetikkan tadi. Untuk pekerjaan yang tidak diburu waktu, hal seperti ini biasanya bisa ditolerir, tetapi untuk pekerjaan yang dikejar deadline keadaan tersebut sangatlah tidak menguntungkan. Bayangkan saat kita sedang mengerjakan sebuah dokumen penting yang akan Mulai Panggil shorcut Pemanggilan aplikasi Selesai Walaupun shotcut dapat membantu penggunaan komputer, tetap saja ada keadaan-keadaan dimana dirapatkan setengah jam kemudian. Saat ide-ide penulisan muncul dengan lancarnya di kepala kita, lalu seperti situasi diatas file spreadsheet dibuka

3 dengan cara konvensional. Bisa-bisa ide-ide yang tadinya muncul seperti air yang mengalir, bisa lenyap tak tersisa. Jika melihat flowchart diatas, perbedaan mendasar antara shortcut konvensional dengan speech shortcut adanlah pada bagian input Panggil shortcut, pada shortcut konvensional pemanngilan dilakukan dengan cara mengklik icon atau dengan kombinasi keyboard (misal ctrl+alt+o), sedang pada speech shortcut pemanggilan dilakukan dengan ucapan manusia, misal jalankan word Proses Pengenalan Ucapan dengan Neural Network Kami tidak akan membahas proses pengenalan ucapan terlalu mendetail, sebab ini bukan tujuan paper ini dibuat. Ada 4 langkah dasar dalam proses pengenalan. Setiap langkah akan kami jelaskan secara singkat disini. Mula-mula, kita mendigitalkan ucapan yang ingin kita kenali, misalnya dengan microphone. Kedua, kita menghitung ciri yang menggambarkan isi domain-spektrum dari ucapan (bagian dengan energi kuat pada frekuensi khusus). Ciri-ciri ini dihitung setiap 10 mili detik, dengan setiap 10 mili detik disebut frame. Ketiga, sebuah Gambar Flowchart proses pengenalan ucapan neural network (juga disebut ANN, multilayer perceptron atau MLP) digunakan untuk mengklasifikasi sekumpulan ciri

4 tadi menjadi kategori yang didasarkan pada fonetis pada setiap frame untuk menentukan kata yang paling mirip dengan yang diucapkan. Selain itu, dimungkinkan juga untuk menganalisa hasil dengan melihat skor keyakinan yang kita punya pada kata dengan skor tertinggi. Kata bisa ditolak sebagai diluar perbendaharaan jika skor kepercayaan jauh dibawah ambang batas yang ditentukan sebelumnya. Nilai keyakinan selalu di hitung dengan peralatan CSLU (Center for Spoken Language Understanding) selama pengenalan ucapan, tetapi sekarang ini kita tidak menggunakan peralatan CSLU untuk pengenalan ucapan secara umum. Speech Shortcut Speech shortcut adalah suatu shortcut yang memanfaatkan ucapan manusia (human speech) untuk memanggil sebuah aplikasi, bukan dengan mengklik icon atau kombinasi keyboard misalnya. Sebelum membahas lebih jauh mengenai speech shortcut, lebih baik kita bahas lebih dahulu tentang kelebihan penggunaan suara. Menurut penelitian, sebagian besar hidup manusia dihabiskan untuk berkomunikasi dengan manusia yang lain (yang tentunya dengan suara), dari riset yang dilakukan pada pegawai kantor ditemukan bahwa 60%-85% dari waktu mereka bekerja, dihabiskan untuk berkomunikasi antar sesama pegawai. Bicara adalah hal yang lebih natural daripada menulis atau membaca, kita tahu cara untuk berbicara lebih dahulu daripada cara untuk menulis atau membaca. Bicara juga lebih efisien dibanding menulis atau mengetik. Orang dapat berbicara sepuluh kali lebih cepat dibandingkan dengan menulis dan lima kali lebih cepat dibandingkan dengan mengetik. Speech shortcut bisa mengatasi atau paling tidak mengurangi kerugian yang diakibatkan oleh masalah pengeksekusian aplikasi dengan shortcut konvensional di atas. Dengan memanggil aplikasi melalui ucapan, aktivitas yang sedang kita kerjakan tidak akan terganggu. Jika menghadapi masalah seperti di atas, dimana kita sedang mengetik sebuah dokumen dan harus membuka sebuah aplikasi penting. Kita tinggal membuat speech shortcut untuk

5 aplikasi tersebut dan tinggal memanggilnya dengan ucapan. Misal bila aplikasi OpenOffice.org Spreadsheet yang ingin dibuka, kita tinggal membuat speech shortcut dengan kata kunci office ataupun spreadsheet. Myna, Aplikasi Speech Shortcut Pada paper ini, kami akan memperkenalkan aplikasi yang dapat memberi gambaran tentang penggunaan speech shortcut. Kami menyebutnya Myna, diambil dari kosa kata bahasa Inggris yang artinya burung Beo. Myna dibangun menggunakan mesin Microsoft Speech To Text & Speech Recognizer serta bahasa pemrogramman Java dengan memanfaatkan API javax.speech yang menggunakan library 4) TalkingJava SDK buatan CloudGarden, sedang untuk penyimpanan data-data program digunakan database open source 5) MySQL. database grammar speech shortcut, yaitu: 1. Add Grammar, digunakan untuk membuat speech shortcut. 2. Update Grammar, digunakan untuk mengubah ucapan pada speech shortcut yang telah ada di database. 3. Update Command, digunakan untuk mengubah perintah/aplikasi pada speech shortcut yang telah ada di database. 4. Delete Gramar, digunakan untuk menghapus speech shortcut yang ada di database. Berikut ini merupakan tampilan pembuka Myna. Dengan sebuah menubar dan sebuah text area, Myna memang terlihat sangat simpel tapi hal tersebut tidaklah mengurangi fiturfiturnya. Myna menyediakan 4 (empat) layanan perintah untuk mengolah 4 Kumpulan/pengkapsulan prosedur dan fungsi yang saling terkait dalam satu tempat, gunanya untuk mempermudah penggunaannya. 5 Seluruh kode sumber yang membangun aplikasi yang bersangkutan boleh disebar, dilihat dan diubah. Gambar Tampilan pembuka Myna

6 Untuk saat ini, Myna hanya mendukung spelling bahasa Inggris, sedang untuk spelling bahasa Indonesia masih dalam tahap pengembangan. Selama pembuatan dan pengeksekusian speech shortcut, Myna harus dijalankan terlebih dahulu. Ucapan ucapan speech shortcut pada Myna haruslah unik atau tidak boleh ada yang sama. Myna dapat berjalan secara background, maksudnya walaupun user sedang bekerja dengan aplikasi selain Myna, Myna tetap dapat digunakan untuk pemanggilan speech shortcut. Pembuatan dan pengeksekusian speech shortcut ditangani sepenuhnya oleh Myna. Untuk membuat speech shortcut, user tinggal mengucapkan add grammar, setelah itu secara otomatis dialog add grammar akan tampil, seperti pada gambar 5. Pada dialog tersebut user diharuskan memasukkan command (aplikasi yang ingin dijalankan/dieksekusi), kemudian kata unik yang ingin diucapkan serta kata alternatif (optional) misalnya please, run atau yang lainnya. Jika sudah user tinggal mengucapkan ok atau menekan tombol ok, setelah itu speech shortcut sudah bisa digunakan. Selama dialog pada Myna muncul (misal dialog add grammar ) maka speech shortcut tidak akan dapat dieksekusi. Untuk menanganni perubahan pada pemakaian speech shortcut, Myna menyediakan fasilitas update. Fasilitas update ini terdiri atas dua jenis yaitu: update grammar untuk meng-update kata speech shortcut (kata unik) dan update command untuk meng-update command (aplikasi yang ingin dijalankan). Gambar Dialog Myna untuk mengupdate kata pada speech shortcut untuk pemanggilannya, user tinggal mengucapkan update grammar atau update grammar please secara otomatis Myna akan menampilkan dialog seperti yang terlihat di gambar 6, sedang untuk membuka dialog yang terlihat di gambar 7, cukup dengan mengucapkan update command atau

7 update comamnd please, penggunannya hampir sama dengan dialog add grammar tadi. Untuk mengupadate kata, user diharuskan memasukkan command yang ingin diganti katanya, lalu memasukkan kata dan kata alternatif pengganti, setelah selesai tinggal mengucapkan update atau menekan tombol update. Untuk meng-update command, user diharuskan memasukkan kata yang akan diganti command/programnya, setelah memasukkan command pengganti lalu mengucapkan update atau menekan tombol update, setelah itu speech shortcut tadi akan ter-update. Penghapusan speech shortcut dapat dilakukan dengan mengucapkan hapus grammar atau hapus grammar please (dengan spelling English). Setelah dialog seperti meng-update grammar, dapat dibatalkan pemanggilannya dengan mengucapkan cancel atau exit. Pengaplikasian Myna Myna dapat digunakan untuk banyak hal karena Myna hanya sebagai shortcut ke aplikasi lain. Misal bagi anda yang mempunyai rutinitas pemanggilan aplikasi yang sama setiap harinya (misalnya OpenOffice.org writer) anda bisa mempermudah pemaggilan dengan speech shortcut dengan ucapan writer lalu secara otomatis OpenOffice.org writer akan dipanggil. Rutinitas lainnya seperti membuka file explorer atau file browser dapat dipersingkat dengan speech shortcut, sehingga setiap kali anda ingin mecari file lewat explorer anda tinggal mengucapkan explorer lalu window explorer pun muncul. terlihat pada gambar 8 muncul, user tinggal memasukkan kata kunci yang bisa dipilih, apakah itu berupa kata, command/program yang dipanggil, atau kata alternatifnya, setelah diisi user tinggal mengucapkan kata Ok atau menekan tombol ok. Semua dialog di atas, baik itu dialog menambah, menghapus, ataupun Penggunaan lainnya misalnya anda sedang membuat suatu artikel, lalu anda ingin mendengarkan musik, dengan tangan tetap mengetik di keyboard anda tinggal mengucapkan music pada microphone lalu music player kesayangan anda pun akan segera muncul.

8 Bahkan Myna pun dapat digunakan untuk menutup aplikasi yang sedang berjalan, misal anda sudah selesai mengetik di OpenOffice.org writer, anda tinggal mengucapkan close writer, lalu OpenOffice.org writer pun ditutup tanpa harus mengklik icon close. Selain itu Myna juga dapat mematikan dan merestart komputer, dengan membuat speech shortcut untuk shutdown atau reboot komputer, anda bisa dengan mudah mematikan komputer misal dengan ucapan shutdown atau restart. [2] J-P. Hosom, R. Cole dan M. Fanty. Speech Recognition Using Neural Networks at the Center for Spoken Language Understanding. Oregon Graduate Institue of Science and Technology, Oregon, [3] Augmenting Conversation Using Dual-Purpose Speech [4] Talking with Your Computer [5] FAQ speech Tidak hanya itu saja, dengan sedikit kreatifitas anda, anda dapat membuat file batch atau shell script untuk meng-copy seluruh isi disket atau membuat backupnya ke dalam harddisk anda, hanya dengan mengucapkan backup please misalnya. Jika anda pengguna GNU/Linux anda akan bisa lebih banyak bereksperimen dengan speech shortcut. Daftar Pustaka [1] Suparman. Mengenal Artificial Intelligence. Andi Offset, Yogyakarta, 1991.