Perancangan Sarung Tangan Untuk Pengenalan Sistem Isyarat Bahasa Indonesia Berbasis Sensor

Penelitian ini bertujuan untuk mengembangkan sarung tangan yang dilengkapi sensor (embedded system) yang digunakan dalam sistem pengenalan Sistem Isyarat Bahasa Indonesia (SIBI). Dengan pendekatan berbasis data sensor, sistem pengenalan SIBI diharapkan dapat memiliki akurasi yang lebih baik, yaitu dengan menggunakan sensor flex (untuk gerakan lekukan jari, dan menggunakan kombinasi sensor accelerometer-gyroscope untuk mengetahui kemiringan/orientasi tangan. Penelitian ini masih dalam tahap perancangan sarung tangan. Dalam tahap perancangan ini telah diselesaikan untuk desain rangkaian, desain PCB, pembuatan PCB, pemasangan sensor flex dan desain program mikrokontroler

Pengenalan Sistem Isyarat Bahasa Indonesia Menggunakan Kombinasi Fitur Statis Dan Fitur Dinamis Lmc Berbasis L-gcnn

Jumlah karya ilmiah yang dihasilkan oleh akademisi dan peneliti di Indonesia semakin banyak, terutama setelah diterbitkannya surat edaran Dirjen DIKTI tahun 2012 dimana karya ilmiah dijadikan sebagai syarat kelulusan mahasiswa S1, S2 dan S3. Namun demikian, tidak semua karya ilmiah tersebut memiliki kualitas yang baik. Masih banyak karya ilmiah yang belum memenuhi standar baku Ejaan Yang Disempurnakan (EYD). Pada artikel ini, penulis mengembangkan sebuah kakas bantu untuk mendeteksi kesalahan tanda baca pada karya ilmiah, khususnya yang berbahasa Indonesia, sesuai dengan EYD. Aplikasi dirancang agar dapat mendeteksi kesalahan tanda baca pada tulisan karya ilmiah dengan format .doc atau .docx serta dapat menghasilkan keluaran berupa arsip Microsoft Word dengan tambahan hasil telaah pemeriksaan tanda baca yang dibangkitkan secara otomatis. Deteksi kesalahan tanda baca menggunakan metode pencarian kata dengan algoritma BoyerMoore. Aplikasi kakas bantu telah diuji coba dengan hasil rata-rata nilai presisi sistem sebesar 0,6806, recall sebesar 0,969 dan akurasi sistem sebesar 0,9636. Hasil tersebut menunjukkan bahwa aplikasi sudah mampu mendeteksi adanya kesalahan tanda baca meskipun masih ada keterbatasan deteksi karena tidak semua aturan tanda baca dicakup dalam pemeriksaannya

RANCANG BANGUN APLIKASI MONITORING DAN REKAM DATA SISTEM PENGENALAN SISTEM ISYARAT BAHASA INDONESIA BERBASIS SENSOR

ABSTRAK Dalam penelitian ini dikembangkan pengenalan sistem isyarat bahasa Indonesia (SIBI) berbasis sensor yang diharapkan dapat memperbaiki akurasi, yaitu dengan menggunakan sensor flex untuk gerakan lekukan jari, dan menggunakan sensor accelerometer-gyroscope untuk mengetahui kemiringan/orientasi tangan. Untuk mendapatkan ekstraksi ciri dan metode pengenalan yang optimal, maka diperlukan uji coba dan analisis terhadap perbandingan ekstraksi ciri dan metode pengenalan, sehingga dapat ditentukan yang terbaik. Dalam uji coba dan analisis tersebut, maka diperlukan sampel data offline atau data yang sudah disimpan/direkam sebelumnya, sehingga diperlukan aplikasi untuk dapat merekam data (recording) dan memonitoring data dari sensor-sensor yang dipasang pada sarung tangan. Dengan adanya data-data sensor tersebut, maka proses pemilihan ekstraksi ciri dan metode pengenalan yang optimal dapat dilakukan secara offline, menggunakan perangkat lunak komputasi. Capaian dapam Penelitian ini, adalah telah berhasil dikembangkan program aplikasi monitoring dan rekam data untuk sistem pengenalan SIBI. Data sensor yang dimonitoring dan direkam adalah data raw, sehingga perlu dilakukan pengolahan data untuk proses ekstraksi ciri sebelum diujicobakan pada metode pengenalan tertentu Kata kunci: SIBI, bahasa isyarat, sensor, flex, acclerometer, gyroscope, monitoring, recording

PARLOMA – A Novel Human-Robot Interaction System for Deaf-blind Remote Communication

Deaf-blindness forces people to live in isolation. Up to now there is no existing technological solution enabling two (or many) Deaf-blind persons to communicate remotely among them in tactile Sign Language (t-SL). When resorting to t-SL, Deaf-blind persons can communicate only with persons physically present in the same place, because they are required to reciprocally explore their hands to exchange messages. We present a preliminary version of PARLOMA, a novel system to enable remote communication between Deaf-blind persons. It is composed of a low-cost depth sensor as the only input device, paired with a robotic hand as output device. Essentially, any user can perform handshapes in front of the depth sensor. The system is able to recognize a set of handshapes that are sent over the web and reproduced by an anthropomorphic robotic hand. PARLOMA can work as a “telephone” for Deaf-blind people. Hence, it will dramatically improve life quality of Deaf-blind persons. PARLOMA has been designed in strict collaboration with the main Italian Deaf-blind associations, in order to include end-users in the design phase

Machine learning methods for sign language recognition: a critical review and analysis.

Sign language is an essential tool to bridge the communication gap between normal and hearing-impaired people. However, the diversity of over 7000 present-day sign languages with variability in motion position, hand shape, and position of body parts making automatic sign language recognition (ASLR) a complex system. In order to overcome such complexity, researchers are investigating better ways of developing ASLR systems to seek intelligent solutions and have demonstrated remarkable success. This paper aims to analyse the research published on intelligent systems in sign language recognition over the past two decades. A total of 649 publications related to decision support and intelligent systems on sign language recognition (SLR) are extracted from the Scopus database and analysed. The extracted publications are analysed using bibliometric VOSViewer software to (1) obtain the publications temporal and regional distributions, (2) create the cooperation networks between affiliations and authors and identify productive institutions in this context. Moreover, reviews of techniques for vision-based sign language recognition are presented. Various features extraction and classification techniques used in SLR to achieve good results are discussed. The literature review presented in this paper shows the importance of incorporating intelligent solutions into the sign language recognition systems and reveals that perfect intelligent systems for sign language recognition are still an open problem. Overall, it is expected that this study will facilitate knowledge accumulation and creation of intelligent-based SLR and provide readers, researchers, and practitioners a roadmap to guide future direction

PENGENALAN SISTEM ISYARAT BAHASA INDONESIA MENGGUNAKAN KOMBINASI FITUR STATIS DAN FITUR DINAMIS LMC BERBASIS L-GCNN

Jumlah karya ilmiah yang dihasilkan oleh akademisi dan peneliti di Indonesia semakin banyak, terutama setelah diterbitkannya surat edaran Dirjen DIKTI tahun 2012 dimana karya ilmiah dijadikan sebagai syarat kelulusan mahasiswa S1, S2 dan S3. Namun demikian, tidak semua karya ilmiah tersebut memiliki kualitas yang baik. Masih banyak karya ilmiah yang belum memenuhi standar baku Ejaan Yang Disempurnakan (EYD). Pada artikel ini, penulis mengembangkan sebuah kakas bantu untuk mendeteksi kesalahan tanda baca pada karya ilmiah, khususnya yang berbahasa Indonesia, sesuai dengan EYD. Aplikasi dirancang agar dapat mendeteksi kesalahan tanda baca pada tulisan karya ilmiah dengan format .doc atau .docx serta dapat menghasilkan keluaran berupa arsip Microsoft Word dengan tambahan hasil telaah pemeriksaan tanda baca yang dibangkitkan secara otomatis. Deteksi kesalahan tanda baca menggunakan metode pencarian kata dengan algoritma BoyerMoore. Aplikasi kakas bantu telah diuji coba dengan hasil rata-rata nilai presisi sistem sebesar 0,6806, recall sebesar 0,969 dan akurasi sistem sebesar 0,9636. Hasil tersebut menunjukkan bahwa aplikasi sudah mampu mendeteksi adanya kesalahan tanda baca meskipun masih ada keterbatasan deteksi karena tidak semua aturan tanda baca dicakup dalam pemeriksaannya

Real-time Immersive human-computer interaction based on tracking and recognition of dynamic hand gestures

With fast developing and ever growing use of computer based technologies, human-computer interaction (HCI) plays an increasingly pivotal role. In virtual reality (VR), HCI technologies provide not only a better understanding of three-dimensional shapes and spaces, but also sensory immersion and physical interaction. With the hand based HCI being a key HCI modality for object manipulation and gesture based communication, challenges are presented to provide users a natural, intuitive, effortless, precise, and real-time method for HCI based on dynamic hand gestures, due to the complexity of hand postures formed by multiple joints with high degrees-of-freedom, the speed of hand movements with highly variable trajectories and rapid direction changes, and the precision required for interaction between hands and objects in the virtual world. Presented in this thesis is the design and development of a novel real-time HCI system based on a unique combination of a pair of data gloves based on fibre-optic curvature sensors to acquire finger joint angles, a hybrid tracking system based on inertia and ultrasound to capture hand position and orientation, and a stereoscopic display system to provide an immersive visual feedback. The potential and effectiveness of the proposed system is demonstrated through a number of applications, namely, hand gesture based virtual object manipulation and visualisation, hand gesture based direct sign writing, and hand gesture based finger spelling. For virtual object manipulation and visualisation, the system is shown to allow a user to select, translate, rotate, scale, release and visualise virtual objects (presented using graphics and volume data) in three-dimensional space using natural hand gestures in real-time. For direct sign writing, the system is shown to be able to display immediately the corresponding SignWriting symbols signed by a user using three different signing sequences and a range of complex hand gestures, which consist of various combinations of hand postures (with each finger open, half-bent, closed, adduction and abduction), eight hand orientations in horizontal/vertical plans, three palm facing directions, and various hand movements (which can have eight directions in horizontal/vertical plans, and can be repetitive, straight/curve, clockwise/anti-clockwise). The development includes a special visual interface to give not only a stereoscopic view of hand gestures and movements, but also a structured visual feedback for each stage of the signing sequence. An excellent basis is therefore formed to develop a full HCI based on all human gestures by integrating the proposed system with facial expression and body posture recognition methods. Furthermore, for finger spelling, the system is shown to be able to recognise five vowels signed by two hands using the British Sign Language in real-time