Perancangan Sarung Tangan Untuk Pengenalan Sistem Isyarat Bahasa Indonesia Berbasis Sensor

Penelitian ini bertujuan untuk mengembangkan sarung tangan yang dilengkapi sensor (embedded system) yang digunakan dalam sistem pengenalan Sistem Isyarat Bahasa Indonesia (SIBI). Dengan pendekatan berbasis data sensor, sistem pengenalan SIBI diharapkan dapat memiliki akurasi yang lebih baik, yaitu dengan menggunakan sensor flex (untuk gerakan lekukan jari, dan menggunakan kombinasi sensor accelerometer-gyroscope untuk mengetahui kemiringan/orientasi tangan. Penelitian ini masih dalam tahap perancangan sarung tangan. Dalam tahap perancangan ini telah diselesaikan untuk desain rangkaian, desain PCB, pembuatan PCB, pemasangan sensor flex dan desain program mikrokontroler

Pengenalan Sistem Isyarat Bahasa Indonesia Menggunakan Kombinasi Fitur Statis Dan Fitur Dinamis Lmc Berbasis L-gcnn

Jumlah karya ilmiah yang dihasilkan oleh akademisi dan peneliti di Indonesia semakin banyak, terutama setelah diterbitkannya surat edaran Dirjen DIKTI tahun 2012 dimana karya ilmiah dijadikan sebagai syarat kelulusan mahasiswa S1, S2 dan S3. Namun demikian, tidak semua karya ilmiah tersebut memiliki kualitas yang baik. Masih banyak karya ilmiah yang belum memenuhi standar baku Ejaan Yang Disempurnakan (EYD). Pada artikel ini, penulis mengembangkan sebuah kakas bantu untuk mendeteksi kesalahan tanda baca pada karya ilmiah, khususnya yang berbahasa Indonesia, sesuai dengan EYD. Aplikasi dirancang agar dapat mendeteksi kesalahan tanda baca pada tulisan karya ilmiah dengan format .doc atau .docx serta dapat menghasilkan keluaran berupa arsip Microsoft Word dengan tambahan hasil telaah pemeriksaan tanda baca yang dibangkitkan secara otomatis. Deteksi kesalahan tanda baca menggunakan metode pencarian kata dengan algoritma BoyerMoore. Aplikasi kakas bantu telah diuji coba dengan hasil rata-rata nilai presisi sistem sebesar 0,6806, recall sebesar 0,969 dan akurasi sistem sebesar 0,9636. Hasil tersebut menunjukkan bahwa aplikasi sudah mampu mendeteksi adanya kesalahan tanda baca meskipun masih ada keterbatasan deteksi karena tidak semua aturan tanda baca dicakup dalam pemeriksaannya

American Sign Language alphabet recognition using Microsoft Kinect

American Sign Language (ASL) fingerspelling recognition using marker-less vision sensors is a challenging task due to the complexity of ASL signs, self-occlusion of the hand, and limited resolution of the sensors. This thesis describes a new method for ASL fingerspelling recognition using a low-cost vision camera, which is Microsoft\u27s Kinect. A segmented hand configuration is first obtained by using a depth contrast feature based per-pixel classification algorithm. Then, a hierarchical mode-finding method is developed and implemented to localize hand joint positions under kinematic constraints. Finally, a Random Decision Forest (RDF) classifier is built to recognize ASL signs according to the joint angles. To validate the performance of this method, a dataset containing 75,000 samples of 24 static ASL alphabet signs is used. The system is able to achieve a mean accuracy of 92%. We have also used a publicly available dataset from Surrey University to evaluate our method. The results have shown that our method can achieve higher accuracy in recognizing ASL alphabet signs in comparison to the previous benchmarks. --Abstract, page iii

RANCANG BANGUN APLIKASI MONITORING DAN REKAM DATA SISTEM PENGENALAN SISTEM ISYARAT BAHASA INDONESIA BERBASIS SENSOR

ABSTRAK Dalam penelitian ini dikembangkan pengenalan sistem isyarat bahasa Indonesia (SIBI) berbasis sensor yang diharapkan dapat memperbaiki akurasi, yaitu dengan menggunakan sensor flex untuk gerakan lekukan jari, dan menggunakan sensor accelerometer-gyroscope untuk mengetahui kemiringan/orientasi tangan. Untuk mendapatkan ekstraksi ciri dan metode pengenalan yang optimal, maka diperlukan uji coba dan analisis terhadap perbandingan ekstraksi ciri dan metode pengenalan, sehingga dapat ditentukan yang terbaik. Dalam uji coba dan analisis tersebut, maka diperlukan sampel data offline atau data yang sudah disimpan/direkam sebelumnya, sehingga diperlukan aplikasi untuk dapat merekam data (recording) dan memonitoring data dari sensor-sensor yang dipasang pada sarung tangan. Dengan adanya data-data sensor tersebut, maka proses pemilihan ekstraksi ciri dan metode pengenalan yang optimal dapat dilakukan secara offline, menggunakan perangkat lunak komputasi. Capaian dapam Penelitian ini, adalah telah berhasil dikembangkan program aplikasi monitoring dan rekam data untuk sistem pengenalan SIBI. Data sensor yang dimonitoring dan direkam adalah data raw, sehingga perlu dilakukan pengolahan data untuk proses ekstraksi ciri sebelum diujicobakan pada metode pengenalan tertentu Kata kunci: SIBI, bahasa isyarat, sensor, flex, acclerometer, gyroscope, monitoring, recording

A Posture Sequence Learning System for an Anthropomorphic Robotic Hand

The paper presents a cognitive architecture for posture learning of an anthropomorphic robotic hand. Our approach is aimed to allow the robotic system to perform complex perceptual operations, to interact with a human user and to integrate the perceptions by a cognitive representation of the scene and the observed actions. The anthropomorphic robotic hand imitates the gestures acquired by the vision system in order to learn meaningful movements, to build its knowledge by different conceptual spaces and to perform complex interaction with the human operator

PENGENALAN SISTEM ISYARAT BAHASA INDONESIA MENGGUNAKAN KOMBINASI FITUR STATIS DAN FITUR DINAMIS LMC BERBASIS L-GCNN

Jumlah karya ilmiah yang dihasilkan oleh akademisi dan peneliti di Indonesia semakin banyak, terutama setelah diterbitkannya surat edaran Dirjen DIKTI tahun 2012 dimana karya ilmiah dijadikan sebagai syarat kelulusan mahasiswa S1, S2 dan S3. Namun demikian, tidak semua karya ilmiah tersebut memiliki kualitas yang baik. Masih banyak karya ilmiah yang belum memenuhi standar baku Ejaan Yang Disempurnakan (EYD). Pada artikel ini, penulis mengembangkan sebuah kakas bantu untuk mendeteksi kesalahan tanda baca pada karya ilmiah, khususnya yang berbahasa Indonesia, sesuai dengan EYD. Aplikasi dirancang agar dapat mendeteksi kesalahan tanda baca pada tulisan karya ilmiah dengan format .doc atau .docx serta dapat menghasilkan keluaran berupa arsip Microsoft Word dengan tambahan hasil telaah pemeriksaan tanda baca yang dibangkitkan secara otomatis. Deteksi kesalahan tanda baca menggunakan metode pencarian kata dengan algoritma BoyerMoore. Aplikasi kakas bantu telah diuji coba dengan hasil rata-rata nilai presisi sistem sebesar 0,6806, recall sebesar 0,969 dan akurasi sistem sebesar 0,9636. Hasil tersebut menunjukkan bahwa aplikasi sudah mampu mendeteksi adanya kesalahan tanda baca meskipun masih ada keterbatasan deteksi karena tidak semua aturan tanda baca dicakup dalam pemeriksaannya

Real-time Immersive human-computer interaction based on tracking and recognition of dynamic hand gestures

With fast developing and ever growing use of computer based technologies, human-computer interaction (HCI) plays an increasingly pivotal role. In virtual reality (VR), HCI technologies provide not only a better understanding of three-dimensional shapes and spaces, but also sensory immersion and physical interaction. With the hand based HCI being a key HCI modality for object manipulation and gesture based communication, challenges are presented to provide users a natural, intuitive, effortless, precise, and real-time method for HCI based on dynamic hand gestures, due to the complexity of hand postures formed by multiple joints with high degrees-of-freedom, the speed of hand movements with highly variable trajectories and rapid direction changes, and the precision required for interaction between hands and objects in the virtual world. Presented in this thesis is the design and development of a novel real-time HCI system based on a unique combination of a pair of data gloves based on fibre-optic curvature sensors to acquire finger joint angles, a hybrid tracking system based on inertia and ultrasound to capture hand position and orientation, and a stereoscopic display system to provide an immersive visual feedback. The potential and effectiveness of the proposed system is demonstrated through a number of applications, namely, hand gesture based virtual object manipulation and visualisation, hand gesture based direct sign writing, and hand gesture based finger spelling. For virtual object manipulation and visualisation, the system is shown to allow a user to select, translate, rotate, scale, release and visualise virtual objects (presented using graphics and volume data) in three-dimensional space using natural hand gestures in real-time. For direct sign writing, the system is shown to be able to display immediately the corresponding SignWriting symbols signed by a user using three different signing sequences and a range of complex hand gestures, which consist of various combinations of hand postures (with each finger open, half-bent, closed, adduction and abduction), eight hand orientations in horizontal/vertical plans, three palm facing directions, and various hand movements (which can have eight directions in horizontal/vertical plans, and can be repetitive, straight/curve, clockwise/anti-clockwise). The development includes a special visual interface to give not only a stereoscopic view of hand gestures and movements, but also a structured visual feedback for each stage of the signing sequence. An excellent basis is therefore formed to develop a full HCI based on all human gestures by integrating the proposed system with facial expression and body posture recognition methods. Furthermore, for finger spelling, the system is shown to be able to recognise five vowels signed by two hands using the British Sign Language in real-time