Fast Virtual Keyboard Typing Using Vowel Hand Gesture Recognition

학위논문(석사) -- 서울대학교대학원 : 공과대학 전기·정보공학부, 2023. 2. 이혁재.This paper proposes a fast virtual keyboard typing method that improves typing method that improves typing speed using hand gesture recognition. In the proposed method, five frequently used English vowels can be quickly input with five dedicated gestures. The proposed method reduces, not only the layer switching time of the multilayer keyboard layout, but also vowel typing time. To predict the performance of the proposed method, simulations are performed considering four scenarios according to the order of appearance of vowels and consonants. The result shows that the proposed method improves typing speed by 20.72%. Lastly user test with typing 4 sample sentences results that typing speed is improved by 12.45% based on WPM.최근 AR(Augmented Reality) 및 VR(Virtual Reality)기술이 발전 함에 따라 사용자 인터페이스 기술에 대한 연구가 활발히 진행되고 있다. 키보드, 마우스, 터치스크린 등 기존의 입력 장치를 대체할 수 있는 가상 입력 인터페이스로 손동작 인식이 주목받고 있으며, 이에 다양한 접근 방식으로 손동작 인식 모델이 제안되었다. 정교한 손 인식을 위해 센서가 내장된 장치형 인터페이스를 사용한 손동작 인식 연구가 이뤄지고 있다. 최근에는 딥러닝 기술의 발전에 따라 별도의 장치가 필요 없는 카메라 기반 비전 인식을 이용한 손동작 인식이 AR/VR의 핵심 어플리케이션인 가상 키보드, 가상 글쓰기, 수화 인식 등에 사용되기 위한 인터페이스로 활발한 연구가 이뤄지고 있으며, 특히 객체 인식 딥러닝 네트워크의 경우 실시간으로 손동작을 인식할 수 있다는 점에서 많이 사용되고 있다. 본 논문에서는 알파벳의 사용 빈도 및 연속적으로 나타나는 두 문자 간의 상관 빈도에 대해 통계적 분석을 진행 시, 모음의 사용 빈도수는 평균 39%이며 자음-모음 또는 모음-자음 순으로 배치되는 경우는 약 65% 정도로 모음의 입력의 속도를 향상시켜 가상 키보드 입력 속도를 개선하는 방법을 제안한다. 제안한 방식은 객체 인식 딥러닝 네트워크를 이용하여 가상 키보드 입력에 필요한 6개의 손동작에 5개의 알파벳 모음, a, e, i, o, u에 대해 특정된 손동작을 추가로 학습시켜, 자음의 경우 기존과 동일하게 가상 키보드 배열 내에서 선택되어 입력되도록 하며 모음의 경우 모음 손동작이 인식되면 입력되도록 한다. 인식이 필요한 손동작이 늘어남에 따라 자동 라벨링을 통해 다수의 학습 데이터를 확보하여 94.39%의 비교적 높은 평균 손동작 인식률을 확보했다. 제안한 방식 기반의 가상 키보드를 구현하여 사용자 테스트를 진행한 결과 기존에 제안된 가상 키보드 입력 방식보다 제안한 방식의 속도가 12.45% 개선되었다.제 1 장 서 론 1 제 1 절 연구 배경 및 내용 1 제 2 절 논문의 구성 3 제 2 장 관련 연구 4 제 1 절 손동작 인식 관련 연구 4 제 2 절 가상 키보드 관련 연구 7 제 3 장 가상 키보드 속도 향상 방안 제안 9 제 1 절 모음 손동작 추가 배경 9 제 2 절 제안한 가상 키보드 입력 시스템 10 제 4 장 실험 결과 및 분석 14 제 1 절 입력 시간 예측 시뮬레이션 결과 14 제 2 절 딥러닝 네트워크의 학습 16 제 3 절 가상 키보드의 사용자 실험 및 분석 19 제 5 장 결론 21 참고문헌 22 Abstract 25석

A New Virtual Keyboard with Finger Gesture Recognition for AR/VR Devices

This paper proposes a system that types the virtual keyboard by recognizing hand gestures in a single camera based environment. A virtual keyboard is designed in a multi-tab method of 3 x 4 arrays that are widely used in a mobile environment. In order to make it easy to identify the type-in action and consequently, to increase the type-in speed, this paper proposes a new definition of type-in action as the contact between the thumb and the index finger. To further reduce the input time, the keyboard layout is optimized by efficiently arranging alphabet keys according to the frequency of character appearance. Experimental results show that the proposed type-in action is effective to give commands with a virtual keyboard. Furthermore, the proposed keyboard layout achieves the speed-up by an average of 46.16% compared to the most conventional 'ABC' keyboard.N