Automatic Speech Recognition in Mobile Customer Care Service

In the project an automatic speech system is used in mobile customer care   services. In existing  mobile  customer care  services, customer  have  to  wait for 4 to 5 minutes  to get  into the  option  what   they  want to  inquire. Based on the requirement, we go for filtering the incoming calls. Persons who require particular data are dynamically move to speech recognition system that identifies the type of the enquiry chosen. Speech recognition is the one which dynamically identifies the individual speaking based on analyzing the speech waves. It helps in identifying the voice of the speaker to know the recognized user. It also helps in accessing services like telephone banking, mobile shopping, database services and securing the information which is confidential

A Practical Fuzzy Controller with Q-learning Approach for the Path Tracking of a Walking-aid Robot

[[abstract]]This study tackles the path tracking problem of a prototype walking-aid (WAid) robot which features the human-robot interactive navigation. A practical fuzzy controller is proposed for the path tracking control under reinforcement learning ability. The inputs to the designed fuzzy controller are the error distance and the error angle between the current and the desired position and orientation, respectively. The controller outputs are the voltages applied to the left- and right-wheel motors. A heuristic fuzzy control with the Sugeno-type rules is then designed based on a model-free approach. The consequent part of each fuzzy control rule is designed with the aid of Q-learning approach. The design approach of the controller is presented in detail, and effectiveness of the controller is demonstrated by hardware implementation and experimental results under human-robot interaction environment. The results also show that the proposed path tracking control methods can be easily applied in various wheeled mobile robots.[[conferencetype]]國際[[conferencedate]]20140914~20140917[[booktype]]電子版[[iscallforpapers]]Y[[conferencelocation]]Nagoya, Japa

Using Deep Learning Technology to Realize the Automatic Control Program of Robot Arm Based on Hand Gesture Recognition

In this study, the robot arm control, computer vision, and deep learning technologies are combined to realize an automatic control program. There are three functional modules in this program, i.e., the hand gesture recognition module, the robot arm control module, and the communication module. The hand gesture recognition module records the user’s hand gesture images to recognize the gestures’ features using the YOLOv4 algorithm. The recognition results are transmitted to the robot arm control module by the communication module. Finally, the received hand gesture commands are analyzed and executed by the robot arm control module. With the proposed program, engineers can interact with the robot arm through hand gestures, teach the robot arm to record the trajectory by simple hand movements, and call different scripts to satisfy robot motion requirements in the actual production environment

Localization in Low Luminance, Slippery Indoor Environment Using Afocal Optical Flow Sensor and Image Processing

학위논문 (박사)-- 서울대학교 대학원 공과대학 전기·정보공학부, 2017. 8. 조동일.실내 서비스로봇의 위치 추정은 자율 주행을 위한 필수 요건이다. 특히 카메라로 위치를 추정하기 어려운 실내 저조도 환경에서 미끄러짐이 발생할 경우에는 위치 추정의 정확도가 낮아진다. 미끄러짐은 주로 카펫이나 문턱 등을 주행할 때 발생하며, 휠 엔코더 기반의 주행기록으로는 주행 거리의 정확한 인식에 한계가 있다. 본 논문에서는 카메라 기반 동시적 위치추정 및 지도작성 기술(simultaneous localization and mappingSLAM)이 동작하기 어려운 저조도, 미끄러운 환경에서 저가의 모션센서와 무한초점 광학흐름센서(afocal optical flow sensorAOFS) 및 VGA급 전방 단안카메라를 융합하여 강인하게 위치를 추정하는 방법을 제안했다. 로봇의 위치 추정은 주행거리 순간 변화량과 방위각 순간 변화량을 누적 융합하여 산출했으며, 미끄러운 환경에서도 좀 더 정확한 주행거리 추정을 위해 휠 엔코더와 AOFS로부터 획득한 이동 변위 정보를 융합했고, 방위각 추정을 위해 각속도 센서와 전방 영상으로부터 파악된 실내 공간정보를 활용했다. 광학흐름센서는 바퀴 미끄러짐에 강인하게 이동 변위를 추정 하지만, 카펫처럼 평평하지 않은 표면을 주행하는 이동 로봇에 광학흐름센서를 장착할 경우, 주행 중 발생하는 광학흐름센서와 바닥 간의 높이 변화가 광학흐름센서를 이용한 이동거리 추정 오차의 주요인으로 작용한다. 본 논문에서는 광학흐름센서에 무한초점계 원리를 적용하여 이 오차 요인을 완화하는 방안을 제시하였다. 로봇 문형 시스템(robotic gantry system)을 이용하여 카펫 및 세가지 종류의 바닥재질에서 광학흐름센서의 높이를 30 mm 에서 50 mm 로 변화시키며 80 cm 거리를 이동하는 실험을 10번씩 반복한 결과, 본 논문에서 제안하는 AOFS 모듈은 1 mm 높이 변화 당 0.1% 의 계통오차(systematic error)를 발생시켰으나, 기존의 고정초점방식의 광학흐름센서는 14.7% 의 계통오차를 나타냈다. 실내 이동용 서비스 로봇에 AOFS를 장착하여 카펫 위에서 1 m 를 주행한 결과 평균 거리 추정 오차는 0.02% 이고, 분산은 17.6% 인 반면, 고정초점 광학흐름센서를 로봇에 장착하여 같은 실험을 했을 때에는 4.09% 의 평균 오차 및 25.7% 의 분산을 나타냈다. 주위가 너무 어두워서 영상을 위치 보정에 사용하기 어려운 경우, 즉, 저조도 영상을 밝게 개선했으나 SLAM에 활용할 강인한 특징점 혹은 특징선을 추출하기 어려운 경우에도 로봇 주행 각도 보정에 저조도 이미지를 활용하는 방안을 제시했다. 저조도 영상에 히스토그램 평활화(histogram equalization) 알고리즘을 적용하면 영상이 밝게 보정 되면서 동시에 잡음도 증가하게 되는데, 영상 잡음을 없애는 동시에 이미지 경계를 뚜렷하게 하는 롤링 가이던스 필터(rolling guidance filterRGF)를 적용하여 이미지를 개선하고, 이 이미지에서 실내 공간을 구성하는 직교 직선 성분을 추출 후 소실점(vanishing pointVP)을 추정하고 소실점을 기준으로 한 로봇 상대 방위각을 획득하여 각도 보정에 활용했다. 제안하는 방법을 로봇에 적용하여 0.06 ~ 0.21 lx 의 저조도 실내 공간(77 sqm)에 카펫을 설치하고 주행했을 경우, 로봇의 복귀 위치 오차가 기존 401 cm 에서 21 cm로 줄어듦을 확인할 수 있었다.제 1 장 서 론 1 1.1 연구의 배경 1 1.2 선행 연구 조사 6 1.2.1 실내 이동형 서비스 로봇의 미끄러짐 감지 기술 6 1.2.2 저조도 영상 개선 기술 8 1.3 기여도 12 1.4 논문의 구성 14 제 2 장 무한초점 광학흐름센서(AOFS) 모듈 16 2.1 무한초점 시스템(afocal system) 16 2.2 바늘구멍 효과 18 2.3 무한초점 광학흐름센서(AOFS) 모듈 프로토타입 20 2.4 무한초점 광학흐름센서(AOFS) 모듈 실험 계획 24 2.5 무한초점 광학흐름센서(AOFS) 모듈 실험 결과 29 제 3 장 저조도영상의 방위각보정 활용방법 36 3.1 저조도 영상 개선 방법 36 3.2 한 장의 영상으로 실내 공간 파악 방법 38 3.3 소실점 랜드마크를 이용한 로봇 각도 추정 41 3.4 최종 주행기록 알고리즘 46 3.5 저조도영상의 방위각 보정 실험 계획 48 3.6 저조도영상의 방위각 보정 실험 결과 50 제 4 장 저조도 환경 위치인식 실험 결과 54 4.1 실험 환경 54 4.2 시뮬레이션 실험 결과 59 4.3 임베디드 실험 결과 61 제 5 장 결론 62Docto

An Adaptive Neural Mechanism for Acoustic Motion Perception with Varying Sparsity

Biological motion-sensitive neural circuits are quite adept in perceiving the relative motion of a relevant stimulus. Motion perception is a fundamental ability in neural sensory processing and crucial in target tracking tasks. Tracking a stimulus entails the ability to perceive its motion, i.e., extracting information about its direction and velocity. Here we focus on auditory motion perception of sound stimuli, which is poorly understood as compared to its visual counterpart. In earlier work we have developed a bio-inspired neural learning mechanism for acoustic motion perception. The mechanism extracts directional information via a model of the peripheral auditory system of lizards. The mechanism uses only this directional information obtained via specific motor behaviour to learn the angular velocity of unoccluded sound stimuli in motion. In nature however the stimulus being tracked may be occluded by artefacts in the environment, such as an escaping prey momentarily disappearing behind a cover of trees. This article extends the earlier work by presenting a comparative investigation of auditory motion perception for unoccluded and occluded tonal sound stimuli with a frequency of 2.2 kHz in both simulation and practice. Three instances of each stimulus are employed, differing in their movement velocities–0.5°/time step, 1.0°/time step and 1.5°/time step. To validate the approach in practice, we implement the proposed neural mechanism on a wheeled mobile robot and evaluate its performance in auditory tracking