Analysis on Smartphone Voice User Interface Error Type and Users Speech Behavior Pattern after Correction: Focusing on iPhone Siri Users ?

학위논문 (석사)-- 서울대학교 융합과학기술대학원 : 융합과학부(디지털정보융합전공), 2015. 8. 이중식.스마트폰의 음성 사용자 인터페이스를 통해 사람들은 음성 언어로 스마트폰과 상호작용이 가능해 졌다. 음성 사용자 인터페이스는 인간의 가장 기본적인 커뮤니케이션 수단인 음성 언어를 기반으로 하기 때문에 GUI를 사용하기 어려운 상황이나 집단의 접근 장벽을 낮춘다. 또한 언어 관련이 있는 만큼 대부분의 지식 서비스와 연계될 수 있어 중요성이 점차 더 높아질 것이라 예상한다. 그런데 음성 사용자 인터페이스의 중요성에 비해 음성 사용자 인터페이스 사용자 연구는 특정 집단의 사용자 연구에 치중되어 있다. 사용자의 경험은 기술의 발전에 중요한 척도로 작용한다. 그래서 본 연구에서는 스마트폰 음성 사용자 인터페이스 사용 경험이 적은 아이폰 시리 사용자를 대상으로 음성 사용자 인터페이스 사용시 발생하는 오류를 유형화하고, 오류 발생 후의 재발화 행태를 분석하였다. 오류 발생 후 재발화 행태는 언어 조절 이론을 토대로 발화 크기, 높이, 속도 등 목소리의 변화와 발화 어휘, 서술어, 문장 구조 등의 문장의 변화를 분석하였다. 피험자들은 7일동안 내일 날씨, 알람 설정, 일정 추가, 식당 찾기, 문자 보내기 등 5개의 미션을 수행하였다. 그 중 1일, 4일, 7일은 통제된 실험실에서 연구자 동행 하에 같은 미션을 수행하였다. 피험자들의 사용 기록은 스마트폰 화면을 녹화 영상과 음성 녹음 파일로 수집하였다. 또한 피험자들은 5개의 미션 수행 후 매일 음성 사용자 인터페이스 사용 만족도에 대한 5점 척도의 평가 설문지를 작성하였다. 마지막으로 피험자들은 실험이 끝난 후 시리를 사용하는 동안 발생하는 오류를 몇 번까지 이해하고 재발화 할 수 있는지에 대해 답변하였다. 분석 결과는 다음과 같다. 첫째, 사용자의 음성 사용자 인터페이스 만족도는 오류 개수와 상관관계가 있다. 둘째, 사용자는 음성 사용자 인터페이스 오류 상황을 3번 이하로 이해하고 사용할 수 있다. 셋째, 음성 상호작용에서 발생하는 오류들은 8개로 유형화할 수 있는데 그 중 사용자의 음성 입력 시간 오류, 잘못된 음성 인식으로 인한 오류, 그리고 시스템의 잘못된 결과 도출 등 3가지 오류의 발생률이 가장 높다. 넷째, 오류 상황 후 사용자의 재발화 행태는 첫 번째 오류 후와 두 번째 오류 후가 차이가 있다. 첫 번째 오류 후에는 목소리나 문장을 비슷한 비율로 변화하여 재발화 하지만, 두 번째 오류 후 문장을 변경하여 재발화 하는 비율이 80%로 높아진다. 다섯째, 목소리의 변화 요소는 날짜에 따라 다르지만 문장은 주로 어휘 변경이 자주 일어난다. 여섯째, 오류의 유형에 따라 사용자의 재발화 행태가 다르다. 사용자의 음성 입력 시간 오류 후에는 문장은 유지하고 목소리를 변화하지만, 잘못된 음성 인식과 시스템의 잘못된 결과 도출로 인한 오류 후에는 주로 문장을 변화하여 재발화 한다. 일곱째, 사용자는 초기에는 청유형으로 명령을 내리지만 후기로 갈수록 서술어를 생략하고, 두 개 이상의 문장을 한 번에 발화하는 경향을 보인다. 여덟째, 음성 사용자 인터페이스 사용자는 시스템이 오류 상황을 해결할 수 있는 구체적인 피드백을 주면 재발화 시 피드백 내용을 바탕으로 문장을 변화한다. 마지막으로, 음성 사용자 인터페이스 사용자들은 시끄러운 환경보다는 조용하고 혼자 있는 환경에서 VUI를 사용하려 하는 것이 관찰되었다. 본 연구는 스마트폰 음성 사용자 인터페이스를 사용하는 과정에서 발생하는 오류 상황을 실증적으로 검증하였고, 심리학 이론에 기초하여 사용자의 행태를 연구한 융 복합적 연구로서의 의의를 갖는다. 또한, 음성 사용자 인터페이스 사용과정을 장기간 분석하여 사용자의 수용과 적응의 과정을 살폈다. 이 과정을 오류 빈도와 만족도, 그리고 사용 행태의 변화에 초점을 맞춰 사용자의 실제 사용 경험을 연구하였다는 의의가 있다. 마지막으로 사용자의 오류 상황에 대한 대응을 살펴보아 산업적으로 VUI 음성 피드백 디자인과 음성 인식 오류 도출 개발에 기여할 수 있을 것이다.초 록 i 목 차 iv 표 목차 vi 그림 목차 vii 제 1 장 서 론 1 제 1 절 연구 배경과 목적 1 제 2 절 논문의 구성 7 제 2 장 이론적 배경 8 제 1 절 사람과의 대화 상황에서의 언어 조절 8 제 2 절 기계와 음성 상호작용 상황에서의 언어 조절 9 제 3 장 선행 연구 12 제 1 절 스마트폰 음성 사용자 인터페이스의 이해 12 제 2 절 음성 사용자 인터페이스 사용자 연구 16 제 4 장 연구 문제 21 제 1 절 문제 배경 21 제 2 절 연구 문제 22 제 5 장 연구 방법과 데이터 분석 방법 23 제 1 절 연구 방법 23 제 2 절 데이터 분석 방법 27 제 6 장 예비 실험 31 제 1 절 예비 실험 31 제 7 장 용어 정리 33 제 1 절 오류 발생 단계 33 제 2 절 재발화 행태 34 제 8 장 연구 결과 36 제 1 절 실험 데이터 분석 결과 36 제 2 절 연구문제의 검정 40 제 3 절 연구문제 외 분석 51 제 9 장 결론 및 연구의 의의 53 제 1 절 연구 요약 53 제 2 절 연구 결론 53 제 3 절 토의 54 제 4 절 연구의 한계 55 제 5 절 연구의 의의 56 참고 문헌 57 Abstract 66Maste

A Methodology for Generating Ideas to Solve Problems of the Mobility-Challenged

The aim of this study is to conduct root cause analysis of problems of the mobility-challenged when they walk and generate ideas to solve the problems using idea generation techniques. Finding users’ problems is important to develop new products or services which give better user experience to users. Based on collected problems, identifying causes of them is also essential to develop effective and creative products and services. There are many techniques for cause analysis and idea generation. Different techniques should be chosen depending on target users, types of product and service. This study tried to make ideas to improve the experience of the mobility-challenged when they walk outside. We choose 5W1H and Why-Why diagram as cause analysis techniques. In idea generation step, How-How diagram and SCAMPER were used. As a result, 1,055 causes were derived from 23 problems, and 146 ideas were generated using idea generation techniques. Ideas can be classified into two types by their function: providing information and aiding communication. Providing information about obstacles, other people, and mobility-challenged is included in providing information type. Ideas about translating speech, notifying and sending request are included in aiding communication type. This results of the study can be utilized to develop real product or service to improve the experience of the mobility-challenged when they walk.2

Investigating Pedestrian Experiences of the mobility-challenged

The aim of this study is to identify broad pedestrian experiences of the mobility-challenged. Walking is major physical activity of human, which affect health and quality of life. However, the mobility-challenged feels difficult to walk outside because of their physical and cognitive weakness. Although there are social opinions that the mobility-challenged has right to walk and attempts to make pedestrian-friendly environments, pedestrian cannot still walk outside freely. It is essential to identify experiences of the mobility-challenged while walking and support them appropriately. Diary methods and focus group interview (FGI) were selected as user survey methods to collect pedestrian experiences of the mobility-challenged. We recruited twenty-seven participants; eight visually challenged, eight aurally challenged, and eleven physically challenged. They were asked to daily write one positive and one negative experiences while walking on diary for one week. After that, they were participated in FGI. They were grouped according to type of disability. They discussed about their experiences, which are written in diaries. Discussion sessions were made by the principles of pedestrian experiences. Pedestrian experiences collected were identified as the principles of pedestrian experience. Seeing that most of the experiences were negative, it seems that the mobility-challenged usually undergoes discomforts while walking outside. To improve their pedestrian experiences, effort based on their experiences should be made from various perspectives. The experiences can be baseline data of the design guidelines for pedestrian-friendly environments. Also, they can be opportunities of developing supportive tools of the mobility-challenged.2

IoT Intelligence의 정의 및 특성 분석

This study aims to define IoT intelligence and its characteristics. Advances in the field of information and communication technology have allowed the devices to be connected to the network. It allows the users to monitor and control the devices anytime and anywhere. With the data collected by the IoT devices, it is possible to understand the behaviors and intention of the users. The devices can provide services suitable for the situation and the intention, which are called intelligent services or personalized services. Accordingly, intelligent IoT services are being developed and launched. But most are designed with a technology focus, so those are featureless and fail to provide a satisfying experience for users. To provide a better experience for the users, it is necessary to understand IoT intelligence with the user's viewpoint. This study defined IoT intelligence as a system that senses/understands the behaviors of users and their context and provides assistive services with a certain degree of autonomy and rationality in an IoT environment. And we derived its characteristics from two perspectives; IoT intelligence service types and IoT intelligence maturity levels. The results of this study can be used to develop new IoT services in the future.2