Strangers in the Room: Unpacking Perceptions of 'Smartness' and Related Ethical Concerns in the Home

The increasingly widespread use of 'smart' devices has raised multifarious ethical concerns regarding their use in domestic spaces. Previous work examining such ethical dimensions has typically either involved empirical studies of concerns raised by specific devices and use contexts, or alternatively expounded on abstract concepts like autonomy, privacy or trust in relation to 'smart homes' in general. This paper attempts to bridge these approaches by asking what features of smart devices users consider as rendering them 'smart' and how these relate to ethical concerns. Through a multimethod investigation including surveys with smart device users (n=120) and semi-structured interviews (n=15), we identify and describe eight types of smartness and explore how they engender a variety of ethical concerns including privacy, autonomy, and disruption of the social order. We argue that this middle ground, between concerns arising from particular devices and more abstract ethical concepts, can better anticipate potential ethical concerns regarding smart devices.Comment: 10 pages, 1 figure. To appear in the Proceedings of the 2020 ACM Conference on Designing Interactive Systems (DIS '20

사용자가 추천 스트림에 기대하는 요소를 중심으로

학위논문(석사) -- 서울대학교대학원 : 융합과학기술대학원 지능정보융합학과, 2023. 2. 이중식.Music service is a core domain in Voice User Interface (VUI). According to the survey, music is one of the most used services by smart speaker users, and the frequency of use is also the highest. Thus, the music experience can affect entry into or exit of the voice user interface. It is necessary to understand the music experience of the voice user interface only. In voice user interface, a single query triggers an auto-generated music stream. Unlike mobile interface, search and playback occur simultaneously without an exploration step. That is, by one query, the top results and related songs are played as a stream. To understand the music experience of voice user interface, it is necessary to understand the query input by users. Depending on the type of query, the user expectations for the recommendation are different (e.g., Play calm jazz vs. Play music). The gap between user expectations and actual results can affect the experience. In a positive case, it may lead to serendipity to discover new songs. But in a negative case, it may lead to distrust of recommendations or deterioration in the use of voice user interface. This study aims to understand the types of queries in the music domain of voice user interface, and to identify the elements that users expect from recommendation streams for each type of query. This study conducted two major investigations. The purpose of the primary investigation is to understand the types of queries used in the music domain of voice user interface. 2,723 music-related logs were collected from 9 smart speaker users, and music queries were classified based on previous study. As a result, music queries were largely classified into three categories: 1) SQ (Specific Query), request by song or artist, 2) NSQ (Non-Specific Query), no criteria presented, 3) DQ (Descriptive Query), mood or genre description. As a result of log analysis, the number and timing of re-queries were different for each query type. As a result of the log-based interview, intention and satisfaction were different depending on the query type. The purpose of the secondary investigation is to find out what users expect from recommendation for each type of query. 27 participants were given an ESM(Experience Sampling Method) task that triggers music using voice user interface for five days, and expectations of music recommendation were collected on a 5-point scale through a questionnaire. Survey responses were collected for a total of 290 queries, and the following characteristics were derived: 1) SQ – Songs with high relevance within the expectation were desired, and satisfaction was high. 2) NSQ, DQ – Novel, diverse, serendipitous songs were desired. Satisfaction was low. Based on the results of this study, the following was discussed. First, the music experience of voice user interface is significantly different in three points — background listening, absence of visibility, possibility of recognition error. This allows users to strategically select queries. Second, based on the user expectations, we propose a design method for recommendation streams for each query type. This study identified the types of music queries used in voice user interface, and confirmed user expectations of recommendation by query type. In addition, we revealed the characteristics of music queries and experiences in voice user interface, and suggested music recommendation direction for each query type.음성 인터페이스에서 음악 서비스는 핵심적인 도메인이다. 조사에 따르면, 음악은 스마트 스피커 사용자들이 가장 일상적으로 사용하는 서비스 중 하나이며 시간 당 사용 빈도 역시 가장 높게 나타난다. 지배적으로 사용되는 도메인인 만큼, 음악 경험은 음성 인터페이스의 입문 또는 이탈에도 영향을 줄 수 있다. 따라서 음성 인터페이스만의 음악 경험을 이해해야 한다. 음성 인터페이스에서의 음악은, 하나의 쿼리를 트리거하면 자동 생성된 음악 리스트가 연속으로 재생되는 형태이다. 기존의 모바일 인터페이스가 검색 (쿼리 입력) > 탐색 (결과 리스트 탐색) > 재생 (곡 클릭)의 순서로 이어지는 것과 달리, 음성 인터페이스에서는 탐색 단계가 존재하지 않으며 검색과 재생이 동시에 이루어진다. 즉 하나의 쿼리에 의해 상위 결과와 그 연관 곡들이 스트림 형태로 출력된다. 따라서 음성 인터페이스만의 음악 경험을 파악하기 위해서는 사용자가 입력하는 쿼리를 이해해야 한다. 쿼리 형태에 따라, 사용자가 결과에 대해 예상하는 바가 달라질 것이기 때문이다. (e.g., 신나는 재즈 틀어줘 VS 음악 틀어줘) 이때, 사용자가 결과에 대해 가지는 기대치와 실제 검색 결과의 간격이 크면, 경험에 영향을 미칠 수 있다. 긍정적인 경우 새로운 노래를 발굴하는 세렌디피티로 이어지기도 하지만, 부정적인 경우에는 추천에 대한 불신이나 음성 인터페이스 사용 저하로 이어질 가능성이 있다. 본 연구에서는 음성 인터페이스의 음악 도메인에서 사용되는 쿼리의 유형을 이해하고, 쿼리 유형 별로 사용자가 기대하는 추천 스트림을 파악하고자 한다. 이를 바탕으로, 음성 인터페이스 음악 추천 방식에의 디자인 함의점을 제시하고자 한다. 본 연구는 크게 두 개의 조사를 진행하였다. 1차 조사의 목적은 음성 인터페이스의 음악 도메인에서 사용되는 쿼리의 유형을 이해하는 것이다. 스마트 스피커 사용자 9명의 3개월 치 음악 관련 로그 2,723개를 수집한 후, 선행 연구를 기반으로 음악을 트리거 하는 쿼리를 유형화하였다. 그 결과 음악 쿼리는 크게 세 가지로 분류되었다: 1) SQ - Specific Query, 곡이나 아티스트로 요청, 2) NSQ - Non-Specific Query, 기준을 제시하지 않음, 3) DQ - Descriptive Query, 분위기나 장르를 묘사. 로그 분석 결과, 쿼리 유형 별로 재쿼리를 시도하는 횟수와 시점이 다르게 나타났다. 로그 기반 인터뷰 결과, 쿼리 유형에 따라 발화 의도와 만족도가 서로 다르게 나타났다. 2차 조사의 목적은 쿼리 유형에 따라 사용자가 추천 결과에 대해 가지는 기대를 심층적으로 파악하는 것이다. 5일 동안 27명의 참여자에게 음성 인터페이스로 음악을 트리거하는 ESM 태스크를 부여하여, 설문을 통해 음악 추천에 대한 기대와 인식을 5점 척도로 수집하였다. 총 쿼리 290개에 대한 기대와 인식 설문이 수집되었으며, 분석 결과 다음의 특성이 도출됐다: 1) SQ - 예상 내의 연관성 높은 곡들을 기대하며 만족도가 높음. 2) NSQ - 새로움, 다양성, 의외성 높은 곡들을 기대하며 만족도는 낮으나 결과에 관용적임. 3) DQ - 새로움, 다양성, 의외성 높은 곡들을 기대하며 만족도가 낮고 결과에 엄격함. 본 연구의 결과를 토대로, 다음과 같은 논의를 진행하였다. 첫째, 음성 인터페이스의 음악 경험이 기존과 크게 세 지점에서 다르며 (배경적 청취, 일람성 부재, 인식 오류 가능성), 이에 따라 사용자들의 쿼리 선택이 전략적으로 달라진다. 둘째, 사용자들이 기대하는 요소를 토대로 쿼리 유형 별 추천 스트림의 설계 방식을 제언한다. 본 연구는 음성 인터페이스 기반 음악 도메인에서 사용되는 쿼리의 유형을 파악하고, 추천에 대한 사용자의 기대와 인식을 쿼리 유형 별로 확인하였다. 또한 음성 인터페이스 기반 음악 경험과 쿼리의 특성을 밝히고, 쿼리 유형 별 음악 추천 방식을 제언하였다.제 1 장 서 론 7 제 1 절 연구의 배경 7 제 2 절 연구의 목적 9 제 2 장 관련 연구 10 제 1 절 음성 인터페이스의 특성 10 1.1 음성 인터페이스의 모달리티 특성 1.2 음성 인터페이스의 쿼리 제 2 절 음악 도메인의 사용자 니즈와 쿼리 14 2.1 스트리밍 서비스로의 변화 2.2 음악 서비스에서의 사용자 니즈와 행동 2.3 음악 서비스의 쿼리 제 3 절 사용자 중심의 음악 연구 방법 18 3.1 음악 도메인에서의 사용자 조사 3.2 사용자 중심의 음악 추쳔 평가 척도 제 3 장 연구 문제 21 제 1 절 연구 문제 21 제 2 절 연구 구조 22 제 4 장 1차 조사 23 제 1 절 연구 방법 23 1.1 수집 방법 1.2 연구 참여자 선정 기준 및 모집 1.3 분석 방법 1.3.1 쿼리 유형 분류 1.3.2 쿼리 유형 별 패턴 분석 제 2 절 연구 결과 29 2.1 쿼리 유형 2.2 쿼리 유형 별 재쿼리 패턴 2.3 쿼리 유형 별 발화 의도와 만족 여부 제 3 절 소결론 34   제 5 장 2차 조사 36 제 1 절 연구 방법 36 1.1 수집 방법 1.2 연구 참여자 선정 기준 및 모집 1.3 분석 방법 제 2 절 연구 결과 44 2.1 쿼리 유형에 따른 스트림 인식 2.2 쿼리 유형에 따른 스트림 기대 2.3 쿼리 하위 유형과 사용자 특성에 따른 스트림 기대 제 3 절 소결론 48 제 6 장 논의 49 제 1 절 음성 인터페이스의 음악 쿼리 특성 49 제 2 절 음성 인터페이스의 쿼리 별 추천 스트림 제언 53 제 7 장 결론 55 제 1 절 연구 요약 55 제 2 절 연구 한계 57 제 3 절 연구 의의 58 부록 59 참고문헌 63석

Supporting Voice-Based Natural Language Interactions for Information Seeking Tasks of Various Complexity

Natural language interfaces have seen a steady increase in their popularity over the past decade leading to the ubiquity of digital assistants. Such digital assistants include voice activated assistants, such as Amazon's Alexa, as well as text-based chat bots that can substitute for a human assistant in business settings (e.g., call centers, retail / banking websites) and at home. The main advantages of such systems are their ease of use and - in the case of voice-activated systems - hands-free interaction. The majority of tasks undertaken by users of these commercially available voice-based digital assistants are simple in nature, where the responses of the agent are often determined using a rules-based approach. However, such systems have the potential to support users in completing more complex and involved tasks. In this dissertation, I describe experiments investigating user behaviours when interacting with natural language systems and how improvements in design of such systems can benefit the user experience. Currently available commercial systems tend to be designed in a way to mimic superficial characteristics of a human-to-human conversation. However, the interaction with a digital assistant differs significantly from the interaction between two people, partly due to limitations of the underlying technology such as automatic speech recognition and natural language understanding. As computing technology evolves, it may make interactions with digital assistants resemble those between humans. The first part of this thesis explores how users will perceive the systems that are capable of human-level interaction, how users will behave while communicating with such systems, and new opportunities that may be opened by that behaviour. Even in the absence of the technology that allows digital assistants to perform on a human level, the digital assistants that are widely adopted by people around the world are found to be beneficial for a number of use-cases. The second part of this thesis describes user studies aiming at enhancing the functionality of digital assistants using the existing level of technology. In particular, chapter 6 focuses on expanding the amount of information a digital assistant is able to deliver using a voice-only channel, and chapter 7 explores how expanded capabilities of voice-based digital assistants would benefit people with visual impairments. The experiments presented throughout this dissertation produce a set of design guidelines for existing as well as potential future digital assistants. Experiments described in chapters 4, 6, and 7 focus on supporting the task of finding information online, while chapter 5 considers a case of guiding a user through a culinary recipe. The design recommendations provided by this thesis can be generalised in four categories: how naturally a user can communicate their thoughts to the system, how understandable the system's responses are to the user, how flexible the system's parameters are, and how diverse the information delivered by the system is