Seven HCI Grand Challenges

This article aims to investigate the Grand Challenges which arise in the current and emerging landscape of rapid technological evolution towards more intelligent interactive technologies, coupled with increased and widened societal needs, as well as individual and collective expectations that HCI, as a discipline, is called upon to address. A perspective oriented to humane and social values is adopted, formulating the challenges in terms of the impact of emerging intelligent interactive technologies on human life both at the individual and societal levels. Seven Grand Challenges are identified and presented in this article: Human-Technology Symbiosis; Human-Environment Interactions; Ethics, Privacy and Security; Well-being, Health and Eudaimonia; Accessibility and Universal Access; Learning and Creativity; and Social Organization and Democracy. Although not exhaustive, they summarize the views and research priorities of an international interdisciplinary group of experts, reflecting different scientific perspectives, methodological approaches and application domains. Each identified Grand Challenge is analyzed in terms of: concept and problem definition; main research issues involved and state of the art; and associated emerging requirements

인공지능을 이용한 알고리즘 기반의 시스템과 사용자의 인터랙션에 대한 이해

학위논문 (박사)-- 서울대학교 대학원 : 융합과학기술대학원 융합과학부(디지털정보융합전공), 2019. 2. 서봉원.컴퓨팅 파워의 개선, 인터넷과 소셜미디어, 모바일 디바이스 등의 보급을 통한 수많은 데이터의 축적, 딥러닝을 비롯한 기계학습 알고리즘의 발전으로 인공지능 기술이 어느때보다 더욱 큰 성과를 보이고 있다. 음성 인식, 컴퓨터 비전, 자연어 처리 등의 분야에서 인공지능은 이미 인간에 필적하거나 혹은 인간을 뛰어넘는 성능을 보이고 있으며, 자율주행, 로봇, 의료서비스 등의 다양한 분야에 적용되어 우리의 삶에 많은 변화를 가져올 것으로 기대된다. 하지만 알고리즘 측면에서의 기술적인 발전에 비해 인공지능의 인간공학적 요소와 사용자 경험에 대한 관심과 논의가 상대적으로 부족한 편이다. 이에 이 연구는 인간컴퓨터상호작용의 관점에서 인공지능과 사용자가 상호작용 하는 방식에 대해 다층적이고 통합적으로 이해하는 것을 목표로 하고 이를 통해 인공지능 기반의 사용자 인터페이스 디자인을 위한 함의점을 도출하는 것을 목표로 한다. 특히 이 논문은 인공지능 기술을 이용한 알고리즘 기반의 시스템과 사용자의 상호작용에 주목하고, 이를 대상으로 인지, 해석 및 평가, 지속적인 인터랙션, 실용적인 어플리케이션을 주제로 한 네 단계의 연구를 기획하고 진행하였다. 첫번째 연구는 인공지능 알고리즘에 대한 사람들의 선험적 인식을 조사하였다. 연령과 성별, 직업의 다양성을 고려하여 인구통계학적 대표성을 갖는 참가자를 모집하였으며, 이들을 대상으로 인공지능 인식에 대한 정성적 방식의 조사를 진행하였다. 조사 결과 사람들이 인공지능 알고리즘에 대해 갖는 선입견과 고정관념을 확인할 수 있었으며, 사람들이 인공지능을 의인화 할 뿐만 아니라 타자화 하는 경향이 있음을 확인할 수 있었다. 또한 인공지능 알고리즘과 사용자의 관계에서 지속적이고 전체적인 경험이 중요함을 확인하였다. 두번째 연구는 인공지능 알고리즘에 대한 사용자의 해석과 평가에 관한 것이다. 이를 위해 이미지의 미적 점수를 계산해주는 신경망 기반의 알고리즘이 구현된 AI Mirror라는 연구 프로토타입을 제작하였으며, 인공지능/기계학습 분야의 전문가, 사진전문가, 일반인으로 구분된 세 집단의 사용자를 모집하여 실험을 진행하였다. 사용자는 저마다 다른 배경 지식을 반영해 인공지능 알고리즘을 해석하고 평가하는 경향을 보였다. 사진전문가 집단이 알고리즘을 가장 높은 정도로 해석하였으며 합리적이라고 여긴 반면, 인공지능/기계학습 전문가 집단은 가장 낮은 정도로 알고리즘을 해석하고 평가했다. 사용자는 다양한 전략을 통해 인공지능 알고리즘의 원리를 추론하고자 하였으며 이를 통해 인공지능 알고리즘과의 차이를 좁혀갈 수 있었다. 또한 사용자는 인공지능 알고리즘과 쌍방 소통을 통해 의견을 교환하고자 하는 니즈를 표출하였다. 세번째 연구는 인공지능 알고리즘과 사용자가 공동의 목표를 두고 지속적인 인터랙션을 이어가는 과정에 대한 이해를 목표로 하였다. 사용자가 일부 그린 물체를 완성하고 스케치에 색칠을 자동으로 완성해주는 신경망 기반의 알고리즘 API를 이용하여 DuetDraw라는 리서치 프로토타입을 제작하였고, 정량 및 정성적 방법으로 이에 대한 사용자 평가를 진행하였다. 사용자 평가 결과 사용자는 인공지능 알고리즘과의 협업 과정에서 인공지능으로부터 단순한 피드백 보다는 자세한 설명을 제공받기를 원했으며, 알고리즘과의 관계에서 항상 주도적인 위치에 있고자 하였다. 인공지능과의 인터랙션은 과업 수행에 대한 사용자의 예측가능성, 이해도, 통제력을 낮추는 경항이 있었지만, 사용자에게 상대적으로 높은 사용성을 제공하였을 뿐만 아니라 사용자가 전반적으로 만족스러운 경험을 할 수 있도록 하였다. 끝으로, 네번째 연구는 보다 실용적인 어플리케이션을 제작하여 이에 대한 사용자 인터랙션을 이해하고자 하였으며, 이에 최근 큰 각광을 받고 있는 로봇저널리즘 기술을 구현한 NewsRobot을 제작하였다. NewsRobot은 2018 평창동계올림픽의 주요 경기 결과를 자동으로 수집하고 요약하며, 내용과 형식을 각각 종합뉴스-선택뉴스, 텍스트-카드-동영상으로 달리하여 뉴스를 생성한다. 정량 및 정성적 방법의 사용자 평가 결과, 선택뉴스가 종합뉴스에 비해 낮은 신뢰도를 보였음에도 불구하고 선택뉴스에 대한 사용자의 높은 선호도를 확인할 수 있었다. 또한 멀티미디어 모달리티가 높아질수록 사용자의 뉴스에 대한 만족도가 높아지지만 사용자의 기대수준에 어긋난 경우 오히려 낮은 평가를 받는 것을 확인하였다. 사용자는 알고리즘이 자동으로 생성한 뉴스에 대해 정확하고 객관적이라고 평가하였으며, 빠른 뉴스 생성 속도와 다양한 정보 시각화 요소에 대해서도 만족감을 드러냈다. 본 연구는 이 네 가지 연구의 결과들을 바탕으로 인간-인공지능 상호작용에 대한 다양한 시사점들을 도출하였으며, 인공지능을 이용한 알고리즘 기반의 시스템의 사용자 인터페이스 디자인을 위한 함의점들을 제안한다.The recent development of artificial intelligence (AI) algorithms is affecting our daily lives in numerous areas. Moreover, AI is expected to evolve rapidly, bringing tremendous economic value. However, compared to the attention these technological improvements receive, there is relatively little discussion on human factors and user experience related to AI algorithms. Thus, this thesis aims to better understand how users interact with AI algorithms. Specifically, this work examined algorithm-based human–AI interaction in four stages, through various modes of human-computer interaction: The first study investigated how people perceive algorithm-based systems using AI, finding that people tend to anthropomorphize as well as alienate them, which is distinct from their perceptions of computers. The second study investigated how people interpret and evaluate the output from AI algorithms through a prototype, AI Mirror, which assigned aesthetic scores to images based on a neural network algorithm. The results revealed that people interpret AI algorithms differently based on their backgrounds, and that they want to understand and communicate with AI systems. The third study investigated how people build a sequence of actions with AI algorithms through a mixed method study using a research prototype called DuetDraw, a drawing tool in which users and AI can draw pictures together. The results showed that people want to lead collaborations while hoping to get appropriate instructions from the AI algorithm. Lastly, a case study on a practical application of AI was conducted with a research prototype called NewsRobot, which automatically generated news articles with different content and styles. Findings showed that users prefer selective news and multimedia news that have more functionality and modality, but at the same time they do not want AI to boast about its ability. With these distinct but intertwined studies, this thesis argues the importance of understanding human factors in the user interfaces of AI-based systems and suggests design principles to this end.1 INTRODUCTION 1 1.1 Background 1 1.2 Research Goal 10 1.3 Research Questions 11 1.4 How People Perceive Algorithm-based Systems Using Artificial Intelligence 12 1.5 How People Interpret and Evaluate Algorithm-based Systems Using Artificial Intelligence 13 1.6 How People Build Sequential Actions with Algorithm-Based Systems Using Artificial Intelligence 15 1.7 How People Use a Practical Application of an Algorithm-based Systems Using Artificial Intelligence 17 1.8 Thesis Statement 18 1.9 Contributions 18 1.10 Thesis Overview 20 2 RELATED WORK 22 2.1 Human Perception of AI Algorithms 22 2.1.1 Technophobia 22 2.1.2 Anthropomorphism 23 2.2 Users Interpretation and Evaluation of AI Algorithms 24 2.2.1 Interpretability of Algorithms and Users Concerns 24 2.2.2 Sense-making and Gap between Users and AI algorithms 25 2.2.3 User Control in Intelligent Systems 26 2.3 How People Build Sequential Actions with AI Algorithms 26 2.3.1 AI, Deep Learning, and New UX in Creative Works 27 2.3.2 Communication and Leadership among Users and AI 28 2.4 Practical Design of Algorithm-based Systems Using AI 29 2.4.1 Automated Journalism 30 2.4.2 Personalization of News Content 31 2.4.3 Effect of Multimedia Modality on User Experience 32 3 HOW PEOPLE PERCEIVE ALGORITHM-BASED SYSTEMS USING ARTIFICIAL INTELLIGENCE 33 3.1 Motivation 34 3.2 Google DeepMind Challenge Match 36 3.3 Methodology 38 3.3.1 Participant Recruitment 38 3.3.2 Interview Process 39 3.3.3 Interview Analysis 40 3.4 Findings 41 3.4.1 Preconceptions about Artificial Intelligence 41 3.4.2 Confrontation: Us vs. Artificial Intelligence 43 3.4.3 Anthropomorphizing AlphaGo 47 3.4.4 Alienating AlphaGo 49 3.4.5 Concerns about the Future of AI 52 3.5 Limitations 55 3.6 Summary 56 4 HOW PEOPLE INTERPRET AND EVALUATE ALGORITHM-BASED SYSTEMS USING ARTIFICIAL INTELLIGENCE 57 4.1 Motivation 58 4.2 AI Mirror 60 4.2.1 Design Goal 60 4.2.2 Image Assessment Algorithm 61 4.2.3 Design of User Interface 61 4.3 Study Design 62 4.3.1 Participant Recruitment 63 4.3.2 Experimental Settings 64 4.3.3 Procedure 65 4.3.4 Analysis Methods 66 4.4 Result 1: Quantitative Analysis 67 4.4.1 Difference 68 4.4.2 Interpretability 69 4.4.3 Reasonability 70 4.5 Result 2: Qualitative Analysis 71 4.5.1 People Understand AI Based on What They Know 71 4.5.2 People Reduce Difference Using Various Strategies 73 4.5.3 People Want to Actively Communicate with AI 76 4.6 Limitations 78 4.7 Conclusion 78 5 HOW PEOPLE BUILD SEQUENTIAL ACTIONS WITH ALGORITHM-BASED SYSTEMS USING ARTIFICIAL INTELLIGENCE 80 5.1 Motivation 81 5.2 Duet Draw 84 5.2.1 Five AI Functions of DuetDraw 84 5.2.2 Initiative and Communication Styles of DuetDraw 85 5.3 Study Design 86 5.3.1 Participants 87 5.3.2 Tasks and Procedures 87 5.3.3 Drawing Scenarios 88 5.3.4 Survey 89 5.3.5 Think-aloud and Interview 89 5.3.6 Analysis Methods 90 5.4 Result 1: Quantitative Analysis 92 5.4.1 Detailed Instruction is Preferred over Basic Instruction 93 5.4.2 UX Could Be Worse with Lead-Basic than Assist-Detailed 94 5.4.3 AI is Fun, Useful, Effective, and Efficient 94 5.4.4 No-AI is more Predictable, Comprehensible, and Controllable 95 5.4.5 Even if Predictability is Low, Fun and Interest Can Increase 96 5.5 Result 2: Qualitative Analysis 96 5.5.1 Just Enough Instruction 97 5.5.2 Users Always Want to Lead 99 5.5.3 AI is Similar to Humans But Unpredictable 101 5.5.4 Co-Creation with AI 102 5.6 Limitations 105 5.7 Conclusion 105 6 HOW PEOPLE USE A PRACTICAL APPLICATION OF AN ALGORITHM-BASED SYSTEM USIGN ARTIFICIAL INTELLIGENCE 107 6.1 Motivation 108 6.2 News Robot 110 6.2.1 Selecting Main Event and Data Source 111 6.2.2 Designing News Article Structure 113 6.2.3 Content and Style 113 6.2.4 Generating News Articles 115 6.2.5 Designing NewsRobot User Interface 116 6.3 Study Design 117 6.3.1 Participants 117 6.3.2 Procedures 118 6.3.3 Analysis Methods 119 6.4 Results 1: Quantitative Analysis 120 6.4.1 Selective News Is Less Credible 120 6.4.2 Users Like Both Multimedia and Personalization 121 6.4.3 Quality of Video Is Not Rated Highest 122 6.4.4 NewsRobot Is Accurate but Not Sensational 123 6.5 Results 2: Qualitative Analysis 124 6.5.1 Users Evaluate NewsRobot Features Highly 124 6.5.2 NewsRobot Is Unbiased but Predictable 127 6.5.3 Benefits and Drawbacks of Using Multimedia 128 6.6 Limitations 130 6.7 Conclusion 130 7 DISCUSSION 131 7.1 Human Perception of AI Algorithms 131 7.1.1 Cognitive Dissonance 131 7.1.2 Beyond Technophobia 132 7.1.3 Toward a New Chapter in Human-Computer Interaction 134 7.1.4 Coping with the Potential Danger 135 7.2 Users Interpretation and Evaluation of AI Algorithms 135 7.2.1 Integrate Diverse Expertise and User Perspectives 136 7.2.2 Take Advantage of Peoples Curiosity about AI Principles 137 7.2.3 Provide AI and Users with Mutual Communication 138 7.3 How People Build Sequential Actions with AI Algorithms 139 7.3.1 Let the User Take the Initiative 140 7.3.2 Provide Just Enough Instruction 140 7.3.3 Embed Interesting Elements in the Interaction 141 7.3.4 Ensure Balance 142 7.4 Practical Design of Algorithm-based Systems Using AI 142 7.4.1 Provide Selective news with Adaptable Interface 142 7.4.2 Present Various Multimedia Elements but Not Too Many 144 7.4.3 Importance of Quality Data and Algorithm Refinement 145 7.5 Principles 146 8 CONCLUSION 148 8.1 Summary of Contributions 149 8.2 Future Directions 150 Bibliography 153 논문초록 173 감사의 글 176Docto