Semantic Knowledge Graphs for the News: A Review

ICT platforms for news production, distribution, and consumption must exploit the ever-growing availability of digital data. These data originate from different sources and in different formats; they arrive at different velocities and in different volumes. Semantic knowledge graphs (KGs) is an established technique for integrating such heterogeneous information. It is therefore well-aligned with the needs of news producers and distributors, and it is likely to become increasingly important for the news industry. This article reviews the research on using semantic knowledge graphs for production, distribution, and consumption of news. The purpose is to present an overview of the field; to investigate what it means; and to suggest opportunities and needs for further research and development.publishedVersio

The News Angler Project: Exploring the Next Generation of Journalistic Knowledge Platforms

The News Angler project aims to support journalists in finding new and unexpected connections and angles in the news. The project therefore explores how recent artificial intelligence (AI) techniques — such as knowledge graphs, natural-language processing (NLP) and machine learning (ML) — can support high-quality journalism that exploits big and open data sources. A central contribution is News Hunter, a series of prototype journalistic knowledge platforms (JKPs)

Supporting Newsrooms with Journalistic Knowledge Graph Platforms: Current State and Future Directions

Increasing competition and loss of revenues force newsrooms to explore new digital solutions. The new solutions employ artificial intelligence and big data techniques such as machine learning and knowledge graphs to manage and support the knowledge work needed in all stages of news production. The result is an emerging type of intelligent information system we have called the Journalistic Knowledge Platform (JKP). In this paper, we analyse for the first time knowledge graph-based JKPs in research and practice. We focus on their current state, challenges, opportunities and future directions. Our analysis is based on 14 platforms reported in research carried out in collaboration with news organisations and industry partners and our experiences with developing knowledge graph-based JKPs along with an industry partner. We found that: (a) the most central contribution of JKPs so far is to automate metadata annotation and monitoring tasks; (b) they also increasingly contribute to improving background information and content analysis, speeding-up newsroom workflows and providing newsworthy insights; (c) future JKPs need better mechanisms to extract information from textual and multimedia news items; (d) JKPs can provide a digitalisation path towards reduced production costs and improved information quality while adapting the current workflows of newsrooms to new forms of journalism and readers’ demands.publishedVersio

Journalistic Knowledge Platforms: from Idea to Realisation

Journalistiske kunnskapsplattformer (JKPer) er en type intelligente informasjonssystemer designet for å forbedre nyhetsproduksjonsprosesser ved å kombinere stordata, kunstig intelligens (KI) og kunnskapsbaser for å støtte journalister. Til tross for sitt potensial for å revolusjonere journalistikkfeltet, har adopsjonen av JKPer vært treg, med forskere og store nyhetsutløp involvert i forskning og utvikling av JKPer. Den langsomme adopsjonen kan tilskrives den tekniske kompleksiteten til JKPer, som har ført til at nyhetsorganisasjoner stoler på flere uavhengige og oppgavespesifikke produksjonssystemer. Denne situasjonen kan øke ressurs- og koordineringsbehovet og kostnadene, samtidig som den utgjør en trussel om å miste kontrollen over data og havne i leverandørlåssituasjoner. De tekniske kompleksitetene forblir en stor hindring, ettersom det ikke finnes en allerede godt utformet systemarkitektur som ville lette realiseringen og integreringen av JKPer på en sammenhengende måte over tid. Denne doktoravhandlingen bidrar til teorien og praksisen rundt kunnskapsgrafbaserte JKPer ved å studere og designe en programvarearkitektur som referanse for å lette iverksettelsen av konkrete løsninger og adopsjonen av JKPer. Den første bidraget til denne doktoravhandlingen gir en grundig og forståelig analyse av ideen bak JKPer, fra deres opprinnelse til deres nåværende tilstand. Denne analysen gir den første studien noensinne av faktorene som har bidratt til den langsomme adopsjonen, inkludert kompleksiteten i deres sosiale og tekniske aspekter, og identifiserer de største utfordringene og fremtidige retninger for JKPer. Den andre bidraget presenterer programvarearkitekturen som referanse, som gir en generisk blåkopi for design og utvikling av konkrete JKPer. Den foreslåtte referansearkitekturen definerer også to nye typer komponenter ment for å opprettholde og videreutvikle KI-modeller og kunnskapsrepresentasjoner. Den tredje presenterer et eksempel på iverksettelse av programvarearkitekturen som referanse og beskriver en prosess for å forbedre effektiviteten til informasjonsekstraksjonspipelines. Denne rammen muliggjør en fleksibel, parallell og samtidig integrering av teknikker for naturlig språkbehandling og KI-verktøy. I tillegg diskuterer denne avhandlingen konsekvensene av de nyeste KI-fremgangene for JKPer og ulike etiske aspekter ved bruk av JKPer. Totalt sett gir denne PhD-avhandlingen en omfattende og grundig analyse av JKPer, fra teorien til designet av deres tekniske aspekter. Denne forskningen tar sikte på å lette vedtaket av JKPer og fremme forskning på dette feltet.Journalistic Knowledge Platforms (JKPs) are a type of intelligent information systems designed to augment news creation processes by combining big data, artificial intelligence (AI) and knowledge bases to support journalists. Despite their potential to revolutionise the field of journalism, the adoption of JKPs has been slow, with scholars and large news outlets involved in the research and development of JKPs. The slow adoption can be attributed to the technical complexity of JKPs that led news organisation to rely on multiple independent and task-specific production system. This situation can increase the resource and coordination footprint and costs, at the same time it poses a threat to lose control over data and face vendor lock-in scenarios. The technical complexities remain a major obstacle as there is no existing well-designed system architecture that would facilitate the realisation and integration of JKPs in a coherent manner over time. This PhD Thesis contributes to the theory and practice on knowledge-graph based JKPs by studying and designing a software reference architecture to facilitate the instantiation of concrete solutions and the adoption of JKPs. The first contribution of this PhD Thesis provides a thorough and comprehensible analysis of the idea of JKPs, from their origins to their current state. This analysis provides the first-ever study of the factors that have contributed to the slow adoption, including the complexity of their social and technical aspects, and identifies the major challenges and future directions of JKPs. The second contribution presents the software reference architecture that provides a generic blueprint for designing and developing concrete JKPs. The proposed reference architecture also defines two novel types of components intended to maintain and evolve AI models and knowledge representations. The third presents an instantiation example of the software reference architecture and details a process for improving the efficiency of information extraction pipelines. This framework facilitates a flexible, parallel and concurrent integration of natural language processing techniques and AI tools. Additionally, this Thesis discusses the implications of the recent AI advances on JKPs and diverse ethical aspects of using JKPs. Overall, this PhD Thesis provides a comprehensive and in-depth analysis of JKPs, from the theory to the design of their technical aspects. This research aims to facilitate the adoption of JKPs and advance research in this field.Doktorgradsavhandlin

Survey of the State of the Art in Natural Language Generation: Core tasks, applications and evaluation

This paper surveys the current state of the art in Natural Language Generation (NLG), defined as the task of generating text or speech from non-linguistic input. A survey of NLG is timely in view of the changes that the field has undergone over the past decade or so, especially in relation to new (usually data-driven) methods, as well as new applications of NLG technology. This survey therefore aims to (a) give an up-to-date synthesis of research on the core tasks in NLG and the architectures adopted in which such tasks are organised; (b) highlight a number of relatively recent research topics that have arisen partly as a result of growing synergies between NLG and other areas of artificial intelligence; (c) draw attention to the challenges in NLG evaluation, relating them to similar challenges faced in other areas of Natural Language Processing, with an emphasis on different evaluation methods and the relationships between them.Comment: Published in Journal of AI Research (JAIR), volume 61, pp 75-170. 118 pages, 8 figures, 1 tabl

인공지능을 이용한 알고리즘 기반의 시스템과 사용자의 인터랙션에 대한 이해

학위논문 (박사)-- 서울대학교 대학원 : 융합과학기술대학원 융합과학부(디지털정보융합전공), 2019. 2. 서봉원.컴퓨팅 파워의 개선, 인터넷과 소셜미디어, 모바일 디바이스 등의 보급을 통한 수많은 데이터의 축적, 딥러닝을 비롯한 기계학습 알고리즘의 발전으로 인공지능 기술이 어느때보다 더욱 큰 성과를 보이고 있다. 음성 인식, 컴퓨터 비전, 자연어 처리 등의 분야에서 인공지능은 이미 인간에 필적하거나 혹은 인간을 뛰어넘는 성능을 보이고 있으며, 자율주행, 로봇, 의료서비스 등의 다양한 분야에 적용되어 우리의 삶에 많은 변화를 가져올 것으로 기대된다. 하지만 알고리즘 측면에서의 기술적인 발전에 비해 인공지능의 인간공학적 요소와 사용자 경험에 대한 관심과 논의가 상대적으로 부족한 편이다. 이에 이 연구는 인간컴퓨터상호작용의 관점에서 인공지능과 사용자가 상호작용 하는 방식에 대해 다층적이고 통합적으로 이해하는 것을 목표로 하고 이를 통해 인공지능 기반의 사용자 인터페이스 디자인을 위한 함의점을 도출하는 것을 목표로 한다. 특히 이 논문은 인공지능 기술을 이용한 알고리즘 기반의 시스템과 사용자의 상호작용에 주목하고, 이를 대상으로 인지, 해석 및 평가, 지속적인 인터랙션, 실용적인 어플리케이션을 주제로 한 네 단계의 연구를 기획하고 진행하였다. 첫번째 연구는 인공지능 알고리즘에 대한 사람들의 선험적 인식을 조사하였다. 연령과 성별, 직업의 다양성을 고려하여 인구통계학적 대표성을 갖는 참가자를 모집하였으며, 이들을 대상으로 인공지능 인식에 대한 정성적 방식의 조사를 진행하였다. 조사 결과 사람들이 인공지능 알고리즘에 대해 갖는 선입견과 고정관념을 확인할 수 있었으며, 사람들이 인공지능을 의인화 할 뿐만 아니라 타자화 하는 경향이 있음을 확인할 수 있었다. 또한 인공지능 알고리즘과 사용자의 관계에서 지속적이고 전체적인 경험이 중요함을 확인하였다. 두번째 연구는 인공지능 알고리즘에 대한 사용자의 해석과 평가에 관한 것이다. 이를 위해 이미지의 미적 점수를 계산해주는 신경망 기반의 알고리즘이 구현된 AI Mirror라는 연구 프로토타입을 제작하였으며, 인공지능/기계학습 분야의 전문가, 사진전문가, 일반인으로 구분된 세 집단의 사용자를 모집하여 실험을 진행하였다. 사용자는 저마다 다른 배경 지식을 반영해 인공지능 알고리즘을 해석하고 평가하는 경향을 보였다. 사진전문가 집단이 알고리즘을 가장 높은 정도로 해석하였으며 합리적이라고 여긴 반면, 인공지능/기계학습 전문가 집단은 가장 낮은 정도로 알고리즘을 해석하고 평가했다. 사용자는 다양한 전략을 통해 인공지능 알고리즘의 원리를 추론하고자 하였으며 이를 통해 인공지능 알고리즘과의 차이를 좁혀갈 수 있었다. 또한 사용자는 인공지능 알고리즘과 쌍방 소통을 통해 의견을 교환하고자 하는 니즈를 표출하였다. 세번째 연구는 인공지능 알고리즘과 사용자가 공동의 목표를 두고 지속적인 인터랙션을 이어가는 과정에 대한 이해를 목표로 하였다. 사용자가 일부 그린 물체를 완성하고 스케치에 색칠을 자동으로 완성해주는 신경망 기반의 알고리즘 API를 이용하여 DuetDraw라는 리서치 프로토타입을 제작하였고, 정량 및 정성적 방법으로 이에 대한 사용자 평가를 진행하였다. 사용자 평가 결과 사용자는 인공지능 알고리즘과의 협업 과정에서 인공지능으로부터 단순한 피드백 보다는 자세한 설명을 제공받기를 원했으며, 알고리즘과의 관계에서 항상 주도적인 위치에 있고자 하였다. 인공지능과의 인터랙션은 과업 수행에 대한 사용자의 예측가능성, 이해도, 통제력을 낮추는 경항이 있었지만, 사용자에게 상대적으로 높은 사용성을 제공하였을 뿐만 아니라 사용자가 전반적으로 만족스러운 경험을 할 수 있도록 하였다. 끝으로, 네번째 연구는 보다 실용적인 어플리케이션을 제작하여 이에 대한 사용자 인터랙션을 이해하고자 하였으며, 이에 최근 큰 각광을 받고 있는 로봇저널리즘 기술을 구현한 NewsRobot을 제작하였다. NewsRobot은 2018 평창동계올림픽의 주요 경기 결과를 자동으로 수집하고 요약하며, 내용과 형식을 각각 종합뉴스-선택뉴스, 텍스트-카드-동영상으로 달리하여 뉴스를 생성한다. 정량 및 정성적 방법의 사용자 평가 결과, 선택뉴스가 종합뉴스에 비해 낮은 신뢰도를 보였음에도 불구하고 선택뉴스에 대한 사용자의 높은 선호도를 확인할 수 있었다. 또한 멀티미디어 모달리티가 높아질수록 사용자의 뉴스에 대한 만족도가 높아지지만 사용자의 기대수준에 어긋난 경우 오히려 낮은 평가를 받는 것을 확인하였다. 사용자는 알고리즘이 자동으로 생성한 뉴스에 대해 정확하고 객관적이라고 평가하였으며, 빠른 뉴스 생성 속도와 다양한 정보 시각화 요소에 대해서도 만족감을 드러냈다. 본 연구는 이 네 가지 연구의 결과들을 바탕으로 인간-인공지능 상호작용에 대한 다양한 시사점들을 도출하였으며, 인공지능을 이용한 알고리즘 기반의 시스템의 사용자 인터페이스 디자인을 위한 함의점들을 제안한다.The recent development of artificial intelligence (AI) algorithms is affecting our daily lives in numerous areas. Moreover, AI is expected to evolve rapidly, bringing tremendous economic value. However, compared to the attention these technological improvements receive, there is relatively little discussion on human factors and user experience related to AI algorithms. Thus, this thesis aims to better understand how users interact with AI algorithms. Specifically, this work examined algorithm-based human–AI interaction in four stages, through various modes of human-computer interaction: The first study investigated how people perceive algorithm-based systems using AI, finding that people tend to anthropomorphize as well as alienate them, which is distinct from their perceptions of computers. The second study investigated how people interpret and evaluate the output from AI algorithms through a prototype, AI Mirror, which assigned aesthetic scores to images based on a neural network algorithm. The results revealed that people interpret AI algorithms differently based on their backgrounds, and that they want to understand and communicate with AI systems. The third study investigated how people build a sequence of actions with AI algorithms through a mixed method study using a research prototype called DuetDraw, a drawing tool in which users and AI can draw pictures together. The results showed that people want to lead collaborations while hoping to get appropriate instructions from the AI algorithm. Lastly, a case study on a practical application of AI was conducted with a research prototype called NewsRobot, which automatically generated news articles with different content and styles. Findings showed that users prefer selective news and multimedia news that have more functionality and modality, but at the same time they do not want AI to boast about its ability. With these distinct but intertwined studies, this thesis argues the importance of understanding human factors in the user interfaces of AI-based systems and suggests design principles to this end.1 INTRODUCTION 1 1.1 Background 1 1.2 Research Goal 10 1.3 Research Questions 11 1.4 How People Perceive Algorithm-based Systems Using Artificial Intelligence 12 1.5 How People Interpret and Evaluate Algorithm-based Systems Using Artificial Intelligence 13 1.6 How People Build Sequential Actions with Algorithm-Based Systems Using Artificial Intelligence 15 1.7 How People Use a Practical Application of an Algorithm-based Systems Using Artificial Intelligence 17 1.8 Thesis Statement 18 1.9 Contributions 18 1.10 Thesis Overview 20 2 RELATED WORK 22 2.1 Human Perception of AI Algorithms 22 2.1.1 Technophobia 22 2.1.2 Anthropomorphism 23 2.2 Users Interpretation and Evaluation of AI Algorithms 24 2.2.1 Interpretability of Algorithms and Users Concerns 24 2.2.2 Sense-making and Gap between Users and AI algorithms 25 2.2.3 User Control in Intelligent Systems 26 2.3 How People Build Sequential Actions with AI Algorithms 26 2.3.1 AI, Deep Learning, and New UX in Creative Works 27 2.3.2 Communication and Leadership among Users and AI 28 2.4 Practical Design of Algorithm-based Systems Using AI 29 2.4.1 Automated Journalism 30 2.4.2 Personalization of News Content 31 2.4.3 Effect of Multimedia Modality on User Experience 32 3 HOW PEOPLE PERCEIVE ALGORITHM-BASED SYSTEMS USING ARTIFICIAL INTELLIGENCE 33 3.1 Motivation 34 3.2 Google DeepMind Challenge Match 36 3.3 Methodology 38 3.3.1 Participant Recruitment 38 3.3.2 Interview Process 39 3.3.3 Interview Analysis 40 3.4 Findings 41 3.4.1 Preconceptions about Artificial Intelligence 41 3.4.2 Confrontation: Us vs. Artificial Intelligence 43 3.4.3 Anthropomorphizing AlphaGo 47 3.4.4 Alienating AlphaGo 49 3.4.5 Concerns about the Future of AI 52 3.5 Limitations 55 3.6 Summary 56 4 HOW PEOPLE INTERPRET AND EVALUATE ALGORITHM-BASED SYSTEMS USING ARTIFICIAL INTELLIGENCE 57 4.1 Motivation 58 4.2 AI Mirror 60 4.2.1 Design Goal 60 4.2.2 Image Assessment Algorithm 61 4.2.3 Design of User Interface 61 4.3 Study Design 62 4.3.1 Participant Recruitment 63 4.3.2 Experimental Settings 64 4.3.3 Procedure 65 4.3.4 Analysis Methods 66 4.4 Result 1: Quantitative Analysis 67 4.4.1 Difference 68 4.4.2 Interpretability 69 4.4.3 Reasonability 70 4.5 Result 2: Qualitative Analysis 71 4.5.1 People Understand AI Based on What They Know 71 4.5.2 People Reduce Difference Using Various Strategies 73 4.5.3 People Want to Actively Communicate with AI 76 4.6 Limitations 78 4.7 Conclusion 78 5 HOW PEOPLE BUILD SEQUENTIAL ACTIONS WITH ALGORITHM-BASED SYSTEMS USING ARTIFICIAL INTELLIGENCE 80 5.1 Motivation 81 5.2 Duet Draw 84 5.2.1 Five AI Functions of DuetDraw 84 5.2.2 Initiative and Communication Styles of DuetDraw 85 5.3 Study Design 86 5.3.1 Participants 87 5.3.2 Tasks and Procedures 87 5.3.3 Drawing Scenarios 88 5.3.4 Survey 89 5.3.5 Think-aloud and Interview 89 5.3.6 Analysis Methods 90 5.4 Result 1: Quantitative Analysis 92 5.4.1 Detailed Instruction is Preferred over Basic Instruction 93 5.4.2 UX Could Be Worse with Lead-Basic than Assist-Detailed 94 5.4.3 AI is Fun, Useful, Effective, and Efficient 94 5.4.4 No-AI is more Predictable, Comprehensible, and Controllable 95 5.4.5 Even if Predictability is Low, Fun and Interest Can Increase 96 5.5 Result 2: Qualitative Analysis 96 5.5.1 Just Enough Instruction 97 5.5.2 Users Always Want to Lead 99 5.5.3 AI is Similar to Humans But Unpredictable 101 5.5.4 Co-Creation with AI 102 5.6 Limitations 105 5.7 Conclusion 105 6 HOW PEOPLE USE A PRACTICAL APPLICATION OF AN ALGORITHM-BASED SYSTEM USIGN ARTIFICIAL INTELLIGENCE 107 6.1 Motivation 108 6.2 News Robot 110 6.2.1 Selecting Main Event and Data Source 111 6.2.2 Designing News Article Structure 113 6.2.3 Content and Style 113 6.2.4 Generating News Articles 115 6.2.5 Designing NewsRobot User Interface 116 6.3 Study Design 117 6.3.1 Participants 117 6.3.2 Procedures 118 6.3.3 Analysis Methods 119 6.4 Results 1: Quantitative Analysis 120 6.4.1 Selective News Is Less Credible 120 6.4.2 Users Like Both Multimedia and Personalization 121 6.4.3 Quality of Video Is Not Rated Highest 122 6.4.4 NewsRobot Is Accurate but Not Sensational 123 6.5 Results 2: Qualitative Analysis 124 6.5.1 Users Evaluate NewsRobot Features Highly 124 6.5.2 NewsRobot Is Unbiased but Predictable 127 6.5.3 Benefits and Drawbacks of Using Multimedia 128 6.6 Limitations 130 6.7 Conclusion 130 7 DISCUSSION 131 7.1 Human Perception of AI Algorithms 131 7.1.1 Cognitive Dissonance 131 7.1.2 Beyond Technophobia 132 7.1.3 Toward a New Chapter in Human-Computer Interaction 134 7.1.4 Coping with the Potential Danger 135 7.2 Users Interpretation and Evaluation of AI Algorithms 135 7.2.1 Integrate Diverse Expertise and User Perspectives 136 7.2.2 Take Advantage of Peoples Curiosity about AI Principles 137 7.2.3 Provide AI and Users with Mutual Communication 138 7.3 How People Build Sequential Actions with AI Algorithms 139 7.3.1 Let the User Take the Initiative 140 7.3.2 Provide Just Enough Instruction 140 7.3.3 Embed Interesting Elements in the Interaction 141 7.3.4 Ensure Balance 142 7.4 Practical Design of Algorithm-based Systems Using AI 142 7.4.1 Provide Selective news with Adaptable Interface 142 7.4.2 Present Various Multimedia Elements but Not Too Many 144 7.4.3 Importance of Quality Data and Algorithm Refinement 145 7.5 Principles 146 8 CONCLUSION 148 8.1 Summary of Contributions 149 8.2 Future Directions 150 Bibliography 153 논문초록 173 감사의 글 176Docto