감성 분석의 여론 조사 대체 가능 연구

학위논문(석사) -- 서울대학교대학원 : 공과대학 협동과정 기술경영·경제·정책전공, 2022. 8. 황준석.Sentimental analysis in the Korean language does not deliver ideal results due to the lack of data and unavailability of a high functioning Korean language model. However, with the rise of modern statistical artificial intelligence, numerous studies have been using this methodology to analyze various topics. Sentimental analysis is a field within natural language processing specializing in determining what emotion a comment express. This research aims to propose a framework that can be used to perform sentimental analysis and automate the process of looking into the public opinion of people. Public opinion polls usually have a question that can be answered with “yes” and “no”. Since sentimental analysis shows high accuracy in determining whether a comment depicts a positive or negative emotion, they can be a viable way to aid the process of determining public opinion in big data. To test the hypothesis that this paper’s automated sentimental analysis framework can be a viable substitute to surveys, 260 public opinion survey results that had been conducted by professional institutes were used to see how similar the two results are. Cosine similarity was used to compare the two results, and the results showed that 160 out of 260 expert surveys had an accuracy above 90%. Another interesting finding showed that the more expert survey results had a low similarity for each year elapsed. These results suggest that the paper’s automated sentimental analysis framework can indeed be a viable substitute to public opinion surveys as long as the answers to the question is a “yes” and “no”. This framework is especially useful for future research because results show that the proposed framework shows high similarity to existing expert public opinion survey results.한국어 감성 분석은 데이터의 부족과 고성능 한국어 모델의 부재로 인해 이상적인 결과를 제공하지 못한다. 현재 통계 기반 인공지능의 등장으로 수많은 연구에서 다양한 주제를 분석하기 위해 이 방법론을 사용해 왔다. 감성 분석은 문장이 어떤 감정을 표현하는지를 결정하는 데 특화된 자연어 처리 분야이다. 본 연구는 감성 분석을 수행하여 사람들의 여론을 파악하는 과정을 자동화하는 데 사용할 수 있는 프레임워크를 제안하는 것을 목표로 한다. 여론조사는 보통 "예"와 "아니요"로 대답할 수 있는 질문을 가지고 있다. 감성 분석은 코멘트가 긍정적인 감정을 묘사하고 있는지 부정적인 감정을 묘사하고 있는지를 판단하는 데 높은 정확도를 보여주므로, 그것들은 빅데이터에서 여론을 결정하는 과정을 돕는 실행 가능한 방법이 될 수 있다. 본 논문의 자동화된 감성분석 프레임워크가 설문조사의 실행 가능한 대체가 될 수 있다는 가설을 테스트하기 위해 전문기관들이 진행해온 260여개의 여론조사 결과를 활용해 두 결과가 얼마나 유사한지 살펴봤다. 두 결과를 비교하기 위해 코사인 유사도를 사용하였으며, 260개의 전문 여론 조사 결과 중 160개가 유사도 90%를 넘는 것으로 나타났다. 또 다른 흥미로운 발견은 한 해가 지날 때마다 비례적으로 더 많은 여론 조사 결과가 유사성 낮게 나온다는 것을 보여주었다. 이러한 결과는 이 논문의 자동화된 감정 분석 프레임워크가 "예" "아니요"인 질문들을 한해서 충분히 여론 조사의 대체물이 될 수 있음을 시사한다. 제안된 프레임워크를 통해 기존 전문가 여론 조사 결과와 높은 유사성을 보인다는 결과가 나왔기 때문에 이 프레임워크는 향후 연구에 특히 유용할 것으로 보인다.Chapter 1. Introduction 1 1.1.1 Implementing AI into Social Science 1 1.1.2 Automated Response System Surveys 1 1.1.3 Difficulties in Korean NLP 4 1.2 Background 10 1.3 Purpose of Research 12 Chapter 2. Literature Review 16 2.1 Computational Text Analysis in Social Science 16 2.2 Natural Language Processing Research in Korean 17 2.3 History of Language Models 18 Chapter 3. Methodology 20 3.1 Definition 20 3.2 Method Analysis 20 3.2.1 Required Equipment 20 3.2.2 Selected Language Model: BERT 21 3.2.3 Naver Movie Review corpus 22 3.2.4 Data Extraction Platform 24 3.2.5 Predict Sentiment 25 3.2.6 Link crawler 26 3.2.7 Cosine similarity 29 3.2.8 Euclidean Similarity 31 3.3 Data Gathering 32 3.4 Data Arrangement 34 Chapter 4. Result and Analysis 35 4.1 Result 35 4.2 Further Analysis I 40 4.3 Further Analysis II 43 4.4 Comparing different language models 52 4.5 For Discussion 53 Chapter 5. Conclusion 55 Bibliography 62 Abstract (Korean) 71석