Combining textual features with sentence embeddings

학위논문(박사) -- 서울대학교대학원 : 인문대학 언어학과, 2021.8. 박수지.이 논문의 목표는 한국어 기사 품질을 예측하기 위한 언어 모형을 개발하는 것이다. 기사 품질 예측 과제는 최근 가짜뉴스 등의 범람으로 그 필요성이 대두되면서도 자연언어처리의 최신 기법이 아직 적용되지 못하는 실정에 있다. 이 논문에서는 이러한 한계를 극복하기 위해 문장의 의미를 표상하는 SBERT 모형을 개발하고, 기사의 언어학적 자질을 활용하여 품질 분류의 성능을 높일 수 있는지를 검토하고자 한다. 그 결과 기사의 가독성, 응집성 등의 텍스트 자질을 사용한 기계학습 모형과 SBERT에서 자동으로 추출된 문맥 자질을 사용한 전이학습 모형이 모두 선행연구의 심층학습 결과보다 높은 성능을 보였고, 구체적으로는 SBERT 학습시 훈련 데이터를 확장하고 정제할 때, 그리고 텍스트 자질과 문맥 자질을 함께 사용할 때 성능이 더욱 향상되는 것을 관측하였다. 이를 통해 기사의 품질에서 언어학적 자질이 중요한 역할을 하며 자연언어처리의 최신 기법인 SBERT가 언어학적 자질을 추출하고 활용하는 데 실질적으로 기여할 수 있다는 결론을 내릴 수 있다.1 Introduction 1 2 Literature Review 5 2.1 Background 5 2.1.1 Text Classification 5 2.1.1.1 Initial Studies 5 2.1.1.2 News Classification 6 2.1.2 Text Quality Assessment 8 2.2 News Quality Prediction Task 9 2.2.1 News Data 9 2.2.1.1 Online vs. Offline 9 2.2.1.2 Expert-rated vs. User-rated 9 2.2.2 Prediction Methods 11 2.2.2.1 Manually Engineered Features v. Automatically Extracted Features 11 2.2.2.2 Machine Learning vs. Deep Learning 12 2.3 Instruments and Techniques 14 2.3.1 Sentence and Document Embeddings 14 2.3.1.1 Static Embeddings 14 2.3.1.2 Contextual Embeddings 16 2.3.2 Fusion Models 18 2.4 Summary 27 3 Methods 29 3.1 Data from Choi, Shin, and Kang (2021) 29 3.1.1 News Corpus 29 3.1.2 Quality Levels 29 3.1.3 Journalism Values 30 3.2 Linguistic Features 31 3.2.1 Justification of Using Linguistic Features Only 31 3.2.2 Two Types of Linguistic Features 32 3.2.2.1 Textual Features 32 3.2.2.2 Contextual Features 33 3.3 Summary 33 4 Ordinal Logistic Regression Models with Textual Features 35 4.1 Textual Features 35 4.1.1 Coh-Metrix 35 4.1.2 KOSAC Lexicon 36 4.1.3 K-LIWC 38 4.1.4 Others 38 4.2 Ordinal Logistic Regression 38 4.3 Results 39 4.3.1 Feature Selection 39 4.3.2 Impacts on Quality Evaluation 40 4.4 Discussion 40 4.4.1 Effect of Cosine Similarity by Issue 41 4.4.2 Effect of Quantitative Evidence 47 4.4.3 Effect of Sentiment 48 4.5 Summary 51 5 Deep Transfer Learning Models with Contextual Features 53 5.1 Contextual Features from SentenceBERT 53 5.1.1 Necessity of Sentence Embeddings 54 5.1.2 KR-SBERT 55 5.2 Deep Transfer Learning 56 5.3 Results 59 5.3.1 Measures of Multiclass Classification 59 5.3.2 Performances of news quality prediction models 60 5.4 Discussion 62 5.4.1 Effect of Data Size 62 5.4.2 Effect of Data Augmentation 62 5.4.3 Effect of Data Refinement 635.5 Summary 63 6 Fusion Models Combining Textual Features with Contextual Sentence Embeddings 65 6.1 Model Fusion 65 6.1.1 Feature-level Fusion: Concatenation 65 6.1.2 Logit-level Fusion: Interpolation 65 6.2 Results 68 6.2.1 Optimization of the Presentational Attribute Model 68 6.2.2 Performances of News Quality Prediction Models 68 6.3 Discussion 68 6.3.1 Effects of Fusion 70 6.3.2 Comparison with Choi et al. (2021) 71 6.4 Summary 71 7 Conclusion 73 References 75 A List of Words Used for Textual Feature Extraction 93 A.1 Coh-Metrix Features 93 A.2 Predicate Type Features 94 B Codes Used in Chapter 4 97 B.1 Python Code for Textual Feature Extraction 97 C Results of VIF test and Brant test 101 C.1 VIF Test in R 101 C.2 Brant Test in R 103 D Codes Used in Chapter 6 107 D.1 Python Code for Feature-Level Fusion 107 D.2 Python Code for Logit-Level Fusion 108박

Caracterização estética do texto

Atualmente, a vasta quantidade de textos online à disposição de qualquer organização ou indivíduo tornou-se um enorme desafio. O consumidor/leitor encontra-se num labirinto de informações não estruturada (texto) em constante crescimento, muita dela de baixa qualidade. Em vários domínios, o leitor enfrenta um desafio ainda maior, sempre que necessitar de selecionar informações textuais confiáveis e de alta qualidade. É um processo trabalhoso, geralmente atingindo uma eficácia limitada. A avaliação sistemática e a seleção de documentos de alta qualidade tornaram-se uma tarefa impossível de ser executada manualmente por qualquer ser humano. Portanto, o objetivo principal deste trabalho foi explorar os marcadores linguísticos que permitem uma caracterização efetiva da qualidade e estética contida no texto. Assim, apresentamos aqui uma análise exploratória e comparativa de um conjunto de vinte e um marcadores para avaliar a qualidade e a estética no texto. Também medimos o desempenho de auto-semelhança desses marcadores, em corpora, através de estimadores eficientes do parâmetro de Hurst. Quanto ao material experimental, reunimos e usamos dois corpora diferentes em termos de qualidade de escrita. Um corpus com alto padrão de qualidade, contendo obras clássicas da literatura, incluindo várias obras-primas do Prêmio Nobel. O outro com texto de qualidade inferior, vindo de vários internautas, incluindo textos escritos em blogs e por autores mais jovens e inexperientes. Os marcadores experimentados são agrupados em cinco tipos: vocabulário, coesão, coerência, complexidade sintática e figura de linguagem. As medições forneceram resultados muito interessantes, levando-nos a concluir que existem marcadores linguísticos de alta qualidade, muito úteis para distinguir entre textos bons e maus. O uso desses marcadores permitirá a implementação de sistemas capazes de realizar essa classificação, de forma automática e com alta qualidade.Nowadays the vast amount of online text at the disposal of any organization or individual has become a huge challenge. The consumer/reader finds itself in a maze of constantly growing unstructured information (text), much of it of poor quality. In several domains, the reader faces an even greater challenge, whenever he needs to select reliable and high-quality textual information. It is a laborious process, usually reaching a limited effectiveness. Systematically assessing and selecting high quality documents have become an impossible task to be performed manually by any human being. Therefore, the main goal of this work was to explore the linguistic markers that enable an effective characterization of the quality and aesthetics contained in text. Thus, we present here an exploratory and comparative analysis of a set of twenty-one markers for assessing the quality and aesthetics in text. We have also measured the Self-Similarity performance of these markers, in corpora, through efficient estimators of the Hurst parameter. As for the experimental material, we have assembled and used two different corpora in terms of writing quality. One corpus having high quality standards, containing classic works of literature, including several Nobel-Prize masterpieces. The other one with text of inferior quality, coming from multiple internauts, including text written in blogs and by younger and inexperienced authors. The experimented markers are grouped in five types: vocabulary, cohesion, coherence, syntactic complexity and figure of speech. Measurements provided very interesting results, leading us to conclude that there are high quality linguistic markers very useful for distinguishing between good and bad texts. The use of these markers will enable the implementation of systems capable of performing this classification, automatically and with high quality

Industrias culturales, periodismo y entretenimiento de masas. Estudio del caso español

Programa Oficial de Doctorado en Investigación en Medios de ComunicaciónPresidente: Rosario de Mateo Pérez.- Secretario: Carlos Macía Barber.- Vocal: José Miguel Túñe