Erläuterung von Large Language Models zur Extraktion politischer Aussagen auf Passagenebene mithilfe linguistisch-regelbasierter Modelle

Abstract

The complexity of processing the language in political discourse presents a challenge due to its ambiguity and nuance. However, the growing volume of digital political content and the proven efficiency of Large Language Models (LLMs) in processing and "understanding" such statements presents an opportunity to explore new approaches. Therefore, the automatic extraction of coherent political statements at the passage level is an opportune task in the current era of increasing digitization of political discourse. This research addresses the problem of accurately extracting "relevant" political statements. Moving beyond traditional rule-based information extraction (IE) techniques, we propose a Natural Language Processing (NLP) pipeline composed of state-of-the-art LLMs. Given the opaque nature of Transformer models and the need for AI transparency — moreover, within the intricate nature of political language — this thesis develops an approach based on Explainable Artificial Intelligence (XAI) tools to explain LLM classification behavior from a linguistic perspective across the pipeline's NLP tasks. The empirical approach is structured around three specific NLP challenges, addressed in dedicated papers: (1) Text Genre Classification, employing a BERT model to distinguish between speeches and interviews based on the number of speakers, thereby addressing text genre identification and filtering; (2) Stance Classification, utilizing a few-shot learning model (SetFit) for binary classification of stance expressions, enhancing the detection of relevant political statements; and (3) Topic Continuity Analysis, using Sentence Pair Modeling (SPM) and BERT to analyze topic continuity between sentence pairs, ensuring the coherence of extracted passages. This research enhances explainability across these challenges by combining linguistic rule-based models (LRBMs) with contemporary explainability tools like SHAP and Transformers Interpret. By leveraging corpus linguistics, tailored lexicons, and lexicogrammatical rules, our research adds transparency to LLMs' decision-making processes, bridging traditional linguistic theories with modern neural models. Likewise, although not the primary focus, our research emphasized model performance, consequently increasing the accuracy of their explanatory capacity. For each challenge, ad hoc datasets focused on American political discourse in English were created. LRBMs played a crucial role in feature engineering and dataset annotation, further improving the explainability and performance of XAI tools. Fusing linguistic insight with neural outputs allowed for granular token-level analysis of morphosyntactic, semantic, and pragmatic features, offering a novel contribution by aligning outputs with established linguistic theories. This thesis advances the understanding of LLM explainability by approaching the extraction of relevant political statements from a linguistically grounded framework.Die Komplexität der Sprachverarbeitung in politischen Diskursen stellt aufgrund ihrer Mehrdeutigkeit und Feinheiten eine Herausforderung dar. Gleichzeitig bietet das wachsende Volumen digitaler politischer Inhalte und die Effizienz von Large Language Models (LLMs) beim Verarbeiten solcher Aussagen die Möglichkeit für neue Ansätze. Die automatische Extraktion kohärenter politischer Aussagen auf Passagenebene ist daher in der heutigen Zeit eine besonders relevante Aufgabe. Diese Forschungsarbeit widmet sich der Extraktion „relevanter“ politischer Aussagen. Über traditionelle Techniken der Information Extraction (IE) hinausgehend, schlagen wir eine Natural Language Processing (NLP)-Pipeline aus aktuellen LLMs vor. Aufgrund der Intransparenz von Transformer-Modellen und der Notwendigkeit von KI-Transparenz entwickelt diese Arbeit einen Ansatz auf Basis von Explainable Artificial Intelligence (XAI)-Werkzeugen, um das Klassifikationsverhalten von LLMs aus linguistischer Perspektive erklärbar zu machen. Das Besondere an diesem Forschungsvorhaben ist die verbesserte Erklärbarkeit durch die Kombination von Linguistic Rule-Based Models (LRBMs) und modernen Tools wie SHAP und Transformers Interpret. Durch Korpuslinguistik, maßgeschneiderte Lexika und lexikogrammatische Regeln steigert unsere Forschung die Transparenz der LLM-Entscheidungsprozesse und schlägt eine Brücke zwischen klassischen linguistischen Theorien und modernen neuronalen Modellen. Ebenso legte unsere Forschung Wert auf die Performanz der Modelle und erhöhte dadurch die Genauigkeit ihrer Erklärungsfähigkeit. Die empirische Herangehensweise ist um drei spezifische NLP-Herausforderungen strukturiert: (1) Textsortenklassifikation, bei der ein BERT-Modell Reden und Interviews anhand der Sprecheranzahl unterscheidet; (2) Haltungsklassifikation, bei der ein Few-Shot-Learning-Modell (SetFit) zur binären Klassifikation von Haltungsausdrücken genutzt wird; und (3) Analyse der Themenkontinuität, bei der Sentence Pair Modeling (SPM) und BERT die thematische Kontinuität zwischen Satzpaaren untersuchen, um die Kohärenz der extrahierten Passagen sicherzustellen. Für jede dieser Herausforderungen wurden Ad-hoc-Datensätze zum US-amerikanischen politischen Diskurs in englischer Sprache erstellt. LRBMs spielten eine zentrale Rolle bei der Feature-Generierung und Annotation, was die Erklärbarkeit und Leistung der XAI-Tools weiter verbesserte. Die Verknüpfung von linguistischem Fachwissen mit den Ausgaben neuronaler Modelle ermöglichte eine feingranulare Token-Analyse morphosyntaktischer, semantischer und pragmatischer Merkmale. Damit leistet diese Arbeit einen wichtigen Beitrag zum Verständnis der LLM-Erklärbarkeit, indem sie die Extraktion relevanter politischer Aussagen aus einem sprachwissenschaftlich fundierten Rahmenwerk angeht