Topic Segmentation in the Wild: Towards Segmentation of Semi-structured & Unstructured Chats

Breaking down a document or a conversation into multiple contiguous segments based on its semantic structure is an important and challenging problem in NLP, which can assist many downstream tasks. However, current works on topic segmentation often focus on segmentation of structured texts. In this paper, we comprehensively analyze the generalization capabilities of state-of-the-art topic segmentation models on unstructured texts. We find that: (a) Current strategies of pre-training on a large corpus of structured text such as Wiki-727K do not help in transferability to unstructured texts. (b) Training from scratch with only a relatively small-sized dataset of the target unstructured domain improves the segmentation results by a significant margin.Comment: NeurIPS 2022 : ENLS

Topic Segmentation of Semi-Structured and Unstructured Conversational Datasets using Language Models

Breaking down a document or a conversation into multiple contiguous segments based on its semantic structure is an important and challenging problem in NLP, which can assist many downstream tasks. However, current works on topic segmentation often focus on segmentation of structured texts. In this paper, we comprehensively analyze the generalization capabilities of state-of-the-art topic segmentation models on unstructured texts. We find that: (a) Current strategies of pre-training on a large corpus of structured text such as Wiki-727K do not help in transferability to unstructured conversational data. (b) Training from scratch with only a relatively small-sized dataset of the target unstructured domain improves the segmentation results by a significant margin. We stress-test our proposed Topic Segmentation approach by experimenting with multiple loss functions, in order to mitigate effects of imbalance in unstructured conversational datasets. Our empirical evaluation indicates that Focal Loss function is a robust alternative to Cross-Entropy and re-weighted Cross-Entropy loss function when segmenting unstructured and semi-structured chats.Comment: Accepted to IntelliSys 2023. arXiv admin note: substantial text overlap with arXiv:2211.1495

Topic segmentation using weighted lexical links (WLL)

International audienceThis paper presents two new approaches of lexical chains for topic segmentation using weighted lexical chains (WLC) or weighted lexical links (WLL) between repeated occurrences of lemmas along the text. The main advantage of using these new approaches is the suppression of the empirical parameter called hiatus in lexical chain processing. An evaluation according to the WindowD-iff measure on a large automatically built corpus shows slight improvements in WLL compared to state-of-the-art methods based on lexical chains

Extraction automatique de segments textuels, détection de rôles, de sujets et de polarités

Dans cette thèse, nous présentons de nouvelles méthodes permettant l extraction de chaînes de mots (segments textuels) relatives à des catégories (thématiques, rôles des locuteurs, opinions). Nous proposons, dans un premier temps, une méthode basée su rune métrique de recherche de collocations, que nous appliquons de manière distincte sur les documents liés à la même catégorie et qui, par itérations, nous permet d obtenir des chaînes caractéristiques de cette catégorie. Ces chaînes sont alors employées pour améliorer les performances de systèmes de catégorisation de textes ou dans un but d extraction de connaissances (faire ressortir des éléments textuels tels que des expressions employées par un type de locuteurs, des sous-thématiques liées à la catégorie,...). Nous proposons ensuite une seconde méthode permettant de rechercher, dans un corpus d opinions, des n-grammes exprimant des jugements sur des sujets prédéfinis.Nous pouvons alors extraire des segments textuels représentant l expression d une opinion sur un des sujets cibles.Ces méthodes sont validées par un certain nombre d expériences effectuées dans des contextes différents : écrits de blogs, transcriptions manuelles de parole spontanée,critiques de produits culturels, enquêtes de satisfaction EDF, en français ou en anglais, ...Non communiquéAVIGNON-Bib. numérique (840079901) / SudocSudocFranceF