Validating the Automated Assessment of Participation and of Collaboration in Chat Conversations

International audienceAs Computer Supported Collaborative Learning (CSCL) gains a broader usage as a viable alternative to classic educational scenarios, the need for automated tools capable of supporting tutors in the time consuming process of analyzing conversations becomes more stringent. Moreover, in order to fully explore the benefits of such scenarios, a clear demarcation must be made between participation or active involvement, and collaboration that presumes the intertwining of ideas or points of view with other participants. Therefore, starting from a cohesion-based model of the discourse, we propose two computational models for assessing collaboration and participation. The first model is based on the cohesion graph and can be perceived as a longitudinal analysis of the ongoing conversation, thus accounting for participation from a social knowledge-building perspective. In the second approach, collaboration is regarded from a dialogical perspective as the intertwining or overlap of voices pertaining to different speakers, therefore enabling a transversal analysis of subsequent discussion slices

Reflecting Comprehension through French Textual Complexity Factors

International audienceResearch efforts in terms of automatic textual complexity analysis are mainly focused on English vocabulary and few adaptations exist for other languages. Starting from a solid base in terms of discourse analysis and existing textual complexity assessment model for English, we introduce a French model trained on 200 documents extracted from school manuals pre-classified into five complexity classes. The underlying textual complexity metrics include surface, syntactic, morphological, semantic and discourse specific factors that are afterwards combined through the use of Support Vector Machines. In the end, each factor is correlated to pupil comprehension metrics scores, spanning throughout multiple classes, therefore creating a clearer perspective in terms of measurements impacting the perceived difficulty of a given text. In addition to purely quantitative surface factors, specific parts of speech and cohesion have proven to be reliable predictors of learners' comprehension level, creating nevertheless a strong background for building dependable French textual complexity models

Voices' inter-animation detection with ReaderBench. Modelling and assessing polyphony in CSCL chats as voice synergy

International audienceStarting from dialogism in which every act is perceived as a dialogue, we shift the perspective towards multi-participant chat conversations from Computer Supported Collaborative Learning in which ideas, points of view or more generally put voices interact, inter-animate and generate the context of a conversation. Within this perspective of discourse analysis, we introduce an implemented framework, ReaderBench, for modeling and automatically evaluating polyphony that emerges as an overlap or synergy of voices. Moreover, multiple evaluation factors were analyzed for quantifying the importance of a voice and various functions were experimented to best reflect the synergic effect of co- occurring voices for modeling the underlying discourse structure

Analiza automată a materialelor şcolare franceze din prisma complexităţii textuale

National audienceEforturile de cercetare în ceea ce priveşte analiza complexităţii textuale automate se concentrează în principal asupra limbii engleze, în prezent existând doar câteva adaptări pentru alte limbi. Pornind de la un fundament solid în ceea ce priveşte analiza discursului şi analiza complexităţii textuale bazată pe un model de evaluare validat pentru limba engleză, în lucrarea de faţă introducem un model de analiză textuală pentru limba franceză antrenat pe 200 de documente extrase din manuale şcolare franţuzeşti, pre-clasificate în cinci clase de complexitate textuală. Factorii de analiză acoperă o multitudine de dimensiuni şi sunt distribuiţi în următoarele categorii principale: de suprafaţă, factori specifici analizei sintactice, morfologice, semantice şi analiza discursului, metrici care ulterior sunt combinate prin intermediul maşinilor cu vector suport (Support Vector Machines – SVM) pentru îmbunătăţirea preciziei. La nivel global, adiţional faţă de factorii pur cantitativi de suprafaţă, anumite părţi de vorbire şi diverse metrici de coeziune s-au dovedit a fi predictori de încredere raportat la nivelul de dificultate al materialelor şcolare, creând astfel o bază consistentă pentru a construi modele de încredere de evaluare automată a complexităţii textuale franceze. Cuvinte cheie coeziunea textelor, evaluarea complexităţii textuale, lizibilitatea, metode kernel, maşini cu vector suport (Support Vector Machines) Clasificare ACM I.2.7 Natural Language Processing. INTRODUCERE Notarea automată a eseurilor, identificarea de modele şi şabloane textuale sau evaluarea dificultăţii textelor reprezintă subiecte de interes în prezent în domeniul analizei textuale, a căror aplicabilitate se adresează atât mediilor academice, cât şi celor comerciale, din prisma alinierii optime la nivelul de înţelegere al cursanţilor. Pe de-o parte, grupurile de cercetare se concentrează pe analiza şi inter-conectarea volumelor mari de texte extrase din web-ul social într-o continuă extindere, în timp ce piaţa comercială este axată pe dezvoltarea de instrumente de analiză care ar putea îmbunătăţi predicţia nivelului de înţelegere şi ar putea induce un control mai bun al fluxului de informaţii de la sursă către publicul ţintă. Un dezavantaj major al eforturilor de analiză automată a complexităţii textuale provine din lipsa de conţinut suficient în cazul unor limbi precum limba franceză, în comparaţie cu limbile pentru care există astfel de resurse (spre ex., engleza). Prin urmare, analiza multi-linguală a complexităţii textuale este încă un domeniu puţin explorat care ar putea reliefa rezultate surprinzătoare raportat la următoarele dimensiuni ale evaluării: complexitatea vocabularului, morfologia şi structura discursului. Indiferent de nivelul de analiză adresat, scopul final presupune îmbunătăţirea nivelului de înţelegere al cursanţilor

Analiza automată a materialelor şcolare franceze din prisma complexităţii textuale

National audienceEforturile de cercetare în ceea ce priveşte analiza complexităţii textuale automate se concentrează în principal asupra limbii engleze, în prezent existând doar câteva adaptări pentru alte limbi. Pornind de la un fundament solid în ceea ce priveşte analiza discursului şi analiza complexităţii textuale bazată pe un model de evaluare validat pentru limba engleză, în lucrarea de faţă introducem un model de analiză textuală pentru limba franceză antrenat pe 200 de documente extrase din manuale şcolare franţuzeşti, pre-clasificate în cinci clase de complexitate textuală. Factorii de analiză acoperă o multitudine de dimensiuni şi sunt distribuiţi în următoarele categorii principale: de suprafaţă, factori specifici analizei sintactice, morfologice, semantice şi analiza discursului, metrici care ulterior sunt combinate prin intermediul maşinilor cu vector suport (Support Vector Machines – SVM) pentru îmbunătăţirea preciziei. La nivel global, adiţional faţă de factorii pur cantitativi de suprafaţă, anumite părţi de vorbire şi diverse metrici de coeziune s-au dovedit a fi predictori de încredere raportat la nivelul de dificultate al materialelor şcolare, creând astfel o bază consistentă pentru a construi modele de încredere de evaluare automată a complexităţii textuale franceze. Cuvinte cheie coeziunea textelor, evaluarea complexităţii textuale, lizibilitatea, metode kernel, maşini cu vector suport (Support Vector Machines) Clasificare ACM I.2.7 Natural Language Processing. INTRODUCERE Notarea automată a eseurilor, identificarea de modele şi şabloane textuale sau evaluarea dificultăţii textelor reprezintă subiecte de interes în prezent în domeniul analizei textuale, a căror aplicabilitate se adresează atât mediilor academice, cât şi celor comerciale, din prisma alinierii optime la nivelul de înţelegere al cursanţilor. Pe de-o parte, grupurile de cercetare se concentrează pe analiza şi inter-conectarea volumelor mari de texte extrase din web-ul social într-o continuă extindere, în timp ce piaţa comercială este axată pe dezvoltarea de instrumente de analiză care ar putea îmbunătăţi predicţia nivelului de înţelegere şi ar putea induce un control mai bun al fluxului de informaţii de la sursă către publicul ţintă. Un dezavantaj major al eforturilor de analiză automată a complexităţii textuale provine din lipsa de conţinut suficient în cazul unor limbi precum limba franceză, în comparaţie cu limbile pentru care există astfel de resurse (spre ex., engleza). Prin urmare, analiza multi-linguală a complexităţii textuale este încă un domeniu puţin explorat care ar putea reliefa rezultate surprinzătoare raportat la următoarele dimensiuni ale evaluării: complexitatea vocabularului, morfologia şi structura discursului. Indiferent de nivelul de analiză adresat, scopul final presupune îmbunătăţirea nivelului de înţelegere al cursanţilor

Voices' inter-animation detection with ReaderBench. Modelling and assessing polyphony in CSCL chats as voice synergy

International audienceStarting from dialogism in which every act is perceived as a dialogue, we shift the perspective towards multi-participant chat conversations from Computer Supported Collaborative Learning in which ideas, points of view or more generally put voices interact, inter-animate and generate the context of a conversation. Within this perspective of discourse analysis, we introduce an implemented framework, ReaderBench, for modeling and automatically evaluating polyphony that emerges as an overlap or synergy of voices. Moreover, multiple evaluation factors were analyzed for quantifying the importance of a voice and various functions were experimented to best reflect the synergic effect of co- occurring voices for modeling the underlying discourse structure

What Makes Your Writing Style Unique? Significant Differences Between Two Famous Romanian Orators

This paper introduces a novel, in-depth approach of analyzing the differences in writing style between two famous Romanian orators, based on automated textual complexity indices for Romanian language. The considered authors are: (a) Mihai Eminescu, Romania’s national poet and a remarkable journalist of his time, and (b) Ion C. Brătianu, one of the most important Romanian politicians from the middle of the 18th century. Both orators have a common journalistic interest consisting in their desire to spread the word about political issues in Romania via the printing press, the most important public voice at that time. In addition, both authors exhibit writing style particularities, and our aim is to explore these differences through our ReaderBench framework that computes a wide range of lexical and semantic textual complexity indices for Romanian and other languages. The used corpus contains two collections of speeches for each orator that cover the period 1857–1880. The results of this study highlight the lexical and cohesive textual complexity indices that reflect very well the differences in writing style, measures relying on Latent Semantic Analysis (LSA) and Latent Dirichlet Allocation (LDA) semantic models.This study is part of the RAGE project. The RAGE project has received funding from the European Union’s Horizon 2020 research and innovation programme under grant agreement No 644187. This publication reflects only the author's view. The European Commission is not responsible for any use that may be made of the information it contains