Are Automatically Identified Reading Strategies Reliable Predictors of Comprehension?

International audienceIn order to build coherent textual representations, readers use cognitive procedures and processes referred to as reading strategies; these specific procedures can be elicited through self-explanations in order to improve understanding. In addition, when faced with comprehension difficulties, learners can invoke regulation processes, also part of reading strategies, for facilitating the understanding of a text. Starting from these observations, several automated techniques have been developed in order to support learners in terms of efficiency and focus on the actual comprehension of the learning material. Our aim is to go one step further and determine how automatically identified reading strategies employed by pupils with age between 8 and 11 years can be related to their overall level of understanding. Multiple classifiers based on Support Vector Machines are built using the strategies' identification heuristics in order to create an integrated model capable of predicting the learner's comprehension level

Reflecting Comprehension through French Textual Complexity Factors

International audienceResearch efforts in terms of automatic textual complexity analysis are mainly focused on English vocabulary and few adaptations exist for other languages. Starting from a solid base in terms of discourse analysis and existing textual complexity assessment model for English, we introduce a French model trained on 200 documents extracted from school manuals pre-classified into five complexity classes. The underlying textual complexity metrics include surface, syntactic, morphological, semantic and discourse specific factors that are afterwards combined through the use of Support Vector Machines. In the end, each factor is correlated to pupil comprehension metrics scores, spanning throughout multiple classes, therefore creating a clearer perspective in terms of measurements impacting the perceived difficulty of a given text. In addition to purely quantitative surface factors, specific parts of speech and cohesion have proven to be reliable predictors of learners' comprehension level, creating nevertheless a strong background for building dependable French textual complexity models

Analiza automată a materialelor şcolare franceze din prisma complexităţii textuale

National audienceEforturile de cercetare în ceea ce priveşte analiza complexităţii textuale automate se concentrează în principal asupra limbii engleze, în prezent existând doar câteva adaptări pentru alte limbi. Pornind de la un fundament solid în ceea ce priveşte analiza discursului şi analiza complexităţii textuale bazată pe un model de evaluare validat pentru limba engleză, în lucrarea de faţă introducem un model de analiză textuală pentru limba franceză antrenat pe 200 de documente extrase din manuale şcolare franţuzeşti, pre-clasificate în cinci clase de complexitate textuală. Factorii de analiză acoperă o multitudine de dimensiuni şi sunt distribuiţi în următoarele categorii principale: de suprafaţă, factori specifici analizei sintactice, morfologice, semantice şi analiza discursului, metrici care ulterior sunt combinate prin intermediul maşinilor cu vector suport (Support Vector Machines – SVM) pentru îmbunătăţirea preciziei. La nivel global, adiţional faţă de factorii pur cantitativi de suprafaţă, anumite părţi de vorbire şi diverse metrici de coeziune s-au dovedit a fi predictori de încredere raportat la nivelul de dificultate al materialelor şcolare, creând astfel o bază consistentă pentru a construi modele de încredere de evaluare automată a complexităţii textuale franceze. Cuvinte cheie coeziunea textelor, evaluarea complexităţii textuale, lizibilitatea, metode kernel, maşini cu vector suport (Support Vector Machines) Clasificare ACM I.2.7 Natural Language Processing. INTRODUCERE Notarea automată a eseurilor, identificarea de modele şi şabloane textuale sau evaluarea dificultăţii textelor reprezintă subiecte de interes în prezent în domeniul analizei textuale, a căror aplicabilitate se adresează atât mediilor academice, cât şi celor comerciale, din prisma alinierii optime la nivelul de înţelegere al cursanţilor. Pe de-o parte, grupurile de cercetare se concentrează pe analiza şi inter-conectarea volumelor mari de texte extrase din web-ul social într-o continuă extindere, în timp ce piaţa comercială este axată pe dezvoltarea de instrumente de analiză care ar putea îmbunătăţi predicţia nivelului de înţelegere şi ar putea induce un control mai bun al fluxului de informaţii de la sursă către publicul ţintă. Un dezavantaj major al eforturilor de analiză automată a complexităţii textuale provine din lipsa de conţinut suficient în cazul unor limbi precum limba franceză, în comparaţie cu limbile pentru care există astfel de resurse (spre ex., engleza). Prin urmare, analiza multi-linguală a complexităţii textuale este încă un domeniu puţin explorat care ar putea reliefa rezultate surprinzătoare raportat la următoarele dimensiuni ale evaluării: complexitatea vocabularului, morfologia şi structura discursului. Indiferent de nivelul de analiză adresat, scopul final presupune îmbunătăţirea nivelului de înţelegere al cursanţilor

Analiza automată a materialelor şcolare franceze din prisma complexităţii textuale

National audienceEforturile de cercetare în ceea ce priveşte analiza complexităţii textuale automate se concentrează în principal asupra limbii engleze, în prezent existând doar câteva adaptări pentru alte limbi. Pornind de la un fundament solid în ceea ce priveşte analiza discursului şi analiza complexităţii textuale bazată pe un model de evaluare validat pentru limba engleză, în lucrarea de faţă introducem un model de analiză textuală pentru limba franceză antrenat pe 200 de documente extrase din manuale şcolare franţuzeşti, pre-clasificate în cinci clase de complexitate textuală. Factorii de analiză acoperă o multitudine de dimensiuni şi sunt distribuiţi în următoarele categorii principale: de suprafaţă, factori specifici analizei sintactice, morfologice, semantice şi analiza discursului, metrici care ulterior sunt combinate prin intermediul maşinilor cu vector suport (Support Vector Machines – SVM) pentru îmbunătăţirea preciziei. La nivel global, adiţional faţă de factorii pur cantitativi de suprafaţă, anumite părţi de vorbire şi diverse metrici de coeziune s-au dovedit a fi predictori de încredere raportat la nivelul de dificultate al materialelor şcolare, creând astfel o bază consistentă pentru a construi modele de încredere de evaluare automată a complexităţii textuale franceze. Cuvinte cheie coeziunea textelor, evaluarea complexităţii textuale, lizibilitatea, metode kernel, maşini cu vector suport (Support Vector Machines) Clasificare ACM I.2.7 Natural Language Processing. INTRODUCERE Notarea automată a eseurilor, identificarea de modele şi şabloane textuale sau evaluarea dificultăţii textelor reprezintă subiecte de interes în prezent în domeniul analizei textuale, a căror aplicabilitate se adresează atât mediilor academice, cât şi celor comerciale, din prisma alinierii optime la nivelul de înţelegere al cursanţilor. Pe de-o parte, grupurile de cercetare se concentrează pe analiza şi inter-conectarea volumelor mari de texte extrase din web-ul social într-o continuă extindere, în timp ce piaţa comercială este axată pe dezvoltarea de instrumente de analiză care ar putea îmbunătăţi predicţia nivelului de înţelegere şi ar putea induce un control mai bun al fluxului de informaţii de la sursă către publicul ţintă. Un dezavantaj major al eforturilor de analiză automată a complexităţii textuale provine din lipsa de conţinut suficient în cazul unor limbi precum limba franceză, în comparaţie cu limbile pentru care există astfel de resurse (spre ex., engleza). Prin urmare, analiza multi-linguală a complexităţii textuale este încă un domeniu puţin explorat care ar putea reliefa rezultate surprinzătoare raportat la următoarele dimensiuni ale evaluării: complexitatea vocabularului, morfologia şi structura discursului. Indiferent de nivelul de analiză adresat, scopul final presupune îmbunătăţirea nivelului de înţelegere al cursanţilor

Towards a corpus-based, statistical approach of translation quality : measuring and visualizing linguistic deviance in student translations

In this article we present a corpus-based statistical approach to measuring translation quality, more particularly translation acceptability, by comparing the features of translated and original texts. We discuss initial findings that aim to support and objectify formative quality assessment. To that end, we extract a multitude of linguistic and textual features from both student and professional translation corpora that consist of many different translations by several translators in two different genres (fiction, news) and in two translation directions (English to French and French to Dutch). The numerical information gathered from these corpora is exploratively analysed with Principal Component Analysis, which enables us to identify stable, language-independent linguistic and textual indicators of student translations compared to translations produced by professionals. The differences between these types of translation are subsequently tested by means of ANOVA. The results clearly indicate that the proposed methodology is indeed capable of distinguishing between student and professional translations. It is claimed that this deviant behaviour indicates an overall lower translation quality in student translations: student translations tend to score lower at the acceptability level, that is, they deviate significantly from target-language norms and conventions. In addition, the proposed methodology is capable of assessing the acceptability of an individual student’s translation – a smaller linguistic distance between a given student translation and the norm set by the professional translations correlates with higher quality. The methodology is also able to provide objective and concrete feedback about the divergent linguistic dimensions in their text

Translationese and post-editese : how comparable is comparable quality?

Whereas post-edited texts have been shown to be either of comparable quality to human translations or better, one study shows that people still seem to prefer human-translated texts. The idea of texts being inherently different despite being of high quality is not new. Translated texts, for example,are also different from original texts, a phenomenon referred to as ‘Translationese’. Research into Translationese has shown that, whereas humans cannot distinguish between translated and original text,computers have been trained to detect Translationesesuccessfully. It remains to be seen whether the same can be done for what we call Post-editese. We first establish whether humans are capable of distinguishing post-edited texts from human translations, and then establish whether it is possible to build a supervised machine-learning model that can distinguish between translated and post-edited text

ReaderBench, an Environment for Analyzing Text Complexity and Reading Strategies

Session: Educational Data MiningInternational audienceReaderBench is a multi-purpose, multi-lingual and flexible environment that enables the assessment of a wide range of learners' productions and their manipulation by the teacher. ReaderBench allows the assessment of three main textual features: cohesion-based assessment, reading strategies identification and textual complexity evaluation, which have been subject to empirical validations. ReaderBench covers a complete cycle, from the initial complexity assessment of reading materials, the assignment of texts to learners, the capture of metacognitions reflected in one's textual verbalizations and comprehension evaluation, therefore fostering learner's self-regulation process