Romanello, Matteo

Infoscience - École polytechnique fédérale de Lausanne

 Helskinki // 5.03.2018  Detecting Text Reuse in Newspapers data with PassimvDetecting Text Reuse in Newspapers Data with PassimHacking the News — DHN  2018 Helsinki 5-6 MarchText Reuse — working definitionText reuse is the meaningful reiteration of text, usually beyond the simple repetition of common language.  Such a broad concept can naturally be understood at different levels and studied in a large variety of contexts. http://dharchive.org/paper/DH2014/Panel-106.xmlContexts: - publishing/teaching → plagiarism - literary studies → intertextuality (quotes, allusions, paraphrases) - historical newspapers →  text reprinting, copy+paste, information spreadingText Reuse — ToolsPassim D. Smith et al. Java / Scalahttps://www.etrap.eu/research/tracer/Tracer M. Büchler Javahttps://www.etrap.eu/research/tracer/MatchMaker* R. Snyder Pythonhttps://github.com/JSTOR-Labs/matchmakerTesserae* N. Coffee et al. Perlhttps://github.com/tesserae/tesserae…18006.2 1900 20005 Jan 1826 Journal de Genève3 Jan 1804 La Gazette de Lausanne1991 Le Nouveau Quotidien; Fusion GDL and JDG18 Mar 1998  Le Temps2008 DigitizationLeTemps newspaper(s)PassimAmerican Literary History, vol. 27, no. 3, pp. E1–E15 http://dx.doi.org/10.1093/alh/ajv029http://github.com/dasmiq/passimStep 1: search of candidate document pairs Step 2: local document alignment  Step 3: passage clusteringPassim — Algorithm Step 1: search of candidate document pairs Goal: reduce total number of comparisons to perform  1.1 shingling: - efficient document indexing via n-grams - document → set of 5-word sequences (5-grams) - singleton n-grams are filtered out (> 50%) 1.2 extraction and filtering of candidate pairs - suppress repeated n-grams within same series - suppress n-grams leading to > 5k document pairs - filter out document pairs with < 5 shared n-grams  Step 2: local document alignment  Step 3: passage clustering5-grams devant le verdict de l'expert sur la responsabilité et réclame, en raison de la violence 1.devant le verdict de l'expert  2.le verdict de l'expert  sur 3.verdict de l'expert  sur  la 4.de l'expert  sur  la responsabilité 5.… 6.Passim — Algorithm Step 1: search of candidate document pairsStep 2: local document alignment  Goal: given a set of document pairs, obtain a set of aligned passage pairsStep 3: passage clustering*source of illustration: Smith et al. 2015, Fig. 4, p. E9Passim — Algorithm Step 1: search of candidate document pairs Step 2: local document alignment Step 3: passage clustering Goal: group similar passages into clusters - “single-link” clustering - overlap threshold 50%Passim — Experiment on GDL/JDGData Preparation - XML → JSONlines format - size of data: - 200 years - 15 GbTechnical Setup - one cluster machine (node) - 48 cores, ~280Gb RAM - run with default parameters - used 36 cores - 3.5 hours to complete - given 100Gb to spark executor/driverPassim — OutputPassim — Output examplesGDL 03/12/1863 — Mardi il est arrivé un accident, sans suites fâcheuses, au bateau à vapeur parti d'Ouchy pour Genève à 2 heures 20 minutes. Le bateau était arrêté pour le débarquement el l'embarquement devant Nyon, lorsque tout à coup on entendit une détonation, un nuage de fumée (ou de vapeur ?) sor tit de la machine et le bâtiment subit une violente secousse. Nous ne savons pas d'une manière précise en quoi consiste la rupture qu'il y a eu ; on parle d'une clavette cassée. Quoi qu'il en soit, le bateau était mis dans l'impossibilité de continuer sa route ; heureusement les voyageurs qui devaient aller plus loin ont pu prendre le train qui passe à Nyon à 5 heures 3 minutes el sont arrivés à bon port, sans autre mal qu'un moment de frayeur. On JDG 05/12/1863 — Mardi il est arrivé un accident, sans suites fâcheuses, au Guillaume-Tilt, parti d'Ouchy pour Genève a 2 heures 20 minutes. Le bateau était arrêt é Pour le débarquement devant Nyou, lorsque tout à coup on entendit une détonation, un nuage de fu- n) p e (ou de vapeur ?) sortit de la hiadiine, et le hû liment subit une violente secousse. Nous ne savons pas d'une manière précise en quoi consiste la rup'" re qu'il y a eu ; on parle d'une clavette cassée. Quoi qu'il en soii, | e bateau était misdans l'impostJuilite de continuer sa route ; h'ureuiipnient les v &lt; y 'geursqui devaient aller plus l &lt;&gt; iri ont pu piendre le train qui passe à Nyon à 5 heures 3 minutes, et sont arrivés ù bon poil, sans aulre mal qu'un moment de frayeur. Le Passim — Output examplesGDL 26/05/1900 un journal a prétendu que des documents relatifs à cette affaire avaient été détournés en vue d'un renouvellement de l'agitation 'dont nous avons tant souffert. Le fait est-il vrai ? Le gouvernement, s'il est vrai, a-til pris des mesures ou entend-il en prendre pour prévenir toute émotion nouvelle ? (Applaudissements.) Le général DE GALLIPPET monte à la tribune au milieu d'une grande attention et dit : L'autre jour, à la Chambre, répondant à M. Alphonse Humbert, j'ai dit que je ne connaissais pas le » documents dont on a parlé, que ces documents n'existaient pas. A ce moment j'avais le droit de tenir un paroil langage. Il était strictement conforme à la vérité. J'ai le regret de dire aujourd'hui que je me suis trompé. Le lendemain du jour où je m'exprimais ainsi, j'avais un entretien avec le chef d'étatmajor général, et, là, j'avais la douleur d'apprendre non seulement que les documents existaient, mais qu'ils avaient été divulgués par un officier du ministère de la guerre. (Vive JDG 26/05/1900 d'un journal est exact, prétendant que des documents relatifs à /' « Affaire » ont été détournés en vue du renouvellement de cette affaire ? — t e général do Galliffet répond qu'il a lo regret de devoir dire qu'il s'est trompé mardi en disant à la Chambre que ces documents n'existaient pas. Il ignorait alors leur existence, mais le lendemain il eut la douleur d'apprendre, dans un entretien avec le chef de l'état-major, non seulement que ces documents existaient, mais qu'ils avaient été divulgués par un officier du ministère de la guerre. L'officier Passim — Output examplesGDL 28/04/1980 Faux chèque et faux cheval Lausanne, 27 (ATS).-On a confirmé dimanche soir à l'ATS, de source autorisée, une affaire d'escroquerie d'environ trois millions de dollars qui s'est passée en automne dernier à Lausanne et que le quotidien genevois « La Suisse » a révélée dimanche. Signé au siège lausannois d'une banque suisse, un contrat de vente portait sur un cheval de bronze considéré par le vendeur comme une antiquité grecque absolument unique. Après avoir acquis cette pièce rare d'un antiquaire suisse, ce vendeur, un Italien associé à une société ayant son siège à Panama, l'avait revendue à un riche arabe. Mais, peu après la signature du contrat, la banque fut informée que le chèque-trois millions de dollars-était faux. Par la suite, on devait apprendre que le cheval de bronze était faux, lui aussi. Les vendeurs auraient eu le temps de toucher près d'un million de dollars à New York, mais les deux autres millions, destinés à une suite d'intermédiaires, auraient pu être bloqués. La justice vaudoise tente depuis cinq mois de débrouiller cette affaire particulièrement compliquée, qui aurait des ramifications en Italie, au Koweït, en Suisse, à Londres et à New York, écrit encore « La Suisse ». Plusieurs personnes ont été appréhendées et l'une d'elles est toujours détenue à Lausanne, a-t-on appris dimanche soir JDG 28/04/1980 Faux chèque et faux cheval GROSSE ESCROQUERIE À LAUSANNE Lausanne, 27 (ATS).-On a confirmé dimanche soir à l'ATS, de source autorisée, une affaire d'escroquerie d'environ trois millions de dollars qui s'est passée en automne dernier à Lausanne et que le quotidien genevois « La Suisse » a révélée dimanche. Signé au siège lausannois d'une banque suisse, un contrat de vente portait sur un cheval de bronze considéré par le vendeur comme une antiquité grecque absolument unique. Après avoir acquis cette pièce rare d'un antiquaire suisse, ce vendeur, un Italien associé à une société ayant son siège à Panama, l'avait revendue à un riche arabe. Mais, peu après la signature du contrat, la banque fut informée que le chèque-trois millions de dollars-était faux. Par la suite, on devait apprendre que le cheval de bronze était faux, lui aussi. Les vendeurs auraient eu le temps de toucher près d'un million de dollars à New York, mais les deux autres millions, destinés à une suite d'intermédiaires, auraient pu être bloqués. La justice vaudoise tente depuis cinq mois de débrouiller cette affaire particulièrement compliquée, qui aurait des ramifications en Italie, au Koweit, en Suisse, à Londres et à New York, écrit encore « La Suisse ». Plusieurs personnes ont été appréhendées et rune d'elles est toujours détenue à Lausanne, a-t-on appris dimanche soir Viral Texts — Cluster explorerhttp://viraltexts.northeastern.edu/clustersData: - ~1.6M text reuse clusters   - ~1.7M articles from GDL and JDG (1798 → 1998) - data formats: parquet, CSV, JSON - IIIF endpoint with page imagesHacking on Text ReuseHack ideas: - cluster explorer: - filters: size, date - user tagging/classification - full text search - visualization? (e.g. visual `diff`)  - re-run on more French newspapers?Thanks for your attention … and happy hacking!https://twitter.com/ImpressoProjecthttps://twitter.com/56k

Detecting Text Reuse in Newspapers Data with Passim

http://infoscience.epfl.ch/record/255933/files/slides.pdf

Detecting Text Reuse in Newspapers Data with Passim

Abstract

Similar works

Full text

Available Versions

Infoscience - École polytechnique fédérale de Lausanne