Schirrwagen, Jochen

German

BieColl - Bielefeld eCollections

Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesVerfahren zur Dublettenerkennung und -behandlungKolloquium Wissensinfrastruktur, 24. Juni 2016Jochen Schirrwagen, Universitätsbibliothek BielefeldGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Dubletten• Dublettenerkennungsmethoden• DublettenfusionAgendaGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Duplikate: verschiedene Datensätze, die dasselbe Realweltobjekt (Entität) repräsentieren• Dublikaterkennung: Identifizierung von Dubletten (record linkage, objectidentification, entity resolution)Begriffs-DefinitionGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Bei Mehrfacheingaben eines Datensatzes in ein System (Katalog, Repository, …)• Bei Informationsintegration• Zusammenführung von Objekten aus unterschiedlichen Systemen (Data-Warehouse-System, Metadatenaggregator, …)• Weitere ?AuftretenGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Semantische Fehler, z.B. Altdaten mit Feldern und Werten, die aktuellem Datenmodell nicht mehr genügen• Syntaktische Fehler, z.B. Werte in falschem Feld oder in falscher Reihenfolge („Peter Müller“ statt „Müller, Peter“) • Lexikalische Fehler („Müller“ statt „Mueller“)• Typographische Fehler („Unsin“)• Kodierungsfehler (z.B. Zeichenkette nicht in UTF-8)Fehlertypologie in DatensätzenGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Qualitätsaspekt• Z.B. möglichst genaue, eindeutige Trefferlisten • Voraussetzung für verlässliche Mehrwertdienste wie:• (Nutzungs-) Statistiken• „Claiming“-Dienste (Autor <-> Publikationen)• Informationsanreicherung und –korrektur• Weitere Ideen ?BedeutungGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesBeispiel: Suche/Treffer für Titel „Haptic Communications“Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesBeispiel: Suche/Treffer für Titel „Haptic Communications“?Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesBeispiel: Suche/Treffer für Titel „Haptic Communications“?Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesBeispiel: Suche/Treffer für Titel „Haptic Communications“Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• PUB OAI Metadaten (keine Projektinformation enthalten)Beispiel: Suche/Treffer für Titel „Haptic Communications“Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesBeispiel: Suche/Treffer für Titel „Haptic Communications“Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesZielkonflikt bei der Umsetzung von Verfahren zur DublettenerkennungEffektivität EffizienzPartitionierungÄhnlichkeitsmaßPrecision - RecallGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Gute Ergebnisse, also Duplikate möglichst genau und vollständig erkennen• Mit Hilfe von Ähnlichkeitsmaßen (verwandt mit Distanzmetriken)• i.d.R. Vergleich von Zeichenketten, alternativ Vergleich strukturierter Datensätze etc. • D.h. Maßzahl ermitteln, z.B. im Bereich {0..1} • Schwellwert festlegen• Im Idealfall: Maßzahl = 1, also zwei Datensätze sind identisch• Beurteilung der Güte der gewählten Methode mit den Maßen • Precision (Präzision, Genauigkeit): Verhältnis gefundener relevanter Dokumente zur Zahl aller gefundenen Dokumente• Recall (Vollständigkeit): Verhältnis zwischen gefundenen relevanten Dokumenten und Gesamtzahl aller vorhandenen relevanten DokumenteEffektivitätGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Edit-Distanz:• z.B. Levenshtein-Distanz (minimale Anzahl an Edit-Operationen, um Zeichenkette A in Zeichenkette B zu überführen) • Tolerant gegenüber lexikalische / typograph. Fehler• Schlecht  bei syntakt. Fehlern (Feldvertauschungen)• Jaro-Winkler-Ähnlichkeit: geeignet für kurze Wörter, berücksichtigt Transposition einzelner BuchstabenÄhnlichkeitsmaße (Auswahl)Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Betrachtung von Zeichenketten als Vektoren im (eukl.) Vektorraum• cos 𝜃 =𝑎∗𝑏𝑎 ∗ 𝑏• Ähnliche Zeichenketten liegen als Vektoren dicht beieinander -> kleiner Winkel• Tolerant gegenüber Position u. Reihenfolge einzelner Terme in einer Zeichenkette („Peter Müller“ entspricht „Müller, Peter“)• Aber schlecht bei typogr., phonet. FehlernKosinus-ÄhnlichkeitabGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Wichtung von Termen, so dass Terme mit höherem Gewicht Kosinus-Ähnlichkeit stärker beeinflussen als Terme mit niedrigerem Gewicht• tf = term frequency (Vorkommenshäufigkeit)• Lokaler Gewichtungsfaktor, d.h. Häufigkeit eines Terms in einer Zeichenkette• idf = inverse document frequency (inverse Dokumenthäufigkeit)• Globaler Gewichtungsfaktor, d.h. Häufigkeit eines Terms im Dokumentenkorpus insgesamttf-idf-Maß (Termgewichtung)Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Wie gut skaliert die Menge zu vergleichender Datensätze mit der Laufzeit?• Paarweiser Vergleich jedes Datensatzes mit jedem anderen heißt:•𝑛2−𝑛2Vergleiche, aber exponentielle Laufzeit 𝒪(𝑛2)• Optimierungsansatz: Partitionierung der Datensätze• Reduzierung der Laufzeit auf 𝒪(n ∗ log 𝑛)EffizienzGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Blocking / Clustering• Unterteilung „grob ähnlicher“ Datensätze in Partitionen• Z.B. anhand bestimmter Attribute, wie das Publikationsjahr• Ggf. überlappende Partitionen• Schwierigkeit besteht im Finden guter Blocking-Strategie• Partition soll tatsächliche Duplicate enthalten• „Fenster-Technik“ (sliding window, sorted neighborhood)• Sortierung der Datensätze nach bestimmten Schlüssel / Eigenschaften• Mögliche Duplikate liegen nahe beieinander• Vergleich aller Datensätze, die in einem Fenster der Größe n liegen• In der Praxis Kombination beider VerfahrenPartitionierungGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• Entweder• Wahl eines repräsentativen Datensatzes• Aber nach welchen Kriterien?• Was passiert mit den Dubletten?• Oder• Erzeugung eines neuen Datensatzes• Aus den Werten der Dubletten • Im Ergebnis ein angereicherter Datensatz• Wie mit evtl. vorhandener fehlerhafter Information in Dubletten umgehen?Datenfusion (Merging)Geistes-, Natur-, Sozial- und Technikwissenschaften – Transcending Boundaries• In Ergänzung zu automatischen Verfahren zur Zeit auf Ebene von • Organisationen• Bibliographischen Metadaten• Erlaubt das einfache Gruppieren von Datensätzen (hinzufügen / entfernen)Dubletten-Kuration in OpenAIREGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesDubletten-Kuration in OpenAIREGeistes-, Natur-, Sozial- und Technikwissenschaften – Transcending BoundariesQuellen• Krause, Th. (2012). Entwurf und Implementierung einer effizienten Dublettenerkennung für große Adressbestände. Masterarbeit, http://nbn-resolving.de/urn/resolver.pl?urn:nbn:de:hbz:832-epub-3667• Atzori, Cl. (2016). gDup: an integrated and scalable graph deduplication system. Dissertation, https://etd.adm.unipi.it/t/etd-05092016-090250/• Naumann, F. (2007). Methoden der Dublettenerkennung. https://hpi.de/fileadmin/user_upload/fachgebiete/naumann/publications/2007/40-43_IQR_Dubletten_erkennen.pdf• Wendykier, P. (2013). Deduplication of metadata harvested from Open Archives Initiative repositories. Information Services & Use, 33(2), 77-86. DOI: 10.3233/ISU-130695

Verfahren zur Dublettenerkennung und -behandlung

BieColl - Bielefeld Electronic Collections

https://biecoll.ub.uni-bielefeld.de/index.php/kwi/article/download/762/808

Verfahren zur Dublettenerkennung und -behandlung

Abstract

Similar works

Full text

Available Versions

BieColl - Bielefeld eCollections

BieColl - Bielefeld Electronic Collections