Kostädt, Peter

Eldorado - Ressourcen aus und für Lehre, Studium und Forschung

Dr. Peter Kostädt, HBZ NRW 1Dr. Peter Kostädt, HBZ NRWIndexierung der HBZ-Verbunddaten mit FAST Data Search8. InetBib-Tagung 2004Bonn, 5.11.2004Dr. Peter Kostädt, HBZ NRW 2Katalog                       Suchmaschine• "Saubere" Daten• Feldbezogene Suche• Sacherschließung• Klassifikation• Normdaten• Hohe Performanz• Volltextsuche• Ranking• Kategorisierung• Linguistik-ModuleDr. Peter Kostädt, HBZ NRW 3Katalog  +  Suchmaschine• Hohe Performanz• "Saubere Daten• Feldbezogene Suche• Ranking• Sacherschließung• Klassifikation• Kategorisierung• Linguistik-Module• NormdatenDr. Peter Kostädt, HBZ NRW 4Wer oder was ist FAST?• Die Software FAST Data Search™ ist ein Produkt der FirmaFast Search & Transfer™ (FAST)• Die Firma wurde 1997 gegründet und ist ein Auswuchseiner Forschungs- und Entwicklungsabteilung derNorwegischen University of Science and Technology (NTNU)OsloBostonTokyoMunichSan FranciscoChicagoRomeLondonWashington DCRio de JaneiroNew YorkTromsø© FAST™Dr. Peter Kostädt, HBZ NRW 5FAST Data Search - Systemarchitektur© FAST™Dr. Peter Kostädt, HBZ NRW 61. Schritt: Daten einsammeln © FAST™Dr. Peter Kostädt, HBZ NRW 7Zugriff auf relationale Datenbanken(i) Export Æ Umwandlung in XML Æ File TraversingC++, Java, .NET© FAST™Dr. Peter Kostädt, HBZ NRW 8Zugriff auf relationale Datenbanken(ii) Nutzung der FAST Datenbank-ConnectorenC++, Java, .NET© FAST™SQLDr. Peter Kostädt, HBZ NRW 9Zugriff auf relationale Datenbanken(iii) Anbindung eigener Connectoren über die Content APIC++, Java, .NET© FAST™Aleph-ConnectorDr. Peter Kostädt, HBZ NRW 10Funktionsweise des Aleph-Connectors• Auslesen der Titeldaten und Lokalsätze (über die HBZ-ID)• Auflösen der BLOB bzw. LONG-Strukturen0030LDR  L00351vM2.01200024------h0008FMT  LMH0020001  L$$aHT0003174160017002a L$$a199307220017003  L$$a200203130019030Lh|5dc||||||170012037b L$$aeng0020050La|||||||||||||0013051  Lm||||||0011070  L$$a610016070b L$$aHBZ/Red0011080  L$$a600044100  L$$aPope-Hennessy, John ...Ø Ø Ø0030*LDR  *L*00351vM2.01200024------h0020*001  *L*$$aHT0003174160013*051  *L*m||||||0011*070  *L*$$a610016*070b *L*$$aHBZ/Red0011*080  *L*$$a600044*100  *L*$$aPope-Hennessy, John W.$$9HP00783551 ...• Konvertierung des Aleph-Internformats in XML-Strukturen Dr. Peter Kostädt, HBZ NRW 112. Schritt: Daten analysieren und anreichern © FAST™Dr. Peter Kostädt, HBZ NRW 122. Schritt: Daten analysieren und anreichern © FAST™Content• Spracherkennung• Lemmatisierung: Ergänzung von Grundformen(biergärten Æ biergarten)• Kategorisierung, z.B. für die Anzeige von Taxonomie-Bäumen in der Ergebnisanzeige• Ermittlung von Ranking-Informationen• Erzeugung von Vektorräumen für eineÄhnlichkeitssuche• ...Dr. Peter Kostädt, HBZ NRW 133. Schritt: Indexierung© FAST™Dr. Peter Kostädt, HBZ NRW 143. Schritt: IndexierungEs geht verdammt schnell ...• Aleph-Connectoren: 50-100 Datensätze pro Sekunde• Document Processing Pipeline:ca. 20 Datensätze pro Sekunde• Neuaufbau des Index:ca. 2-3 Tage⇒ 11 Tage für die 14 Mio. Titelder HBZ-Verbunddatenbank Dr. Peter Kostädt, HBZ NRW 153. Schritt: IndexierungIndexgröße• FastXML: ca. 15 GB• Binärindex: ca. 100 GBHardware:• Dell PowerEdge 66504 x 1,9 GHz (Intel Xeon)4 GB RAMSCSI Festplatten (15.000 U/Min)Dr. Peter Kostädt, HBZ NRW 164. Schritt: Query & Result Processing© FAST™Dr. Peter Kostädt, HBZ NRW 17Search Front-EndDr. Peter Kostädt, HBZ NRW 18Search Front-End (Demo-Oberfläche)Dr. Peter Kostädt, HBZ NRW 19Bsp. 1: RechtschreibvorschlägeWollten Sie vielleicht nach access suchen?ollten Sie vielleicht nach access suchen?Dr. Peter Kostädt, HBZ NRW 20Bsp. 2: Suche ohne LemmatisierungDr. Peter Kostädt, HBZ NRW 21Bsp. 2: Suche mit LemmatisierungDie Suche nach "computer algebra systeme" findet• Computer Algebra Systeme• Computer Algebra Systemen• Computer Algebra Systems• Computer Algebra System Die Suche nach "co puter algebra syste e" findet• Co puter Algebra Syste e• Co puter Algebra Syste en• Co puter Algebra Syste s• Co puter Algebra Syste  Dr. Peter Kostädt, HBZ NRW 22Bsp. 3: Suche verfeinern über NavigatorenDr. Peter Kostädt, HBZ NRW 23Bsp. 3: Suche verfeinern (Dokumenttyp)Dr. Peter Kostädt, HBZ NRW 24Bsp. 3: Suche verfeinern (Dokumenttyp)Dr. Peter Kostädt, HBZ NRW 25Bsp. 3: Suche verfeinern (Erscheinungsjahr)Dr. Peter Kostädt, HBZ NRW 26Bsp. 4: Suche verfeinern (Schlagwörter)Dr. Peter Kostädt, HBZ NRW 27Bsp. 4: Suche verfeinern (Schlagwörter)Dr. Peter Kostädt, HBZ NRW 28Bsp. 5: Suche verfeinern (Taxonomiebäume)Aufblättern der GHB-SystematikAufblättern der GHB-Syste atikDr. Peter Kostädt, HBZ NRW 29Bsp. 5: Suche verfeinern (Taxonomiebäume)Anzeige von Serien und BandaufnahmenAnzeige von Serien und Bandaufnah enDr. Peter Kostädt, HBZ NRW 30Die nächsten Schritte ...• Erstellung eines kompletten Abzugs des HBZ-VK• Implementierung von Routinen für die Aktualisierung (ca. 20.000 Änderungen pro Tag im Titel- undLokaldatenbereich)• Testen, testen, testen ...• Einbindung der PND• Entwicklung von Algorithmen für ein Ranking nach Sigeln• Erstellung weiterer Kollektionen (Jade, IBZ, PCI, ...)• Anbindung des Bielefelder FAST-Knotens (BASE)• Implementierung von Web-ServicesDr. Peter Kostädt, HBZ NRW 31Dr. Peter Kostädtkostaedt@hbz-nrw.dehttp.www.digibib.netDr. Peter Kostädtkostaedt@hbz-nrw.dewww.hbz-nrw.deHerzlichen Dank für Ihre Aufmerksamkeit!Dr. Peter Kostädtkostaedt@hbz-nrw.dehttp.www.digibib.netJörg Pranteprante@hbz-nrw.dewww.hbz-nrw.de

Indexierung der HBZ-Verbunddaten mit FAST Data Search

https://eldorado.tu-dortmund.de/bitstream/2003/21366/1/kostaedt.pdf

Indexierung der HBZ-Verbunddaten mit FAST Data Search

Abstract

Similar works

Full text

Available Versions

Eldorado - Ressourcen aus und für Lehre, Studium und Forschung