Bodmer Mory, Franck

Publikationsserver des Instituts für Deutsche Sprache

02Abb. 1: Die Web-Ober­fläche von COSMAS II mit Benutzerkorpus „Finanzen ..."3 7 6FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIFranck Bodmer MoryMIT COSMAS II »IN DEN WEITEN DER IDS-KORPORA UNTERWEGS«EinleitungcosMAs ii (= Corpus Search, Management and Analysis System) ist nach cosMAs i und refer die 3. Generation von Korpus-Recherchesystemen, die am IDS entwickelt und eingesetzt wird, um die linguistische Erforschung der eigenen umfangreichen Korpora im Haus und aus der ganzen Welt zu ermöglichen.Immer wieder erhalten wir die Anfrage, ob die IDS-Korpora heruntergela­den werden können, um darin auf dem eigenen Rechner recherchieren zu können. Abgesehen davon, dass wir dadurch gegen die mit den Textgebern ausgehandelten Nutzungsbedindungen verstoßen würden, kämen auf den Nutzer unzählige Schwierigkeiten zu. Die DEReKo1-Korpora sind in dekom- primiertem Format einige Tera-Bytes (einige Tausende Giga-Bytes) groß; das Dekomprimieren allein beansprucht auf einem leistungsstarken Server Stunden, das Indexieren der Korpora in ein schnelles Datenbankformat eini­ge Tage und das Entwickeln einer mit korpuslinguistischen Funktionalitäten1 Das Deutsche Referenzkorpus De Re Ko  ist mehr oder weniger ein Synonym für die IDS-Korpora, siehe www.ids-mannheim.de/kl/projekte/korpora.html sowie den Beitrag von Teubert/Belica in die­sem Band.FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIausgestatteten Recherche-Software einige Jahre. cösmas 11 speichert in der größten Datenbank 5,5 Mrd. laufende Wortformen aus über 21 Mio. Texten oder Artikeln. Wem das nichts sagt, stelle sich eine Bücherwand mit 90.000 Büchern zu 150 Seiten bei 400 Wörtern/Seite vor.In diesem Beitrag soll anhand einiger exemplarischer Beispiele der Umgang mit großen Textkorpora in cösmas ii veranschaulicht werden.Stetig wachsende Korpora und AnforderungenDie Jahr für Jahr wachsende Textmenge der DEREKo-Korpora2 bedeutet für die an korpuslinguistischen Fragen Interessierten und das cosmas ii-Projekt ein Gewinn und eine Herausforderung zugleich. Der Gewinn wird meistens in Bereichen deutlich, wo• Belege für seltene Sprachphänomene und Wortbildungen,• genügend Texte für die Bildung spezialisierter Korpusquerschnitte, oder• ausreichendes Datenmaterial für statistische Auswertungenim Vordergrund stehen; die Herausforderung für die Nutzer besteht darin,• aus einer manchmal unüberschaubaren Menge von Treffern möglichst viele relevante Textstellen zu erhalten und• unerwünschte Textstellen -  und möglichst nur diese -  herauszufiltern;und für die Entwickler von cosmas ii besteht sie darin,• eine Suchmaschine zu konzipieren, die schwerlastige Suchanfragen (wie z.B. die 1,4 Mrd. Treffer von morph(noun) oder die 67.862 Komposita von H a u s  in DeReKo) in zumutbarer Zeit ausführt, wenn man nicht über eine Rechner-Farm wie die großen Internet-Dienstanbieter verfügt, und• dem Nutzer Werkzeuge an die Hand zu geben, mit denen er durch Ein­grenzen, Sortieren und Analysieren aus umfangreichen Ergebnismengen neue Erkenntnisse gewinnen kann.Die vielen speziellen Anforderungen aus dem Gebiet der Korpuslinguistik machen es außerdem notwendig, eine Software wie cosmas ii in weiten Teilen selber zu entwickeln. Viele spezialisierte Module wurden bereits integriert: virtuelle Korpora, Zufallsreduzierung der Treffer und Korpora, Kookkurrenz- analyse, Lemmatisierung, Häufigkeitsmaße, diverse KWIC-Sortierungen,Zur Entwicklung der DEREKO-Korpora vgl. www.ids-mannheim.de/kl/projekte/korpora/archiv.html. 3 7 702 FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIKorpus- und Ergebnispräsentationen etc. Parallel dazu wurden zahlreiche Optimierungsarbeiten durchgeführt, so dass z.B. aufwändige Recherchen nach Wortklassen von einer parallelen SearchEngine mit einer Geschwindig­keit von bis zu 77 Mio. Wortklassen/Sek. ausgeführt werden können. 55% aller Suchanfragen werden in weniger als einer Sekunde und 75% in weniger als vier Sekunden ausgeführt.Auf der Basis der DEREKo-Korpora bedient der cosmas ii-Server zur­zeit ca. 50 Datenbanken (Archive genannt): 24 kleinere Projektarchive (für spezielle statistische Auswertungen), 8 multilinguale Archive für das E u r o G r @ m m - P r o je k t , 3 morpho-syntaktisch annotierte Archive (mit insge­samt 3 Mrd. laufenden wortklassenannotierten Wortformen), ein historisches Archiv und das Hauptarchiv W d e r  g e s c h r ie b e n e n  K o r p o r a  (5,4 Mrd. Wortfor­men), das die meisten Recherchen auf sich vereint.Man kann allerdings nicht erwarten, dass die Zusammensetzung von Archiv W  a u s g e w o g e n  oder r e p r ä s e n ta t iv  für die deutsche Gegenwartssprache sei. Die Intension hinter den DEREKo-Korpora ist vielmehr die Akquisition einer U r s tic h p ro b e3 deutscher Schriftsprache, aus der sich möglichst viele Nutzer ihre spezifische, ausgewogene Recherchegrundlage zusammenstellen kön­nen, wie im nächsten Abschnitt ausgeführt wird.Die Benutzerkorpora -  eine virtuelle WeltWer also für sein Forschungsvorhaben einen oder mehrere präzise zugeschnit­tene Archivquerschnitte benötigt, kann sich diese mit Hilfe von neuerdings bis zu 8 Kriterien und einer Zufallsreduzierungsfunktion als v ir tu e lle  B en u tz e r ­K o rp o ra  zusammenstellen (oder erstellen lassen). Es wurden über die letzten Jahre von den Nutzern ca. 2.700 dieser virtuellen Korpora angelegt.Wie genau die Anforderungen an solche Korpuskompositionen in cosmas ii geartet sind, soll das folgende Beispiel3 4 veranschaulichen:Ziel: Bildung eines virtuellen Korpus bestehend aus B er ic h te n , K o m m e n ta r e n ,  etc. zum Thema F in a n z e n  in den D e z e m b e r m o n a te n  der letzten 2 0  J a h r e  in in lä n ­d is c h e n  Texten, die eine min./max. Textlänge von 5 0  -  1 .0 0 0  Wörtern haben. Das Korpus soll in Bezug auf die Textsorten ausgewogen sein, d.h. gleich viele Texte pro Textsorte enthalten:3 Mehr dazu unter: www.ids-mannheim.de/kl/projekte/korpora/einsatz.html.4 Weitere Erläuterungen können hier nachgelesen werden: www.ids-mannheim.de/cosmas2/seiver/378 themen/korpusbildung.html.FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  II• Thema:W ir tsch a ft  F in a n z en• UND Textsorte:B er ich tD o k u m en ta t io nK o m m en ta rM e ld u n g• UND durch Zufallsreduzierung- von jeder Textsorte gleichviele Texte• UND Jahresbereich:Jahr = 1 9 9 4  - 2 0 1 2  und Monat = D ez• UND Erscheinungsland:D• UND Textlänge:5 0  - 1 . 0 0 0Die Zusammensetzung des auf diese Weise entstandenen virtuellen Korpus kann in cosmas ii angezeigt werden. Für die Abbildung 1 wurde die Sortie­rung nach T ex tso r ten  gewählt.Ergänzend könnten dazu analoge virtuelle Korpora für Österreich oder Deutschland oder für andere Zeitperioden (z.B. nur Januar 1994-2012) erstellt werden. Die Zerlegung in komplementäre Korpusquerschnitte bildet oft die Vorstufe zu kontrastiven Studien.Eine „ n i c h t  u n in t e r e s s a n t e "  RechercheAn dem nun hier folgenden Beispiel soll dargestellt werden, wie eine Viel­zahl von Daten auf eine überschaubare Menge von relevanten Ergebnissen zurückgeführt werden kann:Ein Vorhaben, dem wir kürzlich begegnet sind, befasst sich mit Adjektiv­Konstruktionen der Form: „n ic h t  ... un-Adjektiv", wobei das Adjektiv mit dem Präfix u n -  gebildet wird: z.B. „n ic h t  u n b ed in g t", „n ic h t  g a n z  u n g lü c k lic h " etc.Gewünscht ist in einem ersten Schritt eine Liste der häufigsten Adjektive, die in dieser Konstruktion erscheinen.Dazu wählen wir das mit Wortklassen annotierte Archiv tagged-c (1,3 Mrd. laufende Wortformen) und finden darin:n ic h t  : 8 Mio.Adjektive : 99,5 Mio.& u n - : 3 Mio.3 7 9FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIDie Suchanfrage, die uns die gesuchten Adjektiv-Konstruktionen liefert, wobei wir einen maximalen, sinnvollen Abstand von vier Wörtern zwischen n ic h t  und dem Adjektiv vorgeben wollen, lautet:„ n i c h t "  / + w 4 , s 0  (m o r ph (a ) / w 0 S u n - )Dadurch erhalten wir eine Liste von immerhin noch 106.880 Adjektivkonst­ruktionen. Um diese Liste nach den tatsächlich vorkommenden Adjektiven sortieren zu können, erweitern wir unsere Suchanfrage mit dem #END-Ope- rator, der das Ergebnis auf die Liste der gefundenen Adjektive einschränkt:#END( „ n i c h t "  / + w 4 , s 0  (m o r ph (a ) / w 0 S u n - ) )Durch Sortieren (der Adjektive) nach W o rt-T y p es  erhalten wir eine Übersicht von immerhin noch 3.600 verschiedenen Wort-Types, von denen die häufigs­ten, mit einer re la t iv en  H ä u fig k e it  von über 1%, in Tabelle 1 aufgelistet sind:Tab. 1: die häufigsten un-Adjektive nach nichtAnz.Treffer rel. Häuf. Wort-Type3 0 .3 9 8 28,441 % u n b ed ing t2 .594 2 ,4 2 7 % u n m itte lb a r2 .590 2 ,4 2 3 % unzu fr ie d en2 .302 2 ,1 5 4 % ung ew öhn lic h1.956 1 ,8 3 0 % un ve rd ie n t1.788 1 ,6 7 3 % u n u m s tr it te n1.507 1 ,410% un nö tig1.304 1 ,2 2 0 % u n e rw a r te t1.299 1 ,215% unge fäh rlic h1.202 1 ,125% unm ög lic h1.079 1,010% ung lück lich1.072 1 ,0 0 3 % un tä tig1.070 1 ,001% u n e rw ä h n t3 8 0FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIAls nächstes wollen wir das mit deutlichem Abstand häufigste Adjektiv, mit 28,4% relativer Häufigkeit ist es u n b ed in g t, etwas genauer untersuchen. Um die Verteilung der Abstände zwischen n ic h t  und u n b ed in g t  herauszufinden, passen wir unsere vorherige Suchanfrage an u n b ed in g t  an5 und lassen cösmas 11 die Abstände zwischen den beiden Wörtern (durch Ausführen der sogenannten s ta t is t is ch en  K W IC -A u sw er tu n g ) zählen und anzeigen (Tabelle 2):Treff. größe Anz. Treffer Anteil Beispiel2 29 .04 3 9 5 ,5 4 % n ich t u nb ed ing t3 769 2 ,5 3 % nich t m e h r  u n b ed ing t4 268 0 ,8 8 % nich t m e h r  a ls  u nb ed ing t5 318 1 ,0 5% nich t ö f te r  g e s c h e h e n  a ls  unb ed ing t30.398 100,00% TotalTab. 2: Verteilung der Abstände zwischen nicht und unbedingtIn 95,5% der Fälle folgen also beide Wörter unmittelbar aufeinander. Wir wollen trotzdem noch einen Schritt weitergehen und uns die Fälle „n ic h t  X u n b e d in g t" (Treffergröße 3) anschauen. Nachdem eine neue Suchanfrage nun auf einen Abstand von zwei Wörtern zwischen n ic h t  und u n b e d in g t  eingestellt wurde6 und die dazwischen gefundenen Wortformen nach W o r t -T y p e s  sor­tiert wurden, ergibt sich folgende Auflistung (Tabelle 3):Anz. Treffer Anteil nicht X unbedingt510 67,46% n ich t m e h r  unb ed ing t48 6 ,3 5 % n ich t im m e r  u n b ed ing t47 6 ,2 2 % n ich t e in m a l u nb ed ing t28 3 ,7 0 % n ich t a b e r  u n b ed ing t20 2 ,6 5 % n ich t so  u n b ed ing t20 2 ,6 5 % n ich t m a l u nb ed ing t10 1 ,3 2% n ich t fü r  unb ed ing t769 100,00% TotalTab. 3: die häufigsten Wortformen in „ nicht X  unbedingt"„ n ic h t "  / +w4,s0 unbedingt#NHiT(„nicht" /+w 2:2 ,s0  unbedingt) 3 8 102 FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIWir wollen nur noch festhalten, dass mit 67,5% relativer Häufigkeit m e h r  mit Abstand als häufigstes Wort zwischen n ic h t  und u n b ed in g t  gefunden wurde. Im nächsten Abschnitt sollen einige weitere Nutzungen der IDS-Korpora im Hinblick auf die eingeschlagene Arbeitsweise in cosmas 11 skizziert werden.Einige weitere Beispiele von HerangehensweisenDie hier vorgestellten Herangehensweisen spiegeln aktuelle Arbeiten oder Teile von Projekten wider und sollen die Diversitäten der Arbeiten mit gro­ßen Korpusdaten in cosmas ii aufzeigen.Metapheranalyse: Die Sprache der Finanzen ist geprägt von der Metapher des Wassers (z.B. Geld f l i e ß t ) . Auf der Grundlage von zwei virtuellen Korpora (Texte zum Thema „Wirtschaft/Finanzen“ und „Inlandpolitik“ für die Zeiten 2000-2006 und 2007-heute) wird untersucht, inwiefern die Finanzkrise diese Metapher verändert hat. Zu diesem Zweck werden die Kookkurrenzprofile verschiedener Finanzbegriffe vor 2007 und ab 2007 (manuell) miteinander verglichen (Anwendung: Semesterarbeit).Neologismen: Einige „Neulinge“ lassen sich praktisch quantitativ erschlie­ßen: Es sind Wortkreationen aus der neueren Zeit, die sich bis heute etab­liert haben (keine Eintagsfliegen). Schwieriger ist es, wenn ein bereits im deutschen Vokabular verankerter Begriff eine neue Bedeutung aufweist. In diesem Fall hilft z.B. wie in der vorgestellten Metapher-Studie ein Vergleich der Kookkurrenzprofile dieses Wortes in einem aktuellen und einem älteren Referenzkorpus (Steffens 2010, Anwendung: z.B. Neologismenwörterbuch).Vorfeld: Als Teil einer grammatikalischen Untersuchung des V o r fe ld es  (Teil des Satzes vor der linken Satzklammer in Verbzweitsätzen7) wird aus allen Sätzen der Satzbereich vor dem ersten finiten Verb mittels einer Suchanfrage8 extrahiert. Da diese Methode ohne grammatikalisches Wissen auskommen muss, werden auch viele unerwünschte Bereiche (die keine Vorfelder sind) mitgeliefert, die nach dem Export aus cosmas ii mit weiteren Filtern aus­sortiert werden. In cosmas ii werden parallel dazu die gefundenen finiten Verben mit Hilfe der s t a t is t is c h e n  K W IC -A u s w e r tu n g  nach ihrer Position im Satz sortiert, quantitativ erfasst und weiter untersucht (Anwendung: Projekt E u ro G r@ m m ).3 8 27 Siehe: http://de.wikipedia.org/wiki/Verbzweitstenung.8 Die vereinfachte Suchanfrage lautet: <sa> /+s0 #beg(morph(v - inf - pcp) /s0  <se>).FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIBeobachtung der Entwicklung der Sprache: Mit drei virtuellen Korpora für die Zeitabschnitte 1905-14, 1948-57 und 1995-2005 wird die Gegenwartsspra­che darauf untersucht, ob z.B. Anglizismen zunehmen oder der deutsche Wortschatz bzw. die deutsche Grammatik verarmt (Anwendung: Projekt BLDS, Bericht zur Lage der Deutschen Sprache9).Automatische Belegauswahl: Eine Liste von Lexikon-Einträgen wird auto­matisch bearbeitet, indem wie folgt vorgegangen wird: Für jedes Lemma aus der Liste wird zuerst überprüft, ob es ausreichend repräsentativ belegt ist (erscheint z.B. in mind. drei verschiedenen Quellen und Jahrgängen). In diesem Fall sollen drei verschiedene, zufällig ausgewählte Belege extrahiert werden, die nach weiteren Kriterien ausgesucht werden: aus drei versch. Quellen und Jahrgängen, nicht Teil einer Überschrift, genügend Kontext nach dem gesuchten Wort, etc. Die Automatisierung erfolgt in einem Programm, das die Anfragen und den Export der Belege aus cosmas ii durchführt (Anwendung: das e l e x ik o - P r o je k t 10).Binnenmajuskeln: Das Vokabular wird auf die Entwicklung von Binnenma­juskeln (BahnCard, InterCityExpress etc.) untersucht. Mit Hilfe von r e g u lä r e n  A u s d r ü c k e n  werden diese Wortformen aus der 42 Mio. Einträge zählenden Vokabularliste der IDS-Korpora extrahiert, um u.a. ihre Frequenz zu bestim­men (Anwendung: Magisterarbeit).Nutzung der c o s m a s  i i -DiensteCa. 30.000 Personen haben sich in den letzten 10 Jahren bei cosmas ii registriert und nutzen oder nutzten eine der beiden Benutzeroberflächen (Bodmer 2005) cosmas ii , (aktuell 85%) oder cosmas ii (15%) für ihre Recherchen. Erfreuli­cherweise sind 81% aller Zugriffe auf die IDS-Korpora auf Nutzung von außer­halb des IDS zurückzuführen, 34% sogar auf Recherchen aus dem Ausland (Abb. 2). Die ausländischen Zugriffe wurden in Abbildung 3 noch einmal nach den wichtigsten Ländern aufgefächert.9 Bericht zur Lage der Deutschen Sprache: http://www.deutscheakademie.de/druckversionen/PM, Bericht zur Lage der deutschen Sprache.pdf.10 Vgl. www.owid.de/wb/elexiko/start.html. 3 8 302Abb. 2: Relative Vertei­lung der internen und externen ZugriffeAbb. 3: Relative Vertei­lung der Zugriffe außer­halb DeutschlandsFORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  II34% A usland19% IDS47% Deutschland26% Sonstige3% Belgien  4% Polen 5% Ö sterreich6% Russlandyff A22% Tsch ech ien8% S chw e iz7% Ja pan7% Finnland 6% Ungarn 6% SlowakeiSeit 2003, als cösmas ii seinen Vorgänger ablöste, ist die Anzahl der Zugrif­fe auf die Korpora kontinuierlich von unter 50:000 pro Quartal auf 250:000 (2013/1) gestiegen. Insgesamt waren es in dieser Zeit 8,2 Mio. Zugriffe, 2,8 Mio. davon aus dem Ausland.11 Dazu kommen gegenwärtig ca. 1 Mio. Zugrif­fe pro Jahr über automatisierte Prozeduren. An Tagen, an denen cösmas ii in externen Workshops eingesetzt wird, wurden schon bis zu 140 Sitzungen gleichzeitig beobachtet.ZukunftsperspektivenIm Kern von cösmas ii ist in den letzten Jahren eine umfangreiche Sammlung von Korpus-, Ergebnis- und Wortform-basierten Grundfunktionalitäten zur3 8 4Die aktuellen Zahlen können hier eingesehen werden: http://www.ids-mannheim.de/cosmas2/ projekt/nutzung/quartale.html.FORSCHUNGP rä s e n ta t io n  v o n  F o rsc hung  > E le k tro n is c h e  O n lin e -A n g e b o te  > C O S M A S  IIBerechnung von Frequenzen, zum Sortieren und Zusammenfassen von Tref­fern und Korpora etc. entstanden. Auf diesem Potenzial aufbauend können in der nächsten Zeit kontinuierlich neue (korpuslinguistische) Funktionalitäten entstehen: Kombination von Ergebnis- und Korpusdaten, neue Auswertungs­und Visualisierungsmodule der Ergebnisse, Suchfilter und neue Sortierungen für das KWIC, Vergleichsfunktionalitäten für Ergebnisse und virtuelle Kor­pora, Erweiterungen der Suchanfragesprache und der Wortformlisten etc. Noch ganz am Anfang steht die Auswertung von Textauszeichnungen (wie: Überschriften, Fußnoten, Aufzählungen etc.), die z.B. als Filter dienen kön­nen, um Belege in unerwünschten Kontexten auszuschließen.Der Zugang zu den IDS-Korpora über cösmas 11 wird vermehrt auch in ande­re Projekte und vernetzte Ressourcen eingebunden werden. Zwei Szenarien lassen sich wie folgt beschreiben: Ein lexikografisches Portal (wie O W I D 12 am IDS) veranschaulicht einen Wörterbucheintrag auf Wunsch eines Nutzers per Knopfdruck mit on-the-fly ausgewählten Korpus-Belegen.Oder: cösmas h agiert als Knotenpunkt in einem Netzwerk von verteilten Korpus-Kollektionen, um Suchanfragen einer spezialisierten Meta-Suchma­schine zu beantworten.Im schnell expandierenden Bereich neuerer verteilter Datenbanktechnologien liegt allerdings der Schlüssel zu noch schnelleren Anfrage-Antwortzeiten, größeren suchbaren Textmengen und komplexer Annotationsstrukturen. Diese Ziele (unter anderem) hat sich das im Hause angesiedelte Projekt KorAP für die nächste Generation von Korpusrechercheplattformen gesteckt, die einmal cösmas rr ablösen soll.Literatur• Bodmer, Franck (2005): COSMAS II: Recherchieren In den Korpora des IDS. In: Sprachre- port 3/2005, S. 2-5.• Steffens, Doris (2010): Tigerentenkoalition -  schon gehört? Zum neuen Wortschatz Im Deutschen. In: Sprachreport 1/2010, S. 2-8.12 Siehe: www.owid.de/. 3 8 5

Mit COSMAS II "in den Weiten der IDS-Korpora unterwegs"

http://ids-pub.bsz-bw.de/files/2479/Bodmer_Mory_Mit_COSMASII_in_den_Weiten_der_IDS_Korpora_unterwegs_2014.pdf

Mit COSMAS II "in den Weiten der IDS-Korpora unterwegs"

Abstract

Similar works

Full text

Available Versions

Publikationsserver des Instituts für Deutsche Sprache