Bień, Janusz S.

Woliński, Marcin

Polish

Biblioteka Cyfrowa KLF UW (Digital Library of the Formal Linguistics Department at the University of Warsaw)

Janusz S. Bień∗, Marcin Woliński∗∗Wzbogacony korpusSłownika frekwencyjnego polszczyzny współczesnej17 grudnia 2001 rokuKorpus słownika frekwencyjnego to pięć zestawów próbek po 100 000 słówwylosowanych z autentycznych tekstów z lat 1963–1967 należących do 5 stylów— tekstów popularnonaukowych, drobnych wiadomości prasowych, publicystyki,prozy artystycznej i dramatu artystycznego — na potrzeby badań frekwencji słówjęzyka polskiego.Pierwotnie korpus miał formę taśm papierowych wyperforowanych na dale-kopisie (czego konsekwencją był brak rozróżnienia małych i dużych liter). Zostałon wczytany do komputera przez Bronisława Rocławskiego (wówczas na Uni-wersytecie Gdańskim) i zapisany na taśmie magnetycznej; niestety, w trakcie tejoperacji do korpusu wkradły się pewne przekłamania. Taśma magnetyczna zo-stała zapisana na komputerze ODRA 1204 w standardzie, który szybko wyszedłz użycia. W związku z tym taśma z korpusem trafiła w ręce Krzysztofa Szafrana,który w Instytucie Informatyki Uniwersytetu Warszawskiego na podstawie listfrekwencyjnych dla poszczególnych stylów ([4, 5, 9, 6, 7]) opracowywał tzw.tom zbiorczy, opublikowany jako Słownik frekwencyjny polszczyzny współcze-snej [8] (pewne dodatkowe informacje o historii tego projektu zawiera artykuł[13]). Krzysztof Szafran za pomocą specjalnie przygotowanego programu odczy-tał taśmę na komputerze SM-4 i zapisał jej zawartość na bardziej nowoczesnychnośnikach, w wyniku czego korpus stał się dostępny również na dyskietkachstosowanych w komputerach osobistych.Choć słownictwo korpusu jest już częściowo przestarzałe, korpus ten nadalma dużą wartość m.in. dla badań składniowych. Z tego względu Janusz S. Bień— jeszcze jako adiunkt w Instytucie Informatyki UW — wystąpił z inicjatywądokonania korekty korpusu i udostępnienia go w bardziej nowoczesnej formie.Pierwszy krok w tym kierunku stanowiła opracowana pod jego kierunkiem pracamagisterska Marty Nazarczuk ([10]). Janusz S. Bień wykonał również ekspery-ment polegający na przetworzeniu stylu popularnonaukowego dwoma korektora-mi ortograficznymi: polskiej firmy TiP i węgierskiej firmy Morphologic ([12, s.153], [15]); współautor tego drugiego narzędzia, Robert Wołosz, przetworzył nimrównież inne style i udostępnił nam wyniki. Operacje te pozwoliły nie tylko wy-kryć błędy literowe, ale odtworzyć z dużym prawdopodobieństwem rozróżnieniedużych i małych liter.Janusz S. Bień kierował również następnymi etapami prac nad tym zada-niem, w czym istotnie pomagał mu ostatnio Marcin Woliński. Pewne prace nadkorpusem zostały wykonane w ramach projektów ELAN (European Language∗ Zakład Zastosowań Informatycznych, Instytut Orientalistyczny Uniwersytetu Warszawskiego,patrz http://www.orient.uw.edu.pl/~zzi/∗∗ Zespół Inżynierii Lingwistycznej, Instytut Podstaw Informatyki PAN, patrz http://www.ipipan.waw.pl1Activities Network) i projektu KBN Zestaw testów do weryfikacji i oceny analiza-torów języka polskiego oraz w ramach pracy magisterskiej Macieja Ogrodniczuka[11]; w szczególności Katarzyna Głowińska przygotowała nową taksonomię mor-fologiczną inspirowaną podobnymi pracami dla języka czeskiego [1]. W latach1999-2000 ręczna weryfikacja korpusu, utworzenie hasłowanej konkordancji ipewne inne prace z tym związane były finansowane z inicjatywy prof. dr hab.Jadwigi Sambor — kierownik Katedry Językoznawstwa Ogólnego i Bałtystyki naWydziale Polonistyki UW — z funduszy badań statutowych Katedry.Obecna postać korpusu różni się od pierwotnej przede wszystkim pod nastę-pującymi względami:1. Jak już było wspomniane, wprowadzono rozróżnienie dużych i małych li-ter niewystępujące w oryginalnych plikach korpusu z powodów technicznych(z powodu braku polskich liter w repertuarze znaków dalekopisu odpowied-nimi dużymi literami oznaczano właśnie polskie litery).2. Skonfrontowano wersję elektroniczną korpusu z przechowywanymi przez prof.Sambor oryginalnymi fiszkami weryfikując poprawki wprowadzone kompu-terowo i wprowadzając pewne uzupełnienia. Dla stylu popularnonaukowegozadanie to we wzorcowy sposób wykonała Marta Nazarczuk, niestety weryfi-katorzy pozostałych stylów okazali się mniej solidni.3. Wprowadzono do komputera pełne opisy bibliograficzne źródeł i dołączonoje do odpowiednich fiszek. Pracę tę wykonała Marta Nazarczuk.4. Przygotowano elektroniczną wersję fiszek wygodną do przeglądania; pracę tęwykonał Marcin Woliński.5. Dokonano weryfikacji kodów gramatycznych przy poszczególnych słowachoraz wprowadzono dodatkową informację gramatyczną, zgodną z wspomnia-ną wcześniej taksonomią. Informację tę dopisano również do tych słów, którew oryginalnej wersji w ogóle nie miały kodów gramatycznych. Pracę tę wy-konał Maciej Ogrodniczuk — według wskazówek Marcina Wolińskiego —wykorzystując analizator morfologiczny SAM autorstwa Krzysztofa Szafrana[14].6. Wprowadzenie kodów gramatycznych dla wszystkich słów, dla których byłomożliwe zrobić to automatycznie, pozwoliło na przygotowanie hasłowanejkonkordancji tekstu korpusu. Pracę tę wykonał Bartłomiej Krawczyk za po-mocą opracowanego przez siebie programu ([2], [3]); niestety, ze względuna eksperymentalny charakter tego programu może on być użytkowany tylkoprzez jego autora. Hasłowane konkordancje w nieco innym formacie zostałyrównież przygotowane przez Marcina Wolińskiego. Oto przykład:_____ ___________________________________ pies ________________________________________________D0325 a dzieci pluskały się w wodzie. Pies SSNA---------P był nieodłącznym towarzyszemE0452 choć chodziłam za nim jak ten pies. SSNA---------P Tyś przy nim tak nie warowała,E0885 do nogi! Bobik, leżeć! Zdechł pies! SSNA---------PE1221 żeby bez plakatów, bo i tak pies SSNA---------P z kulawą nogą nie przyjdzie.E1245 Co to? .. Pies .. SSNA---------P Pies? Jaki pies? Gryzie? ..E1245 Co to? .. Pies .. Pies? SSNA---------P Jaki pies? Gryzie? .. CzasamiE1245 Co to? .. Pies .. Pies? Jaki pies? SSNA---------P Gryzie? .. Czasami .. On sięE1245 .. On się ciebie słucha, ten pies? SSNA---------P To każ mu wyjść spod ławkiC0790 Jeśli gwizdniemy na wyszkolonego psa SSAA---------P specjalnym gwizdkiemC1207 psu dodatkowe serce (z innego psa) SSGA---------P tak, że ten żył z dwomaD0881 w szarówce ledwie ustępującej nocy psa SSAA---------P Kolędy biegnącego ze skowytemD1207 a kochałem tylko Grażynę i psa. SSAA---------P Układaliśmy stóg. Najpierw naE1017 fotografowali. Domy, cegielnię, psa SSAA---------P przy budzie, uschnięte drzewoC1207 skupił on uwagę i wysiłki na psach, SPLA---------P przeszczepiając im płuca,D1005 Pachołka, córce zaszczutego psami SPIA---------P Pachołka? Że staraj się, abyD1333 Poszliśmy we trzech, z psem, SSIA---------P na nadbrzeże, przy którymE0996 Kondycja fizyczna pod psem. SSIA---------P Dwadzieścia lat klęczałem wB1285 oraz schronisko dla bezdomnych psów, SPGA---------P kotów i tym podobne.D1221 Leosi. Już z daleka szczekanie psów SPGA---------P przywodziło na myśl rozległeE1251 Nie. Po prostu miałem już tyle psów, SPGA---------P że naprawdę znam się zE1251 jak w leśniczówce, zawsze było masę psów. SPGA---------P Nawet w czasie wojny trzymałemB0835 zwierzę. Tylko Ewa ruszyła psu SSDA---------P z pomocą. Wzięła go na ręceC1207 doktór Demichow wszczepił psu SSDA---------P dodatkowe serce (z innego psa)D0492 guzik. Innymi słowy, panie, to dwa psy, SPNA---------P które usiłują jeden drugiemuD0640 Biały promień szastnął w krzaki, psy SPNA---------P z ujadaniem skoczyły kuD1461 w zapadłej tylko co ciemności. Psy SPNA---------P nagonki, które od pewnejE1149 od niego .. To cholerne psy. SPNA---------P2Tak rozbudowany korpus proponujemy nazywać wzbogaconym korpusemsłownika frekwencyjnego (w skrócie WKSF). Jego podstawową formą jest płytaCD-ROM, której zawartość jest opisana odrębnie.Prace nad udoskonaleniem i wzbogaceniem korpusu nie mają wyraźnego koń-ca — kolejne eksperymenty komputerowe mogą ujawnić przeoczenia korekty, no-we potrzeby badawcze mogą wymagać wzbogacenia korpusu o dodatkowe infor-macje. Dlatego najwłaściwsze wydaje się publiczne udostępnienie korpusu — orazmateriałów pochodnych, takich jak konkordancje — na podstawie licencji GNU:oznacza to pełną swobodę ich wykorzystania (nawet do celów komercyjnych!),ale pod warunkiem udostępnienia na tych samych zasadach wszystkich popraweki modyfikacji (patrz http://www.gnu.org/copyleft/, polskie tłumaczeniedostępne jest m.in. pod adresem http://gnu.org.pl/text/licencja-gnu.html). Licencja GNU jest stosowana powszechnie w informatyce od wielu lat imożna śmiało stwierdzić, że jest to rozwiązanie sprawdzone w praktyce.W razie uzyskania pisemnej zgody na jego udostępnienia na takich lub po-dobnych zasadach od właścicieli praw autorskich korpusu, podejmiemy kroki, abykorpus stał się również dostępny w Internecie na witrynach Instytutu InformatykiUniwersytetu Warszawskiego i Instytutu Podstaw Informatyki PAN.Literatura[1] Jan Hajicˇ and Barbora Hladka. 1998. Tagging Inflective Languages: Pre-diction of Morphological Categories for a Rich, Structured Tagset. InProceedings of ACL/Coling’98, Montreal, Canada, Aug. 5-9, pp. 483-490.http://shadow.ms.mff.cuni.cz/pdt/Morphology_and_Tagging/Tagging/Doc/References/col98.pdf.[2] Krawczyk, Bartłomiej.Indeksowanie tekstu polskiego z wykorzystaniem analizymorfologicznej. Praca magisterska napisana pod kierunkiem dra Krzysztofa Sza-frana. Warszawa, 1999. Instytut Informatyki Uniwersytetu Warszawskiego. 83 s.,płyta CD.[3] Krawczyk, Bartłomiej. Konkordancje hasłowane tekstów języka polskiego. GerhildZybatow, Uwe Junghanns, Grit Mehlborn, Luka Szucsich, 3. Europa¨ische Konferenz”Formale Beschreibung slavischer Sprachen, Leipzig 1999. Linguistische Arbeits-Berichte 75, Institut fu¨r Linguistik, Universita¨t Leipzig 2000, s. 191–199.[4] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwowspółczesnego języka polskiego. Listy frekwencyjne. Tom I. Teksty popularnonau-kowe. Warszawa, 1974. Uniwersytet Warszawski.[5] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwowspółczesnego języka polskiego. Listy frekwencyjne. Tom II. Drobne wiadomościprasowe. Warszawa, 1974. Uniwersytet Warszawski.[6] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwowspółczesnego języka polskiego. Listy frekwencyjne. Tom IV. Proza artystyczna.Warszawa, 1976. Uniwersytet Warszawski.[7] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Woronczak, Jerzy. Słownictwowspółczesnego języka polskiego. Listy frekwencyjne. Tom V. Dramat artystyczny.Warszawa, 1977. Uniwersytet Warszawski.[8] Kurcz, Ida; Lewicki, Andrzej; Sambor, Jadwiga; Szafran, Krzysztof; Woronczak,Jerzy. Słownik frekwencyjny polszczyzny współczesnej, Kraków, 1990. Instytut Ję-zyka Polskiego PAN.[9] Lewicki, Andrzej; Masłowski, Władysław; Sambor, Jadwiga; Woronczak, Jerzy.Słownictwo współczesnego języka polskiego. Listy frekwencyjne. Tom III. Publicy-styka. Warszawa, 1975. Uniwersytet Warszawski.[10] Nazarczuk, Marta. Wstępne przygotowanie korpusu „Słownika frekwencyjnego pol-szczyzny współczesnej” do dystrybucji na CD-ROM. Praca magisterska napisana3pod kierunkiem dra hab. Janusza S. Bienia. Warszawa, 1997. Instytut Języka Pol-skiego Uniwersytetu Warszawskiego. 59 s., płyta CD.[11] Ogrodniczuk, Maciej. Wykorzystanie SGML i TEI do zapisu polskich danych lingwi-stycznych. Praca magisterska napisana pod kierunkiem dra hab. Janusza S. Bienia.Warszawa, 2000. Instytut Informatyki Uniwersytetu Warszawskiego. 83 s., płytaCD.[12] Prósze´ky, Ga´bor. Humor (High-speed Unification Morphology). A MorphologicalSystem for Corpus Analysis. Heile Rettig (ed.). Proceedings of the First EuropeanSeminar Language Resources for Language Technology. Tihany, Hungary, Septem-ber 15 and 16, 1995, pp 149–158.[13] Saloni, Zygmunt. Słownik frekwencyjny polszczyzny współczesnej. ComputerWorld4 listopada 1991, s. 16-17.[14] Szafran, Krzysztof. Analizator morfologiczny SAM-95 — opis użytkowy. Maj 1996.Instytut Informatyki Uniwersytetu Warszawskiego. ftp://ftp.mimuw.edu.pl/pub/users/polszczyzna/SAM-95/.[15] Robert Wołosz. Efektywna metoda analizy i syntezy morfologicznej w języku pol-skim. Praca doktorska (promotor prof. dr hab. Zygmunt Saloni). Wydział Poloni-styki, Uniwersytet Warszawski, Warszawa 2000.4

Wzbogacony korpus Słownika frekwencyjnego polszczyzny współczesnej

Abstract

Similar works

Full text

Available Versions

Biblioteka Cyfrowa KLF UW (Digital Library of the Formal Linguistics Department at the University of Warsaw)