Moszczyński, Radosław

Biblioteka Cyfrowa KLF UW (Digital Library of the Formal Linguistics Department at the University of Warsaw)

Zaawansowane metody wyszukiwania wsłownikach elektronicznychRadosław Moszczyński17 lutego 20151 Zaawansowane metody wyszukiwaniaJedną z największych zalet słowników elektronicznych w porównaniu z papiero-wymi jest brak ograniczenia do jednego typu wyszukiwania, zazwyczaj alfabe-tycznego. Dzięki komputerom wyszukiwanie interesujących haseł może odbywaćsię na wiele mniej i bardziej wyrafinowanych sposobów. Poniżej opisanych jestkilka z nich.Poszczególne słowniki udostępniają opisane metody w różnym zakresie. Wszyst-kie są zaimplementowane np. w serwerze dictd, który można wyprobować nawitrynie DICT Development Group[1] lub za pomocą klienta DICT dostępnegow TEI Ubuntu. Wszystkie podane przykłady pochodzą z wymienionej witryny.1.1 Metoda dokładnego dopasowywaniaJest to metoda domyślna i najprostsza. W odpowiedzi na zapytanie użytkownikaserwer zwraca hasła o dokładnie takiej samej postaci.Zapytanie “bad” powoduje wyświetlenie następujących haseł (po lewej stro-nie dwukropka znajdują się nazwy słowników). Jak widać, wielkość liter jestignorowana:gcide: Badwn: badmoby-thes: badvera: badjargon: BADfoldoc: bad1.2 Metoda dopasowywania prefiksówZapytania tego typu powodują dopasowywanie słów rozpoczynających się odciągu podanego przez użytkownika. W tym przypadku wpisanie “bad” spowo-duje wyświetlenie następujących wyników (od tego momentu będziemy się wprzykładach ograniczać do wyników ze słownika WordNet):1wn: bad "bad block" "bad blood" "bad check" "bad cheque""bad condition" "bad debt" "bad egg" "bad fairy" "bad guy""bad hat" "Bad Lands" "bad luck" "bad manners" "bad person""bad temper" "bad weather" Badaga baddeleyite baddie Badebade badge badger "badger dog" "badger skunk" "Badger State"badgerer badgering badinage badlands "Badlands National Park"badly badminton "badminton court" "badminton equipment""badminton racket" "badminton racquet" badmouth badnessbad-tempered1.3 Metoda dopasowywania sufiksówTa metoda dopasowuje zapytania od końca haseł, dzięki czemu nadaje się naprzykład do wyszukiwania rymów. Załóżmy, że poszukujemy rymu do słowa“carrot”. Możemy spróbować spytać o słowa zakończone na “ret”:wn: aigret "American egret" banneret beret"black-footed ferret" buret cabaret carburet caret"cattle egret" cellaret "Charles Edouard Jeanneret" cigaretclaret "Commissaire Maigret" curet egret ferret floret fretgarret "Greek fret" "Green Beret" "gun turret" imaret"in secret" "Inspector Maigret" interpret "knight banneret"lazaret leveret "little egret" minaret misinterpret"open secret" pomfret "ray floret" regret reinterpret retsayeret secret skirret "snowy egret" solleret swimmerettaboret tabouret top-secret "trade secret" turretWyniki są oczywiście o wiele za szerokie, ponieważ nie ma możliwości określeniawłaściwego akcentowania i sylabizacji, ale można znaleźć wśród nich kilka takich,które spełniają nasze wymagania.1.4 Metoda dopasowywania do dowolnej części hasłaZa pomocą tej metody można wyszukiwać wszystkie hasła zawierające dany ciągw dowolnym miejscu — na początku, na końcu lub gdziekolwiek w środku. Jeślizapytanie zawiera spację, możliwe jest dopasowywanie ciągów będących częściąwięcej niż jednego wyrazu. Na przykład, zapytanie postaci “b g” da następującewyniki:wn: "bathtub gin" "BB gun" "crab grass" "herb garden""Jakob Grimm" "tub gurnard"1.5 Wyrażenia regularneWyrażenia regularne to specjalny język służący do opisywania zbiorów ciągów.Istnieje wiele jego implementacji, ale najważniejsze operatory są dostępne w2zasadzie we wszystkich. Opis znajdujący się poniżej jest niekompletny i przed-stawia tylko najistotniejsze kwestie. Bardziej szczegółowe informacje zawiera np.Wikipedia.Oto lista najważniejszych operatorów wykorzystywanych w budowaniu wy-rażeń regularnych:• . — dowolny znak1;• * — dowolna ilość wystąpień poprzedzającego operator znaku, w tym brakwystąpień;• + — dowolna ilość wystąpień poprzedzającego operator znaku, ale co naj-mniej jedno;• ? — jedno lub zero wystąpień poprzedzającego operator znaku;• ^ — początek linii;• $ — koniec linii;• | — alternatywa.Oto kilka przykładów utworzonych za pomocą tych operatorów wyrażeń re-gularnych oraz opis wyników, jakie zostaną przez nie zwrócone:• ^lexic.* – wszystkie ciągi rozpoczynające się od “lexic” (odpowiednikmetody prefix);• .*lexic$ – wszystkie ciągi kończące się na “lexic” (odpowiednik metodysuffix);• .*lexic.* – wszystkie ciągi zawierające cząstkę “lexic” (odpowiednik me-tody substring);• ^.ox$ — wszystkie ciągi trzyliterowe, rozpoczynające się dowolnym zna-kiem i kończące na “ox”;• (hat|cat) — wszystkie ciągi zawierające cząstkę “hat” lub “cat”;Zachęcamy do eksperymentowania z wyrażeniami regularnymi. Ich składniamoże na początku sprawiać trudności, ale po opanowaniu stają się niezastą-pionym narzędziem podczas wszelkich operacji wyszukiwania lub zamienianiaciągów w tekście. Pomocny w nauce może okazać się obsługujący je edytor GNUEmacs (przykłady można znaleźć m.in. [http://www.mimuw.edu.pl/˜jsbien/MO/JwP03/]tutaj).Należy mieć na uwadze, że czasami wydawanie pewnych rodzajów zapytańzawierających wyrażenia regularne jest blokowane w celu ograniczenia obciąże-nia serwera. Czasami niemożliwe jest na przykład użycie zapytania postaci .*,które powinno zwrócić całą zawartość słownika2.1Zapytania o dowolny znak można uściślić za pomocą rozszerzeń dostępnych w wyrażeniachregularnych zgodnych ze standardem POSIX. Na przykład, dowolny znak alfabetyczny jestoznaczany przez [[:alhpa:]].2Ma to miejsce np. w przypadku witryny DICT Development Group[1].31.6 Algorytm SOUNDEXMetoda dopasowywania haseł oparta na algorytmie SOUNDEX[2], który służydo znajdowania podobnie brzmiących słów (przy założeniu, że wymawiano by jepo angielsku). Wbrew zachęcającemu opisowi, metoda ta rzadko daje przydatnewyniki. Oto rezultat dla zapytania “locomotion”:wn: "lace into" laciniate lagend "Lake Mead" "Lake Ontario""law agent" "leech onto" legend legendary "legendary creature""Leigh Hunt" lessened Leucanthemum "Leucanthemum lacustre""Leucanthemum maximum" "Leucanthemum superbum""Leucanthemum vulgare" "Lewis and Clark Expedition" licentiatelicentious licentiously licentiousness ligand lignite"like mad" "Lise Meitner" locknut locksmith locomotelocomotion locomotive "locomotive engine" "locomotive engineer"locomotor "locomotor ataxia" "locum tenens" "look into""loose end" loosened "Louis Antoine de Bougainville""Louis Untermeyer" "low comedy" "Low Countries" "Low Sunday"Loxomataceae Lucanidae lucent "luck into""Lucy in the sky with diamonds" "Lucy Maud Montgomery" LuGandalycaenid "lycaenid butterfly" Lycaenidae lycanthropelycanthropy Lysander1.7 Odległość LevenshteinaJest to metoda dopasowywania słów do zapytania na podstawie tzw. odległo-ści Levenshteina, czyli miary różnicy pomiędzy dwoma ciągami określanej zapomocą ilości operacji edycyjnych (kasowanie, dopisywanie, zastępowanie) po-trzebnych do przekształcenia jednego ciągu w drugi.Serwer dictd dopasowuje tylko słowa, których odległość Levenshteina odzapytania wynosi 1. Oznacza to, że dopasowywane są słowa, w przypadku któ-rych do wykonania odpowiedniego przekształcenia wystarczy jedna operacjaedycyjna. Na przykład, do zapytania “pear” zostaną dopasowane słowa “peer”,“pears” oraz “par”, ale nie “gears”, bo w tym przypadku potrzebne są już dwieoperacje.Oto przykładowa odpowiedź serwera na zapytanie “moon”:wn: Mon moo moon mono moron moony boon coon goon loonnoon poon soon muon moan morn mown mood Moor mootMetoda ta może okazać się pomocna, jeśli nie jesteśmy pewni pisowni słowa,którego definicji poszukujemy.1.8 Metoda dopasowywania do dowolnego wyrazu wewnątrzhasłaTa metoda dopasowuje hasła jedno- i wielowyrazowe, w przypadku których za-pytanie dokładnie odpowiada jednemu ze słów, z których się składają. Oto przy-4kładowe rezultaty dla zapytania “bad”:wn: bad "bad block" "bad blood" "bad check" "bad cheque""bad condition" "bad debt" "bad egg" "bad fairy" "bad guy""bad hat" "Bad Lands" "bad luck" "bad manners" "bad person""bad temper" "bad weather" bad-tempered "go bad" "in a bad way""not bad" "showing bad manners" "too bad"2 ZadaniePoniżej znajduje się kilka opisów interesujących nas zbiorów haseł. Należy spró-bować je odszukać za pomocą interfejsu dostępnego na witrynie [1] lub swojegoulubionego klienta DICT. Prosimy o podanie wybranej metody, pełnej postacizapytania oraz odpowiedzi serwera (prosimy ograniczyć wyszukiwanie do słow-nika WordNet).1. Znaleźć wszystkie hasła zawierające ciąg “forest” jako osobne słowo.2. Znaleźć wszystkie hasła składające się dokładnie z 8 znaków i rozpoczy-nające się na “y”.3. Znaleźć wszystkie hasła rozpoczynające się ciągiem “ca”, kończące się cią-giem “ze” i posiadające dowolną ilość innych znaków pomiędzy.Literatura[1] http://www.dict.org[2] http://en.wikipedia.org/wiki/SoundexNiniejszy tekst przygotował Radosław Moszczyński na potrzeby kursu internetowegoSłowniki i encyklopedie w Internecie – budowa i użytkowanie i udostępnił na zasadachGNU Free Documentation License.5

Zaawansowane metody wyszukiwania w słownikach elektronicznych

Abstract

Similar works

Full text

Available Versions

Biblioteka Cyfrowa KLF UW (Digital Library of the Formal Linguistics Department at the University of Warsaw)