Location of Repository

Usage of dedicated data structures for URL databases in a large-scale crawling Zastosowanie dedykowanych struktur danych w bazach adresów URL crawlingu dużej skali /

By Krzysztof Dorosz

Abstract

Tyt. z nagłówka.Bibliogr. s. 17.Dostępny również w formie drukowanej.STRESZCZENIE: W artykule omówiono zastosowanie struktur danych z pakietu Berkeley DB, takich jak: tablice z haszowaniem i b-drzewa do implementacji wysoko wydajnych baz danych adresów URL. Przedstawiono model formalny bazy danych zorientowanej na struktury pamieci, która może być alternatywa dla relacyjnie zorientowanej bazy danych linków URL. SŁOWA KLUCZOWE: przeglądanie sieci, robot internetowy, berkeley DB, baza danych URL, repozytorium URL, struktury danych. ABSTRACT: The article discuss usage of Berkeley DB data structures such as hash tables and b-trees for implementation of a high performance URL database. The article presents a formal model for a data structures oriented URL database, which can be used as an alternative for a relational oriented URL database. KEYWORDS: crawling, crawler, large-scale, berkeley DB, URL database, URL repository, data structures

OAI identifier: oai:abc.krakow.pl:dd2010317149
Download PDF:
Sorry, we are unable to provide the full text but you may find it at the following location(s):
  • http://vtls.cyf-kr.edu.pl/cgi-... (external link)
  • Suggested articles


    To submit an update or takedown request for this paper, please submit an Update/Correction/Removal Request.