Research on model of network information extraction based on improved topic-focused Web crawler key technology

U ovom su istraživanju istraživači svu svoju pažnju usmjerili na skupljanje informacija s mreže upravo u vrijeme postojanja ogromne količine podataka u polustrukturiranim ili nestrukturiranim tekstovima. U radu se predlaže model skupljanja informacija s mreže temeljen na poboljšanoj tehnologiji pretraživača mreže (web crawler) usmjerenog na izabrano područje, uzimajući obavijesti na Webu kao predmet istraživanja. Autori detaljno analiziraju glavnu funkciju, metodu i tehnologiju na svakoj razini modela i usredotočuju se na način kako učinkovito s mreže iz ogromnog broja podataka pronaći potrebna saznanja o zadanoj temi kako bi istražili analiziranu metodu za dobivanje informacija s mreže. Eksperimentalni rezultati pokazuju izvedivost, valjanost i superiornost dizajna modela, igraju važnu ulogu u sastavljanju korpusa podataka pronađenih na mreži iz odabranog područja i predstavljaju izvor aktualnih informacija za pouzdanu analizu, istraživanje aktualnih tema i praćenje razvoja događanja na Webu.This research has caught researchers\u27 wide attention for extracting network information exactly with the arrival of the big data era characterized by semi-structured or unstructured text. This paper proposes a model of network information extraction based on improved topic-focused web crawler key technology taking Web news as object of extraction. The authors elaborate main function, method and technology on every layer of the model in detail, which have been used or completed, and focuses on how to extract network information efficiently oriented topic from a large number of Web news instances, in order to explore a research method for network information extraction. The experimental results show the feasibility, validity and superiority of the model design and play a very important role in constructing topic-focused Web news corpus so as to provide a real-time data source for trust analysis, currency analysis, hot topic detection, topic evolution tracking of Web news