Research on model of network information extraction based on improved topic-focused Web crawler key technology

U ovom su istraživanju istraživači svu svoju pažnju usmjerili na skupljanje informacija s mreže upravo u vrijeme postojanja ogromne količine podataka u polustrukturiranim ili nestrukturiranim tekstovima. U radu se predlaže model skupljanja informacija s mreže temeljen na poboljšanoj tehnologiji pretraživača mreže (web crawler) usmjerenog na izabrano područje, uzimajući obavijesti na Webu kao predmet istraživanja. Autori detaljno analiziraju glavnu funkciju, metodu i tehnologiju na svakoj razini modela i usredotočuju se na način kako učinkovito s mreže iz ogromnog broja podataka pronaći potrebna saznanja o zadanoj temi kako bi istražili analiziranu metodu za dobivanje informacija s mreže. Eksperimentalni rezultati pokazuju izvedivost, valjanost i superiornost dizajna modela, igraju važnu ulogu u sastavljanju korpusa podataka pronađenih na mreži iz odabranog područja i predstavljaju izvor aktualnih informacija za pouzdanu analizu, istraživanje aktualnih tema i praćenje razvoja događanja na Webu.This research has caught researchers\u27 wide attention for extracting network information exactly with the arrival of the big data era characterized by semi-structured or unstructured text. This paper proposes a model of network information extraction based on improved topic-focused web crawler key technology taking Web news as object of extraction. The authors elaborate main function, method and technology on every layer of the model in detail, which have been used or completed, and focuses on how to extract network information efficiently oriented topic from a large number of Web news instances, in order to explore a research method for network information extraction. The experimental results show the feasibility, validity and superiority of the model design and play a very important role in constructing topic-focused Web news corpus so as to provide a real-time data source for trust analysis, currency analysis, hot topic detection, topic evolution tracking of Web news

筑波大学計算科学研究センター 平成26年度 年次報告書

1 平成26年度重点施策および改善目標の達成状況　……　22 自己評価と課題　……　103 各研究部門の報告　……　13I.素粒子物理研究部門　……　13Ⅱ.宇宙・原子核物理研究部門　……　40 Ⅱ-1.宇宙分野　……　40 Ⅱ-2.原子核物理分野　……　63Ⅲ.量子物性研究部門　……　78Ⅳ.生命科学研究部門　……　96 Ⅳ-1.生命機能情報分野　……　96 Ⅳ-2.分子進化分野　……　108Ⅴ.地球環境研究部門　……　123Ⅵ.高性能計算システム研究部門　……　133Ⅶ.計算情報学研究部　……　166 Ⅶ-1.データ基盤分野　……　166 Ⅶ-2.計算メディア分野　……　18