计算机科学 ›› 2004, Vol. 31 ›› Issue (7): 84-86.

• 计算机网络与信息安全 • 上一篇    下一篇

多策略的主题集中式万维网爬虫设计

王超 朱炜 李俊 潘金贵   

  1. 南京大学多媒体技术研究所,南京210093 南京大学计算机软件新技术国家重点实验室,南京210093
  • 出版日期:2018-11-17 发布日期:2018-11-17

  • Online:2018-11-17 Published:2018-11-17

摘要: 万物网搜索引擎的建立、操作和维护需要许多的资源,而且在信息时效性和对特定用户的针对性方面还存在着不稳定性。在“主题集中式万维网爬虫”方面的研究希望通过利用主题减少对信息的爬行范围,同时提高信息的利用率。相关的一些研究者已采用不同的方法进行了主题集中式爬虫的设计。本文讨论了多策略的主题集中式爬虫系统的设计,它具有低网宽消耗和容易执行的特点。实验表明:本系统可综合同页的相关性和重要性两方面的需要,并表现出良好的稳定性。同时,本系统在选择优先战略方面是可调和,有很强的灵活性。

关键词: 多策略 主题集中式 爬虫设计 相关性 重要性 万维网

No related articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!