计算机科学 ›› 2009, Vol. 36 ›› Issue (8): 26-29.

• 综述 • 上一篇    下一篇

高性能网络爬虫:研究综述

周德懋,李舟军   

  1. (北京航空航天大学计算机学院 北京 100191)
  • 出版日期:2018-11-16 发布日期:2018-11-16
  • 基金资助:
    本文研究得到国家自然科学基金项目(60573057,90718017)资助。

Survey of High-performance Web Crawler

ZHOU De-mao, LI Zhou-jun   

  • Online:2018-11-16 Published:2018-11-16

摘要: 网络爬虫是一种自动下载网络资源的程序,是搜索引擎的基础构件之一。系统地介绍了网络爬虫的工作原理和发展现状,详细地阐述了一个高性能、可伸缩、分布式的网络爬虫的系统架构和所面临的关键问题。

关键词: 网络爬虫,高性能,可伸缩,分布式

Abstract: Web Crawlers, one of basic components of Search Engine, arc programs to download resources from Internet.We illuminated the work theory of the Web Crawlers, and its development, and how to design a high-performance, scaly ble,distributed Web crawler,including the faced key problem.

Key words: Crawler, High-performance, Scalability

No related articles found!
Viewed
Full text


Abstract

Cited

  Shared   
  Discussed   
No Suggested Reading articles found!