文档介绍：国内图书分类号:
国际图书分类号:
工学硕士学位论文
分布式网络爬虫技术的研究与实现
硕士研究生: 苏旋
导师:王晓龙教授
副导师:徐志明副教授
申请学位: 工学硕士
学科、专业: 计算机科学与技术
所在单位: 计算机科学与技术学院
答辩日期: 2006年6月
授予学位单位: 哈尔滨工业大学
Classified Index
:
Dissertation for the Master Degree in Engineering
THE RESEARCH, IMPLEMENT ON
TECHNOLOGY
OF DISTRIBUTED WEB CRAWLER
Candidate: Su Xuan
Supervisor: Prof. Wang Xiaolong
Vice-Supervisor: Associate Prof. Xu Zhiming
Academic Degree Applied for: Master of Engineering
Specialty: Computer Science and Technology
Affiliation: School puter Science and
Technology
Date of Defence: June, 2006
Degree-Conferring-Institution: Harbin Institute of Technology
哈尔滨工业大学工学硕士学位论文
摘要
随着Web信息的急速膨胀,各项和Web有关的服务也都逐渐增多,Web信
息在很多方面得到了广泛的应用,人们对于Web信息的要求也越来越高,使得
专门负责Web信息采集的网络爬虫技术面临了一个巨大的挑战。国内外的一些
大公司对这一问题已经有了很成熟的解决方案,并已投入使用,但是这些大型
搜索引擎只能给大众用户提供一种普通的不可制定的搜索服务,它不可能考虑
到所有用户的各式各样的需求,而单机的网络爬虫在很多情况下又难当重任,
中型规模的网络爬虫以其灵活的可定制性和单机网络爬虫无法比拟的信息采集
速度和规模,满足了人们日益增长的对Web信息的面向用户的需求,针对这一
情况,本文展开了对国内外的网络爬虫技术的研究。
网络爬虫研究中最重要的是设计构架和关键技术的解决。在吸取了他人技
术和经验的基础上,本文设计描述了一个分布式网络爬虫的结构设计,其中包
括硬件的构架,和软件的模块划分。硬件部分由一台PC机做控制节点,N台PC
机作爬行节点,在局域网中连接。软件部分又分为控制节点软件设计和爬行节
点软件设计。
然后本文分析了分布式网络爬虫的关节技术的解决方法,比如分布式的各
个结点如何协同工作,任务如何分配,如何保持重要网页的时新性等等,进而
提出了一些实用的算法,解决了这些分布式网络爬虫的关键技术,实现了一个
具备健壮性,可扩展性,可配置性的分布式网络爬虫系统,并就该分布式网络
爬虫系统进行了仔细的剖析。最后在该网络爬虫上作了一些测试,包括了普通
爬行测试和该网络爬虫的一个应用,网站爬行的测试。
关键词网络爬虫;并行;搜索引擎
- I -
哈尔滨工业大学工学硕士学位论文
Abstract
With information rapidly expanding in the Web, many Web-related services
came in increasing numbers accordingly. Web information is applied in many fields,
and the request of people es more and more rigorous, so the Web crawler who
has charge of gathering of Web information is facing a real challenge. A number of
panies overseas or domestic have solved it in a perfect way, and their
products have been in practical use, whereas, the search engine at large-scale can
only supply