文档介绍：大学本科生毕业设计(论文)开题报告
课题名称
网络爬虫设计与实现
学院名称
专业名称
软件工程
学生姓名
指导教师
(内容包括:课题的来源及意义,国内外发展状况,本课题的研究目标、研究内容、研究方法、研究手段和进度安排,实验方案的可行性分析和已具备的实验条件以及主要参考文献等。)
课题的来源及意义
互联网是一个庞大的非结构化的数据库,将数据有效的检索并组织呈现出来有着巨大的应用前景。搜索引擎作为一个辅助人们检索信息的工具成为用户访问万维网的入口和指南。但是,这些通用性搜索引擎也存在着一定的局限性。不同领域、不同背景的用户往往具有不同的检索目的和需求,通用搜索引擎所返回的结果包含大量用户不关心的网页。为了解决这个问题,一个灵活的爬虫有着无可替代的重要意义。
国内外发展状况
对于网络爬虫的研究从上世纪九十年代就开始了,目前爬虫技术已经趋见成熟,网络爬虫是搜索引擎的重要组成部分。网络上比较著名的开源爬虫包括Nutch,Larbin,Heritrix。网络爬虫最重要的是网页搜索策略(广度优先和最佳度优先)和网页分析策略(基于网络拓扑的分析算法和基于网页内容的网页分析算法)。
研究目标
本论文主要研究搜索引擎的搜索器(网络爬虫程序)的设计与实现,实现简单的可在后台自动运行的爬虫程序。
可以多线程进行抓取。
可以进行面向主题的抓取。
本课题研究的内容是如何使网络爬虫灵活高效。
如何具备更强的抓取能力。
如何分辨重复的网页内容。
如何确定主题相关性。
对于网络时延等的处理。
网络爬虫应用宽度搜索技术。对url进行分析,去重。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。网络爬虫还要完成信息提取任务,对于抓取回来的网页提取出来新闻等信息。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。研究网络爬虫的原理并实现爬虫的相关功能。
研究手段
参考网上开源的网络爬虫和各种网络爬虫相关的书籍,在windows系统环境下开发。
本课题进度安排:
— 查阅资料完成任务书,完成开题报告
— 开题报告会
— 查阅资料,进行论文基本章节的写作,完成初稿, 并完成进行代码编写
— 毕业设计中期报告会
— 系统设计结束并再次检查系统的可靠性。
— 完成论文及答辩
本课题可行性分析
网络爬虫目前已经比较普遍,国内外有众多对网络爬虫的研究成果,大部分的技术难题已经有解决方案。所以本课题的可行性较高。
实验条件
Windows 操作系统;互联网
主要参考文献
[1]:网络蜘蛛[M].北京:人民邮电出版社,2004年.
[2] Anatomy of a Large-Scale Hypertextual Web Search Engine [M].北京:清华大学出版社,1998年.
[3] Search Engine white paper [M].北京:中国电力出版社,2001年.
[4]Gary -IP协议详解卷3:TCP事务协议,HTTP,NNTP和UNIX域协议[M].北京:机械工业出版社,2002 年1月.
[5][M].北京:清华大学出版社,2010年10月.
[6]李晓明,闫宏飞,:原理、技术与系统——华夏英才基金学术文库[M].北京:科学出版社,2005年04月.
选题是否合适: 是□否□
课题能否实现: 能□不能□
指导教师(签字)
年月日
选题是否合适: 是□否□
课题能否实现: 能□不能□
审题小组组长(签字)
年月日
摘要
本课题的主要目的是设计面向主题的网络爬虫程序,同时需要满足的是具有一定的性能,考虑到网络爬虫的各种需求。
网络爬虫应用宽度搜索技术。对url进行分析,去重。网络爬虫使用多线程技术,让爬虫具备更强大的抓取能力。对网络爬虫的连接网络设置连接及读取时间,避免无限制的等待。为了适应不同需求,使网络爬虫可以根据预先设定的主题实现对特定主题的爬取。研究网络爬虫的原理并实现爬虫的相关功能。
关键词:网络爬虫;面向主题;多线程
ABSTRACT
The main purpose of this project is to design