文档介绍：优质
毕业设计(论文)说明书
学院软件学院
专业软件工程
年级 07级
姓名
指导教师
2011年 6 月 15 日
毕业设计(论文)任务书
题目:面向web service的网络爬虫设计与实现
学生姓名
学院名称软件学院
专业软件工程
学号
指导教师
职称教授
原始依据(包括设计或论文的工作基础、研究条件、应用环
境、工作目的等。)
Web Services技术是一种基于XML语言和标准的网络协议实现的分布式计算技术。Web Services技术是可以改变软件产业面貌和软件应用模式的技术之一。
Web 上的各种信息资源和服务功能整合在一起,在任何时间、任何地点向用户提供优质的服务。Web Services技术还有助于改变企业对IT系统的应用方式和依赖程度。所以Web Services技术成为了网络上的主流技术之一,随之也来的是大量的开发人员开始开发Web服务,随着时间的推移,网络上出现了大量的Web 服务。
但是,大量的Web服务分布在网络中的各个地方,给用户寻找特定功能的服务造成了不小的麻烦,也给服务开发者在原有的服务上进行再次开发造成了不便。本课题的任务就是研究如何把网络上分散的Web服务搜集在一起。
参考文献
[1]孙立伟,何国辉,吴礼发;puter Knowledge and Technology 电脑知识与技术;,,May 2010,-4115
[2]李盛韬,余智华,【J】.计算机科学,2003.
[3], den Berg and Crawling: A New Approach to Topic-Specifi Web Resource Discovery[C].In Proceedings of the 8th International World Wide Web Conference, Toronto, Canada, 1999.
[4]郑力明,易平;Design of Crawler Based on HTML Parser Information Extraction;微计算机信息,puter Information;09,June,2009。
[5]J. Cho, H. Garcia-Molina. The evolution of the web and implications for an incremental crawler [C]. In Proceedings of the 26th Inter-national Conference on Very Large Database, Cairo, Egypt, 2000.
[6]李文泽;个性化垂直搜索引擎研究;河南大学;2007-11-07;
[7]曾伟辉,李淼. 深层网络爬虫研究综述[J]. 计算机系统应用, 2008.
[8]周立柱,林玲. 聚焦爬虫技术研究综述[J].计算机应用, 2005年9月.
[9]S. Chakrabarti, M. van den Berg and B. Dom. Focused Crawling: A New Approach to Topic-Specific Web Resource Discovery [C]. In Proceedings of the 8th International World Wide Web Conference, Toronto, Canada, 1999.
[10]陈汶滨,夏学梅. 基于聚焦爬虫的手机天气预报系统[J]. 今日科苑. 2009年第2期.
[11]邱哲,符滔滔. 开发自己的搜索引擎--Lucene +Heritrix. 人民邮电出版社, 2007-4.
[12]罗刚. 自己动手写网络爬虫. 清华大学出版社. 2010-10-1;
[13]Heritrix官方网站[EB/OL]. crawler.
[14]seeda网站[EB/OL]. webservices.
[15]网络爬虫[EB/OL]. http://baike./view/
三、设计(研究)内容和要求(包括设计或研究内容、主要指标
与技术参数,并根据课题性质对学生提出具体要求。)
本系统将要达到以下目标:
提供给用户一个种子文件,用户可以设置抓取Web服务的网站地址。
根据种子地址,搜索种子网站上的Web服务。
把搜索到的Web服务相关信息存入数据库中。
为了达到以上目的,本系统将对Heritrix开源框架进行扩展,并针对服务网站上服务的特点选择