文档介绍：山东建筑大学课程设计成果报告题目:基于Python的网络爬虫设计课程:计算机网络A院(部):管理工程学院专业:信息管理与信息系统班级: 学生姓名: 学号: 指导教师:完成日期:目录1设计目的 12设计任务内容 13网络爬虫程序总体设计 14网络爬虫程序详细设计 45调试与测试 56课程设计心得与体会 57参考文献 68附录1网络爬虫程序设计代码 69附录2网络爬虫爬取的数据文档 91设计目的本课程设计是信息管理与信息系统专业重要的实践性环节之一,是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。本课程设计的目的和任务:;、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力;。2设计任务内容网络爬虫是从web中发现,下载以及存储内容,是搜索引擎的核心部分。传统爬虫从一个或若干初始网页的URL开始,获得初始网页上的URL,在抓取网页的过程中,不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。参照开放源码分析网络爬虫实现方法,给出设计方案,画出设计流程图。选择自己熟悉的开发环境,实现网络爬虫抓取页面、从而形成结构化数据的基本功能,界面适当美化。给出软件测试结果。3网络爬虫程序总体设计URL管理器数据输出器网页下载器网页解析器爬虫控制器在本爬虫程序中共有三个模块:爬虫调度端:启动爬虫,停止爬虫,监视爬虫的运行情况爬虫模块:包含三个小模块,URL管理器、网页下载器、网页解析器。URL管理器:对需要爬取的URL和已经爬取过的URL进行管理,可以从URL管理器中取出一个待爬取的URL,传递给网页下载器。网页下载器:网页下载器将URL指定的网页下载下来,存储成一个字符串,传递给网页解析器。网页解析器:网页解析器解析传递的字符串,解析器不仅可以解析出需要爬取的数据,而且还可以解析出每一个网页指向其他网页的URL,这些URL被解析出来会补充进URL管理器3、数据输出模块::pycharmPython版本::从百度词条Python开始,以广度优先的方式,爬取相关联的若干词条网页的标题和简介(1)初始URL:"http://baike./item/Python?sefr=ps"(2)词条页面URL格式:http://baike./item/%E8%87%AA%E7%94%B1%E8%BD%AF%E4%BB%B6数据格式:标题——<ddclass="lemmaWgt-lemmaTitle-title"><h1>Python</h1>简介——<divclass="lemma-summary"label-module="lemmaSummary">(4)页面编码:utf-。爬虫控制器从给定的URL开始,将给定的初始URL添加到URL管理器中,然后调用URL管理器的相关方法,判断是否有待爬取的URLURL判断是否有待爬取的URL,如果有待爬取的URL,则返回给控制器,控制器将这个URL传递给网页下载器,下载该网页网页下载器将下载好的数据返回给控制器,控制器再将返回的数据传递给网页解析器解析网页解析器解析网页之后获取网页数据和网页的URL链接,再将这两个数据传递给控制器控制器得到解析出来的数据之后,将新的URL链接传递给URL管理器,将价值数据传递给数据输出器输出数据输出器以文本的形式输出传递进来的数据。回到第一步,,所以在设计的时候只需要一次调用其他模块的方法,给对应的模块传递数据即可。比较简单,可参见附录1查看源码。。URL管理器设计的难点在于:防止重复抓取,防止循环抓取。判断是否还有待爬取URL添加新URL到待爬取集合中获取待爬取URLURL管理器将URL从待爬取集合移动端已爬取集合判断待添加URL是否在容器中常用的URL管理器存储方式有三种,一是使用python内存即set集合来存储URL,二是使用数据库,例如MySQL,三是使用缓存数据库,例