文档介绍：该【山东建筑大学计算机网络课程设计基于Python的网络爬虫设计】是由【海洋里徜徉知识】上传分享，文档一共【18】页，该文档可以免费在线阅读，需要了解更多关于【山东建筑大学计算机网络课程设计基于Python的网络爬虫设计】的内容，可以使用淘豆网的站内搜索功能，选择自己适合的文档，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此文档到您的设备，方便您编辑和打印。山东建筑大学
课程设计成果报告
题目：基于Python的网络爬虫设计
课程：计算机网络A
院（部）：管理工程学院
专业：信息管理与信息系统
班级：
学生姓名：
学号：
指导教师：
完毕日期：
目录
1 设计目的 1
2 设计任务内容 1
3 网络爬虫程序总体设计 1
4 网络爬虫程序具体设计 1
设计环境和目的分析 1
设计环境 1
目的分析 2
爬虫运营流程分析 2
控制模块具体设计 3
爬虫模块具体设计 3
URL管理器设计 3
网页下载器设计 3
网页解析器设计 3
4
5 调试与测试 4
调试过程中碰到的问题 4
5
6 课程设计心得与体会 5
7 参考文献 6
8 附录1 网络爬虫程序设计代码 6
9 附录2 网络爬虫爬取的数据文档 9
1 设计目的
本课程设计是信息管理与信息系统专业重要的实践性环节之一，是在学生学习完《计算机网络》课程后进行的一次全面的综合练习。本课程设计的目的和任务：
1．巩固和加深学生对计算机网络基本知识的理解和掌握；
2．培养学生进行对网络规划、管理及配置的能力或加深对网络协议体系结构的理解或提高网络编程能力；
3．提高学生进行技术总结和撰写说明书的能力。
2 设计任务内容
网络爬虫是从web中发现,下载以及存储内容，是搜索引擎的核心部分。传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列，直到满足系统的一定停止条件。
参照开放源码分析网络爬虫实现方法，给出设计方案，画出设计流程图。
选择自己熟悉的开发环境，实现网络爬虫抓取页面、从而形成结构化数据的基本功能，界面适当美化。给出软件测试结果。
3 网络爬虫程序总体设计
URL管理器
数据输出器
网页下载器
网页解析器
爬虫控制器
在本爬虫程序中共有三个模块：
爬虫调度端：启动爬虫，停止爬虫，监视爬虫的运营情况
爬虫模块：包含三个小模块，URL管理器、网页下载器、网页解析器。
URL管理器：对需要爬取的URL和已经爬取过的URL进行管理，可以从URL管理器中取出一个待爬取的URL，传递给网页下载器。
网页下载器：网页下载器将URL指定的网页下载下来，存储成一个字符串，传递给网页解析器。
网页解析器：网页解析器解析传递的字符串，解析器不仅可以解析出需要爬取的数据，并且还可以解析出每一个网页指向其他网页的URL，这些URL被解析出来会补充进URL管理器
3、数据输出模块：存储爬取的数据
4 网络爬虫程序具体设计
设计环境和目的分析
设计环境
IDE：pycharm
Python版本：
目的分析
目的：从百度词条Python开始，以广度优先的方式，爬取相关联的若干词条网页的标题和简介
（1）初始URL：""
（2）词条页面URL格式：
数据格式：标题——<dd class="lemmaWgt-lemmaTitle-title"><h1>Python</h1>
简介——<div class="lemma-summary" label-module="lemmaSummary">
（4）页面编码：utf-8
爬虫运营流程分析
爬虫程序的运营流程如图所示。
爬虫控制器从给定的URL开始，将给定的初始URL添加到URL管理器中，然后调用URL管理器的相关方法，判断是否有待爬取的URL
URL判断是否有待爬取的URL，假如有待爬取的URL，则返回给控制器，控制器将这个URL传递给网页下载器，下载该网页
网页下载器将下载好的数据返回给控制器，控制器再将返回的数据传递给网页解析器解析
网页解析器解析网页之后获取网页数据和网页的URL链接，再将这两个数据传递给控制器
控制器得到解析出来的数据之后，将新的URL链接传递给URL管理器，将价值数据传递给数据输出器输出
数据输出器以文本的形式输出传递进来的数据。
回到第一步，循环
控制模块具体设计
爬虫控制器重要负责调度各个模块，所以在设计的时候只需要一次调用其他模块的方法，给相应的模块传递数据即可。比较简朴，可参见附录1查看源码。
爬虫模块具体设计
URL管理器设计
URL管理器重要管理待抓取的URL集合和已抓取的URL集合。URL管理器设计的难点在于：防止反复抓取，防止循环抓取。
判断是否尚有待爬取URL
添加新URL到待爬取集合中
获取待爬取URL
URL管理器
将URL从待爬取集合移动端已爬取集合
判断待添加URL是否在容器中
常用的URL管理器存储方式有三种，一是使用python内存即set集合来存储URL，二是使用数据库，例如MySQL，三是使用缓存数据库，例如redis。由于这只是个简朴的python爬虫，所以我们选择运用内存存储URL。建立两个集合，一个为待爬取集合，一个为已爬取集合，功能上图所示。
网页下载器设计
网页下载器是将互联网上URL相应的网页下载到本地的工具。Python常用的网页下载器有两种，一个是python自带的urllib2，一个是第三方包requests。这里我们选用的是urllib2，比较简朴的网页下载工具，其中最简洁的下载网页的代码如下：
import urllib2
response = (url)
# 假如请求码不是200，则表达请求不成功。
# 典型的错误涉及404（页面无法找到），403（请求严禁），401（待验证的请求）
# 5XX 回应代码以“5”开头的状态码表达服务器端发现自己出现错误，不能继续执行请求
if () != 200:
print "download html failed"
cont= ()
网页解析器设计
网页解析器是从网页中提取有价值数据的工具。
价值数据
网页解析器
新URL列表
HTML网页字符串
Python常用的解析器有四种，一是正则表达式，，三是beautifulSoup，四是lxml。这里我选用的是beautifulSoup作为我的网页解析器，相对于正则表达式来说，使用beautifulSoup来解析网页更为简朴。beautifulSoup将网页转化为DOM树来解析，每一个节点是网页的每个标签，通过它提供的方法，你可以很容易的通过每个节点获取你想要的信息。使用方法如下：
#创建BeautifulSoup对象
soup = BeautifulSoup(html_cont, '', from_encoding='utf-8')
#查找所有标签为a的节点，且href匹配正则表达式
links = ('a', href=(r"/item/\%"))
#查找所欲标签为div的节点
summary_node = ('div', class_="lemma-summary")

数据输出器是负责数据输出的工具。假如要输出的文献不存在，程序会自动创建，并且每次重写之前都会清空网页的内容。这里我选择的输出方式是TXT文档，。
5 调试与测试
调试过程中碰到的问题
爬取第一个页面之后没有新的页面
解决方案：根据子网页，选择合适的正则表达式
（1）测试过程中某些网页中缺少标题或简介。
解决方案：往集合中添加数据的时候，判断一下是否为空，不为空再添加。

测试的结果以txt文档形式显示，生成的文档途径和代码途径一致、
6 课程设计心得与体会
Python是一门面向对象的解释性语言（脚本语言），这一类语言的特点就是不用编译，程序在运营的过程中，由相应的解释器向CPU进行翻译，个人理解就是一边编译一边执行。而Java这一类语言是需要预先编译的。没有编译最大的痛苦就是无法进行断点调试，唯一的办法就是在有疑问的地方打印各个变量的值来进行调试。这一类语言也没用类型，也就是说一个变量即也许是int型，但是也也许是String型，并且可以随时变化。 
    python对于代码格式规定也相称严格，通过对于缩进的距离来判断代码是否处在同一个代码块。  Python也不依靠分号来决定一句代码是否结束，一行代码就是一句代码。这样做的好处在于代码编写看上去很统一，但是习惯了java再看python，一开始还真的有点懵。 
  总得来说，对Python的初涉感觉不错，这门语言相比较Java更加的简洁，这次的课设是初步接触python，以后会自己进一步学习。
7 参考文献
[1] 钱程,阳小兰,[J].黑龙江科技信息,2023,(36):273.
[2] 戚利娜,[J].电脑编程技巧与维护,2023,(8):72-73.
[3] ,Core Python Programming. 2023-9-11
8 附录1 网络爬虫程序设计代码

# coding:utf-8
import logging
from webCraler import url_manager, html_downloader, html_outputer, html_parser
class SpiderMain(object):
#初始化URL管理器，网页下载器，网页解析器和数据输出器
def __init__(self):
= ()
= ()
= ()
= ()
#爬取网页
def craw(self, url):
count = 1
#向URL管理器添加新的URL
(url)
while ():
try:
#假如有新的URL，获取这个新的URL
new_url = ()
#打印这是第几个爬取的URL