基于Python和Scrapy框架的网页爬虫设计与实现.pdf

文档介绍：E-mail ******@
ISSN 1009-3044 ：
http //
第17卷第13期 (2021年5月) C第om17pu卷第ter Kn13owl期edg(e202and1T年ech5no月log)y 电脑知识与技术 Computer Know：ledge and Technology电脑知识与技术
, May 2021 Tel [phone] 65690964
：
基于Python和Scrapy框架的网页爬虫设计与实现
陈皓，周传生
110034
（沈阳师范大学 网络信息中心，辽宁 沈阳 ）
Python Scrapy
摘要：针对不同的网页数据环境设计有效的爬虫方案，更加有助于爬取信息的准度和效度。文中以 及其 框架
为基础，以贝壳网为例，通过对网站的页面源码结构进行深入分析，编写了行之有效的爬虫文件来获取目标网站信息。该
Web
设计方法可以应用到不同的多级页面信息类型网站，为基于 的数据分析提供策略采集和分析支持。
scrapy
关键词：大数据；网络爬虫； 框架；数据采集
TP3