文档介绍：Scrapy
基于python的网页爬虫
1
内容大纲
爬虫的由来
爬虫与大数据的联系
Scrapy框架简介
学****Scrapy需要准备的知识
Scrapy的基本逻辑和运行原理
认识第一个爬虫
爬虫方向的前景和细分
2
问题
爬虫有哪些特点，如何区分？
爬虫为什么会出现（开放性问题）？
你讨厌爬虫吗？
3
Quick glance
爬虫的由来
即网络爬虫，是一种自动获取页面内容的程序。它是搜索引擎重要的组成部分。
4
网络爬虫
网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
爬虫的分类：网络爬虫按照系统结构和实现技术，大致可以分为以下几种类型：
通用网络爬虫（General Purpose Web Crawler）
聚焦网络爬虫（Focused Web Crawler）
增量式网络爬虫（Incremental Web Crawler）
深层网络爬虫（Deep Web Crawler）
5
Store of spider and big data
爬虫能做什么
能做什么？
不能做什么？
6
Can Can not
Everything on HTML based internet!
Bad things!
7
通常意义来说，爬虫是为了在互联网中获取各种各样的信息，如果说浏览器能完成的页面访问，那么爬虫工程师都可以做出相应的爬虫。
那么问题在于，爬虫开发的Cost和Benefit是否能平衡。
对于敏感和隐私的数据，除非本人／组织同意，否者万万不要去尝试获取这些数据。
8
问题
为什么Scrapy是流行的爬虫开发框架？
9
Scrapy＝Scratch python
基于Python的快速、高层次的屏幕和Web抓去框架，用户专区Web站点（包括H5，移动端Wap站点）并从页面中提取结构化的数据。
Scrapy除了可以用来做爬虫，获取数据和数据监测；另外还可以用作自动化测试框架！
Scrapy开发源码，可以做任意的修改，同时提供能各种类型的爬虫基类，如BaseSpider，sitemap，CrawlSpider，
10