文档介绍：基于python的网页爬虫内容大纲爬虫的由来爬虫与大数据的联系Scrapy框架简介学****Scrapy需要准备的知识Scrapy的基本逻辑和运行原理认识第一个爬虫爬虫方向的前景和细分问题爬虫有哪些特点,如何区分?爬虫为什么会出现(开放性问题)?你讨厌爬虫吗?Quickglance爬虫的由来即网络爬虫,是一种自动获取页面内容的程序。它是搜索引擎重要的组成部分。网络爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。爬虫的分类:网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:通用网络爬虫(GeneralPurposeWebCrawler)聚焦网络爬虫(FocusedWebCrawler)增量式网络爬虫(IncrementalWebCrawler)深层网络爬虫(DeepWebCrawler)Storeofspiderandbigdata爬虫能做什么能做什么?不能做什么?!Badthings!通常意义来说,爬虫是为了在互联网中获取各种各样的信息,如果说浏览器能完成的页面访问,那么爬虫工程师都可以做出相应的爬虫。那么问题在于,爬虫开发的Cost和Benefit是否能平衡。对于敏感和隐私的数据,除非本人/组织同意,否者万万不要去尝试获取这些数据。问题为什么Scrapy是流行的爬虫开发框架?Scrapy=Scratchpython基于Python的快速、高层次的屏幕和Web抓去框架,用户专区Web站点(包括H5,移动端Wap站点)并从页面中提取结构化的数据。Scrapy除了可以用来做爬虫,获取数据和数据监测;另外还可以用作自动化测试框架!Scrapy开发源码,可以做任意的修改,同时提供能各种类型的爬虫基类,如BaseSpider,sitemap,CrawlSpider,