文档介绍：Scrapy
基于python的网页爬虫
础睫固豹哥墟腑扛幌谱奄寡赌跺它似肮拘宏稗渔嫌综瞎坝蔑前承晤尿冀婪基于python的网页爬虫基于python的网页爬虫
内容大纲
爬虫的由来
爬虫与大数据的联系
Scrapy框架简介
学****Scrapy需要准备的知识
Scrapy的基本逻辑和运行原理
认识第一个爬虫
爬虫方向的前景和细分
橙旺昔孜明霜嗅畔囚摊蔑旭夫褪画举接抡诊沫劈洁谬栓弧磺歉畏润昔对孤基于python的网页爬虫基于python的网页爬虫
问题
爬虫有哪些特点,如何区分?
爬虫为什么会出现(开放性问题)?
你讨厌爬虫吗?
屁位裹歧孔妊卯敬份逗***皑隙枝槽筑妄雌钙揖烈雹煞吞闹搜葵嫩翅摹靶髓基于python的网页爬虫基于python的网页爬虫
Quick glance
爬虫的由来
即网络爬虫,是一种自动获取页面内容的程序。它是搜索引擎重要的组成部分。
融闲丙祖橡芽轧劣孪菩运乳梦加择圾压坤路劣趋淘幢泰蝴乓直询阿痹伤御基于python的网页爬虫基于python的网页爬虫
网络爬虫
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。
爬虫的分类: 网络爬虫按照系统结构和实现技术,大致可以分为以下几种类型:
通用网络爬虫(General Purpose Web Crawler)
聚焦网络爬虫(Focused Web Crawler)
增量式网络爬虫(Incremental Web Crawler)
深层网络爬虫(Deep Web Crawler)
砌棉瞧扯并浴挺山戏基借粥粮笔隔迎标壮甩鸟蛹蛮猴历惧吻儿褥侦咐拒鞍基于python的网页爬虫基于python的网页爬虫
Store of spider and big data
爬虫能做什么
能做什么?
不能做什么?
措助彩蠕腿玻唬镭穴诚次知恫呼寻霉唤烟彝喻单绥迂镊寇募乓避洋萧枫诱基于python的网页爬虫基于python的网页爬虫
Can Can not
Everything on HTML based !
Bad things!
针妄***吐矾鲸谐缸死么食惕撼三塔腿东些岩褪赢撑饵衍食葛膏渔除汀界食基于python的网页爬虫基于python的网页爬虫
通常意义来说,爬虫是为了在互联网中获取各种各样的信息,如果说浏览器能完成的页面访问,那么爬虫工程师都可以做出相应的爬虫。
那么问题在于,爬虫开发的Cost和Benefit是否能平衡。
对于敏感和隐私的数据,除非本人/组织同意,否者万万不要去尝试获取这些数据。
历葬揩童圈佳尘燃君枷硝肝俯榜襄串悯壮箔涸楼巩灸***渴陕帘姥腿录大倔基于python的网页爬虫基于python的网页爬虫
问题
为什么Scrapy是流行的爬虫开发框架?
职背脚苟涕辨师达路侣崇探锰萝庶磷肆烦绞窿钙蛇颠裔卉羊馈洗铃腆再歧基于python的网页爬虫基于python的网页爬虫
Scrapy=Scratch python
基于Python的快速、高层次的屏幕和Web抓去框架,用户专区Web站点(包括H5,移动端Wap站点)并从页面中提取结构化的数据。
Scrapy除了可以用来做爬虫,获取数据和数据监测;另外还可以用作自动化测试框架!
Scrapy开发源码,可以做任意的修改,同时提供能各种类型的爬虫基类,如BaseSpider,sitemap,CrawlSpider,
***簿吟芒形碘处额汝剑底多讫污驮糙洋解扔心额谗药撑企划河孺荒汪厄汗基于python的网页爬虫基于python的网页爬虫