文档介绍：Presentation网络爬虫入门|以华师图书馆/豆瓣为例(Python实现)@汪政EastChinaNormalUniversity2015年6月8日CONTENTS目录1什么是爬虫2背景意义3三步走4模拟登陆5豆瓣抓取6小结2015年6月8日EastChinaNormalUniversity网络爬虫网络爬虫:是一个功能很强的自动提取网页的程序/脚本,它为搜索引擎从万维网上下载网页,是搜索引擎的重要组成部分。防爬虫:爬虫行为分为搜索引擎爬虫及扫描程序爬虫,可屏蔽特定的搜索引擎爬虫节省带宽和性能,也可屏蔽扫描程序爬虫,避免网站被恶意抓取页面。(网站洁癖)2015年6月8日EastChinaNormalUniversity选题背景三步走Review模拟登陆豆瓣抓取小结在我们日常上网浏览网页的时候,经常会看到一些好看的图片,我们就希望把这些图片保存下载,或者用户用来做桌面壁纸,或者用来做设计的素材。我们最常规的做法就是通过鼠标右键,选择另存为。但有些图片鼠标右键的时候并没有另存为选项,还有办法就通过就是通过截图工具截取下来,但这样就降低图片的清晰度。好吧~!其实你很厉害的,右键查看页面源代码。我们再来看下知乎神贴~可以干哪些有趣的事情?12015年6月8日EastChinaNormalUniversity选题背景三步走Review模拟登陆豆瓣抓取小结[第一步]爬哪里(URL):获取整个页面数据[第二步][第三步]怎么爬(Method):非常强大的正则表达式,以及许多开源库(urllib,BeautifulSoup)我们可以通过python 来实现这样一个简单的爬虫功能,把我们想要的代码爬取到本地。下面就看看如何使用python来实现这样一个功能。一般我们三步走!三步走22015年6月8日EastChinaNormalUniversity爬什么(interesting):你对什么感兴趣选题背景三步走Review模拟登陆豆瓣抓取小结Review2015年6月8日EastChinaNormalUniversity浏览器访问服务器的过程在用户访问网页时,不论是通过、IP,还是点击链接,浏览器向WEB服务器发出了一个HttpRequest),WEB服务器接收到浏览器的请求之后,响应客户端的请求,发回相应的响应信息(HttpResponse),浏览器解析引擎,排版引擎分析返回的内容,呈现给用户。交互的过程中,HTTP请求和响应时发送的都是一个消息结构。实例:(华东师范大学图书馆)选题背景三步走Review模拟登陆豆瓣抓取小结代码分析:模拟登陆华东师范大学图书馆爬虫结果:\并爬取借阅历史42015年6月8日EastChinaNormalUniversity当你要模拟登录一个网站时,首先要搞清楚网站的登