python爬虫入门教程.doc

文档介绍：python爬虫入门教程
Python爬虫入门三之Urllib库的基本使用
Python 崔庆才 5个月前(02-12) 13660℃ 13评论
那么接下来,小伙伴们就一起和我真正迈向我们的爬虫之路吧。
怎样扒网页呢?其实就是根据URL来获取它的网页信息,虽然我们在浏览器中看到的是一幅幅优美的画面,但是其实是由浏览器解释才呈现出来的,实质它是一段HTML代码,加 JS、CSS,如果把网页比作一个人,那么HTML便是他的骨架,JS便是他的肌肉,CSS便是它的衣服。所以最重要的部分是存在于HTML中的,下面我们就写个例子来扒一个网页下来。
执行如下命令查看运行结果,感受一下。
共 191 页
看,这个网页的源码已经被我们扒下来了,是不是很酸爽?
那么我们来分析这两行代码,第一行
度首页,协议是HTTP协议,当然你也可以把HTTP换做FTP,FILE,HTTPS 等等,只是代表了一种访问控制协议,urlopen一般接受三个参数,它的参数如下: 共 191 页
个timeout是设置超时时间。
第二三个参数是可以不传送的,data默认为空None,timeout默认
为
第一个参数URL是必须