文档介绍：终于有人把网络爬虫讲明白了
导读
人们正在以前所未有的速度转向互联网哉们在互联网上所做的很多行为产 生了大量的〃用户数据”，比如微博、购买记录等。
互联网成了海量信息的载体；互联网目前是分析市场趋势、监视竞争对手 或者获取销售线索的最UEM V：«9
»1T/V» sn：B- >r«TiA
史狂“必气s ；-■%• .……
zuf/1/at D-” t - 5m”.
曲:t，, ■ * f i*
illT/i/il lUM lik^. 吁Yrl. #，・ ■< 冒
air/4/21 SisSl JPLt*T*r<R-*1*
；|j；|. ii If j fi | . <&«.■■- I-U^； T # . AH
MT/fcnt ** mmr?n
我：*：iz zv rib eflirt-nw-f1
srr-mt 事
n :? «?■•? ^«：fa -9. *«Tf B * L-4 « l 5ig« **■ fl T » C 9 t < 7 . %■
3Ui> ・・t 鼻「4 ■，志
if. i* «=■■■! fl BPJk, % 的■:日
lFlU 吗■上 TJI K7*fihL 用US 尸用，「白普宅孑％
浏*“V **!lirtt 忡
m’rsfli tiija RHif QBtlRS#
HUM。旧"；】■・『1整・甘，f，・!<.虹右
WUMI/措 a*，： ■.，RT・ aEi( ta
^lfi/21 >T:1J t* lLR««W4 «t*T-
siLT^t/ii iTsiii TT f 7 r i T7TT77
跪 ts・ itju airrmn
fuh m ir：H #rff m. fih^ * »r? f w-fcJi*7?ri-rfc1 Rnn«*>id. (，*lri *
_ s b »j ri — - * _ „ . — T ■ .D< / ■■ ■ * ■土 (■■ Hi ar u ■
▲图2-1电商网站的商品销售信息
2、分析大众点评、美团网等餐饮类网站的用户消费、评价和发展趋势，如图
2-2所示。
▲图2-2餐饮类网站的用户消费信息
F .fliF■-，!!，«，<r#1，alFt# -■ BsM3as=s^sms仕慝
■ 1JO4 ■，«・^・#.>*»・«，•-!
3、分析各个城市中学区房的比例，以及学区房比普通二手房价格高出多少，
图2-3所示。
▲图2-3学区房的比例与价格对比
以上数据是通过前嗅ForeSpider数据采集软件爬下来的，有兴趣的读者 可以尝试自己爬一些数据。
三、爬虫的
我们通常会将网络爬虫的组成模块分为初链接库、网络抓取模块、网页处 理模块、网页分析模块、DNS模块、待抓取链接队列、网页库等，网络爬虫的 各系模块可形成一个循坏体系，从而不断地进行分析和抓取。
爬虫的工作原理可以很简单地解释为先找到目标信息网，然后页面抓取模
世 JfWRL
DN渊:析
。止MT
网页解析 有用
信息存储
▲图2-4爬虫原理图
块，接着页面分析模块，最后数据存储模块。其具体详情如图2