文档介绍：搜索引擎蜘蛛和网页的三大问题
陈前进
1
一、搜索引擎蜘蛛能不能找到你的网页
二、搜索引擎蜘蛛找到网页后能不能抓
取网页
三、搜索引擎蜘蛛抓取网页之后，能不
能提炼有用信息
2
一、搜索引擎蜘蛛能不能找到你的网页
<1>搜索引擎喜欢什么样的网站
⑴网站内容的相关性
⑵网站及网页的权威性
⑶网站的实用性
<2>搜索引擎蜘蛛算法与蜘蛛程序构架
⑴网络蜘蛛基本原理
⑵网站与网络蜘蛛
⑶网络蜘蛛对内容提取
⑷网络蜘蛛的程序构架
3
想把网站搜索排名提高，就得研究搜索引擎喜欢什么样的网站，
也就是用户搜索的关键词与网页内容是否匹配，是否有相关性。
相关性的加强可以通过页面内优化和一小部份链接优化来达到的，包括页面的关分健词位置布局、关健词的强调、通过语义分析得到相关性、内部链接的安排、网页标题等。外部链接锚文字，以及链接的内容，也会对目标网页的相关性产生影响。
内容相关性是做网站的人最容易控制的，也是最容易被作弊的。第一代的搜索引擎就主要以相关性做判断，但在被钻空子钻的一塌糊涂后，不得不引入权威性的衡量。
网站内容的相关性
4
网站的权威性，大部份是由外链所决定的。高质量的外链越多，网站的权威性就越高。另外，域名的注册历史，网站的稳定性，隐私政策等一些细节，也会影响到权威性。
外链对网站的权威性是有选择性的，也就是说，来自相关内容网站的链接对提高链权威性帮助最大。比如，在医院博客上加一个链接到某个钢材网站，很明显，医院在钢材方面没有权威性。
网站的权威性不能被做网站的人完全控制，想要作弊，比较费时费力，群发等手段还容易被查出来，但是如果花钱花时间，还是可以得到人为的外链，所以现在搜索引擎开始考虑网站的实用性。
网站及网页的权威性
5
即对用户来说，你的网站到底有多大用处？用户是不是喜欢你的网站？
如果用户在你的网站花的时间多，游览页数多，在不同的时间经常来看你的网站，加入了游览器书签，并且在不同的网上书签站加了评论，这些都可以帮助搜索引擎理解你的网站对用户的实用性。
搜索引擎的工具条可以帮助收集这类信息，也可以利用社会网络收集信息。
网站的实用性
6
⑴网络蜘蛛基本原理
网络蜘蛛 即 web spider是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛是通过网页的链接地址来寻找网页，从网站某一个页面（通常是首页）开始，读取网页的内容，找到在网页中的其它链接地址，然后通过这些链接地址寻找下一个网页，这样一直循环下去，直到把这个网站所有的网页都抓取完为止。如果把整个互联网当成一个网站，那么网络蜘蛛就可以用这个原理把互联网上所有的网页都抓取下来。
7
对于搜索引擎来说，要抓取互联网上所有的网页几乎是不可能的.
从目前公布的数据来看，容量最大的搜索引擎也不过是抓取了整个网页数量的百分之四十左右。
这其中的原因一方面是抓取技术的瓶颈，无法遍历所有的网页，有许多网页无法从其它网页的链接中找到；另一个原因是存储技术和处理技术的问题，如果按照每个页面的平均大小为20K计算（包含图片），100亿网页的容量是100×【】字节，即使能够存储，下载也存在问题（按照一台机器每秒下载20K计算，需要340台机器不停的下载一年时间，才能把所有网页下载完毕）。
同时，由于数据量太大，在提供搜索时也会有效率方面的影响。因此，许多搜索引擎的网络蜘蛛只是抓取那些重要的网页，而在抓取的时候评价重要性主要的依据是某个网页的链接深度。
8
在抓取网页的时候，网络蜘蛛一般有两种策略：广度优先和深度优先（如下图所示）。
9
由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。例如，在上图中，A为起始网页，属于0层，B、C、D、E、F属于第1层，G、H属于第2层，I属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。         网络蜘蛛在访问网站网页的时候，经常会遇到加密数据和网页权限的问题，有些网页是需要会员权限才能访问。当然，网站的所有者可以通过协议让网络蜘蛛不去抓取，但对于一些出售报告的网站，他们希