文档介绍：说到蜘蛛陷阱,可能很多SEO新手都没有听过,什么是蜘蛛?蜘蛛陷阱是阻止蜘蛛爬行网站的障碍物或者说是干扰物,很多蜘蛛陷阱是人为的,也有很多是不小心造成的,既然是蜘蛛陷阱那就是对于蜘蛛的陷阱,对用户是没有影响的,所以可能网页界面看起来非常正常,但里面就有可能存在蜘蛛陷阱。如果消除这些蜘蛛陷阱,可以使蜘蛛更好的在网站内部爬行抓取,现在就来看一下一些SEOer不得不知的蜘蛛陷阱!

1. Flash动画
有的朋友会问,为什么Flash是蜘蛛陷阱的一种,其实这个问题很简单,就是因为蜘蛛识别不了Flash,很多网站喜欢在首页做一个Flash动画然后再跳向HTML页面,用户可以访问网站看完片头后被转向得真正的HTML网页。但搜索引擎蜘蛛呢?蜘蛛是不能通过这个Flash跟踪到HTML版本页面的。这就是一个陷阱,阻挡了蜘蛛继续抓取网站。如果Flash效果是必需的,木木seo建议在首页Flash文件之外加上一个通往HTML版本的链接,这样蜘蛛可以跟踪这个链接抓取后面得HTML页面。
2. JS链接
Javascript可以创造出很多吸引人得视觉效果,有些网站喜欢使用Javascript脚本生成导航系统。这也是比较严重得蜘蛛陷阱之一。蜘蛛对于js也是识别不了的,对于js特效可以加入网站,也可以将不需要被抓取的链接放入js,但是需要进行爬行抓取的链接一定不能放入JS,这会造成蜘蛛不能继续爬行,同时js也不要太多,可以专门建一个js文件。
3. 动态URL
我们说现在蜘蛛是可以抓取部分URL链接的,但是动态URL是数据库直接生成的,有的带了问号、等号等多个参数。这类网址不仅不利于搜索引擎蜘蛛爬行,而且还可能造成蜘蛛的死循环,这是一个致命的蜘蛛陷阱。所以大多数情况都是建议大家网址静态化。
4. Session ID
有些网站为了跟踪用户访问使用Session ID,每个用户访问网站时都会生成独特唯一得Session ID,也即ID。这个ID都是加在URL中,搜索引擎蜘蛛的每一次访问也会被当成一个新得用户在URL中会加上一个不同的ID,这样蜘蛛每次来访问时所得到的同一个页面会是一个不一样的URL。结果就很明显,这样一来会产生复制内容页面,造成了高度重复的内容页。
5. Frame框架
框架结构对蜘蛛来说和Flash、js一样都是一道墙,框架结构也会阻碍搜索引擎蜘蛛的爬行和抓取,让蜘蛛掉进陷阱。
6. 要求登录
这个是很常见的,有些网站内容放在需要用户登录之后才能看到得到,设置有的整个网站只能登陆进入后才能看,这对于用户当然没什么,而对于蜘蛛就造成陷阱,为什么?因为蜘蛛不能填写用户名、密码、也不会注册,自然而然,蜘蛛不能进来抓取你的内容,