robots文件作用和写法-四川新华seo教程.doc.doc

文档介绍：robots文件作用和写法-四川新华seo教程
1、:,带有txt后缀的文件是纯文本文档,robots是机器人的意思,也就是说,。它告诉搜索引擎哪些网页允许抓取、索引并在搜索结果中显示,哪些网页是被禁止抓取的。搜索引擎蜘蛛来访问你的网站页面的,,。我们都知道淘宝网是屏蔽百度的,。文件是这样书写的:User-agent: Baiduspider Disallow: / User-agent: baiduspider Disallow: /
2. :通过设置屏蔽搜索引擎,使之不必要页面被收录,可以大大降低抓取页面所占用的网站带宽,大型网站尤为明显了。,比如我们通过url重写将动态URL静态化为永久固定链接,,阻止某些搜索引擎索引那些动态网址,网站重复页面将减少,有利于SEO优化。
3. 怎么写:下面以WordPress博客来作举例。:User-agent: * Disallow: Allow: / 。1、,不能放在子目录下;2、,Disallow等必须注意大小写,不能变化;3、User-agent,Disallow等后面的冒号必须是英文状态下的。4、User-agent是表示搜索引擎(spider)的:星号“*”代表所有spider