文档介绍：解百度蜘蛛的爬行规律从而更好的改善收录情况也是必须要掌握的。很多网站目前使用的都是虚拟空间, 都能够提供日志。从虚拟主机后台登录, 点击下载访问日志。日志是指在网站根目录下的 logfiles 或 W3SVC 文本文件开始几行: #Software: Microsoft Log Parser #Version: #Date: 2008-09-30 23:57:04 #Fields: LogFilename puterName SiteID DateTime ClientIpAddress ServerIpAddress ServerPort Method ProtocolVersion ProtocolStatus SubStatus TimeTaken BytesSent BytesReceived Win32Status UriStem UriQuery UserName 说明用的软件, 版本, 创建日期, 字段说明举例说明: d:\iislog\W3SVC\ 3855 USER-C5B039C18F 58910000 2012-11-05 00:09:43 80 GET HTTP/ 200 0 1468 7507 294 0 // -- 分别表示: 日志文件名: \iislog\W3SVC\ 记录数: 3855 计算机名称: USER-C5B039C18F 站点 ID: 58910000 访问日期: 22012-11-05 00:09:43 客户端 IP: ( 客户端 IP 很重要,有的 IP 是搜索引擎爬虫的 IP) 服务器 IP: 服务端口: 80 模式: GET HTTP 协议版本: HTTP/ 协议返回状态: 200 ( 这个很重要, 200 是成功的应答码) 记录的内容大小: 35074 267 访问页面: // ( 这点是站长分析和以后努力的方向) 都是这种格式的日志如何去分析了,一个一个看的头都大了。现在网上很多网站日志分析工具,其实你只要打开日志“ CRTL+F ”查找几个你最关心的 IP 就 OK 了。各类蜘蛛 IP 收集,不一定完全准确。序号 IP 注释 1 .* 163 蜘蛛 2 .* 163 蜘蛛 3 .* 163 蜘蛛 4 .* 163 蜘蛛 5 .* 163 蜘蛛 6 .* 163 蜘蛛 7 .* 163 蜘蛛 8 .* 163 蜘蛛 9 .* 163 蜘蛛 10 .* 163 蜘蛛 11 .* 163 蜘蛛 12 .* 163 蜘蛛 13 .* 163 蜘蛛 14 .* 3721 蜘蛛 15 .* 百度蜘蛛 16 .* 百度蜘蛛 17 .* 百度蜘蛛 18 .* 百度蜘蛛 19 .* 百度蜘蛛 20 .* 百度蜘蛛 21 .* 百度蜘蛛 22 .* 百度蜘蛛 23 .* 百度蜘蛛 24 .* 25 .* china 蜘蛛 26 .* 27 .* google 蜘蛛 28 .* google 蜘蛛 29 .* google 蜘蛛 30 .* google 蜘蛛 31 .* google 蜘蛛 32 .* google 蜘蛛 33 .* google 蜘蛛 34 .* google 蜘蛛 35 .* google 蜘蛛 36 .* google 蜘蛛 37 .* google 蜘蛛 38 .* google 蜘蛛 39 .* google 蜘蛛 40 .* google 蜘蛛 41 .*