文档介绍：山丽网安:“数字”搜索无视抓取协议信息安全如何是好喜欢八卦的朋友们肯定对某“数字”周刊和某“水果”周刊很熟悉。两者虽然满足了很多人不良的窥私欲而销量大涨,但是对于被爆料对象的侵害也是有目共睹的。所以这两者的行为不管是在业内还是业外,都不被人所接受,他们能立足的唯一原因还是人类劣根性衍生出的商业利益。这种无视行业规范,破坏人们隐私的行为居然在互联网上重演了。对象居然是某数字搜索引擎,它违反的正是搜索引擎公认的行业规范——Robots协议。到底是怎么回事,而网络的信息安全到底遭遇怎样的侵害,就让信息安全领域的专家山丽网安来为您解答吧。何谓“Robots协议”Robots协议(也称为爬虫协议、机器人协议等)的全称是“网络爬虫排除标准”(RobotsExclusionProtocol),网站通过Robots协议告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取。Robots协议的本质是网站和搜索引擎爬虫的沟通方式,用来指导搜索引擎更好地抓取网站内容,而不是作为搜索引擎之间互相限制和不正当竞争的工具。网络虽然是信息交流的大平台,搜索引擎更是这个平台搜索信息的大帮手,但是即便是这样,在这个大平台中也有不可触碰的禁区——商业隐私甚至是国家的机密信息。做到这一点就需要互联网的服务商,尤其是搜索引擎服务商遵守Robots协议。无视协议将陷互联网于水深火热信息安全将成为风中残烛最近,某“数字”搜索违反robots协议,抓取其他搜索引擎和网站未经授权内容的行为,引起了业内人士的高度关注。某专家在接受采访时表示:“robots协议是搜索引擎领域的国际通行规则,不遵守robots协议甚至可以认为是侵权和黑客行为,除了法律授权的强力部门有权获取相关数据外,商业公司这么做危害很大。”“大家应该明白一个道理:己所不欲勿施于人。”施教授指出,中国互联网的发展,不仅仅要竞争,更要创新,“以创新的技术和服务满足网民的需求,做真正的互联网强国。”据介绍,robots协议诞生于1994年,该协议主要约定了搜索引擎抓取网站内容的范围,包括网站是否希望被搜索引擎抓取,希望或不希望被哪些搜索引擎抓取,以及哪些内容不允许被抓取。它有些类似于人类社会的“日内瓦公约”,但在法律上却不具备那样的刑事效力。这一协议被几乎所有的搜索引擎采用,无论是早年的altavista,infoseek,后来的Google,Bing,以及中国的百度,搜搜,搜狗,均严格遵循这一协议。然而,刚刚上线的此“数字”综合搜索却并未遵循这一国际惯例——自该搜索推出以来,其违反robots协议,窥探用户隐私的行为便屡屡遭到各方的质疑和反感。有不少网友反映,在该搜索上发现了自己的邮件账号等信息,甚至有一些原本需要动态口令和登陆VPN才能访问的公司内部页面,或者正在改版、尚在保密阶段的网页也已经被此“数字”综合搜索抓取并曝光。对此,不少业内专家评论指出,从互联网行业发展的角度来看,违背行规的竞争行为对于任何企业和行业长远的健康发展都是非常有害的。在此综合搜索出现之前,国内互联网企业都严格遵守着robots协议。淘宝网到目前为止还在通过robots协议拒绝百度对其信息的抓取,京东和一淘也禁止了相互抓取。如果这家搜索企业今天可以违规抓取百度内容,明天就可以随便抓取含有大量隐私的人人网社区信息,其他网站和搜索引擎如果效仿它,那么被京东屏蔽的一淘也可以