百度专门针对360作出限制的Robots协议无效

万千缱绻

百度专门针对360作出限制的Robots协议无效

——百度诉360违反“Robots协议”案的法律评析

   　　据报道，百度诉奇虎360违反“Robots协议”，抓取、复制百度旗下的百度知道、百度百科、百度贴吧等网站内容、索赔1亿元之网站内容侵权一案，今日在北京市第一中级人民法院开庭审理。这起案件中谁是谁非的司法判决，将对今后的我国互联网搜索引擎市场乃至将来的国家相关立法，都会产生重要影响，因此受到业内和公众的广泛关注。

   　　此次索赔，百度称自己在Robots协议文本中已设定了不允许360爬虫进入的条款，而360的爬虫依然对“百度知道”、“百度百科”等百度网站内容进行抓取，所以提起诉讼索赔。百度甚至对360采取了反制措施，如果用户点击360搜索结果中的百度页面链接，会强制跳转进到百度的首页，无法进入具体内容页面。

   　　360则表示，这个协议是网站指导爬虫的善意的提示性.TXT文件，为爬虫做出了提示。它不是法规或标准，也不是合约，不存在违反与不违反的问题。各搜索引擎公司对“Robots协议”的使用都遵从一视同仁原则，只有百度当成不正当竞争的工具。百度的反制措施，是严重违反工信部规定的违法行为，也是对用户选择权和使用体验的严重践踏，是极不负责的，已将相关情况上报工信部。

   　　下面就Robots协议的效力、百度的Robots协议的效力以及百度专门针对360设置搜索限制措施的法律性质，谈谈自己的看法。   

   　　

一、Robots协议不是国际公约，不是国际惯例，也未被我国立法所确认，但为12家搜索引擎企业的《自律公约》所规范，对12家企业有约束力

   　　查相关专业资料得知，robots.txt协议是一种很专业的技术文本文件，存放于网站根目录下的ASCII编码，它通常告诉网络搜索引擎的“机器人”，此网站中的哪些内容是不应被搜索引擎的机器人获取的，哪些是可以被机器人获取的。robots.txt放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots元数据。可见，robots.txt协议只是网站对搜索机器人的一个提示和声明。由于robots协议采取递归查询的方式，查询起来高效快捷，直指目标，因此成为了当前最常见的查询方式。

   　　诺贝尔当年发明TNT炸药，本意是用于工程建设中毁灭障碍物，没料到后来被人用它来毁灭人自身；不得已，人类只好用严格的法律来控制TNT炸药等爆炸物的使用，以减小它的副作用。

   　　与诺贝尔不同的是，robots协议的创始人Martijn Koster从一开始即预测到了，有的商家可能用其作为不正当的市场竞争工具。因此，他在1994年创制伊始便告诫人们，“如果该协议被当成市场竞争工具，爬虫不需要采纳”。这应该是关于该协议用途方面最权威的沿革解释。

   　　沿革解释是一种重要的法律解释方法，就是从规则制定者的原意出发，对规则的含义进行的解释。例如全国人大常委会副委员长王兆国所作的《关于<中华人民共和国物权法（草案）〉的说明》，一旦物权法草案通过成为法律后，该《说明》的相关内容，具有同法律一样的效力。因此，Robots协议的创始人对该协议的用途限制所作的解释应该是一种很权威的解释。

   　　可能正是由于robots协议极有可能被恶意使用的缘故，创始人于1997年向互联网工程任务组（IETF）提交申请试图把Robots协议作为该组织规范，但被IETF拒绝。之后，国际电信联盟（ITU）、W3C的规范也同样拒绝采纳Robots协议。

   　　值得注意的是，2012年11月1日，百度、即刻搜索、奇虎360等12家搜索引擎服务企业在北京签署了《互联网搜索引擎服务自律公约》。12家企业明知山有虎，偏向虎山行，承认了Robots协议的效力。其第7条规定：“遵循国际通行的行业惯例与商业规则，遵守机器人协议(robots协议)。”该条有两层含义，其一，该条将“机器人协议”与“国际通行的行业惯例”与“国际通行商业规则”并行使用，恰恰说明robots协议还不是国际行业惯例、国际商业规则；二是《公约》承认受robots协议的约束。

   　　因此，robots协议虽不是什么国际公约，也未被我国立法吸收为我国法律，但为12家搜索引擎服务企业共同制定的《公约》所接受，成为我国搜索引擎行业的自律规范，相当于多方共同缔结的合同，百度和360都是《公约》缔约者，都应当应当受其约束。

   　　

二、百度专门针对360作出限制的robots协议无效

   《互联网搜索引擎服务自律公约》承认了robots协议的效力，不等于这12家企业所制定的任何robots协议条款都有效。《公约》规定：

   　　“机器人协议(robots协议)是指互联网站所有者使用robots.txt文件，向网络机器人(Web robots)给出网站指令的协议。

   　　网络机器人(Web robots也叫网络游客、爬虫程序、蜘蛛程序)，是自动爬行网络的程序。搜索引擎利用这些程序索引网站内容，垃圾邮件发送者使用网络机器人扫描获取电子邮件地址，网络机器人还有很多其他用途。”

   　　《公约》在这里对robots协议下了定义和给出了基本用途，这样做能部分防止robots协议被滥用。当然，这还很不够，为了从根本上防止robots协议创始人所预见的利用其限制竞争的现象发生，必须另设条款。因此，《公约》第8条明确规定：“互联网站所有者设置机器人协议应遵循公平、开放和促进信息自由流动的原则，限制搜索引擎抓取应有行业公认合理的正当理由，不利用机器人协议进行不正当竞争行为，积极营造鼓励创新、公平公正的良性竞争环境。”

   　　可见，百度专门针对360作出限制的robots协议，一是对360太不公平，二是没有给出任何正当理由（根本不讲理由），三是进行了不正当竞争，明显违背《公约》所确立的行业规范，不具有任何法律约束力。用robots协议的创始人Martijn Koster的话说，“如果该协议被当成市场竞争工具，爬虫不需要采纳”，即没有约束力。

   　　

三、百度专门针对360设置搜索限制，不正当行使了网络公共作品的支配权，也违反公开开放的互联网精神，更违反了《反不正当竞争法》

   　　我们知道，百度知道、百度百科、百度贴吧中的知识信息，并不是百度自身享有自主知识产权的内容，究竟谁是那些知识信息的著作权人，由于创帖者杂汇了很多方面、很多人的资料，且很多情况下都未署作者、注明出处，因而很难界定，这些信息有公共作品的性质，百度在此仅起到了一个信息承载平台的作用，因而没有自主知识产权一般的支配控制权。

   　　百度通过白名单、黑名单的机制，限制360搜索引擎索引其内容，是对公共作品行使了不正当的支配权。当然，也违背了Robots协议的初衷，更违背了互联网开放、分享的精神。

   　　此外，搜索引擎服务公司，具有公共服务的公用企业性质。据报道，百度已占到中文搜索引擎服务市场的近80%份额，处于绝对的垄断地位，我们应当特别注意垄断企业利用其垄断地位损害其他同业经营者和消费者的利益，阻碍搜索引擎市场发育的行为发生。《反不正当竞争法》第6条规定：“公用企业或者其他依法具有独占地位的经营者，不得限定他人购买其指定的经营者的商品，以排挤其他经营者的公平竞争。”目前百度对360采取了反制措施，如果点击360搜索结果中的百度页面链接，会强制跳转进到百度的首页，而无法进入具体内容页面。目的正在于打击对手360，让网络用户进而转过去用百度的搜索引擎，这不仅干涉网友消费者对搜索引擎的选择权，也浪费了网友消费者的时间和精力，更损害了经营者360的合法经营利益，破坏了网络正常经营秩序。

   　　现在，百度诉360违反“Robots协议”案走上了司法程序，我认为这也是一个好事。期待北京一中院审慎地审理该案，公正地作出判决，为将来出现类似案例树立一个标杆，也我国国家立法规范搜索引擎市场提供有价值的可资借鉴的判例资料。