Robots协议是网站设置在本站数据库根目录下,用于限定搜索引擎爬虫访问权限,从而保护敏感商业数据和用户隐私的ASCII编码文本文件。同时,Robots协议又具有利益平衡的工具价值：它划清搜索引擎和网站之间的权利边界,使知识共享的公共利益与网站、用户权益实现平衡。因此,其在世界范围内被普遍遵守,是规范搜索引擎数据挖掘行为的软约束。随着技术的进步,搜索引擎的商业模式不断复杂化、多样化,但相关法律制度的滞后性却日益凸显。大数据时代,数据价值被挖掘。这给搜索行业带来巨大的市场空问,同时也导致竞争的加剧。在利益的驱使下,搜索引擎违反、滥用Robots协议的行为层出不穷,并引发侵权、恶性竞争等连锁反应,进而损害互联网行业的健康、有序发展。因此,明确Robots协议的法律性质和存在价值,判定其合理使用与滥用,厘清相关主体间的权利义务分配,认定搜索引擎违反Robots协议的法律责任,对于规范市场秩序、保障各主体权益具有重要意义。本文以相关互联网案例为基础,从版权法、竞争法等角度分析Robots协议的法律性质和效力、探讨其合理使用的标准,进而结合立法和司法实践,研究Robots协议下搜索引擎数据挖掘行为的法律责任。本文认为网站设置Robots协议是行业惯例。司法实践中,应当赋予其商业习惯法的法律效力,并承认其版权法意义。《互联网搜索引擎服务自律公约》签署后,在我国,Robots协议上升为行业自律和规范,应当普遍遵守。从法律行为角度分析,Robots协议是诺成合同。网站设置Robots协议的行为是发出要约,搜索引擎的爬虫以抓取行为做出承诺,合意达成,合同成立并生效。但Robots协议为格式合同,当且仅当其系合理使用时,才对双方具有合同拘束力。据此,搜索引擎违反或无视Robots协议的数据挖掘行为可能产生违约、知识产权等信息权利侵权、隐私侵权、竞争法律责任等竞合法律责任。另一方面,网站不设置Robots协议保护版权构成默认许可。由于新型商业模式下搜索引擎法律地位的混同,应弱化ISP、ICP及对应归责原则的区分,宜依据行为与Robots协议的关系,结合商业模式,将搜索引擎违反Robots协议的数据挖掘行为类型化。认定法律责任时,应以Robots协议的合理使用为基础,进而按照行为标准分别适用归责原则,对法律责任构成要件进行事实和价值判断。