互联网信息的检索需求推动了搜索引擎行业的高速增长,用户对搜索引擎的粘性也促使搜索引擎服务商在争夺用户市场的竞争愈发激烈。爬虫协议属于搜索引擎领域公认的行业标准,其本质为网站所有者为了保护自身网站信息不被非法抓取而设置的技术保护措施。从爬虫协议诞生之日起,就要求爬虫协议的设置者应当遵守公平竞争以及互联网互联互通的原则,不得利用爬虫协议阻碍信息交流。然而,有些互联网服务商在巨大的商业利益面前采取了一些违反爬虫协议设立精神的行为。要维护互联网正常的竞争秩序,必须对爬虫协议的法律性质及违反爬虫协议应承担的责任加以明确。本文根据网络服务者以及搜索引擎之间是否存在竞争关系的不同,将爬虫协议的法律效力及违反爬虫协议行为的认定分为了两个不同的部分。前者主要涉及民事权利和民事侵权责任的认定。后者则涉及不正当竞争行为以及垄断行为的认定。本文分引言、正文和结论三个部分,其中正文分为三章。第一章:搜索引擎爬虫协议概述。本章主要介绍了搜索引擎的基本工作原理,以及爬虫协议出现的历史背景。并通过分析爬虫协议的现实应用,总结了爬虫协议目前出现的实际法律问题。第二章:网络内容服务商针对搜索引擎服务商设定的爬虫协议。本章主要介绍了在不具有竞争关系时,网络内容服务商对其网站设置爬虫协议的合理性以及内容限制。并进一步介绍了搜索引擎违反爬虫协议应当承担的侵权责任。最后分析了网站爬虫协议缺失的默认效力。第三章:具有竞争关系的搜索引擎服务商之间设定的爬虫协议。本章主要介绍了在爬虫协议设立者和抓取者之间具有竞争关系时,爬虫协议的设立与公认的商业道德的关系,以及违反爬虫协议与不正当竞争行为的关系。此外,本章还通过分析我国搜索引擎领域相关市场的界定,明确了具有市场支配地位的服务商设置的具有歧视性内容与歧视交易行为的法律界限问题。本章也对百度诉奇虎违反爬虫协议不正当竞争案作了相关评述。结论部分指出了爬虫协议是公认的行业标准和商业道德。并再次明确了本文在对双方是否有竞争关系进行分类讨论的情况下,爬虫协议设置的合理边界,以及违反爬虫协议的行为评价问题。