爬虫协议旨在通过设置robots.txt文件告知搜索引擎可抓取信息的范围,从而保护网站经营者的合法经营权益。搜索引擎尊重网站经营者设置的爬虫协议进行信息的抓取已成为普遍遵守的行业惯例,现有司法裁判规则也对爬虫协议从一般条款具体化的路径进行了确认。然而,层出不穷的爬虫纠纷挑战了现有规则下爬虫协议的权利分配机制,网站经营者设置不合理的爬虫协议同样可能违背正当竞争,而对于未设置拒绝抓取的爬虫协议,搜索引擎进行抓取应当遵循必要的限度。本文旨在从利益平衡的视角对相关主体的利益边界进行划分与排序,并探讨网站经营者与搜索引擎信息抓取方的权利边界。行文的结构大致如下:第一部分对爬虫协议进行背景介绍,指出爬虫协议被视为行业惯例的原因,并通过实务中司法裁判纠纷,提出本文所需厘清的法律问题;第二部分对爬虫协议现有司法适用规则进行梳理,对爬虫协议在一般条款具体化下的适用进行分析,并对现有规则中存在的问题进行反思;第三部分基于现有规则评价的局限,重新确立爬虫协议的规制思路,即利益平衡和比例原则判定行为正当性的评价标准;第四部分将利益平衡和比例原则运用于实践,并在行为类型化的基础上对个案进行检验。