论文部分内容阅读
从爬虫协议的法律性质出发,研究了爬虫协议的内容,区分了爬虫协议以及根据爬虫协议制定的robots.txt。从反不正当竞争法角度而言,设置排斥性条款的robots.txt可能违背爬虫协议的自由和公平精神,从而违反公认的商业道德和诚实信用原则。从反垄断法角度而言,如果没有合理理由,具有市场支配地位的服务商利用robots.txt进行拒绝交易和歧视对待行为,可构成垄断行为。