“网络爬虫”技术在搜索引擎上的运用由来已久。随着时代的进步,网络信息技术的不断发展,该项技术的运用范围越来越广泛。但随之而来的,不仅仅是信息共享带来的便利,也引发了诸多法律上的问题。虽然立法层面未予规定,但对爬虫技术的不正当使用的法律规制却是一个亟待解决的问题,在信息传输和大数据人工智能飞速发展的今天,采用爬虫技术抓取数据这一行为,已经成为各公司争夺市场资源,提高市场竞争优势的一种手段,与此同时一些采用爬虫技术的抓取行为的使用人,可能已经了侵犯互联网经营者和用户甚至公共的利益,这种行为应当受到法律的制裁。因此,明确网络服务提供者爬虫行为的法律性质,判定其合理使用与不正当使用的界限,对于规范市场秩序、保障各主体权益具有重要意义。本文从爬虫行为的典型案例切入,应用规范分析法、案例分析法等典型方法分析其规制现状,总结规制中的不足,并提出以爬虫协议为基础构建分类规制体系的规制建议,以期达到技术发展与法律规制之间的平衡,助力中国数字经济的高质量发展。本文除绪论和结论外,正文由四大部分构成。第一部分“网络服务提供者爬虫行为的概念界定”。本部分首先介绍了爬虫技术,然后将网络服务提供者的爬虫行为界定为网络服务提供者通过爬虫技术获取互联网上其他经营者网站的数据,并解析数据,从而得到相关信息的行为,最后将爬虫行为分为正当爬虫行为与不当爬虫行为两类,并简述爬取方与被爬取方各自常见的不当爬虫行为有哪些。第二部分“网络服务提供者爬虫行为法律规制的基本理论”,先介绍对于爬虫行为规制具有指引作用的爬虫协议,并得出遵守爬虫协议是一项商业道德的结论,再分析爬虫协议与爬虫行为的关系;再根据前一章对于网络服务提供者不正当爬虫行为的分类,对每一类行为究竟是构成违约、侵权抑或是不正当竞争进行逐个的定性分析。第三部分“网络服务者提供者爬虫行为法律规制的现状与困境”,先介绍目前立法上有哪些规定可以用来规制网络服务提供者的不当爬虫行为,再结合国内外典型案例,分析司法适用上的现状。第四部分“网络服务提供者爬虫行为法律规制的建议”,首先提出分类规制的总体思路,再进一步分析具体规制中怎样进行利益考量,最后提出在“互联网专条”中增设“爬虫条款”,明确爬虫协议的正当性判断标准,建立经营者之间和解程序等建议。