搜寻引擎必须以crawler程式(又称spider程式)来自动抓取网页并建立索引,如果crawler程式仅仅循着网页所提供的超连结来搜寻网页并抓取內容,称为一般性的crawler程式;如果不论网页是否提供超连结,crawler程式会自行计算并找到网页的所有內容并加以抓取,此种crawler则称为深度crawler。而crawler抓取网页內容的步骤可以细分为「取得资料」及「储存并建立索引」二大步骤。在「取得资料」阶段中,深度crawler虽然是自行透过演算法来取得网页的所有內容,但本文认为仍不至于构成非法存取(unauthorizedaccess)。此外,不论是一般的crawler或是深度crawl-er,如果取得网页內容时会耗费网站资源而干扰网站的正砊俗?就可能构成如美国eBay案中讨论的财产侵害(trespasstochattel)。在「储存并建立索引」阶段中,原则上应该不会侵害网页拥有者之重制权。然而,有些搜寻引擎(例如Google)将其取得的內容以「库存页面」(cache)的方式允许使用者存取,此时即有争议发生。但本文以为,由于搜寻引擎的主要目的是在使网路使用者更容易接触网页,所以此种「重制」与「散布」行为原则上应有著作权法「合理使用」原则的适用,故不会构成侵害著作权,但仍应考虑搜寻引擎与原网站之间是否处于竞<关系,以及所抓取之资料量占原网站之比例等因素综合判断。要解决搜寻引擎与网站间可能发生的法律<议,除可以强化现行的robotexclusion标准外,网站也可以考虑增强自动过滤crawler的功能,以杜绝<议。