Web robot(网络爬虫)作为一种网络资源获取程序,在广泛应用于信息搜索的同时,也带来了一些负面影响。Robot对网站资源的集中获取导致网络流量增加,使网站响应性能下降;Robot对网站的访问严重影响基于日志的各种数据挖掘工作的结果;恶意robot会造成隐私数据泄漏、资源滥用、点击欺骗等问题。因此出现大量robot检测技术对robot进行检测,并在必要的时候屏蔽其对网站的访问。本文介绍了现有的robot检测技术,并对他们所采用的方法、技术和优缺点做了详细的论述。介绍了陷阱技术在robot检测中的应用现状,针对陷阱检测中陷阱设置策略简单、缺乏相应理论和模型支持等问题,提出了一种新的robot检测模型——基于陷阱技术的robot检测模型。基于陷阱技术的检测模型,采用隐藏链接来捕获robot,可移植性强,可方便的布设到需要进行robot检测的网站中。陷阱检测模型和其它检测技术一样不但具有常规robot的检测能力,而且由于陷阱的特殊森林结构,使其具有分布式robot的检测和区分能力,与其他检测技术相比,体现了陷阱技术的优越性。文中结合robot访问网站的覆盖率和陷阱链接的布置率两个因素,对模型的检测能力做了详细的分析,指出了陷阱检测模型的优缺点,详细探讨了陷阱的布置策略对robot检测效果的影响。最后,设计了具体实验,结合陷阱检测模型特点,对模型的各个功能模块做了具体实现,开发了一个robot检测分析系统,并发布到互联网上。通过对实验数据进行分析,验证了陷阱检测模型对robot检测具有较好的准确率和召回率。