近年来,由恶意爬虫导致的违法犯罪案件层出不穷,根据有关统计,恶意爬虫攻击呈连年成倍增长趋势,安全威胁日益突出。因此,设计并实现一个符合时代需求的恶意爬虫检测系统非常必要。常见的检测技术有误用检测和异常检测,误用检测准确率高但灵活性差,不能适应于攻击手段的变化,异常检测算法灵活性好但通常存在误报率较高的问题。恶意爬虫的检测既需要高准确率也需要很好的灵活性和适应性,为此,本文采用误用检测和异常检测结合的方式,针对恶意爬虫的特点,使用浏览器指纹技术作为误用检测,使用孤立森林算法作为异常检测,通过维护和更新指纹库,高效地对恶意爬虫进行识别。本文工作如下:（1）基于Shannon熵提取浏览器指纹特征,总共选取了14个特征作为浏览器指纹。针对浏览器指纹的特征可能经常发生变化,选用贝叶斯网络作为指纹识别算法,由于结构学习较为复杂,且训练数据并不完备,本文采用专家知识的方式进行贝叶斯网络结构的构建,采用最大似然估计方法对参数进行学习。（2）针对传统爬虫检测系统中无法在线实时检测和无法根据数据流变化而进行模型调整的问题,提出了一种基于数据流改进的孤立森林实时检测算法。根据恶意爬虫访问的特点将孤立森林算法模型改进为流模型,改进后的算法模型能够对森林中的孤立树进行动态更新。采用缓冲区的方式,在模型初步建立后,将数据存入到缓冲区,当缓冲区达到一定阈值后,采取对孤立树进行裂变的形式对森林进行更新。更新完成后会对检测结构偏差较大的树进行丢弃,然后根据相应的规则构造新树进行替换,保证森林中树的恒定。（3）在研究指纹技术和孤立森林算法的同时,本文希望在现实场景中对算法进行实现,在解决现实问题的过程中得到完善。于是在算法的基础上,基于Flink设计并实现,搭建一整套企业级恶意爬虫检测系统。最后的实验表明,本系统在对恶意爬虫的检测能力方面有着优异的表现。