当前分布在互联网上的APK网站数目众多,质量参差不齐,恶意APK泛滥,容易造成用户误下载后遭受隐私泄露、恶意扣费、电信诈骗等威胁,对这些网站的APK进行实时爬取并监控是降低危害的必行之举。但现有常用的识别页码链接的算法,如GL&CSL、BERyL、XPath最长路径探测等,存在识别时间长、准确率低等缺点,目前常见的提取搜索结果算法,如ViPER、CTVS和STEM算法等,也存在提取时间长、误提取推荐列表等缺点。针对上述问题,本文调研了现有研究现状和爬虫关键技术,提出了新的页码链接识别算法以及信息提取算法,并设计与实现了APK爬虫系统。具体工作总结如下。第一,为解决识别页码链接算法时间长、准确率低的问题,本文提出了一种基于分页元素文本和超链接特征的页码链接识别算法。该算法首先筛选出符合要求的DOM树,然后根据DOM树中的文本、超链接等特点进行过滤。通过在大量网页中进行实验表明,本算法在提高准确率的同时,降低了识别页码的时间,效果更佳。第二,为解决提取搜索结果算法时间长、噪点多的问题,本文给出了一种基于路径签名的搜索结果提取算法。该算法对页面DOM中的路径生成签名并对相似签名进行路径聚合,然后使用过滤器对噪点信息进行过滤。通过在大量网页中进行实验表明,本算法能够有效过滤推荐列表信息,同时由于避免对页面进行渲染即可获得搜索结果,因此提取时间短,性能优于其它算法。第三,设计并实现一个自动化APK爬虫系统。为了使爬虫系统具有更好的扩展性和可靠性,本文搭建了分布式Redis与Mycat集群服务,并使用Conductor作为各个任务的调度框架,以保证效率。在多个网站上的实验表明,本系统无需人工干预即可自动化爬取分布在互联网上的APK。