基于聚焦爬虫的网上药品信息监测系统

来源 :浙江工业大学 | 被引量 : 0次 | 上传用户:robitewx
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近年来,随着互联网的飞速发展,网络已成为人们获取信息、传递信息的重要途径,随之而来的是网络信息呈指数级的爆炸性增长。互联网的发展虽然极大地方便了人们的生活,但由于其资源广,范围大,发布信息成本低,监管难等特点,使得许多在有形市场上受到有关执法部门强有力的打击的制假售假者逐渐将售假的平台转移到了网络上来,大量假冒侵权商品在网络上肆无忌惮地出现,一个新的“售假天堂”正在形成。为了打击日益猖獗的网络兜售假冒药品的犯罪行为,减轻工作人员的工作强度,需要对网上药品交易信息进行监测,药品信息监测的关键就是要对浩瀚的网络资源进行主题搜索,而实现主题搜索的就是聚焦爬虫。聚焦爬虫针对某个领域或面向特定主题,以获得较为理想的准确率和召回率。但大多数搜索算法都是用于大主题搜索,而专门用于特定小主题(比如药品交易监测)的搜索效果却不理想。为此,本文主要做的工作包括:1.针对论坛网站和普通网站的网络结构特点的不同,分别提出了不同的页面搜索算法。2.针对小主题搜索效果不佳的问题,在分析现有聚焦爬虫搜索方法的基础上,提出了一种对互联网特定主题进行信息搜索的组合策略。这种组合搜索策略包括页面搜索、相关度分析两部分。页面搜索算法采用了改进型的Fish-Search算法;相关度分析采用了分步算法,其中第一步采用向量空间模型。搜索算法,粗选出大主题;第二步分别采用改进型的朴素贝叶斯分类算法与k最近邻算法,从粗选结果中再精选出相关的小主题。3.在此研究基础上,开发了一套面向网上药品的信息监测系统。通过采集多个网站和论坛页面数据,结果表明,这种组合式搜索策略能有效提高爬虫的运行效率及小主题搜索的查准率。
其他文献
随着高性能网络和数字通信技术的快速发展,近年来网络视频等多媒体应用在互联网中已越来越普及。作为目前互联网视频数据传输的主要方式,流媒体传输面临的问题是启动延迟长和媒
平流层飞艇是能够携带一定有效载荷、在平流层高度进行长时间定点悬停的工作平台。平流层飞艇作为超高空平台,飞行任务包括放飞和回收、定点悬停、巡航等。由于平流层大气环境
虹膜具有丰富的、独特的纹理特征,而且与其他生物特征相比,虹膜特征更稳定、更可靠,并且不具有侵犯性,所以非常适用于身份鉴别。虹膜识别就是基于眼睛中的虹膜来进行身份识别,被认
本文阐述了DCS通信及相关软件设计和系统调试的技术细节。系统主要由现场控制站、工程师站、操作员站以及现场被控对象等组成。现场控制站以MIC-2000为硬件基础,主要实现实时
目前,我国经济正处在飞速发展的时代.尤其是在信息化的新时期,为了提高经济效益,实现高质量发展,我国经济正在由“有没有”转向“好不好”的重要时期,其经济结构体系在新旧时
近年来,未成年人犯罪的比例逐年增高,同时未成年人受到侵害的机率也在不断增大.因此,对未成年被害人的保护具有紧迫性和必要性.rn近年来,大同市浑源县人民法院审理的多起抢劫
本文根据中国及世界的水资源状况,阐述了节水的必要性和意义。进一步讲述了如何利用节水智能系统来节约水资源以及这一系统的组成原理,工作原理。 Based on the water resou
利用双目立体视觉进行场景三维重建是计算机视觉的一个热门研究领域。其主要包含标定、匹配、重建三个环节,其中又以匹配问题最为困难。同时,匹配也是计算机视觉中的基础问题,往
本课题是针对国内白炭黑工业生产中,单一的方式生产白炭黑致使其生产效率低下、精度低、难度大等问题而提出的。  虽然中国白炭黑工业发展已超过三十年,在总生产能力、产品品
壹认识郝景芳是在2013年对“新概念”作家群的采访中。不同于其他同龄作家,郝景芳拿了“新概念”以后放弃了文科加分,而是选择理科考入了清华大学物理系,直到本科毕业以后,才