基于元搜索的舆情信息采集系统的设计与实现

来源 :北京交通大学 | 被引量 : 1次 | 上传用户:galatea
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术的飞速发展,网络越来越成为人们获取信息资源、表达思想看法的重要途径,民众针对热门人物或事件所持有的态度、信念和价值观的表达,在互联网上汇聚成不可忽视的舆论力量,网络舆情监测系统应运而生。社会事件的关键是人,通过人物抓取相关社会事件和舆论资源,以提供给相关部门作为决策依据,是舆情监控系统发展的一个重要方向。本人在北京市微普科创科技有限公司实习之际,参与了公司面向知名人士的舆情监控系统《校友大数据》的设计开发工作。在项目中,本人主要负责舆情信息采集子系统的设计实现工作。舆情信息采集技术的基础是互联网搜索技术,这就使得它和搜索引擎在设计思路、技术实现上,有着许多相同之处,通过研究搜索引擎技术,可以为舆情信息采集提供宝贵经验。本人在项目之初,为获得较好的采集广度和准确性,研究了搜索引擎基本原理,对比了现有搜索引擎技术,特别研究了元搜索引擎关键技术,最终确定项目的技术架构,并吸收全文搜索引擎索引的优点来实现舆情信息采集系统。具体改进包括:(1)在查询转换上,分析了非定向采集和定向采集站点的查询规则和页面结构,实现了精准采集;(2)基于对舆情信息系统存储特殊性的考量,在对元搜索引擎改进方面,建立了元搜索引擎的网页数据库;通过实验对比Lucene内存倒排索引来进行方案优选,建立了MySQL倒排索引数据库,更好地实现了站内全文搜索功能;(3)在元搜索消重策略选择上,通过对现有方案的对比分析,优选出适合本系统的标题和正文关键词结合的向量空间算法,得到最佳消重策略;(4)在舆情信息结果排序方面,基于对舆情监控系统展现层兴趣排序的需求,从元搜索引擎排序技术中得到启发,借用并改进了HITS算法,使得排序结果更大程度上满足用户需求,并通过实验验证了设计的合理性。在实现兴趣排序的同时,通过结合垂直搜索思想解决了HITS算法存在的主题漂移问题,最终通过系统测试来证明了改进排序算法的优越性;(5)在定向采集上,本人通过对贴吧结构的分析,建立了贴吧概念模型,结合舆情采集需求,建立出概念模型,最终确定系统物理模型。最终通过项目开发实现了本系统,并在系统运行数据的基础上设计测试并进行统计分析,最终验证了设计的合理性,具体包括:(1)系统采集新闻信息覆盖超出传统搜索引擎的17%,证明了采集系统使用元搜索引擎的优越性;(2)在HITS算法改进之后,页面排序中的首页点击率提高13%,前三页总点击率从67%上升到了83%,说明通过结合用户兴趣能够提供给用户更好的搜索结果,减少了用户的使用成本,提升了用户体验;(3)改进HITS算法主题漂移现象得到遏制;
其他文献
前总统俱乐部、五角大楼公司、出色的投资集团……到底哪一个才是真正的凯雷。    投徐工,投太保寿,投重庆商行;投携程,投聚众,投安信地板;投上海的别墅,投北京的公寓……在中国的这些投资,对凯雷来说,大概纯属小打小闹。  凯雷有钱,虽然成立不过20年,却管理着超过469亿美元的资金;凯雷有人,在它390多名投资专家中,有来自名校的160名MBA和28名法律职业博士;凯雷有名,迄今为止,它用240亿美
变电站日常巡视设备的目的是为了监视设备的运行状态,运维人员是变电设备的主人,更应全面的掌握设备的运行及缺陷情况。据统计变电站高压电气设备大部分缺陷为运维人员巡视中发
近年来,命名成为了社会言语活动中的一个重要组成部分,而电影命名自然也包含在内。电影作为大众休闲娱乐的方式,它的片名往往是人们对影片的第一印象,所以说电影命名是一部影
贪功是企业家的毛病,因为他们要自我实现。在本田公司,本田宗一郎是社长,藤泽是总经理,一个管技术,一个管经营。一次,藤泽建议本田研发四冲程发动机,这正中本田下怀,但本田不听藤泽的
目的探讨脑钠肽检测在感染性休克患者早期容量复苏及预后评估的指导意义分析。方法选取我院2014年6月2017年6月收治的ICU治疗的感染性休克患者52例的临床资料,均采用EGDT治疗
利用广东省86个气象台站近52年(1962—2013年)逐日降水量资料,统计了逐年各台站及全省开汛期(rain season onset date/RSOD),并对广东省开汛特征及其与前汛期降水的关系进行
当前我国正处于城镇化的加速阶段,全国范围内的村镇聚落格局正发生着巨大的变化.对城镇扩张进行监测与研究,为城市发展战略的制定提供决策支撑,是保证区域可持续发展的重要手
灌浆工程的现场管理非常重要,要求管理人员必须熟悉灌浆工程的现场管理要点及具体管理事项,本文从现场的水泥库、制浆站、记录棚、现场验收签字,灌浆管理检查及灌浆成果分析及统
九月里因事过广东新会。新会是梁启超的家乡,又是元灭宋,丞相陆秀夫背着小皇帝跳海的地方,过去为县,现在是江门市的一个区。我万没有想到在这样一个小地方竟有一个资料丰富的
目的:探讨原发性高血压病(EH)患者不同中医证型与肾素-血管紧张素系统(RAS)关键基因血管紧张素转化酶(ACE)、血管紧张素原(AGT)、血管紧张素Ⅱ-1型受体(AT1R)基因交互作用的