论文部分内容阅读
随着信息技术的飞速发展,网络越来越成为人们获取信息资源、表达思想看法的重要途径,民众针对热门人物或事件所持有的态度、信念和价值观的表达,在互联网上汇聚成不可忽视的舆论力量,网络舆情监测系统应运而生。社会事件的关键是人,通过人物抓取相关社会事件和舆论资源,以提供给相关部门作为决策依据,是舆情监控系统发展的一个重要方向。本人在北京市微普科创科技有限公司实习之际,参与了公司面向知名人士的舆情监控系统《校友大数据》的设计开发工作。在项目中,本人主要负责舆情信息采集子系统的设计实现工作。舆情信息采集技术的基础是互联网搜索技术,这就使得它和搜索引擎在设计思路、技术实现上,有着许多相同之处,通过研究搜索引擎技术,可以为舆情信息采集提供宝贵经验。本人在项目之初,为获得较好的采集广度和准确性,研究了搜索引擎基本原理,对比了现有搜索引擎技术,特别研究了元搜索引擎关键技术,最终确定项目的技术架构,并吸收全文搜索引擎索引的优点来实现舆情信息采集系统。具体改进包括:(1)在查询转换上,分析了非定向采集和定向采集站点的查询规则和页面结构,实现了精准采集;(2)基于对舆情信息系统存储特殊性的考量,在对元搜索引擎改进方面,建立了元搜索引擎的网页数据库;通过实验对比Lucene内存倒排索引来进行方案优选,建立了MySQL倒排索引数据库,更好地实现了站内全文搜索功能;(3)在元搜索消重策略选择上,通过对现有方案的对比分析,优选出适合本系统的标题和正文关键词结合的向量空间算法,得到最佳消重策略;(4)在舆情信息结果排序方面,基于对舆情监控系统展现层兴趣排序的需求,从元搜索引擎排序技术中得到启发,借用并改进了HITS算法,使得排序结果更大程度上满足用户需求,并通过实验验证了设计的合理性。在实现兴趣排序的同时,通过结合垂直搜索思想解决了HITS算法存在的主题漂移问题,最终通过系统测试来证明了改进排序算法的优越性;(5)在定向采集上,本人通过对贴吧结构的分析,建立了贴吧概念模型,结合舆情采集需求,建立出概念模型,最终确定系统物理模型。最终通过项目开发实现了本系统,并在系统运行数据的基础上设计测试并进行统计分析,最终验证了设计的合理性,具体包括:(1)系统采集新闻信息覆盖超出传统搜索引擎的17%,证明了采集系统使用元搜索引擎的优越性;(2)在HITS算法改进之后,页面排序中的首页点击率提高13%,前三页总点击率从67%上升到了83%,说明通过结合用户兴趣能够提供给用户更好的搜索结果,减少了用户的使用成本,提升了用户体验;(3)改进HITS算法主题漂移现象得到遏制;