基于HITS算法的微博采集系统设计与实现

来源 :山东师范大学 | 被引量 : 0次 | 上传用户:pentagon888
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博是微型博客的简称,属于博客的一种形式,是通过用户之间的关注关系来分享短小、即时信息的广播式的网络社交方式。微博在近几年迎来了爆炸式的发展,并且逐步成为目前网上最流行的社交场所之一。截至2017年9月,新浪微博的月活跃用户已经达到了3.76亿,每天的活跃用户已经达到1.65亿,微博活跃用户持续稳步增长。目前,微博网络的影响力越来越大,政府、企业、学校、明星甚至各大新闻媒体网站都开通的微博。越来越多的人们参与进来,使微博上每天都产生大量新的信息。为了利用好海量微博信息,挖掘微博的潜在价值,对微博关键信息特别是一些具有大量粉丝的在微博网络中具有较高影响力的用户所发布的微博信息的采集,在网络舆情分析中是很有必要的。因此,本文致力于研究微博信息的采集以及微博用户影响力的分析,并设计实现了一种基于Hits算法的微博采集系统。本系统主要实现的功能为对微博内容进行基于关键字的采集并根据微博用户的影响力大小对采集结果进行排序进而呈献给用户。本文主要工作包括以下几个方面:(1)阅读大量的文献和相关资料并对到目前为止的微博微博信息采集和结果排序算法研究现状进行了初步了解,在掌握微博信息采集和排序的研究背景及意义的基础上,确定了系统的需求分析,制定了系统需要实现的两个功能:信息采集、采集结果排序,并据此学习相关技术,包括网页信息采集技术,API接口调用技术,网页排序算法等。(2)本文将网页链接分析算法Hits算法应用到微博用户影响力的计算上,将微博用户之间的关注与被关注的关系看作是网页之间的连接关系,并结合微博用户的特点对其加以改进提出基于Hits算法的微博用户影响力评价算法。改进后的算法能较好的提高排序结果的准确性。(3)在系统需求分析的基础上,设计了基于Hits算法的微博信息采集系统的各个功能模块,主要包括微博内容采集模块,用户信息采集模块、用户关系采集模块以及利用改进Hits算法的采集结果排序模块。具体地说,微博内容采集模块主要实现了基于关键字的微博内容采集功能;用户信息采集模块主要是根据前一步采集结果的用户名,对各个用户的信息进行采集,包括用户的好友数、粉丝数、微博数等等;用户关系模块主要是对用户之间的粉丝对应关系进行采集;采集结果排序模块主要是对采集结果进行数据分析,计算用户的影响力并根据用户影响力的大小对采集结果进行排序,最后在系统界面上呈现出来。最后对数据库表进行设计,以保证存储数据的完整与准确。(4)在系统层次设计的部分,根据提高内聚、降低耦合的思想,系统运用体系架构分为三层:数据访问层、领域层、表示层;此外,本系统所使用数据库版本是Microsoft SQL Server 2008,开发环境为Visual Studio 2010。最后,通过测试,发现本文设计系统能较好的完成数据采集功能,并能较为准确的提供排序结果。
其他文献
“盘索里”是在朝鲜半岛广为流传的一种艺术形式,之后随着大量的朝鲜族迁移到东北地区,经历了近百年的传播发展,终于在东北地区生根发芽,逐渐成为了延边朝鲜族自治州具有代表性的音乐文化名片。演出形式主要是“一人立以说唱,一人席地伴奏”,在延边地区主要伴奏乐器是仗鼓,在朝鲜半岛主要是以索里鼓为主。在曲目方面,现存“盘索里”的曲目具有很高的文学性,基本是以朝鲜半岛的经典名著为脚本,文化意义影响深远。这一曲艺艺
当今世界各种技术和管理问题日益复杂化和多维化,这种变化促使人们认识问题和解决问题的思维方法也发生了变化,管理思想也从纵向思维朝向横向思维方式转化。在经济全球化的背
近年来,影响学习者语言学习的个人因素,尤其是情感因素与学习策略,受到了二语习得研究者的重点关注。焦虑,作为最重要的情感因素之一,会造成学习者在学习策略使用上的差异,而学习者成功的使用某项学习策略也会达到缓解语言学习焦虑的效果。本研究通过外语课堂焦虑量表(FLCAS)与语言学习策略量表(SILL)对大连市某中学180名高一学生进行了问卷调查,并对其中高焦虑与低焦虑的学习者进行了访谈,使用SPSS 2
由于鸡在畜牧养殖、科研、教学中的价值日益突出,而又缺少确实可行的鸡的麻醉方法。因此,研究鸡的安全、确实的复合麻醉用药势在必行。本研究以健康海兰鸡为实验动物,选取适用于鸡的不同类麻醉药,进行复合使用。通过观察麻醉过程确定麻醉效果;通过临床常规监测,判断复合方案对鸡常规生理机能的影响;通过肝肾功能、血常规和血液电解质相关指标的检测,观察复合麻醉用药对机体麻醉时主要脏器、血液成分的影响。结合各部分试验结
生殖细胞基因编辑技术自2013年被发现以来,在生物界引起广泛的关注。作为一种特效的疗法,通过生殖细胞基因编辑技术对致病基因进行“剪除”,成为了现代生物医学研究人员追求的目标。然而,“贺建奎事件”的出现让学界开始对生殖细胞基因编辑技术重新审视。生殖细胞基因编辑技术以人体作为实验对象,引发了一系列社会、伦理、法律争议。我国有关生殖细胞基因编辑技术的法律规范存在较多不足。如何通过法律实现良好的监管和治理
毫米波介质材料已广泛应用于卫星通信、军事航空航天、精确制导等行业各领域,且经常需要工作在变温环境下。对于如高速飞行的航天飞行器上的天线罩等介质材料,需要经历常温至
钢筋的锈蚀是混凝土结构劣化的主要原因。这种恶化对残余强度的影响是确保混凝土结构安全运行的关键。虽然近年来已经进行了大量的研究来开发、预测钢筋混凝土结构使用寿命的模型,但是主要集中在新建筑和使用寿命的起始阶段,直至钢筋锈蚀开始,讨论钢筋先锈蚀后埋入混凝土对在建结构后续使用寿命阶段的强度的影响的研究较少。本文针对钢筋先锈对混凝土粘结性能影响展开精细化的试验研究和理论分析,提出粘结应力与滑移新的求解方法
柴油机作为效率最高的移动式动力装置,在国民经济各个领域和各级军事装备中得到了广泛应用。但其在低温环境下冷起动困难。而我国幅员辽阔,冬季寒区分布广泛,因此该问题必须
学习生词,是课堂教学中十分重要的环节,为了帮助外国学生更好地掌握汉语,对外汉语教材都会对生词进行翻译。正确的生词翻译有助于学生快速学习生词和理解生词的意义和用法,能
近年来首钢矿业公司信息化项目不断上线,从生产系统到公文处理、财务、人力、运输、物资、质量再到计量系统,信息化已经渗透到了公司日常办公和生产的各个角落。信息化对公司