微博大数据文本分析方法及推荐服务

被引量 : 2次 | 上传用户:fragile2001000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
微博,即微博客(MicroBlog)的简称,是一个基于用户关系的信息分享、传播以及获取的平台。用户可以通过WEB、WAP以及各种客户端组件个人社区,以140字左右的文字更新信息,并实现即时分享。微博比传统的社交网络具有更强的信息传播能力和用户粘性,这一独特优势使其迅速成为当前主要社会媒体之一。同时微博作为一种非常重要的消息来源与传播途径,在越来越多的社会事件中起到关键作用。对微博数据的分析与研究已经成为目前的研究热点之一。本文以新浪微博数据作为研对象,主要对新浪微话题数据进行文本处理,分析其媒体特征及其对传统搜索查询词推荐服务的优化,并讨论大数据环境下处理效率的问题。本文的主要工作包括以下四个方面:1)针对新浪微话题数据的抽取,我们采用了基于Html页面解析的方式来获取数据,解决新浪API数据获取接口不完全开放,数据无法完整获取的问题;2)提出用户参与度和用户活跃度,话题热度和话题活跃度这四个指标,实现新浪微话题的媒体特征分析。并重点讨论了其话题特征,给出了话题演变的趋势图,并研究了基于LDA主题模型的微博语义抽取。数据统计结果表明微博文本的话题性强、时间性强。由于微博文本短小,直接采用LDA做潜在语义抽取的效果并不理想。3)针对微博文本大数据处理这一块,我们采用Hadoop框架下的MapReduce编程模型实现了关键字的倒排索引。除了能够根据查询词定位到某条微博,还原微博文本信息推荐给用户,还探讨了不同数据大小以及不同节点的情况下,对微博数据处理所花费的时间的影响;4)提出基于微博话题的Web查询词推荐方法,更高效地帮助用户快速地表达他们的信息需求以及更准确地获取他们所需要的信息。目前大量实时热门的话题在短时间内大量涌现,而目前搜索系统的查询词一般依赖历史搜索记录,如何去有效地对历史记录里面没有或者少有的词给提供推荐服务将会变得比较困难。本文所提出的方法考虑到微博这种新型的网络社交媒体中的强话题性和快速性,充分利用微话题下的评论信息去挖掘潜在的推荐,从而给出了Web新鲜方面的查询词推荐。
其他文献
目的观察生长抑素联合加贝酯治疗重型急性胰腺炎的疗效。方法选取我院重型急性胰腺炎患者53例,分为单用生长抑素组、生长抑素联合加贝酯组、生长抑素联合乌司他丁组。观察血
标准的少先队礼,流利的普通话,优雅的引导,生动形象的解说,跟随着小解说员,我们来到了吉安市“1+1素质教育”流动会现场。流动会上,学生们尽情展示自己的才华,舞蹈、钢琴、书
中国共产党人的初心和使命,就是为中国人民谋幸福,为中华民族谋复兴。“不忘初心、牢记使命”作为党的政治话语和政治概念,经历了一个“普通词汇——命题出场——内涵厘定—
目的探讨超声引导下经皮穿刺活检肝脏局灶性病变并发症的影响因素。方法回顾性分析我院248例行超声引导下经皮肝穿刺活检术的肝脏局灶性病变患者临床及影像学资料,采用单因素
“想”字在以《现汉》为代表的汉语词典中共有6个义项。文章运用语料库的方法,采用定量与定性相结合的形式,对“想”字在现代汉语中的义项分布情况进行了重新描写,建议在《现
葡萄酒中的乳酸菌是葡萄酒苹果酸乳酸发酵(Malolactic Fermentation, MLF)的启动者和执行者,对葡萄酒质量的提升具有重要作用,尤其是酒酒球菌。因此筛选适应本土的优良酒酒球菌
通过对高层建筑自动提升卸料平台组成、安装等方面的阐述,以工程实例为例针对自动提升卸料平台从设计计算、安装、验收进一步说明自动提升卸料平台比以前使用的脚手架卸料平
葡萄酒的酿造过程包括两个阶段:酵母主导的酒精发酵和乳酸菌主导的苹果酸-乳酸发酵,苹果酸-乳酸发酵对葡萄酒香气物质的形成具有重要作用。参与苹果酸-乳酸发酵的主要乳酸菌是
面对当前越来越多无法预测的自然灾害的变化,对高性能建筑材料的要求越来越高,为了加强建筑工程的安全性,提高建筑结构混凝土动态冲击、抗震抗风性能是极为重要的关键。基于
港珠澳大桥的修建,使珠海直接与香港陆路相连,一方面,港珠澳大桥会对珠海旅游业产生一定的促进作用,另一方面也会在基础设施、服务模式和同业竞争等方面对珠海旅游业形成挑战