论文部分内容阅读
随着计算机技术的不断发展和互联网Web 2.0时代的来临,社交网络(如:Twitter、Facebook、微博)逐渐成为当今国内外社会化媒体的重要平台。微博服务平台作为社交网络的一种,也吸引了越来越多的人通过他们与其他用户之间建立的社交网络来分享他们的日常生活或当前热点事件的看法与观点。凭借其简便快捷的信息生成机制和传播机制,社交网络上每天都会产生大量反映当前社会热点事件的数据信息。社交网络上大规模用户以及海量实时数据,使得热点事件检测成为研究热点,让社会舆情分析、谣言检测或信息推荐都变得可能。社交网络信息的短文本特征和不规范语言给重大焦点事件的检测带来新的挑战。首先,海量的社交网络文本信息流中含有很多与当前热点事件毫无关系的噪音文本信息。其次,大规模的文本数据集合要求热点事件检测方法必须更加高效、准确。社交网络平台中除了文本信息还有大量其他相关信息,现有的事件检测方法没有有效利用此类相关信息,而且对噪音文本数据的处理还不够高效。此外,基于主题模型的事件检测方法最后的检测结果为主题,但不是所有主题都能形成真实事件,需要进一步的识别与判断。现有的事件检测方法对事件的检测结果都需要人工标识,不够智能化。针对以上问题,本文提出了一种新颖的基于PLSA(Probabilistic Latent Semantic Analysis)的热点事件检测模型EVE(Efficient e Vent d Etection),通过分析微博平台上的文本数据流来聚类内容相似的微博帖子从而实现热点事件的检测。本论文的主要研究内容和创新点如下:1.经过对社交网络平台相关信息的研究,EVE事件检测模型充分利用微博与用户之间相互增强的关系,提出并采用了关系评价算法来筛选出高质量的微博和高影响力的用户,减小噪音文本的影响和降低数据集合的规模,从而达到高效率、高精度地检测热点事件的目的。2.为了进一步提高事件检测的效率,通过对参数估计算法的深刻理解和研究,提出并使用一种基于微博权威值赋值初始化方法来对EM参数估计算法中的目标参数进行初始化赋值,加快EM算法的收敛速度,从而提高事件检测的效率和准确率。3.为了让事件检测更加智能化,通过对相似度算法的研究,提出了基于余弦距离的智能识别真实事件的方法,较高效、较准确地自动判断主题是否形成事件和确定事件的关键微博。实验表明,在时间开销和准确率方面,EVE事件检测模型都优于基准模型,能够高效率、高精度地进行事件检测,且智能识别方法能够准确、智能地判断和显示事件的相关关键微博和关键词等信息。