论文部分内容阅读
随着社交平台和移动互联网的普及,微博逐渐成为人们分享和获取信息的主流平台之一。特别是近年来国内外重大事件,大量一手资讯都先出现在微博网络。微博网络内信息能够快速传播是其在信息传播方面的主要优势,而其中信息得到快速传播的主要方式就是依靠微博用户的转发行为。因此,对于微博网络转发行为的研究具有重要研究价值和实际意义。本文主要进行了微博转发行为预测和转发规模预测的相关研究。 本文使用基于爬虫模拟登录的数据采集方式爬取大约84万条微博信息。在特征提取方面,扩展出了用户活跃度和博文影响力特征。针对微博文本短、词语相关性难以挖掘的问题,通过加入作者主题分布和对转发微博的处理来改进标准LDA模型在短文本处理上的缺陷。针对数据集中存在本身与预测无关的特征以及冗余特征,本文采用混合选择的方式,首先剔除无关特征或噪声特征,使后续特征搜索规模得到有效缩减,然后将选取后的特征通过封装方法继续进行优化选取。即使用改进的奇异值分解(Singular Value Decomposition)实现数据降维去噪后,根据随机森林算法(Random Forest)本身的变量重要程度对特征排序,其中使用分类准确率作为特征可分性判据,利用可回溯的贪婪搜索扩张,最好优先原则选取特征子集。 通过实验研究发现,微博转发规模较大用户在全部用户中占比很低,即微博的转发规模总是存在幂律分布。由于微博的转发量的不平衡性会导致某些模型为了在训练时得到更小的损失函数而偏向于预测较小的值。针对该问题,提出了两阶段模型。在第一阶段,使用不易过拟合的随机森林算法来预测微博是否会被转发,根据预测结果剔除数据集中大量不被转发的微博数据。第二阶段对上述已剔除转发量为零的数据集训练随机森林算法来预测转发规模。这样就能有效降低数据不平衡的影响。实验结果符合预期,在验证了特征筛选的有效和必要性的同时,验证了两阶段模型的有效性。