论文部分内容阅读
微博作为当前最流行的社交网络平台之一,用户可以通过计算机或移动终端关注和分享自己感兴趣的信息,发表个人观点等。微博已经成了一个实时信息获取、分享、交流和传播的平台。互联网上每天都产生着数以亿计的微博数据,这些由用户所产生的海量微博数据背后蕴含着巨大的商业价值,而准确地分析用户兴趣对挖掘微博价值和提升微博用户体验有着重要的意义。本文基于模拟浏览器行为的方式爬取海量微博数据,然后对微博数据进行自动清洗,再利用切词、分类、关键词抽取等多种自然语言处理技术对处理后的用户微博数据进行分析和挖掘。本文主要工作如下:第一,通过Http Watch9.1截取和分析网页数据流,并基于模拟浏览器行为技术和清洗模式规则技术,自动化爬取、采集和清洗海量微博数据;第二,结合微博内容特性,对传统TF-IDF算法模型进行应用改进和拓展,提出融合基本IDF词典和联合兴趣度的动态IDF词典的用户个性化IDF词典,并基于改进的TF-IDF算法应用模型抽取基于用户微博内容的兴趣关键词;第三,研究分析了广义僵尸用户的定义和判别特征的选择,并针对微博用户特点,使用基于多特征融合的AdaBoost.Ml分类算法对目标用户的关联用户进行分类和处理;同时在传统排名算法PageRank的基础上,考虑微博用户关联关系特性,提出了RelationRank算法对关联用户进行重要性排序,最后通过筛选所得到的关联用户的微博内容对目标用户的兴趣进行描述。最后,基于上述研究内容,文中采用模块化分层设计思想,设计并实现了一个微博用户兴趣挖掘平台,并通过实验对比分析了兴趣挖掘平台的有效性和准确性。