论文部分内容阅读
近年来,随着移动通信技术的发展和移动终端的普及,移动用户数量激增,数以亿计的用户每天产生海量的移动流量记录。如何对如此大量的数据进行高效和准确的分析,从而充分理解移动互联网流量特性,掌握移动用户的上网行为,为用户提供更加优质的移动网络服务,成为了移动运营商和互联网内容提供商都非常关心的研究课题。本文研究通过分布式大数据处理技术和机器学习方法相结合的方式来对海量移动互联网流量数据进行分析和预测。重点研究了其中的两个问题,一个是移动用户和服务器的交互行为预测,另一个是移动视频流量识别。通过分析发现,这两个问题都有着相同的特性:都可以当做二分类问题来处理,以及数据都只有少量正例样本和大量无标记样本。因此,本课题尝试利用在文本分类问题中使用较多的PU学习算法来解决。本文的主要创新点如下:(1)针对移动用户和服务器交互预测问题,设计了 194维的特征来表征每一条用户和服务器连接记录,并提出了改进的基于Spy的PU学习算法。在Spark平台上,基于MLlib机器学习库设计并实现了基于K-means的PU学习算法、基于Biased-SVM的PU学习算法以及改进的基于Spy的PU学习算法。通过在真实移动流量数据上的实验,验证了基于PU学习算法来预测用户的服务器交互行为具有良好的性能。(2)针对移动视频流量识别问题,设计了 105维的特征向量来表示每一条移动流量记录,并从真实的移动流量数据中过滤了部分移动视频相关的数据作为该任务的实验数据集。通过实验分析了 Spark平台上设计并实现的三种PU学习算法的性能,验证了基于PU学习算法进行移动视频流量识别具有较好的准确性。这对于更加高效准确地对移动互联网流量进行分析,提升网络服务质量具有很大帮助。