论文部分内容阅读
主观感知是感知心理学中的重要内容,在互联网和信息科技领域中,通常以主观感知为基础,从用户的主观角度出发进行研究,期望达到以用户满意为标准来指导网络、应用、业务优化的目的。而在实现过程中,需要在客观数据的基础上对主观感知这种抽象概念进行具体的量化计算,这往往会涉及到数据挖掘中的许多学习训练方法。同时,随着大数据时代的到来,将数据挖掘方法和云计算进行结合也成为数据挖掘发展的主要趋势之一。本文中对主观感知中的两个子课题——微博平台中用户影响力的评价和网络业务使用中用户体验质量的评估给予关注,借助数据挖掘中的方法,分别进行深入的分析和定量计算,并在大数据时代的背景下,将使用的算法在hadoop上进行了具体的实现,主要内容如下:首先,本文深入研究了新浪微博中信息的传播模式,在PageRank算法的基础上,提出了新的MURank算法,不仅考虑了用户间的关注关系,而且使用了用户和微博间的发送关系,以及微博间的转发评论关系,同时构建的用户-微博模式图也更符合实际微博平台中信息的传播模式。通过实验证明MURank能够有效地解决“僵尸粉”和“等级沉没”问题带来的影响,更真实地反映了用户的影响力水平。然后,本文对QoE层次指标体系进行了改进和细化,提出了新的五层指标模型,详述了其中每一层指标的意义和定义方法,结合BP神经网络算法在该模型的基础上对QoE进行具体的量化计算,并以移动视频业务为例对指标体系的建立过程和QoE定量评测的方法进行了说明。最后,本文对当前应用最广泛的开源分布式平台hadoop的基本架构和功能进行了介绍,在此基础上对提出的Murank算法和BP神经网络算法进行了MapReduce分解和实现,并在hadoop平台上运行,通过实验对其收敛性、正确性和有效性进行了验证,为未来面临的海量数据的挑战提供了一种解决方法。