论文部分内容阅读
随着3G、4G网络的普及,移动互联网得到了快速发展,同时伴随着移动终端市场的成熟和智能终端的推陈出新,蜂窝网络的用户规模也不断扩大,蜂窝网络数据业务成为了人们的重要研究对象。随着蜂窝网络数据流量的与日俱增,如何利用大数据技术分析研究海量蜂窝网络数据已经成为了当今的研究热点。对海量的蜂窝网络数据进行分析与研究,一方面将有效地促进现有蜂窝网络建设的规划,从业务角度来提升网络的性能;另一方面,通过蜂窝网络数据挖掘出隐含的、有用的信息,已经成了商业、工程领域的迫切需求。本文通过搭建蜂窝网络大数据平台,对蜂窝网络业务数据进行研究。对大尺度下的城市快照时空模式进行了分析,同时在小尺度上挖掘用户的搜索兴趣。论文主要工作包括:一、基于现有的Hadoop、Spark等大数据技术,并结合蜂窝网络数据业务的处理需求,搭建了一套用于蜂窝网络数据分析的大数据分析处理平台。然后详细阐述了该平台下的数据采集模块、数据存储模块、数据处理模块、数据展示模块4个核心模块和其中的关键技术。最后,描述了本文使用的大数据系统中遇到的关键问题以及解决方法。二、基于即时通信业务流量,提出了一种城市的业务快照模式的分析研究方法。首先给出了一种业务快照的建立方式,并且基于图像识别中图像相似性衡量概念,对比了业务快照峰值信噪比(S-PSNR)与结构相似性(S-SSIM)的快照衡量方式。然后使用非加权组平均法(UPGMA)对快照进行聚类分析,发现提出的城市快照空时模式与传统的时空模式对比,可以更为准确并精确地得到一个城市工作日与周末的用户行为模式。最后对不同业务量城市间的聚类结果进行模式对比分析,挖掘出高业务量的城市用户有着较为明显的日常行为模式。三、基于蜂窝网络搜索业务,进行了用户搜索兴趣挖掘以及兴趣预测。首先提出一种蜂窝网络搜索数据的词条解析方案,并根据搜索词条建立了特殊的短文本分类器,将搜索词条进行兴趣映射。接着对用户的搜索兴趣进行时空分析,时间上可以根据搜索量分为3类,空间上得到搜索兴趣与实际地理POI有着密切联系。最后建立用户搜索兴趣轨迹,提出一种基于Apriori的兴趣模式挖掘算法。并此基础上提出一种兴趣预测算法,经过验证比较,与基于一阶马尔可夫模型的兴趣预测算法先比准确率平均提高了 18.57%。