论文部分内容阅读
大数据时代的来临给各个行业带来了翻天覆地的变化,人们已经逐渐意识到数据的重要性。大数据的巨大作用已经渗透到各行各业中去,成为了继云计算、物联网之后IT行业又一大颠覆性的技术革命,也成为决定行业决策和未来走向的重要因素。从依靠因果关系做决策到依靠数据的内部关联做决策,是大数据对于人类的最大贡献。随着移动互联网技术的高速发展和网络数据采集技术的逐步完善,通过网络网关,运营商和设备商可以采集到更多维度、更加详尽、结构复杂的网络数据。此外,移动网络的发展也在逐步影响用户的群体行为规律,随着LTE技术的高速发展与广泛应用,移动用户传统2G、3G相比具有不同的话务模型和业务模型,无线网络已经进入了大数据时代。因此,从数据复杂度和数据容量两个方面来看,传统的数据分析平台已经不再适用于如今的无线网络现状。论文首先采集了国内几个典型城市不同蜂窝无线网络环境下的业务统计数据,蜂窝网络包括CDMA2000、WCDMA和LTE等;由于数据总量达到TB级别,采用了多种数据仓库存储原始数据来应对不同的应用场景。其次,针对数据字段众多、结构复杂等特点,提出了一种数据细分的方法,将不同协议的网络数据进行拆分和汇总,实现不同协议数据间的有效整合和对比。再次,论文详细分析了这些数据的数据类型特点和规律,依据移动互联网多类型数据特点,对数据进行了详细分类和挖掘分析,并提出了基于聚类分析的业务与资源的多维度预测方法以及基于KNN分类算法的最佳匹配预测方法,分别从用户、业务和网络等多个角度给出了大数据挖掘分析的结果和应用。最后,基于对大量移动互联网数据的详细分析和深入挖掘,搭建了一个基于Hadoop的无线网络业务和用户行为挖掘平台,平台充分运用运用Hadoop的大数据处理能力,实现了对6个典型城市、4个月的时间范围、数十亿级别的数据处理和分析。通过对海量现网数据的分析和挖掘,探寻数据内部规律和关联,实现网络性能的调优、用户体验的提高与无线网络的精细化运营。