论文部分内容阅读
云计算作为一种能提供动态资源池、虚拟化和高可用性的计算平台,具有规模化、高可靠性、通用性、硬件廉价性等特征。电信经营分析系统面临着为日益增长的海量数据和复杂业务提供强大计算和存储能力的挑战,海量数据的高效处理成了制约业务发展的瓶颈。云计算将极大地改变电信运营商的服务模式和商业模式,为解决电信业务中出现的海量数据处理低效、业务系统繁多和数据孤岛等问题提供有效的途径。本文着重探讨了云计算在通信领域的应用现状和前景,针对当前电信业务量猛增、数据量级别几何化增大、现有的电信经营分析系统(BASS)已面临发展瓶颈等的现状,提出了基于云平台构建BASS的方案,并针对该系统下的海量数据处理进行了着重探讨。论文阐述了云计算的研究及应用现状,在对比云计算与网格计算之间差异的基础上,归纳出云计算方法的技术优势,分析了云计算技术给电信运营商带来的机遇和挑战。提出了基于云计算平台构建电信经营分析系统的设计方案,对方案中的关键技术做了详细的介绍。在分析总结移动BASS中海量数据的产生原因和类型的基础上,针对移动BASS现有ETL处理算法的不足,对移动BASS现有ETL处理流程进行了优化,设计了基于拆分机制的海量数据处理(简称SMB-DP)算法;结合云计算技术中的映射/归并Map/Reduce任务调度模型,针对基于贪婪算法的ETL调度方法的不足,根据移动BASS的特点,引入了任务优先级概念;在考虑了任务运行时间和任务优先级等前提下,提出了改进的基于贪婪算法的ETL任务调度(简称AGB-ETL)算法,形成基于拆分机制并行处理实现海量数据高效处理的方法。借鉴中国移动“BigCloud”云计算平台架构设计思想,搭建了CB-BASS测试平台,并选取移动BASS计费账务类的清单数据作为测试数据,验证了论文所提算法的可行性和高效性。