基于云计算平台的电信经营分析系统中海量数据处理研究

来源 :南京邮电大学 | 被引量 : 0次 | 上传用户:tt7506
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动经营分析系统(Business Analysis and Supporting System,简称BASS)是中国移动业务运营支撑系统的核心子系统之一。移动BASS具有海量数据存储、数据源繁杂、处理能力要求高等特点,这些特点使现有的移动BASS面临如何为日益增长的海量数据和复杂业务提供强大计算和存储能力的挑战。云计算能够将分散的计算资源集中起来,形成一个巨大的“资源池”,能更好地解决海量数据难以组织、难以处理的问题。要在移动BASS中应用云计算需要解决很多问题,如何高效地对海量源数据进行抽取、转换和装载(Extraction、Transformation and Loading,简称ETL)处理便是其中之一。论文针对移动BASS的特点,借鉴中国移动“BigCloud”云计算平台的建设思想,设计了基于云计算平台的移动经营分析系统(简称CB-BASS)的框架结构;针对移动BASS现有ETL处理算法的不足,借鉴Map/Reduce思想,提出了基于拆分机制的海量数据处理(Split Mechanism Based Data Processing,简称SMB-DP)算法;针对基于贪婪算法的ETL调度方法的不足,引入了任务优先级概念,提出了改进的基于贪婪算法的ETL任务调度(Advanced Greedy Based–ETL Tasks Scheduling,简称AGB-ETL)算法。在此基础上,搭建了CB-BASS的测试环境,选取移动BASS的计费账务类清单数据进行了测试,并对测试结果数据进行分析和比较,验证了论文提出的SMB-DP算法和AGB-ETL算法可以更有效的实现移动BASS海量数据的ETL处理,更好地满足移动BASS的实际需求。
其他文献
随着互联网的兴起和智能手机的流行,市场上已经有数以百万计的移动App可以安装在用户手机上并为其提供服务。用户通过应用商店下载、使用这些App,同时在应用商店中以评论的方
支持向量机和粗糙集理论是当今人工智能和机器学习领域的研究热点。支持向量机以结构风险最小化原则为分类准则,利用靠近分类边界的支持向量构造最优分类超平面。对分类训练有
随着网络规模的日益增大,网络资源的急速膨胀,用户对数据的安全性要求越来越高,这使得海量信息网络中文档的安全问题面临着巨大的挑战。传统的防扩散技术已经满足不了现在文档遇
随着互联网的发展,各种网络业务对网络传输信息能力提出了越来越高的要求。如何高效、可靠的传输信息成为了当今的重要研究课题,而路由选择是其中的关键。仿生算法的迅速发展
无线局域网WLAN允许用户从不能访问有线局域网的地方进行联网,使网络用户能够更加自由地使用网络,尤其是在旧建筑中,其安装或更新电缆线路的费用高得惊人。使用便携式计算机及装
文字是记录中华五千年文明的重要方式,研究古籍汉字对研究中华文明有着重要的意义。古籍汉字数量大、笔画多变、结构复杂、相似字多、区分困难,对古籍汉字进行适当的电子化并进
随着知识经济的快速发展,企业对知识的需求越来越强烈,很多企业通过引入知识管理系统来管理企业内部的知识资源。然而,系统中知识资源的急剧增长导致用户很难找到真正需要的知识
自然灾害、城市各种突发事件的发生,给人类带来了巨大的损失和伤害,国家和政府部门吸取了大量的经验和教训,加强应急决策,针对各种自然灾害,为保证人民群众的生命和财产损失,维护社
运动目标跟踪是计算机视觉研究中比较关键的一部分,同时也是交通视频网络下底层关键技术,视频网络下的目标跟踪已经应用到社会生活、经济、军事等领域,所以交通视频网络下的目标
随着Web2.0的迅速发展,网络上各类信息越来越开放。很多服务提供商不仅仅在本身的站点页面上提供相应的内容和服务,同时还提供了程序接口,使第三方可以自由地获取和使用相关的服