【摘 要】
：
电信网数据常分布在若干个独立的信息系统中,具有数据量大、数据结构差异大等特点,数据如何从各个数据源汇聚到目的仓库中成为数据分析的基础,需要数据处理工具ETL(Extract-T
【基金项目】
：
国家自然科学基金青年科学基金资助项目(61803384)
论文部分内容阅读
电信网数据常分布在若干个独立的信息系统中,具有数据量大、数据结构差异大等特点,数据如何从各个数据源汇聚到目的仓库中成为数据分析的基础,需要数据处理工具ETL(Extract-Transform-Load)。传统的ETL工具难以满足电信数据的分析要求,为此结合Hadoop生态圈设计一种基于Spark的分布式ETL系统,通过设计批处理层和流处理层可以对电信网中的历史数据和流数据分别进行数据转换。测试结果表明,该系统在处理电信网大数据时具有较好的性能,同时可以动态地监控管理ETL任务。
其他文献
为提高分布式柔性翼面压力测量系统各测量点的时间同步精度,设计了一套基于IEEE1588的高精度时钟同步系统。分析IEEE1588精准对时的基本原理,提出基于IEEEl588技术的系统实现
PCB平面电感广泛应用于开关电源中,但其损耗及发热问题对电源性能影响很大。利用Maxwell 3D软件研究了气隙及绕组的位置对PCB平面电感损耗的影响。首先,对平面电感进行了损耗
根据对铁路信号微机监测设备的应用研究,开拓了微机监测设备的实用功能,解决了实践工作中设备故障难以检测的问题,取得了一定的经济效益.
中国传统装饰图案在家具行业中的应用现状是一个深具现实指导意义的议题。本文从国内家具行业现行的设计与制造环节着手,论述了传统装饰图案在现代家具中的应用现状,并对其中
为落实《节能中长期专项规划》，国家发展和改革委员会组织编制了《“十一五”十大重点节能工程实施方案》，包括节约和替代石油工程、燃煤工业锅炉（窑炉）改造工程、区域热电联产工
会计专业技能的培养应按照“学会、掌握、熟练、灵活应用”四个层次循序渐进，这样有利于调动学生参与实践活动的积极性。有利于培养既有扎实会计专业理论知识又有熟练操作技能