流量经营系统中数据仓库调度子系统的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:godwin82
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在当前竞争日益激烈的互联网时代下,数据的及时获取成为企业成功的关键所在。商业智能以挖掘数据中的信息为目的,以数据搜集、管理和分析为手段,使用户从数据中获得对于商业市场更好的洞察力和决策力。数据仓库作为为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合,成为商业智能中数据建模的核心环节。本文的数据仓库包括对仓外分散数据、仓内整合数据的ETL过程以及对上层应用提供决策支持三大部分,而调度系统作为数据仓库处理数据的核心控制工具起到了重要的作用。本文设计实现了完整的处理仓内仓外数据的数据仓库调度系统,达到稳定、高效、快捷的处理数据,阐述了处理仓内仓外数据的数据仓库调度系统的设计原理,并依托流量经营项目给出该设计方案在现实业务中的应用。数据仓库调度系统是流量经营项目中的数据处理核心,负责平台统计分析源数据的工作流的调度,从而完成数据的采集、加工和存储。本文数据仓库调度系统具备三个层次的能力:(1)调度处理仓内仓外数据的ETL工作流的能力;(2)多元的ETL能力,将不同来源的分散数据经过不同的手段,依托于调度工具,经采集、加工以及持久化后,供上层应用使用;(3)为提升系统的易用性设计实现了可视化配置和展现的能力。本文通过真实全面的现网实际应用数据和应用效果,证明了本课题给出的调度系统以及可视化配置界面的设计方案的可行性和现实价值。
其他文献
随着多播应用的逐渐普及,多方会议、视频分享和高清电视等等的多播应用变得越来越流行。互联网中的业务量急剧增加,对通信网络的容量和吞吐量要求也越来越高。许多有关网状WD
时延容忍网络(Delay Tolerant Networks,DTN)具有节点能量与存储能力受限、链路时延长和链路间断连通等特点,网络中不存在持续连通的端到端路径,因此传统地面连通网络中的TCP
液滴分析技术是指在液滴的生长过程中,利用光纤电容液滴传感器获取通过液体的光强和液滴体积的变化曲线,进而获得可以反映被测液体综合特性的“液滴指纹图”。通过对液滴指纹
基于Wiki的开放式协作内容生产方式和开放式协作社区在新一代网络中日益盛行,开放式协作内容不仅在社会化媒体受到欢迎,更引起学术研究领域的极大关注。Wikipedia是最著名的W
随着云计算技术的快速发展和云服务的广泛应用,企业和个人可以通过低廉的成本按需获取云服务厂商提供的高质量云服务,而无需购买和部署高昂的硬件设备。然而各大云服务提供商
超级电容器是一种建立在界面双电层基础上的新型电化学储能电子元件,相比于传统的电容器与蓄电池,它表现出了更高的功率密度、更长的循环寿命,而且具有容量大、环境污染小、成本低等优点。2004年,石墨烯首次被发现,因其具有比表面积高以及导电性能优异等特点,被广泛应用于各种纳米材料的载体,也是理想的储能器件候选电极材料。因此本论文以石墨烯作为载体,通过对其表面功能化,负载过渡金属化合物在其表面,并与优选的基
知识社区是互联网时代人们进行资源获取和学习的重要场所。它以其开放性、快捷性吸引着越来越多人们的关注,对于很多科研学者,知识社区甚至成为他们与外界交流与沟通的主要方
血细胞形态学分析对贫血、白血病和艾滋病等血液疾病的早期诊断具有十分重要的意义。传统形态学检查都是由经过专门培训的检验科人员在显微镜下对外周或骨髓血涂片中的细胞完
随着云计算技术与大数据的兴起与发展,对数据中心操作系统的可靠性、可扩展性以及执行效率性能提出了非常严峻的考验。传统数据中心大都采用虚拟机进行资源管理,虚拟化技术将
随着机器人技术的发展,机器人应用领域更加广阔。但从当前的机器人技术来看,单机器人在采集处理信息数据和控制能力等方面都是有限的,当工作任务复杂和工作环境多变时,单机器