大数据聚合存储平台的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:liuxiaotiancxks
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
一直以来数据都是企业重要的资产之一。很多企业已经花费了大量的人力、物力和财力构建了多种信息系统以管理企业的数据资产,但原有数据资产的异构性和分散性使得对这些数据进行聚合与分析非常困难。因此对异构信息系统中的数据进行聚合迁移与持久化存储成为打破企业数据孤岛的必然选择,是企业通过数据创造价值的基础。在此背景之下,本文设计并实现了大数据聚合存储平台。提出了基于统一数据迁移框架的数据迁移任务管理方法,能够统一管理关系型数据库或其他大数据平台向本大数据平台的数据迁移任务;提出了基于时间序列趋势分析的数据存储容量预测方法,避免了因存储容量耗尽造成的大数据平台宕机和业务应用间断等问题;提出了基于ATSP-TP算法的数据迁移任务调度方法,优化了数据迁移任务在大数据平台之上的运行效率。在ATSP-TP算法中,通过数据存储容量预测得到了平台未来一段时间的可用容量,通过平台可用时隙预测得到了平台未来一段时间的空闲时段,通过数据迁移任务时隙需求预测得到了一个新建的数据迁移任务预期的运行时间和存储空间,通过数据迁移任务放置并结合以上三者的数据实现了新建数据迁移任务的优化调度。通过对本平台的一系列功能和非功能测试证明了平台的有效性。
其他文献
随着我国经济快速发展,快速的城市化带来的区域生态环境变化,尤其是热环境变化,已经对区域生态环境造成重大影响。喀斯特地区生态脆弱且难以在短时间内恢复,在区域城市化速度不断加快的背景下,研究城市化对区域热环境的影响对区域可持续发展有着重要的意义。本文以贵阳市及其周边地区为研究区,利用Landsat影像数据提取研究区土地覆盖变化特征,结合MOD11A2地表温度数据和研究区特殊的喀斯特地质地貌特征,通过对
高等教育处于教育体系的顶端,其培养出来的大学毕业生是我国参与科技竞争、建设人才强国的重要力量,也是我国走创新驱动发展之路、实现创新强国的重要支撑。高校毕业生就业地区的选择将直接影响人才流动和地区发展。伴随我国高校扩大招生而来的是日益增加的毕业生人数,屡创新高值的毕业生大军加剧了就业市场的严峻形势。面对不断收紧的毕业生落户政策和高门槛的人才引进政策,对在北京地区高校就读的京外户籍大学生来说,毕业后是
锌(Zn2+)是桑树必需的微量营养素,在生长、发育和防御病虫害侵害中起着关键作用,在酶催化、蛋白质合成、碳水化合物和生长素代谢、能量耗散、环境胁迫耐量等基础生化过程中发挥多种作用,是数百种酶的催化和结构蛋白辅因子,在与其他分子相互作用的蛋白结构域中具有关键的结构功能。锌过量或者缺乏都会对桑树造成不同程度的损伤。本试验以一年生丰驰桑苗为材料,通过不同浓度的锌胁迫条件处理后,进行生理生化相关指标检测及
2013年被称为互联网金融的元年,其典型产品之一的P2P金融在这一年也得到飞跃的发展,P2P平台呈现出爆发式的增长。作为中介服务行业的P2P行业的发展对我国解决中小企业融和个
随着企业规模的扩大和信息技术的发展,以财务分散、重复劳动、效率低下为特点的财务处理模式已无法适应企业发展的需求。为了降低企业的管理成本,许多大型企业开始建立财务共享服务中心(FSSC)。根据2018年爱共享A-share对中国FSSC的调研报告可知,在规模达到5000人以上的企业中,有64.58%已经建立了FSSC,仍有45.33%大型企业的FSSC还在改进中。因此,财务共享服务模式在中国企业中已
随着城市化进程的不断加快与深入发展,承担着人类交通与公共活动的街道建设也在如火如荼的进行中。但伴随着经济的发展和人类生活质量、品味的提高,传统街道的功能也仅仅只能满足人们简单的需求。街道空间作为人们生活的重要组成部分,是体现城市精神风貌、寄托市民记忆和归属感的直接内容和形象,是一种人为创造的空间。因此,在当下的城市建设模式下,结合城市的地域性文化,把我们所生活的街道空间变得更加有温度,使街道成为我
煤层气井生产过程中,随着排采时间的延长,因井下落物、砂埋生产管柱、套管错断等原因会造成煤层气井的故障或井下事故,轻者使井减产、停产,严重将导致井报废。所以,探究煤层气井的大修工艺技术,对提高煤层气勘探开发生产及气田整体勘探开发效益有着非常重要的意义。因此,本文通过调研分析了油气田常规井下打捞工艺,了解国内井下复杂打捞的现状。结合煤层气储层改造情况、排采情况等,分析导致井下复杂的原因,找出使井下问题
风能、光能和海洋能等可再生能源是化石能源最重要的替代能源之一,但这些可再生能源存在着固有的能量输出不稳定的问题。为解决可再生清洁能源的不稳定输出问题,必须发展能源存储系统。全钒氧化还原液流电池(VRFB)作为一种重要的化学储能系统,具有可靠性高、使用寿命长、系统设计灵活等特点。聚丙烯腈(PAN)基石墨毡是VRFB最为广泛使用的电极材料,但PAN基石墨毡较差的亲水性和较低的电催化活性阻碍了全钒氧化还
当前我国处于新常态背景之下,为适应经济发展趋势,国家正逐步推动经济体制改革。技术创新作为推动经济发展的原动力,国家愈发关注技术创新在调整产业结构、推动经济发展以及
家蚕血液型脓病是由家蚕核型多角体病毒感染引发的疾病,该病是目前蚕业生产上最常见、危害最为严重的传染性疾病。生产上主要是通过使用化学消毒剂加强养蚕期严格的消毒来防止病毒的感染和扩散,这些措施也只能起到消毒、预防作用。早期研究者发现的一些化学药品对家蚕BmNPV感染后的发病具有一定的抑制效果,但其主要体现的是预防而不是治疗,对该病的治疗始终没有特效药物。若能研发出家蚕血液型脓病的治疗药物,对蚕业生产具