面向运维人员的数据管理平台的设计与实现

来源 :南京大学 | 被引量 : 0次 | 上传用户:mmtt001
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
近些年,随着云服务器的不断普及,越来越多的企业和个人选择将服务器部署在云端,在此背景下,华为CloudBU云运营平台部门为了更好的给用户提供服务,使用ETL(Extract-Transform-Load)技术构建数据仓库来分析用户信息。而云运营平台的运维人员主要工作是负责数据仓库构建过程中的数据传输。但是,在运维人员将离线数据传输到Hive中时,很多数据会出现问题,导致无法使用,甚至会导致数据源和Hive数据同步改变。因此,每一次数据传输任务结束,运维人员需要核对传输完毕数据的准确性,并且在更改数据前需要查看相关数据传输的关系,极大的增加了运维人员的工作量。有鉴于此,本文基于ETL设计了一套面向运维人员的数据管理平台,以降低运维人员管理数据的难度。本文主要从三个方面探讨了平台的构建问题:1.制定规则模板,集合不同类型数据库的连接方式,使运维人员可以通过制定规则来跨数据库类型读取到数据并进行检验;2.通过分析数据传输任务以有向图为存储结构构建数据表之间的血缘关系来显示数据流向,方便运维人员在更改数据时了解表之间的数据关系;3.对数据表的特定信息和字段进行监控,例如行数和分区数,一旦出现数据传输过程中出现异常立刻告警。根据上述三个方面的研究,本文从规则管理、表监控和血缘关系展示三个模块设计了数据管理平台。在规则管理模块中,运维人员根据业务场景制定校验规则,通过IKExpression解析引擎,解析用户录入的规则,将解析完毕的规则结果同实际结果进行校验;在血缘关系展示模块中,利用D3.js数据可视化技术,将通过ETL进行数据流传输的表以SVG有向矢量图的形式展现出来;在表监控模块中,对正在执行ETL的表进行监控,监控的信息包括表的文件数、分区数、字段值等。此外,本文还对数据管理平台进行了功能测试,经过测试,数据管理平台在不同的业务场景下,满足运维人员的需求,有较好的软件质量,符合预期。
其他文献
城镇化进程中,农村留守儿童因亲情教育的缺乏和所处环境的特殊性,出现了不同程度的心理、行为等异常问题。究其原因,即有家庭因素,也有学校和社会因素的影响。为有效解决农村留守儿童的问题现状,需要家庭、学校及社会形成合力,实现干预的最优化,以期实现农村留守儿童的健康发展。
期刊
教会大学是近代中国新闻教育的前驱和重要力量,作为西方社会进行文化渗透的一种工具,其多年的新闻办学虽带有一定的文化殖民色彩,但在客观上也推动了中国新闻教育的发展,为中国报界培养了大量新闻人才,促进了中国新闻事业的发展。文章选取沪江大学的新闻教育作为个案分析,将沪江大学在1928-1952年间的新闻教育历史,按照时间顺序划分为早期、鼎盛与艰难三个历史时期,并具体考察各个时期的办学背景、教学实践与办学成
学位
研究目的:下肢损伤是乒乓球运动员常见的一种损伤。随着乒乓球运动的发展,乒乓球比赛的回合越来越多、对抗性越来越强,运动员的移动范围越来越大,步法在比赛和训练中的使用更加频繁,未来乒乓球运动员将面临更多下肢损伤风险。因此本研究对乒乓球运动员疲劳前后正手前冲弧圈击球时下肢生物力学变化特征的研究,揭示运动员在疲劳过程中的肌肉活动特征,寻找降低运动员关节损伤的风险的方法。研究方法:本研究采用红外动作捕捉系统
学位
乡风文明建设是缩小城乡差距、促进乡村发展的前提条件,是提升农民生活质量的关键问题,是推进乡村振兴战略实施的重要方面。在农村经济水平显著提高的今天,封建思想严重、不良习俗泛滥、道德领域失范等问题阻碍着乡风文明建设。究其根本,主要受外部经济环境、文化内涵建设、基层组织管理、农民教育水平等多方面因素的制约。为实现乡村振兴,必须大力发展农村经济、保护和传承乡土文化、提升基层组织治理能力和治理水平、提高农民
期刊
目的 探讨胸腔镜下三种不同类型肋骨接骨板治疗肋骨骨折的临床效果。方法 选择2021年6月—2022年6月福州市第二医院收治的多发肋骨骨折行内固定治疗者121例为研究对象。本研究入组者均在全身麻醉双腔气管插管下实施胸腔镜肋骨骨折内固定术治疗,按照使用的内固定材料不同分为3组(镍钛合金组17例、纯钛接骨板组61例和MIPO接骨板组43例)。比较各组手术及术后恢复情况,比较各组治疗前后疼痛评分和C反应蛋
期刊
研究背景:我国跆拳道项目的蓬勃发展,对于我国跆拳道运动员整体技战术能力提升都有一定的促进作用。作为获取比赛胜利决定因素是运动员在赛场上技术与战术的使用。而关于技术与战术在赛场上的发挥受多种因素影响,如体重、性别年龄等等。世锦赛(世界跆拳道锦标赛)与奥运会作为跆拳道单个项目的顶级赛事。赵帅在2019年卫冕世界跆拳道锦标赛冠军,却在2020年东京奥运会中错失金牌荣获铜牌。本文将对赵帅两年比赛中技战术特
学位
研究目的本研究对课题组发布的两部甘肃省地方标准《压力性损伤风险评估规范(DB62/T 4269-2020)》及《压力性损伤风险预防规范(DB62/T 4270-2020)》(以下简称《规范》)的实施过程和应用效果进行评价,深入探究其实施过程中的促进和阻碍因素,旨在了解《规范》在三级医院临床护理过程中的实施情况,为统一规范甘肃省压力性损伤风险评估及预防临床护理提供证据。研究方法1.抽样方法:(1)问
学位
研究背景:田径是体育学科中最基础的项目之一,是小学体育教学大纲的重要组成部分。小学体育是学生在学校内学习体育最关键的时期,而田径课程又是支撑小学体育的基础。新时代,随着家长和社会密切关注体育,新兴的体育项目层出不穷,导致基础田径项目门可罗雀。国际田联为寻求改变这类问题发布趣味田径项目。研究目的:本文以教学实验的形式,探究趣味田径项目在小学教学中能否对小学生的身心成长产生积极影响。为未来趣味田径教学
学位
随着城市化进程不断加快,城市地下空间开发已是大势所趋。地下空间开发是不可逆的过程,没有章法地随意开发将造成资源严重浪费。由于缺乏前期规划研究,目前国内地下空间发展不平衡和冒进式开发问题并存。合理开发地下空间需要开展地下空间需求预测研究。本文首先在阅读文献与实地调研多个城市的基础上,遴选地下空间开发经验丰富的国家和地区,总结其开发经验,为我国不同城市地下空间开发提供范式。其次总结分析了现阶段我国地下
学位
乌托邦——本意指某种不存在于现实之中的完美之地。在不同历史时期曾经出现过各种各样的乌托邦想象,这些内容各异、影响不一的乌托邦观念共同反映出了人类的一种普遍的精神趋向,即对于理想的社会形态、生活方式的不懈追求。但若置于实践的层面来看,乌托邦似乎又是“空想”、“失败”的同义词,马克思与恩格斯便将早期空想社会主义者的失败实践称为“乌托邦”,并直接将乌托邦置于“科学”的对立面,而这一评价也随着马克思主义的
学位