分布式大数据服务开放平台的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:IT_Consultant
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着现代系统框架的愈加庞大,大数据已经由前期的技术驱动转换为现在的数据驱动,数据资产变现已经成为主要诉求,如何最大限度地发挥大数据的价值的时效性和场景化要求日益提高,以便灵活和快速地适配各类应用场景。但是由于一个大数据平台内部往往需要处理不同类型和规模的数据,要求基于大数据平台开发的应用系统必须具备连接不同类型和架构的数据库的能力,即多数据库的连接和处理逻辑由应用程序自身负责。由应用程序自身负责多数据源的连接和处理逻辑会存在以下问题:1)开发人员需要分别对大数据平台下的多种不同架构的数据库进行管理,了解其底层具体细节和功能特性,独立维护多数据源各自的数据连接及访问接口,无法实现对多数据源的统一管理;2)海量的数据分散存储在大数据平台中,开发人员不仅需要了解底层各个数据库的具体细节,功能特性,还需要了解数据的存储位置才能获得自己需要的数据产品,构建自己的个性化服务;3)大数据平台下多种不同架构的数据源维护着各自的权限管理信息,开发人员需要了解这些信息,申请相关权限才能对数据进行查询分析,而数据拥有者对于这些权限申请需要进行反复确认,以免敏感数据发生泄漏。本论文基于以上问题,构建了一个标准化的大数据服务能力开放平台,将分散储存在各个底层数据源的数据对外开放,能够灵活和快速地适配各类应用场景,主要研究内容包括以下三个部分:1)基于多数据源的动态服务开放子系统,实现了对大数据平台下的多种不同架构的数据库进行统一的管理,隐藏其底层具体细节和功能特性,使其对外表现为单一的数据库,并对外提供统一的ANSI SQL数据访问接口;2)基于API网关的服务管理子系统,实现了对数据服务的全生命周期管理,构建一个标准化的服务能力开放平台,统一数据服务入口,实现大数据产品开放;3)统一用户权限管理子系统,实现了基于角色的统一权限管理。本论文设计并最终实现了一个分布式大数据服务开放平台,该平台将大数据平台下多种数据源抽象成一个提供统一数据访问接口的数据源,并基于统一数据访问接口(ANSI SQL)构建标准化的服务开放平台,将数据作为服务对外开放,极大降低了基于大数据平台的应用程序处理多数据源的额外开发成本,同时提高了数据使用的效率。
其他文献
随着互联网和经济全球化的发展,物流在制造相关的企业中占据越来越重要的作用,如何提高生产制造速度,降低物流成本是企业关注的重要方向之一。MilkRun(循环取货)作为一种新的
在中国源远流长的文学长河中,"雪"这一意象处处可见,无论是《诗经》《离骚》还是《世说新语》,亦或是唐诗宋词明清的文章,都有"雪"的影子,而且这些诗词文章里的"雪",并不仅仅
全面建成小康社会,是党和国家对全国人民的庄严承诺。农村贫困人口脱贫是全面建成小康社会最艰巨的任务,习近平总书记提出的精准扶贫理论体系,为欠发达地区推进扶贫攻坚、实
目的观察经皮穴位电刺激对肾虚血瘀型排卵障碍性不孕症的治疗效果。方法收集2018年4月—2019年12月期间妇科、针灸科诊断为肾虚血瘀型排卵障碍性不孕症患者90例纳入本次研究,
<正>2019年5月10日,中国博物馆协会博物馆数字化专业委员会联合博物馆建筑空间与新技术专委会于广西桂林博物馆举办"数委会2019年年会暨’文物数字化保护技术应用’学术研讨
T细胞急性淋巴细胞白血病(T cell acute lymphoblastic leukemia,T-ALL)是一种严重威胁人类健康的血液系统恶性疾病。浸润是这类白血病复发的重要原因之一。细胞的迁移是发生浸润的关键步骤。CXCR4在T-ALL细胞表面的高表达与浸润和预后较差有关,但具体的作用机制有待深入研究。CXCR4与配体CXCL12结合可激活细胞内多种信号通路。本课题组的前期研究结果表明,CX
微小RNA 125b(miR-125b)在许多恶性肿瘤的增殖、分化和凋亡等过程中具有很重要的作用,但miR-125b是否涉及肝癌的上皮-间质转换过程(EMT)还有待进一步研究。本研究通过构建过
目的:本课题通过开展临床研究,旨在观察、总结补肾助孕方配合针刺(双侧天枢、水道、归来、足三里、三阴交、单侧子宫、关元)治疗肾气虚型PCOS导致的排卵障碍性不孕,探索治疗
介绍了多点式地面火炬的组成、特点,对地面火炬长期运行中出现的装置泄压不畅、长明灯系统故障、异味等问题做了简单总结并给出处理建议。
目标探测是高光谱遥感领域的一个重要应用,而实际应用中面临的往往是目标先验知识匮乏的异常探测问题。经典异常探测算法基于统计概率模型,这类算法存在以下缺陷:通过对影像