大数据仓库数据模型在电子政务中的应用研究

来源 :郑州大学 | 被引量 : 0次 | 上传用户:saosaoxp
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代,数据引擎已成为组织服务创新、经济社会发展和国家治理能力现代化的核心驱动力,构建大数据驱动的政务新平台,成为电子政务发展的重要内容。基于关系型数据库系统的传统数据仓库在存储、加工及分析规模庞大、种类繁多的数据方面存在局限性,电子政务领域数据归集遇到数据质量问题,导致数据可信度差,影响数据共享和大数据辅助决策分析,亟需通过大数据仓库数据建模实现对数据有效管理和治理。数据集成于大数据仓库,针对大数据体量庞大的特点,在多数场景下不可能每次都采集全部数据,海量数据增量采集被广泛关注。本文从大数据仓库的数据模型分层、数据治理模型和数据增量采集三个方面,研究探讨了大数据仓库数据模型及在电子政务中的应用。第一,依据Kimball提出的数据仓库维度建模理论,基于Hadoop的Hive数据仓库,给出大数据仓库数据模型的分层架构。架构整体分为数据缓冲层(STG)、操作数据层(ODS)、公共数据层(PDW)和数据应用层(ADM)。结合数据分层和命名规则,设计实现大数据仓库分层的数据模型,在电子政务中应用大数据仓库分层架构,发挥大数据辅助科学决策和精准施策。第二,针对政府部门归集数据遇到的数据质量低劣问题,参照数据治理框架中的数据治理过程和数据模型分层架构,研究探讨了数据质量治理模型。模型从数据质量规则和数据质量反馈闭环两方面,引导源头数据从内容格式、数据模型和数据标准上优化改进,满足数据质量提升的需求。数据质量规则分为:数据清洗转换规则和数据质量稽核规则。数据质量反馈闭环,采用PDCA质量管理方法,将质量问题进行溯源。第三,研究数据集成全量和增量同步技术,提出非侵入式变化数据捕获方法NICDC。综合时间戳和全表比对的思想,设计时间和空间两种维度计算方法,从数据行和数据列对增量数据捕获能力进行提升。在实践中,使用NICDC方法无需对业务系统进行升级改造,能够快速捕获增量数据,提高大数据仓库集成数据的效率和增量数据的准确性。
其他文献
目的了解妇科围手术期老年患者焦虑抑郁心理状况,提高妇科护理服务质量.方法采用焦虑自评量表(SAS)和抑郁自评量表(CES-D),由负责护士对2001年1月~2003年2月住院的老年妇科手
作为一种新型的抗侧力结构体系,短肢剪力墙结构被广泛用于高层及超高层民用建筑中。然而,目前国内外还没有一部专门针对短肢剪力墙结构设计施工的技术规程,导致了建筑工程界
<正>~~
期刊
目前在江苏地区出现了大量以马鞍板为屋盖的单层工业厂房,但国内外对该类结构的抗震性能研究较少。本文对马鞍形板屋盖的单层工业厂房进行了多遇地震作用下的分析,探讨了地震
以大跨度斜拉立体桁架两塔三跨和一塔两跨两种常用的结构体系为对象,研究了在水平罕遇地震作用下的弹塑性地震反应,计算中考虑了几何非线性和材料非线性,其中材料非线性来源
湖北省图书馆新馆为特别不规则的多项超限复杂高层建筑。根据本工程的结构特点,有针对性地选择了抗震性能目标,采用基于性能的抗震设计方法,对该结构进行了抗震设计。通过采
手术后的一些病人常带有不同的管道,如尿管、引流管等,并接上一次性的密闭引流袋,借助体位引流.在护送病人回病房的途中,为防止引流液返流,造成逆行感染[1],过去常用止血钳夹
研究低层冷弯薄壁型钢结构住宅体系的抗震性能是进行该类结构体系推广应用的关键。本文基于ANSYS软件建立了低层冷弯薄壁型钢结构房屋体系骨架的有限元模型,考虑了冷弯薄壁型
为了解进口卤虫卵和无节幼体的生物学测定值,现对从俄罗斯、哈萨克斯坦、蒙古和美国等9个产地进口的卤虫卵及无节幼体的生物学测定值进行了研究。结果表明,不同产地卤虫卵的
当前,城区电网难以满足城市发展对供电的需求。由此促使了城市地下变电站建设的发展。本文列举了城区地下变电站建设遇到的难题,如变电站的选址困难,城区对变电站的环保要求比较