在大数据时代,基于不同业务数据开发新的应用程序已成为企业信息化建设的重点。但是,随之产生的诸多数据问题会导致应用程序无法高效且准确地满足实际业务需求,甚至影响整个企业数据平台的建设。因此,为解决以上数据问题,数据治理的相关技术研究逐渐受到各大企业的重视,同时也涌现出许多数据治理方向的系统产品。但是目前已有的数据治理系统具有以下缺点:1)缺乏统一的数据治理标准化流程。2)缺少对大规模数据的多维度展示和建模;3)管理范围狭窄,需要与特定系统对接,且流程复杂,需要大量人工辅助操作环节。为完善这些缺点,本课题围绕“基于Hadoop的数据治理系统的设计与实现”,结合国内外最新研究内容,确定本课题主要研究内容如下:(1)设计实现基于Hadoop的数据管理标准化流程子系统,形成一套对特定结构数据完整的数据治理操作流程,保证治理步骤执行的完整性。(2)在保证数据管理流程标准的基础上,扩展系统适用场景,以开源元数据管理工具Apache Atlas为基础搭建多源元数据统一管理子系统,形成对大数据处理平台元数据信息的统一监管和维护。(3)设计实现基于Kylin的多维数据建模子系统。以数据管理标准化流程子系统处理得到的数据为基础完成立方体构建和中英文转换,输出的分析数据可以提供给其他数据分析或者数据可视化探索软件使用。(4)设计实现了全局数据资产监控子系统,实时查看数据治理系统内数据运行情况,以便做出正确决策,保证系统顺利运行。基于上述研究内容,本文从卫健委的实际应用角度出发,考虑海量数据场景给数据治理带来的挑战和要求,在开源大数据框架Hadoop上构建数据治理系统,提供方便简洁的页面操作,满足不同场景不同用户角色对数据的需求。目前,该系统已经在卫健委部署上线使用,同时基于研究内容发表专利一篇。