随着大数据与人工智能技术的应用普及,海量多源异构数据急剧增加,特别是非结构化数据的增加,传统大数据平台在处理多源异构数据时,面临数据采集处理能力不足、数据结构难以统一,数据运维困难等挑战,为洞察数据的价值带来了层层阻碍。其原因之一是数据来自于各行各业的系统,每个系统的数据建设的标准各不相同,因此数据源是不同的,所以需要对数据源进行动态扩展管理,这需要对元数据进行组织和管理。异构数据源汇聚至统一平台,同时保证大数据安全使用,需要对数据进行统一标准管理,并对数据访问控制进行管理,如数据宿主管理。在大数据管理中,还需要考虑如下应用问题:针对应用生命周期的数据冷热调度管理、解决数据存储安全和灾害的数据备份以及副本管理、针对海量数据存储和调度优化的数据分区分片的存储策略等。上述这些问题均需要借助元数据实现有效管理和相关策略设计,为此,本文将主要讨论服务于大数据的元数据方法和应用。本文针对大数据中数据管理问题进行研究,采用RDB的元数据扩展方法,对Big Data中数据表、数据视图、数据访问、数据组织等进行动态定义和管理,解决数据源扩展、数据异构、数据重组、数据迁移中遇到的问题。本文主要工作分为以下两个部分:1、提出了基于数据版本的数据表元数据结构,探索能够解决数据抽取以及数据更新过程中原始数据管理的问题;为了能够动态扩展数据源以及解析异构数据,设计了一种含有数据映射的数据源元数据结构;由于大数据中数据形式各种各样,设计了一种宿主授权的动态元数据结构,能够有效的解决多种形式数据组织的定义问题;提出了一种含有时间戳的数据侦听元数据结构,解决了大数据中数据加载和迁移时效的问题。2、研究了一种基于时间块增量更新方法,能够对元数据进行增量抽取,本文开发了元数据管理demo系统,对本论文中提出的研究进行验证。