随着数据成为一个重要的经济资源,它的安全性、隐私性和正确使用越来越重要。但是目前身份认证,访问控制,异常检测,安全信息和事件管理等国内外主要的大数据安全与隐私的解决方案并没有对数据的生命周期和用户行为进行精确的追踪。溯源通过记录数据产品的演变过程,形成能准确表达数据特征和对象历史的元数据,为数据密集系统中的复杂数据分析与理解提供结构化的指导依据。本文以数据库系统和分布式文件系统HDFS为数据密集系统,数据库文件表和HDFS文件为研究对象,在深入分析国内外数据溯源系统和溯源模型,探讨数据溯源在大数据溯源方面面临的问题与挑战之后,提出将数据溯源应用到大数据安全解决方案中,并设计了大数据溯源系统具体实现方案。本文设计实现的大数据安全溯源系统分为溯源收集及其标准化、溯源压缩、存储中间件和可视化分析四个组件。溯源收集及其标准化组件针对不同的源数据系统,设计了兼容的标准数据采集格式;并实现了数据的远程安全采集,数据版本控制,以及源数据记录到模型的完整映射。溯源压缩组件提出了基于语义的高效的压缩算法解决元数据高效存储的问题。通过对数据系统的记录特征进行深入分析,识别无效数据的基本特征并进行过滤,节省了数据空间;识别重复或相似操作的基本特征,对大量相似操作进行了合并,在减轻系统存储负载的同时,减轻了数据分析的复杂度,优化了数据可视化的速度。存储中间件组件设计了大数据溯源信息存储的可扩展方案,支持不同数据库系统的接入,结构化数据和非结构化数据之间的数据备份和迁移。可视化分析组件实现了大数据溯源的图形数据存储,用户、文件、流程等多个方面数据访问。实现了包括DOT和XML文件在内的数据映射和数据展示,为用户提供丰富、友好、可复用的数据结果。实验结果证明,提出的数据安全保护机制能有效结合HDFS文件系统,充分利用元数据,使文件生命周期及其数据来源,和复杂的历史操作行为变得可核查,为数据保护形成完整的信息揭露和信息推导机制。