随着特殊人员数量的不断增加,业务需求越来越复杂,传统的数据仓库已经不能满足现在大数据量的需求。特殊人员管理机构的领导希望从现有系统中的大量数据中获取有用的信息,指导机构的特殊人员管理决策,在此基础之上,本课题建立特殊人员数据管理系统,为现有业务操作系统集成,存储,处理和分析特殊人员数据。本文首先介绍了基于大数据的特殊数据管理系统中使用的关键技术。其中包括Hadoop的分布式文件系统HDFS,MapReduce并行处理编程框架,Hive数据仓库和Sqoop数据迁移工具,以及这些技术在本课题的特殊人员数据管理系统中的优势。紧接着根据需求搭建出系统的总体架构。特殊人员数据管理系统总共设计了三大主要模块:数据集成模块、数据存储与处理模块以及数据展示模块。利用Hadoop/Hive作为系统的基础构建框架,通过ETL过程将数据导入HDFS中存储,通过Hive提供的类SQL语言HiveQL来完成对数据的处理,利用MapReduce计算框架完成对数据的高效分析,最后将分析的结果数据利用Sqoop数据迁移工具导出至MySql结果库中,通过数据可视化工具Tableau可视化数据。最后,探讨了系统的优化方案,并设计了测试方案,搭建测试环境,验证了系统基于大数据的优越性以及系统优化的可行性和有效性。