在我国政策的大力扶持下,大数据技术在政企项目中得到了广泛的应用,但随着大数据所涉及的领域越来越广泛,所处理的业务越来越深入,所要采集与处理的数据类型也变得越来越复杂和多样。近年来,政企客户的数据类型已经由传统的关系型数据向非关系型数据转变,且有高速度、大容量、多样性、高价值的特点,这就给大数据采集提出了新的挑战,但现阶段数据采集并不能满足新的采集需求,数据采集还面临诸如采集数据的数据类型较为单一,采集过程较为复杂,不能提供友好的用户体验,不能将数据采集过程进行良好的封装,对采集流程的监控也较为缺乏,不能给用户提供较为详细的采集状态信息等问题。针对以上问题本论文将要设计和开发一款数据采集系统,本采集系统将作为电信天翼飞龙大数据平台的一个子系统,其有针对性的解决了目前业内对于数据采集的相关问题,本采集系统可对结构化数据,半结构化数据以及非结构化数据进行采集,用户还可以对采集的处理组件进行一键部署,并可以便捷的对各采集组件进行配置,本系统还为用户实现了可视化搭建采集流程的功能,并提供了便捷的监控管理,为大数据采集提供了新的解决方案。目前该项目已完成了对国内外大数据采集发展现状的研究,以及对主流大数据采集产品的优缺点分析,并完成了对本采集系统的功能性需求与非功能性需求分析,明确了本采集系统需要实现的功能点和非功能要求;其次完成了对本采集系统的总体设计和详细设计,明确了系统架构并对系统进行了详细的模块划分,完成了对flume的自定义开发,以及用户交互模块的设计开发,使得用户可以在不接触Linux底层操作的前提下便捷的完成处理组件的部署以及各采集组件的配置任务,完成了可视化的采集工作流模块的设计与开发,并为用户提供了完善的监控功能。本人的具体工作内容如下:完成了对国内外大数据采集的调研工作,明确了本采集系统的需求;并对此系统进行了总体设计和详细设计;完成了自定义flume模块、部署处理组件模块、配置采集组件模块、可视化采集工作流模块以及监控模块的代码开发任务;最后还对本采集系统进行了详细的测试,并对测试中可能出现的问题进行了分析,给出了相应的解决方案。该数据采集系统目前已完成了全部的设计和开发工作,并通过了详细的测试环节,本采集系统作为电信天翼飞龙大数据平台的一个子系统已成功部署于多个政企客户的生产环境中,承担着TB/PB级的数据采集任务,实践证明该采集系统能够满足政企客户对于数据采集的各项要求。