近几十年来的计算机硬件、软件技术不断发展,信息化在各行各业中得到快速推进,使各种组织在内部建立了各种各样的信息应用系统。同时,随着新兴的移动互联网、物联网以及社会化媒体的飞速发展,数据的来源不断增多,数据量不断增大。如何将这些在组织内和组织外不同数据源中大量的分散、零乱、标准不统一的数据整合到一起,为企业的分析、决策提供数据基础与提供数据分享,是信息化中一项重要的挑战。ETL是数据抽取、转换和装载(Extract, Transformation, Loading)的英文简称,是数据仓库获取高质量数据的关键环节,是对分散在各业务系统中的现有数据进行提取、清洗、转换和加载的过程。本文旨在基于开源的Hadoop生态系统基础上,设计和实现一个ETL系统,解决在大数据环境下对非结构化文本进行数据抽取、清洗、转换和加载的问题。本文的主要工作包括：(1)对ETL相关理论和目前ETL系统的现状进行了研究和分析。(2)对实现系统的Hadoop生态系统相关技术进行了研究和分析。(3)基于Hadoop生态系统上进行了ETL系统的需求分析和整体架构设计,并对系统中的工作流调度、工作流管理、工作流执行器和数据流执行器四个核心模块进行了详细设计与实现。(4)对系统进行了测试与分析,证明了基于Hadoop生态系统开发的ETL系统对非结构化文本数据的进行数据集成的可靠性与高效性。本文设计和实现的ETL系统己在国内某运营商仿真环境通过测试。通过基于开源Hadoop系统中的分布式技术,系统完成了对大数据量的非结构化文本的用户通信数据的抽取、清洗、转换和加载,支撑了数据分析或挖掘过程中对快速、高效、正确的数据集成需求。系统经测试稳定、可靠,达到了预期设计目标。