随着科技的飞速发展,越来越多的数据被产生,这使得大数据处理技术在近几年成为最热门的技术研究之一,然而在实际应用中,大数据处理技术的普及速度远远不及数据产生的速度,这使得很多企业面临数据不能及时进行有效处理,导致不能挖掘出数据的价值。怎样实现对大数据集的高效处理,是本文研究的主要内容。而其中的处理过程包括数据抽取、数据转换、数据加载,该处理过程也即ETL过程。本文内容致力于通过Hadoop大数据存储架构、Hive、flume数据采集技术和Sqoop数据同步技术构建大数据处理平台实现对大数据集的高效处理。Hadoop是目前最流行的大数据处理框架,具有高可靠性、高可扩展性、高效性以及低成本等优良特性,Hadoop实现的MapReduce计算框架是一个高效的并行框架,Hadoop用户必须编写特定MapReduce程序来处理任务,但是Hadoop暴露出来的接口比较底层,即使是一个简单的任务用户也需要编写大量的代码,且代码可复用差。而Hive的出现很大程度上解决了这个问题,Hive是基于Hadoop的一个开源数据仓库工具,它支持使用类SQL语言,Hive可以将HQL编译成MapReduce程序,这使得Hive可以利用Hadoop高效并行处理能力。因此Hive用户能够编写少量的代码进行快速开发。因此本文选用Hive作为数据清洗及加工工具。基于对这些大数据技术特别是Hadoop和Hive的深入研究,本文开发了一个基于Hadoop的大数据处理平台。在数据ETL过程中,其中以数据转换过程时间最长。所以在本文中重点研究了Hive QL的优化原理和方法,并通过该研究实现了对实际业务数据处理Hive QL的优化。