伴随Internet和Web技术的飞速发展,语音、视频、网络日志、互联网搜索索引、互联网文本文件等技术的广泛使用带来了数据量的急剧增长,这预示着大数据时代的到来。大数据时代的数据具有数据量剧增、数据结构更复杂化的特点,导致数据存储和处理的难度加大。而Hadoop的出现大大简化了大数据时代数据的存储和处理的问题,所以本文对Hadoop技术的研究和优化具有重要的现实意义。本文研究的主要内容是：首先对Hadoop的核心技术HDFS和MapReduce的原理进行了研究和分析。分别从名字节点、数据节点、接口、类、调用关系等方面进行详细的研究,并分析了HDFS和MapReduce的工作机制。同时,针对Hadoop目前存在的两个性能问题,在深入研究源码的基础上,提出初步改进方案。其次,对第一个性能问题Hadoop推测执行算法在异构环境中性能较差的问题进行研究和分析,提出改进的算法,该算法根据系统负载的情况自动的调节后备任务的执行,以实现系统负载的均衡；采用Zaharia提出的历史平均剩余完成时间估算剩余时间,并将剩余时间的值大于0.2的方法判断掉队者,进而得到更精确的掉队者队列。新算法在一定程度上提高了异构环境中推测执行的性能。最后,对第二个性能问题DBInputFormat操作关系数据库中的海量数据时所出现的性能缺陷问题进行深入的分析和研究,并对DBInputFormat接口进行改进,提出新的分片策略,构建新接口。该接口在一定程度上提高了Hadoop操作关系数据库的效率,改善了Hadoop读取关系数据库的性能。搭建实验平台,分别对新提出的算法和改进的接口进行实验,经过验证,说明它们在一定程度上都提高了Hadoop性能。