随着信息技术的飞速发展,互联网、物联网以及各种移动设备的普及,当今社会数据规模已呈指数增长。数据种类包含了文本、语音、视频、网络日志等多种形式,大数据时代已然来临。在大数据时代,将已有的海量数据信息进行专业分析和处理,使得原始数据增值、可利用是亟需解决的关键问题。如今,Hadoop是一个能够有效的对海量数据进行分析与处理的开源平台,具有高可靠性、高扩展性、高效性以及高容错性等优点。因此,本文在大数据环境下对Hadoop平台的性能进行研究和优化有着重要的现实意义。本文首先对Hadoop平台进行了简单的介绍,重点研究了Hadoop平台的核心组成部分HDFS和Map Reduce,对二者的组成部分、运行原理进行了深入的研究,在分析HDFS和Map Reduce源码的基础上,提出了HDFS中Namenode存在的单点失效问题以及Map Reduce在处理连接问题时效率不高两个性能问题并对其进行优化研究。针对HDFS中Namenode单点失效问题,本文在对现有解决方案进行研究的基础上,提出一种改进的Avatar机制,改进的Avatar机制是一个能够支持自动切换,支持二次故障并且不丢失数据的方案。针对Map Reduce处理连接算法时所表现的效率低下问题,本文提出一种基于计数型Bloom过滤器的星型连接算法,该算法能够有效降低磁盘的I/O开销,大大缩短连接时间,提高了Hadoop分析海量数据的速度。最后,搭建了实验平台对改进的Avatar机制和基于计数型Bloom过滤器的星型连接算法进行实验验证,证明了改进的方案和算法在一定程度上提高了Hadoop的性能。