面对互联网上的海量数据,单台主机已无法满足其存储和计算要求,使用分布式存储和分布式计算去分析这些数据,并挖掘其内在价值成为了必然的趋势。其中Hadoop是应用较多的开源分布式存储和计算框架之一。Hadoop在很多大型网站上都已经得到了应用,在这些应用中,比较常见的是分析服务器或用户日志。同时Hadoop在部分图论的实现中也得到了应用。这两种应用的数据量大,并且符合一次写入、多次读取的处理条件,正好符合了分布式存储和计算的适用场景。首先,本文详细分析了Hadoop存储系统设计原则、分布式计算模型的计算流程和Hadoop的存储和计算特点。在Hadoop平台上,对搜索引擎用户查询日志中的URL-点击频度关系、查询词相关性方案进行设计和实现；同时对图论中的分布式单源最短路径算法以及网页质量评估算法,在该平台上进行设计和实现。根据以上方案的设计和实现经验以及Hadoop系统的特点,对Map/Reduce分布式程序的设计和性能优化方法进行详细的分析。然后,本文搭建了实验环境,在Hadoop平台下,对日志数据统计排序方案以及分布式单源最短路径方案进行实验分析；对查询词相关性计算方案以及网页质量评估算法进行实现和结果验证；对本文的本地聚集设计方案以及Hadoop系统设计中的移动计算设计原则进行实验结果对比和验证。最后,对本文所做工作以及Hadoop分布式存储和计算框架尚存在的问题进行总结,提出可以进一步改进和研究的内容。