论文部分内容阅读
计算机技术发展至今,互联网的普及率也越来越高,已经成为人们生活中必不可少的工具,特别是随着近年来移动互联网的发展,数据需求呈现分布式、终端化、规模化,面对海量数据请求服务,传统数据处理模式已无法适应,而云计算技术提供了很好的解决方案,能够高效地处理超大规模数据,节省海量计算的成本,缩短作业执行时间,提高系统吞吐率。
在国内外已经出来了比较成熟的基于云计算技术的商业化解决方案。国内,360、腾讯、金山等IT巨头先后纷纷投入人力物力进行云计算技术的开发研究。国外,亚马逊、Google、Yahoo!、微软等世界IT巨头已经有完全成熟的商业方案应用成功案例,并取得了非常好的效果。但同时我们也要认识到,云计算技术也不是万能,也存在应用场景的局限性,针对具体的应用场景需要对应的解决方案。故此,本文通过对Hadoop分布式系统的MapReduce模型的研究分析,提出优化解决方案并通过实验验证其应用适合场景。
本课题首先对国内外云计算技术的发展状况进行了对比分析,并对云计算技术的基本概念和理论知识进行了相关介绍,着重介绍了Android平台、Hadoop系统和MapReduce编程模型,然后再通过对Hadoop系统中的MapReduce模型的作业分配算法的研究,分析其优缺点,并针对MapReduce模型提出优化改进设想,最后用实验进行优化改进验证其效率提升及应用场景,同时对微博云客户端模块进行实现分析。