云计算正在走向社会化、集约化和专业化服务的道路。社会化是云计算发展的重要动力,集约化是国民经济可持续增长对云计算提出的基本要求,云计算通过提供各种专业化服务达到社会化,并促使服务的集约化管理。因此,提供专业化服务是云计算取得持续性成功的关键因素。然而,目前专业化服务构建与运行过程中仍然面临缺乏对服务开发友好性的设计指导,以及由于服务种类和数目极多导致难以选择与管理,产生的数据量巨大导致分析困难的重要问题。因此,本文重点研究云计算环境下的三个关键问题:(a)如何评估(Evaluation问题)专业化服务的开发友好性以指导开发人员对服务的设计与选择?(b)如何为多种应用模式和众多数量的专业化服务提供系统化的资源管理(Management问题)?(c)针对数据计算专业化服务,研究如何提高其数据通信(Communication问题)效率?　　 针对上述EMC问题,本文的主要研究内容和贡献如下:　　 (1)针对E问题,提出一种面向多语言客户端的Web服务调用复杂度ICOMC,利用应用开发的实现代价和运行时性能两维指标来评估服务的开发友好性。本文首先对互联网上10,779个Web服务的接口复杂性进行深入调研,并根据服务调用接口与消息上下文的复杂性将服务分为四类(SISM、SICM、CISM、CICM),然后针对每类服务采用C、C++、Java三种客户端语言进行了对应的微基准测试来揭示服务调用过程中的三个关键因素(服务接口、消息上下文和客户端语言)对ICOMC的影响。同时,本文以中国国家网格系统软件GOS中的四个服务作为真实的大规模专业化服务实例,设计开发了其C、C++客户端API,并通过与其原有的Java客户端API比较发现,在真实的应用场景中,实现几乎相同的功能,基于Java的客户端.API代码量大约只有C或者C++的20%,并且编程出错率较低,但是其性能损失代价平均可以达到35%左右。ICOMC问题的研究对云服务的设计和基于服务的应用开发具有实践指导意义。ICOMC的研究成果已经作为Benchmarks、多语言客户端API和网格Shell工具集,随中国国家网格系统软件GOS4.0一起发布。　　 (2)针对M问题,提出一种面向云计算环境的资源单一租赁点系统概念,概括了四项云计算管理系统的基本需求:异构应用模式的专业化服务负载支持、单点控制、面向多租户的按需资源租赁和应用无干扰的带外执行。本文设计和实现了该类系统的一个实例——LingCloud(凌云)。LingCloud提出了一种基于资产租约模型的云计算系统体系结构设计方法,并实现了资产分区管理、虚拟网络管理、虚拟电器管理、虚拟机群租赁框架、全局用户管理等若干关键技术,进而整合共享的基础设施来满足上述四个基本需求。通过对比,LingCloud在统一性、灵活性、安全性、好用性和高效性上都优于其他系统,比如OpenNebula和EnomalyECP。性能测试数据表明,在64个虚拟机同时部署的情况下,LingCloud的虚拟机部署速度大约是OpenNebula和VIDA组合的4.1倍。目前,LingCloud系统已经在实验环境和真实环境中得到部署,并且整套系统核心部分已经开源,无偿贡献给全社会。　　 (3)针对C问题,首次提出一种面向数据计算专业化服务的二分图通信模型DOTA。DOTA模型合理并系统地总结了数据计算中通信的四个本质特征(the4Dfeatures):二分(Dichotomic)、动态(Dynamic)、多样化(Diversified)和以数据为中心(Data-centric)。本文从理论上证明了DOTA模型的三大定理,揭示了DOTA模型的普适性、可扩展性和可容错性,同时还给出了基于DOTA模型的数据计算性能优化方法。DOTA模型为数据计算的通信设计提供了理论基础与指导。　　 (4)为了进一步解决C问题,通过最小化扩展MPI设计和实现了一个基于DOTA模型的、面向数据计算的高性能通信库MPI-D。本文详细讨论了MPI-D的设计原则及挑战,给出了三条基本的设计想法,并首次定义了一种受DOTA模型指导的MPI数据计算通信扩展规范。该规范的扩展内容主要包括增加3组库函数调用,2个预定义的通信器、3个用户自定义的可选函数,5个模式常量和一组保留的配置键。除此之外,本文还给出了一种基于抽象模式接口(AMI)的MPI-D实现方法,同时探讨了应用运行时控制、基于集合通信透明优化和兼容Hadoop生态系统方面的一些相关技术。将MPI-D应用示例(WordCount、Sort和PageRank)与Hadoop系统示例进行比较,可以发现数据量从1GB到100GB时,基于DOTA模型的MPI-D示例在不同模式下,性能加速可以达到12%～58%。目前本文实现的MPI-D原型库初步测试结果已经显示:基于DOTA模型的数据通信设计及本文对MPI-D的优化实现方式,能够使数据计算应用获得更好性能的同时,还能获得编程简单、灵活扩展等好处。