云计算产业在全球范围飞速发展,吸引越来越多的企业及个人用户将其业务转移到云市场。在云计算中,云用户的需求有不同特性,部分用户对资源需求迫切,也存在用户对价格较为敏感。云提供商一般提供两种市场模式:商品市场模式和拍卖市场模式,来满足云用户的多样化需求。云提供商资源有限,将所拥有的资源合理地划分到不同市场模式中满足云用户的需求,从而获取更多收益。此外云市场中存在多个云提供商竞争的情况,在竞争环境中云提供商如何合理地划分资源来吸引用户并最大化收益也值得研究。本文对垄断市场和竞争市场云提供商如何划分资源到商品市场模式和拍卖市场模式进行研究,研究结果对云提供商如何划分资源并增加收益提供一定参考。具体研究内容如下:(1)对云提供商资源划分问题中的云市场给出详细的设定。首先介绍云市场不同市场模式,包括商品市场模式和拍卖市场模式。其次描述云用户的相关设定,包括用户的数量、需求和用户对市场模式的选择等。最后描述云提供商设定,包括提供商的资源设定、成本计算、不同市场模式的定价方法和提供商收益等。(2)在垄断市场中,云提供商需要高效地将有限的资源划分到商品市场模式和拍卖市场模式中来最大化收益。垄断云提供商的资源划分问题是一个序贯决策问题,因此基于马尔科夫决策过程分析此问题。使用Q-learning算法生成垄断云提供商的资源划分策略,并与其它资源划分策略进行对比实验分析。实验结果表明基于Q-learning算法生成的垄断云提供商资源划分策略能够获取较高的收益。(3)在竞争市场中,云提供商需要考虑竞争对手的资源划分策略来划分资源并最大化收益。本文将竞争云提供商的资源划分问题建模为马尔科夫博弈,并基于多智能体强化学习中的Minimax-Q算法生成相应的资源划分策略MR、MM。为与Minimax-Q算法生成的资源划分策略做对比,本文在竞争环境下基于Q-learning生成云提供商资源划分策略QR、QQ。最后在实验中将生成的资源划分策略做对比分析,在与随机划分等策略竞争时,QR、QQ策略的收益高于MR、MM,此外当MR、MM与QR、QQ策略直接竞争时,MR、MM的收益高于QR、QQ。