面向大数据应用的云计算中心性能分析方法

来源 :上海大学 | 被引量 : 5次 | 上传用户:my_zq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在信息网络技术迅速发展的推动下,众多应用领域的数据已经从TB级迅速发展到PB级甚至更高的数量级,信息数量及复杂程度快速扩大。人们通过对数据的分析处理可以进一步掌握未来的发展趋势,使数据创造出更大的价值。传统的数据存储和分析处理技术已经无法满足当前的需求,云计算作为第四范式数据密集型科学下的一种大规模分布式计算模式已经得到了广泛的应用,其采用虚拟化技术整合了计算、存储和网络资源,并提供一种按需申请的资源供应方式。同时,并行计算模型为大数据应用提供了有效的并行分布式策略,屏蔽了容错、数据分布、负载均衡等复杂的细节,使应用可以更加合理的部署在云节点上。大数据、云计算和并行计算模型三者已经形成了一种相辅相成的关系。云计算中心的性能指标不仅可以指导用户平衡大数据应用的时间消耗和所需租用云资源的规模两者之间的关系,而且可以指引云商调整云资源的配置方案,使其在使用最少资源的前提下保障Qo S。因此,如何分析面向大数据应用的云计算中心性能已经成为目前一个重要课题。针对该课题的研究,本文主要贡献如下:(1)单一并行计算模型大多针对专属类型的大数据应用,因此我们将应用的多样性问题平滑的转为并行计算模型的多样性问题。同时,云计算中心为并行计算模型的实现提供了基础资源,因此我们将云资源的复杂性问题同样转化为并行计算模型实现资源的复杂性问题。最后,本文基于并行计算模型提出了一个面向大数据应用的云计算中心性能分析策略。(2)本文提出的性能分析策略主要是将并行计算模型模拟成一个排队系统,利用嵌入式马尔可夫链屏蔽了大数据应用的多样性,在统一规范下定义了性能影响因素,同时利用概率分析和统计深入分析了云计算中心资源的复杂性。另外,本文同时提出了一个对比模型,其直接将云计算中心模拟成一个排队系统,与基于并行计算模型的云中心性能分析策略进行了易用性和精准性的比较,进一步验证了本文方法的可行性。(3)在以往工作中,并行计算模型的性能模型大多用于预测应用的处理时间,而云中心的性能模型主要用于性能指标的预测。本文提出的并行计算模型排队系统及其对比模型综合考虑了上述两种因素,它们可同时预测云中心的性能指标和大数据应用时间开销。(4)在将大数据应用划分成多个并行子任务时,定义子任务的数量为一个离散随机变量,其数值是由并行计算模型决定,不受物理服务器(Physical Machine,PM)和虚拟机(Virtual Machine,VM)的数量所限制。同时,综合考虑了以下性能影响因素:同一个PM上多个VMs之间对CPU和带宽的竞争;当VM数量增加时对PM造成的性能衰减;并行子任务之间的中间数据交互。(5)基于性能分析策略提出了一个性能可预测的混合并行计算模型,其以主流的Map Reduce为基准模型,融合了BSP(Bulk Synchronous Parallel Computing)模型的迭代思想,对两个模型的基础组件进行了重构,实现了功能上的混合。另外,我们以云节点服务率为基础,通过云节点之间的计算能力比值,优化了数据副本的放置方案。同时,参考CPU的消耗额度和分配额度,实现了负载感知CPU调度方法。
其他文献
服装,是我们生活中必不可少的一部分,随着人类文明不断发展变化,它从原始的遮羞蔽体和身体的保护作用逐渐演化为了一种地位和品位的象征。而面料,作为服装制作的基础元素,也
负担为赠与合同的附款,负担无效并不一概导致赠与合同无效,宜根据具体情况进行判断。负担与对待给付既有相似处,也有差异性,但从整体上看,宜将附负担赠与定性为无偿合同与单
森林城市建设是我国现阶段大规模推进城乡绿化美化、改善城市宜居环境的巨大发展引擎,是地方政府发展绿化事业和增进生态福祉的重要工作抓手。森林城市建设必须从国家战略出
随着游客需求多样化、个性化发展,如何提高导游服务质量一直是旅游企业的关注要点。"服务质量差距模型"反应出导游服务在不同环节产生的认知差距、设计差距、传递差距、沟通
本文应用商业贸易地理学的原理 ,对我国加入WTO后福建省纺织品服装产业的发展现状、出口市场、商品结构、企业类型、贸易方式进行了总体评价 ,分析了福建纺织品服务出口的适
探讨了小比例色纺纱的生产技术要点。针对小比例色纺纱经常出现的色差、色结等质量问题,对原料选配、混色方法选择、工艺设计原则、生产管理等方面提出了控制措施和生产建议
传统的门禁系统结构单一、功能简单、安全系数较低,已不能满足现代化社会对安全舒适的高标准要求。指纹识别技术具有唯一、稳定性高、便于采集、不易复制、安全性高的特点而
<正>我们都知道,眼睛是心灵的窗户,但是,你知道吗?眼睛也暴露了你的健康状况!眼睛疼痛是怎么回事?眼睛发红、瘙痒,可以用手揉吗?眼睛干涩怎么办?下面就一起来看看到底是怎么
嵌入式指纹识别系统是对指纹的数字化采集,用数字图像的方式方法提取指纹特征信息,通过一定的识别算法完成匹配,最终利用指纹完成识别的功能。由于指纹算法在数字图像处理中
研究背景创伤性脑损伤(TBI)是致死致残率很高的一种常见病。除原发性脑损伤外,继发性脑损伤对TBI的预后也起着重要影响。目前有关TBI的发生发展机理至今尚未完全明确,国内外有多