基于Hadoop平台下的集群渲染系统作业管理的研究

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:kingbottle
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着CG技术的高速发展,越来越多的3D动画作品出现在大型的电影、卡通、电视和广告媒体中。2009年底上映的一部3D电影《阿凡达》,吸引了全球众多影迷的眼球,打破了由《泰坦尼克号》保持的全球票房最高纪录,掀起3D电影制作的高潮,带动了CG产业蓬勃发展。   然而,3D动画制作的要求越来越高,普通单机动画渲染速度慢的瓶颈问题日愈突显,为此,集群渲染技术应运而生。为了充分发挥集群渲染的优势,需要对集群环境下的渲染计算资源进行高效的管理。在此研究背景下,本文着重研究集群渲染系统作业管理的资源筛选和作业调度,根据集群渲染的特点,采用Hadoop分布式集群计算框架,统一管理集群中的软硬件资源,保证渲染任务的合理调度,提高系统利用率和吞吐率,进而有效的提高渲染服务质量。   本文首先给出研究背景和意义,分析了集群渲染相关技术发展现状,讨论了集群系统的体系结构和集群系统作业管理的需求、结构、流程及作业调度策略;探讨集群渲染系统的建立流程、设计原则、渲染流程及特点。   在此基础之上,着重研究集群渲染系统的作业管理问题,探讨典型作业调度策略和集群渲染作业调度策略,确定执行渲染任务的资源需求,分析引起集群渲染负载不平衡的因数,并根据集群系统的负载平衡相关技术以及集群渲染自身的一些影响和制约系统并行效能的关键因素,结合资源的QoS,采用基于减聚类的BRF神经网络算法对渲染资源筛选进行优化,并通过采用基于动态反馈的负载平衡策略,对集群渲染系统作业管理中的资源性能负载平衡和渲染任务的负载平衡进行优化。最后借助Hadoop分布式集群计算框架,设计集群渲染平台,实现集群渲染系统作业管理的优化策略,最终得到优化后的实验结果。   本文通过渲染资源筛选策略,并动态反馈机制之上,对渲染计算节点性能负载和管理节点负载,采用动态反馈策略,具有一定的优化作用,动态监测负载信息,并对监测周期内的负载量进行调整,进而提高计算节点的CUP和内存利用率,改善集群渲染的服务质量。
其他文献
随着软件产品与计算机一起广泛应用到各类民用和军用设备中,软件故障已成为造成计算机系统产生重大问题的主要因素,因此,开发可靠性的软件产品变得日益重要。在软件开发过程
基于视频的三维人脸动画驱动技术是人机交互领域的一个研究热点,其中包含了人脸检测、跟踪与特征定位和提取技术等人脸信息处理的关键技术,在学术领域、应用领域都有着极其重
随着无线通信、传感器技术,计算机技术和网络技术的快速发展,集成这些技术的无线传感器网络应用越来越普及。无论是医疗检查,地理气象监测,还是军事侦查,以及数字化生活中的
疲劳驾驶是当前交通事故发生的主要原因之一,因此驾驶员疲劳检测成为了当前研究的一个热点。基于机器视觉的疲劳检测,以实时性、非接触性方面的优点,成为疲劳检测的一个主要
三维人脸建模一直以来都是三维建模中的热门研究课题,其在虚拟实现中是一个极为重要的部分,无论是3D游戏还是电影的特效制作,对人物尤其是面部的要求一直都是最高的。人脸通
近年来P2P技术高速发展,P2P应用也由传统的文件共享型应用逐渐向多个领域扩充。由于互联网上多媒体信息处理技术的普及,流媒体技术与P2P架构相结合产生了P2P流媒体这种新型互
随着云计算产业逐渐成熟,软件即服务(Software as a Service,SaaS)作为云计算中的一种重要的服务交付方式得到广泛的应用。在SaaS模式下,成熟的服务提供商为了降低运营成本,
随着SDN网络规模的扩展,单一结构集中控制的控制器(如NOX)处理能力受限,扩展较难,遇到了性能提升的瓶颈。目前网络中可采用扩展单一集中式控制器的方式有两种:第一是通过提升
无线传感器网络具有功耗低、成本低、分布式和自组织等特点,往往被部署在各种恶劣环境中,改善了人们获取信息的能力。能量高效的可靠传输机制对于延长能量有限的传感器网络的
在浩如烟海的互联网信息世界中,人们高效率地获取所需信息越来越难。究其因为,一是由于信息资源在分散性和用户信息需求的有限性和动态性之间在矛盾,二是现有搜索引擎和信息