论文部分内容阅读
渲染是影视动画作品制作的最后一步，这一过程需要大量的计算资源和时间。尤其在电影工业蓬勃发展的今天，渲染所需的时间也呈现出爆炸式的增长。2013年上映的《疯狂原始人》，其渲染所耗费的规模是8000万核·小时，而今年年初上映的《冰雪奇缘》，其渲染时间则更长。随着CG（电脑图形/数码图形）数字影像技术的发展，未来渲染所消耗资源的规模会越来越高。
赞奇科技是国内专业从事三维图形云渲染服务的一家公司。他们面向CG行业，将图形的高密度计算通过云计算的手段提供在线实时渲染服务，并与集云公司合作，采用定制化的一体机和分布式存储，打造出渲云平台，在中国众多民营企业所提供的渲染平台中，成为出类拔萃的领先者。
渲染平台面临挑战
2012年，由赞奇科技自主研发的渲云正式上线对外运营，这是赞奇科技针对高端三维动画电影的渲染需求，通过顶级的图形处理技术和超大规模集群渲染服务，为帮助三维数字制作企业提升CG作品渲染效率、降低制作成本而推出的云渲染服务平台。
赞奇科技总经理杨昕吉介绍说，渲云自对外运营以来，已为国内上千家数字创意公司提供了三维渲染服务，受到业界的一致认可。不过，由于用户渲染量的不断增加，赞奇科技的渲云平台也面临着来自不同方面的挑战。
杨昕吉说，集群渲云平台是典型的I/O密集型高性能计算应用，任务提交到集群调度系统后，Head Node为任务指派空闲的Computing Nodes或进行队列编制，Computing Nodes接到调度指令后立即到存储路径下读取待处理的数据。该过程是多节点并发的，存储系统并发I/O吞吐压力与集群规模成正比，在渲染任务处理过程中，所有渲染节点仍然会有和存储节点的频繁数据交互过程，直到每个节点分别完成各自分配的渲染任务，并将结果回存至存储目录下。存储系统的I/O吞吐压力在渲染作业执行过程中持续存在且在任务分发阶段最为明显，存储系统的性能偏低会导致Compute Nodes迟迟不能从存储节点拷贝到数据，进而影响渲染作业的启动。
“如何给出合理的框架和有效的设计方法，来建立高性能、高可伸缩、高可用的文件存储服务，是摆在系统设计者面前极富挑战性的任务。”杨昕吉说。
分布式存储打破瓶颈
为打造规模化与低能耗的优质渲染集群，赞奇科技开始了数据中心的二期建设。
在这次升级建设中，赞奇与集云科技密切合作，采用了集云科技研发的一体机存储管理系统，实现了文件的快速存储、访问和安全备份，保证高性能和高扩展性。“一期采用的是磁盘阵列，但最终性能被限制在了存储读取设备中，没有办法突破。而第二期我们做了存储的分布式系统。”杨昕吉说，集云一体机分为客户端和服务器端，客户端用图形化方式简化管理，服务器端则执行存储优化。同时，它可对存储空间，如卷、块等，进行最大自由度的分配，并具有灵活的集群方式，适应不同的业务模型，通过存储的集群和协同工作，提升整体存储能力，使存储速度达到Gb级。
新的系统上线后，系统的访问效率得到了大大提升。杨昕吉说，通过后期IT部门的测试，他们发现，首先，存储设备的网络占用率明显下降，比原有占用率下降了2/3。第二，整体系统存储和访问速率提升3倍多。使得整个系统规模目前已经可以突破到500台。我们系统的负载有一个自动调配的过程。通过英特尔至强服务器，充分降低了我们TCO的指数。“分析测试结果表明，集云存储一体机系统在读、写性能和IOPS等方面均优于旧系统。随着我们客户端的增加，其访问性能也呈线性上升的趋势。”
系统性能提升了，也吸引了新的客户利用渲云平台进行动画渲染。像常州的恐龙园动漫、卡龙、炮炮兵、苏州的天润安鼎等都与赞奇科技有密切的合作。“总的来说，新的计算架构的存储效率确实比原来系统的读取稳定性更高。”杨昕吉说。
新模式带来低成本
在赞奇科技渲染数据中心升级过程中，集云科技在其中起到了很重要的作用。江苏集云信息科技有限公司CEO陈宝辉表示，集云从2012年就开始与英特尔合作，投身做云存储，用低成本的存储服务器横向扩展达到高性能的要求。而这恰好成为赞奇科技渲云平台的关键技术。
据介绍，集云“优之存”存储一体机是集成了软、硬件的一体化存储设备，具备强大的横向扩展能力、卓越的存储性能，是一个稳定的、可持续扩展的大型存储池。在软件方面，预装了分布式文件存储系统，可根据不同类型的存储场景需要进行存储规则配置，如分布式、条带、复制等，亦可对规则进行组合，实现文件的快速存储、访问和安全备份，保证高性能和高扩展性。硬件方面，针对存储容量、可扩展性、访问模式、容灾备份等要求进行了定向配置，与存储软件一起集成使用，从而发挥出最大的性能优势。
陈宝辉解释说，云渲染主要是利用两个能力，即计算能力、存储的读写能力，而瓶颈往往不是在计算，而是在存储上。集云科技与英特尔进行合作，参照英特尔提供的参考架构，设计了一体化的存储系统，并与赞奇科技的技术人员一起调优。“整个系统真正做到了分布式，其核心就是横向扩展（scale-out），硬盘采用低成本的SATA盘，从而降低了成本。”陈宝辉说，在系统设计过程中，英特尔的技术人员给予了大力支持，多次进行系统调优，保证了系统的性能。英特尔的参考构架是基于开源程序的，其中对像防死、防锁住等管理性都有设计。
在赞奇科技的渲染数据中心里，我们看到一排排的机柜中放置的不是一个个机箱，而是一个个托盘，这些托盘中的服务器或存储设备已经被大大简化了，它们是针对渲染云平台而专门设计的。采用这种定制化的设计可将成本降低多少？陈宝辉说，粗略算一下，这样的系统其成本只是原来高性能存储设备的1/5到1/3，而且系统性能基本在同一个数量级。
新系统上线了，可杨昕吉和陈宝辉还有没实现的梦想，杨昕吉说：“未来我们希望继续与集云和英特尔合作，探讨超大规模的并发访问。我们目前只有500个节点，未来我们希望能做到2000甚至5000个节点，只有这样，我们才可以面向好莱坞大片这样的影片提供高性能的渲染服务。”
赞奇科技是国内专业从事三维图形云渲染服务的一家公司。他们面向CG行业，将图形的高密度计算通过云计算的手段提供在线实时渲染服务，并与集云公司合作，采用定制化的一体机和分布式存储，打造出渲云平台，在中国众多民营企业所提供的渲染平台中，成为出类拔萃的领先者。
渲染平台面临挑战
2012年，由赞奇科技自主研发的渲云正式上线对外运营，这是赞奇科技针对高端三维动画电影的渲染需求，通过顶级的图形处理技术和超大规模集群渲染服务，为帮助三维数字制作企业提升CG作品渲染效率、降低制作成本而推出的云渲染服务平台。
赞奇科技总经理杨昕吉介绍说，渲云自对外运营以来，已为国内上千家数字创意公司提供了三维渲染服务，受到业界的一致认可。不过，由于用户渲染量的不断增加，赞奇科技的渲云平台也面临着来自不同方面的挑战。
杨昕吉说，集群渲云平台是典型的I/O密集型高性能计算应用，任务提交到集群调度系统后，Head Node为任务指派空闲的Computing Nodes或进行队列编制，Computing Nodes接到调度指令后立即到存储路径下读取待处理的数据。该过程是多节点并发的，存储系统并发I/O吞吐压力与集群规模成正比，在渲染任务处理过程中，所有渲染节点仍然会有和存储节点的频繁数据交互过程，直到每个节点分别完成各自分配的渲染任务，并将结果回存至存储目录下。存储系统的I/O吞吐压力在渲染作业执行过程中持续存在且在任务分发阶段最为明显，存储系统的性能偏低会导致Compute Nodes迟迟不能从存储节点拷贝到数据，进而影响渲染作业的启动。
“如何给出合理的框架和有效的设计方法，来建立高性能、高可伸缩、高可用的文件存储服务，是摆在系统设计者面前极富挑战性的任务。”杨昕吉说。
分布式存储打破瓶颈
为打造规模化与低能耗的优质渲染集群，赞奇科技开始了数据中心的二期建设。
在这次升级建设中，赞奇与集云科技密切合作，采用了集云科技研发的一体机存储管理系统，实现了文件的快速存储、访问和安全备份，保证高性能和高扩展性。“一期采用的是磁盘阵列，但最终性能被限制在了存储读取设备中，没有办法突破。而第二期我们做了存储的分布式系统。”杨昕吉说，集云一体机分为客户端和服务器端，客户端用图形化方式简化管理，服务器端则执行存储优化。同时，它可对存储空间，如卷、块等，进行最大自由度的分配，并具有灵活的集群方式，适应不同的业务模型，通过存储的集群和协同工作，提升整体存储能力，使存储速度达到Gb级。
新的系统上线后，系统的访问效率得到了大大提升。杨昕吉说，通过后期IT部门的测试，他们发现，首先，存储设备的网络占用率明显下降，比原有占用率下降了2/3。第二，整体系统存储和访问速率提升3倍多。使得整个系统规模目前已经可以突破到500台。我们系统的负载有一个自动调配的过程。通过英特尔至强服务器，充分降低了我们TCO的指数。“分析测试结果表明，集云存储一体机系统在读、写性能和IOPS等方面均优于旧系统。随着我们客户端的增加，其访问性能也呈线性上升的趋势。”
系统性能提升了，也吸引了新的客户利用渲云平台进行动画渲染。像常州的恐龙园动漫、卡龙、炮炮兵、苏州的天润安鼎等都与赞奇科技有密切的合作。“总的来说，新的计算架构的存储效率确实比原来系统的读取稳定性更高。”杨昕吉说。
新模式带来低成本
在赞奇科技渲染数据中心升级过程中，集云科技在其中起到了很重要的作用。江苏集云信息科技有限公司CEO陈宝辉表示，集云从2012年就开始与英特尔合作，投身做云存储，用低成本的存储服务器横向扩展达到高性能的要求。而这恰好成为赞奇科技渲云平台的关键技术。
据介绍，集云“优之存”存储一体机是集成了软、硬件的一体化存储设备，具备强大的横向扩展能力、卓越的存储性能，是一个稳定的、可持续扩展的大型存储池。在软件方面，预装了分布式文件存储系统，可根据不同类型的存储场景需要进行存储规则配置，如分布式、条带、复制等，亦可对规则进行组合，实现文件的快速存储、访问和安全备份，保证高性能和高扩展性。硬件方面，针对存储容量、可扩展性、访问模式、容灾备份等要求进行了定向配置，与存储软件一起集成使用，从而发挥出最大的性能优势。
陈宝辉解释说，云渲染主要是利用两个能力，即计算能力、存储的读写能力，而瓶颈往往不是在计算，而是在存储上。集云科技与英特尔进行合作，参照英特尔提供的参考架构，设计了一体化的存储系统，并与赞奇科技的技术人员一起调优。“整个系统真正做到了分布式，其核心就是横向扩展（scale-out），硬盘采用低成本的SATA盘，从而降低了成本。”陈宝辉说，在系统设计过程中，英特尔的技术人员给予了大力支持，多次进行系统调优，保证了系统的性能。英特尔的参考构架是基于开源程序的，其中对像防死、防锁住等管理性都有设计。
在赞奇科技的渲染数据中心里，我们看到一排排的机柜中放置的不是一个个机箱，而是一个个托盘，这些托盘中的服务器或存储设备已经被大大简化了，它们是针对渲染云平台而专门设计的。采用这种定制化的设计可将成本降低多少？陈宝辉说，粗略算一下，这样的系统其成本只是原来高性能存储设备的1/5到1/3，而且系统性能基本在同一个数量级。
新系统上线了，可杨昕吉和陈宝辉还有没实现的梦想，杨昕吉说：“未来我们希望继续与集云和英特尔合作，探讨超大规模的并发访问。我们目前只有500个节点，未来我们希望能做到2000甚至5000个节点，只有这样，我们才可以面向好莱坞大片这样的影片提供高性能的渲染服务。”