论文部分内容阅读
数字化时代的到来使视频领域发生了革命性的变化,有关数字视频的应用越来越广泛和不可或缺。在应用的背后,存储的重要性日益凸显。
如今,数字视频已经出现在许多不同的应用场合,其作用越来越重要。但恐怕更重要的是,数字视频经过采集、编辑和制作后,变成了能为视频企业带来收益的产品。在这类企业内部,视频完全成了知识产权的具体体现—每个视频内容都可以被看做是一项重要资产,这些资产可一再地被重复使用或重新处理,并通过对最终产品的广播、分发、合作或更多的形式,带来新的收入。这类视频企业长期致力于重复使用数字视频,通常它们将遵循一个这样的周期,即某一段视频可能再三地被重新调用、重新分发、重新编辑,或者以其他方式重新呈现到企业面前。
存储面临的挑战
但是,重复使用数字视频不是我们一夜之间就能完成的过程。尽管表面上来看似乎那些复杂的数字采集和编辑功能很快就能学会,但用户们很快就会面临其他长期的挑战,这些挑战往往来自于存储。具体来说,数字化视频、越来越高的分辨率、更频繁的重复使用以及复杂的后处理功能,这些因素综合起来就会导致视频内容的数据量过于庞大,常常使每个素材的一段视频的数据量就达到数个TB大小。
此外,企业常常需要将一段视频制作成多种分辨率的视频,以便能在不同的场合使用,如一段视频可能转换成了网页分辨率、标清分辨率、多种高清分辨率甚至3D的视频。如果是一段每像素24位、帧速率为60fps的没有编码的纯1080p高清视频,它所需的带宽将轻松地超过350MBps。尽管经过编码和压缩的视频文件所需的带宽可能会减至40MBps到50MBps,但仅仅两个小时长的文件动辄就会成为容量超过100GB的庞然大物,而3D视频需要比这大好几倍的存储空间。
此外,由随机性数据组成的视频无法得益于重复数据删除技术。尽管有可能构建一个满足庞大视频素材或几个视频素材需要的系统,但要是事先不经过慎重考虑,长期重复使用视频会很快变得不可能。
由于制作及存储数量庞大的视频面临重重难题,视频企业只好选择分离的存储基础架构。这么做不无道理,快速的制作、采集和编辑可以在某一存储层进行,而企业通常在该存储层投入巨额的资金来提高性能。
但是视频的长期存放一般是在另一存储层,即存档。尽管这个存储层针对成本做了优化,可用于存储海量数据,但视频专业人士清楚地认识到,这个高效的存放地可以保护企业最宝贵的资产。
但是,这两个存储层的共存往往留下了空档。存档系统着眼于高级别的数据完整性和可扩展性,但常常饱受现有架构所带来的困扰,因为这些架构在设计之初并没有预计到今天的快速访问的需求。存储及读取可能横跨多段媒体(如视频)的TB级的素材将是复杂的过程,并且还会白白浪费数小时的时间—员工在等待素材检索过程中,啥事也干不了。不过速度快、性能高的存储系统价格极其高昂,对大多数企业来说,对这类系统进行扩展以便支持PB级的很少被访问的存档视频,不是无法实现,就是不合实际。
娱乐/媒体企业现在面临左右为难的境地。要么是花过多的钱购买价格不菲、但被误用于存档的存储系统;要么就是耗费大量时间等待慢速的存档系统读取所需的视频。
显然,如果结合生产存储(主存储)和归档存储(辅助存储)的一些最佳特点,将有助于长期地存储及重复使用数字视频。
下一代活动视频
存档的特点
幸好,面对媒体密集型企业的需求,存储行业在迅速响应,积极创新。对一些创新厂商来说,它们的重点放在提供一种更好的视频存档——这种视频存档集传统存档成本低、数据完整性级别高及长期保留的优点和基于磁盘的常规存储系统性能较高等优点于一身。这类解决方案能以类似于生产存储级的高效率把数据迁移回到生产存储上,同时保留了长期存档所需的全部完整性、可扩展性和保护级别。
许多解决方案用磁盘来增加多层次的磁带归档。或许更好的办法是,提供经济高效的基于磁盘的解决方案,这种方案当存储的数据变得闲置后,能把它们迁移到磁带上。这类解决方案提供了行业研究机构Taneja Group所说的活动视频存档(active video archive)。对视频专业人士来说,其优势很明显,因为它们可以把存档库变成更加活动的存储层,能立即提供存档内容,以便重复使用,而又不丧失传统存档的高级别完整性和低成本等优点。
在与最终用户进行讨论后,我们列出了下一代活动视频存档的一些最佳功能:
1.具有弹性
视频资料可能重复使用几十年,但活动视频存档必须能够确保其完整性。视频可能要长期地重复使用,可很少有数字存储系统旨在将数据存储这么长的时间。除了高可用性RAID和冗余技术外,如今的活动视频存档系统采用深层次校验和与文件段镜像等技术,可以提供比最佳的传统磁盘或磁带子系统还要高得多的完整性。基于磁盘的存档能以互动方式利用这些高级功能,不断管理系统的完整性,自动防范数据损坏、重新拷贝数据,或以其他方式纠正出现的数据问题。
2.灵活扩展
活动视频存档必须在容量和性能方面都能够进行灵活扩展,以满足数字资产不断增加、似乎要无休止地创建的需要。了解数字内容存储的人都知道,几乎不可能为明天的存储要求做规划。视频企业应当寻找能满足最高的预期目标、能伴随企业成长的存储解决方案。此外,企业应该注意性能,这是应对存储增长的一个重要考量因素,因为视频增加后,回调及重复使用数据的用户和系统的数量只会有增无减。尽管许多传统的存档解决方案试图以串行方式访问多段媒体时,很容易成为瓶颈,但更新的解决方案能够通过为系统增添额外节点来实现扩展和并行化,从而提升性能。此外,一些厂商可能混合使用几代不同的软硬件,让用户不需要升级整个存档,就可以增添容量、提升性能。从长远来看,这种扩展性能够创建“永远扩展”的单一存档,而不需要升级存储介质或硬件。一些解决方案借助与厂商无关的行业标准服务器和硬件,以及能够灵活扩展的纯软件方案,甚至不用像过去那样必须依赖特定厂商的硬件,带来了完全的自由。
3.开放和易于访问
面对多个素材和系统,活动视频存档必须易于访问,而且访问速度要快。许多传统存档采用串行方式读取数据,降低了存储和检索的性能,同时这类系统还由于需要专门的访问软件,或者需要企业把所有访问通过控制及管理惟一存档接口的主服务器来传送,这本身也是串行方式访问。现代数字媒体资产管理(DMAN)系统为访问存档提供了便利,把存档管理变成了在存储设备之外进行的一项任务,因而可以通过NFS或FTP等开放式协议来访问数据,使多个客户能够同时访问某文件,在速度和效率方面有显著的优点。
4.价位合理
由于长期存储海量系统在决策过程中有着重要地位,数字视频存档中存储的价位合理性就颇受关注。如今,有较高响应能力的基于磁盘的系统在成本上与目前最好的存档解决方案相比具有竞争力。此外,大规模的成本效益很重要。活动视频存档保持了成本效益,因为它们不需要额外的整个库或一组新的驱动器来读取视频。长此以往,基于磁盘的解决方案只有得益于不断下降的硬件价格和不断增加的磁盘容量,才能保持成本效益。如果简化及利用多种介质类型(磁带和磁盘)的最佳功能,一套全面集成的活动数字视频存档的作用和灵活性只会随之增长。
在我们看来,上述这些功能将体现在未来的最佳解决方案中。数字视频存档存储方面的这些创新让这类解决方案有望大大改善企业处理视频资料的方式。这些解决方案中的佼佼者不但仍可以提供同样的可扩展性和完整性,还能采用更高速的基于磁盘的架构来实现。这种架构可以把积满灰尘又无法访问的存档变成能够立即响应内容需要的互动式存储层。
此外,最佳解决方案常常把磁盘和磁带结合起来,组成单一存储库,以便把数据从性能较高的磁盘层迁移到长期存储的磁带层,同时实现功能、性能和容量三者的最佳平衡。
解决方案
对于处理数字内容的企业来说,活动视频存档会通过以下几个方面给业务经营的成本带来重大影响:
● 缩短耗费在等待慢速数字视频读取访问上的时间;
● 让视频内容更容易访问,因而更有可能作为一种资产重复使用于其他素材,或利用它另外创造价值;
● 减少管理开销,因为活动视频存档简化了复杂的存档和检索过程;
● 使企业不再需要定期更换硬件和介质,而这种更换对企业来说不但成本高,还会带来干扰。
说到基于可扩展磁盘并作为可扩展视频库而设计的活动视频存档这个领域,我们发现,Active Circle、Avid、Front Porch Digital和Omneon等厂商已经脱颖而出,它们占据了领先地位;而媒体公司正在充分利用存储技术来解决颇具挑战性的视频存档管理难题。此外,诸多横向扩展型NAS(scale-out NAS)解决方案将来也许能够满足需要,比如惠普公司的IBRIX、IBM公司的Scale-Out NAS(SONAS)和戴尔公司的ExaNet,不过这类解决方案并不是专门针对视频的。
此外,随着云计算技术不断完善,有望充分利用一些解决方案实现云中更庞大的视频存档层,比如EMC公司的Atmos、Iron Mountain公司的VFS和Nirvanix公司的CloudNAS等解决方案。不过,对许多这类基于云的解决方案来说,需要投入特别大的精力,才能把它们作为一种完全与工作流集成的存档来利用。这类云解决方案常常必须认真设计,以便与视频管理流程的生命周期衔接起来。
我们认为,这个领域一些比较年轻的厂商(如Active Circle)和横向扩展型NAS厂商将来可能提供的一些方案,有望在容量成本、保护级别和可扩展性方面为下一代活动视频存档提供真正差异化的价值。
我们要认识到,一些厂商正在借助磁盘作为一个缓存层,消除磁带固有的管理和缺少响应能力等问题,而另一些厂商开发的端到端解决方案旨在作为一种名副其实的活动视频存档。解决方案的可扩展性也许有好坏,提供关键优点的能力也有强弱,这取决于厂商采用哪一种方法。
链接
横向扩展NAS
横向扩展(Scale-out)是近两年在业界出现频率较高的词汇。在存储中,横向扩展是指存储具有模块化的结构,在其扩展容量的同时,性能也呈线性增长。用户最初只需部署能满足眼下需要的容量和性能,也就是按需配置,之后可根据应用的需要逐渐增加容量,当然性能也随之增加。与之相反的是一般传统存储的纵向扩展(Scale-up),也称向上扩展,这种存储设备扩展时往往增加了容量,降低了性能,并且可扩展的空间也很有限。
目前,在横向扩展领域有不少厂商都推出了产品和解决方案。今年4月,惠普推出了可横向扩展的P4000 G2和X9000产品。这两款产品均来自惠普之前收购的存储厂商LeftHand和IBRIX。IBRIX的横向扩展NAS平台和IBRIX Fusion能够极大地扩展性能、容量和管理能力。今年2月,IBM发布其首款横向扩展NAS存储系统SONAS(Scale Out Network Attached Storage),正式进入这一领域,日前该产品已经进入中国市场。Isilon公司是专注于这一领域的厂商,它的IQ横向扩展NAS在业界处于领先水平,其独有的操作系统OneFS目前已经到了第五代,最多可支持144个存储节点,其产品在视频领域有众多的用户,像传媒娱乐公司NBC Universal就曾选用Isilon IQ来归档和访问不断增长的媒体节目,包括娱乐电视与制作、电影、新闻和体育节目,并在其主制作与播出中心部署了数PB的IQ存储。据说,NBC对2008年北京奥运会的转播报道就得益于其部署的IQ横向扩展NAS。BlueArc公司也是一家横向扩展NAS领域的先进厂商,它的著名产品Titan在电影《阿凡达》等影片中的卓越表现被业界津津乐道。华为赛门铁克公司推出的Oceanspace N8000产品也是横向扩展NAS,尽管其推出时间不长,但已经有了成功的应用,具备很强的竞争力。
如今,数字视频已经出现在许多不同的应用场合,其作用越来越重要。但恐怕更重要的是,数字视频经过采集、编辑和制作后,变成了能为视频企业带来收益的产品。在这类企业内部,视频完全成了知识产权的具体体现—每个视频内容都可以被看做是一项重要资产,这些资产可一再地被重复使用或重新处理,并通过对最终产品的广播、分发、合作或更多的形式,带来新的收入。这类视频企业长期致力于重复使用数字视频,通常它们将遵循一个这样的周期,即某一段视频可能再三地被重新调用、重新分发、重新编辑,或者以其他方式重新呈现到企业面前。
存储面临的挑战
但是,重复使用数字视频不是我们一夜之间就能完成的过程。尽管表面上来看似乎那些复杂的数字采集和编辑功能很快就能学会,但用户们很快就会面临其他长期的挑战,这些挑战往往来自于存储。具体来说,数字化视频、越来越高的分辨率、更频繁的重复使用以及复杂的后处理功能,这些因素综合起来就会导致视频内容的数据量过于庞大,常常使每个素材的一段视频的数据量就达到数个TB大小。
此外,企业常常需要将一段视频制作成多种分辨率的视频,以便能在不同的场合使用,如一段视频可能转换成了网页分辨率、标清分辨率、多种高清分辨率甚至3D的视频。如果是一段每像素24位、帧速率为60fps的没有编码的纯1080p高清视频,它所需的带宽将轻松地超过350MBps。尽管经过编码和压缩的视频文件所需的带宽可能会减至40MBps到50MBps,但仅仅两个小时长的文件动辄就会成为容量超过100GB的庞然大物,而3D视频需要比这大好几倍的存储空间。
此外,由随机性数据组成的视频无法得益于重复数据删除技术。尽管有可能构建一个满足庞大视频素材或几个视频素材需要的系统,但要是事先不经过慎重考虑,长期重复使用视频会很快变得不可能。
由于制作及存储数量庞大的视频面临重重难题,视频企业只好选择分离的存储基础架构。这么做不无道理,快速的制作、采集和编辑可以在某一存储层进行,而企业通常在该存储层投入巨额的资金来提高性能。
但是视频的长期存放一般是在另一存储层,即存档。尽管这个存储层针对成本做了优化,可用于存储海量数据,但视频专业人士清楚地认识到,这个高效的存放地可以保护企业最宝贵的资产。
但是,这两个存储层的共存往往留下了空档。存档系统着眼于高级别的数据完整性和可扩展性,但常常饱受现有架构所带来的困扰,因为这些架构在设计之初并没有预计到今天的快速访问的需求。存储及读取可能横跨多段媒体(如视频)的TB级的素材将是复杂的过程,并且还会白白浪费数小时的时间—员工在等待素材检索过程中,啥事也干不了。不过速度快、性能高的存储系统价格极其高昂,对大多数企业来说,对这类系统进行扩展以便支持PB级的很少被访问的存档视频,不是无法实现,就是不合实际。
娱乐/媒体企业现在面临左右为难的境地。要么是花过多的钱购买价格不菲、但被误用于存档的存储系统;要么就是耗费大量时间等待慢速的存档系统读取所需的视频。
显然,如果结合生产存储(主存储)和归档存储(辅助存储)的一些最佳特点,将有助于长期地存储及重复使用数字视频。
下一代活动视频
存档的特点
幸好,面对媒体密集型企业的需求,存储行业在迅速响应,积极创新。对一些创新厂商来说,它们的重点放在提供一种更好的视频存档——这种视频存档集传统存档成本低、数据完整性级别高及长期保留的优点和基于磁盘的常规存储系统性能较高等优点于一身。这类解决方案能以类似于生产存储级的高效率把数据迁移回到生产存储上,同时保留了长期存档所需的全部完整性、可扩展性和保护级别。
许多解决方案用磁盘来增加多层次的磁带归档。或许更好的办法是,提供经济高效的基于磁盘的解决方案,这种方案当存储的数据变得闲置后,能把它们迁移到磁带上。这类解决方案提供了行业研究机构Taneja Group所说的活动视频存档(active video archive)。对视频专业人士来说,其优势很明显,因为它们可以把存档库变成更加活动的存储层,能立即提供存档内容,以便重复使用,而又不丧失传统存档的高级别完整性和低成本等优点。
在与最终用户进行讨论后,我们列出了下一代活动视频存档的一些最佳功能:
1.具有弹性
视频资料可能重复使用几十年,但活动视频存档必须能够确保其完整性。视频可能要长期地重复使用,可很少有数字存储系统旨在将数据存储这么长的时间。除了高可用性RAID和冗余技术外,如今的活动视频存档系统采用深层次校验和与文件段镜像等技术,可以提供比最佳的传统磁盘或磁带子系统还要高得多的完整性。基于磁盘的存档能以互动方式利用这些高级功能,不断管理系统的完整性,自动防范数据损坏、重新拷贝数据,或以其他方式纠正出现的数据问题。
2.灵活扩展
活动视频存档必须在容量和性能方面都能够进行灵活扩展,以满足数字资产不断增加、似乎要无休止地创建的需要。了解数字内容存储的人都知道,几乎不可能为明天的存储要求做规划。视频企业应当寻找能满足最高的预期目标、能伴随企业成长的存储解决方案。此外,企业应该注意性能,这是应对存储增长的一个重要考量因素,因为视频增加后,回调及重复使用数据的用户和系统的数量只会有增无减。尽管许多传统的存档解决方案试图以串行方式访问多段媒体时,很容易成为瓶颈,但更新的解决方案能够通过为系统增添额外节点来实现扩展和并行化,从而提升性能。此外,一些厂商可能混合使用几代不同的软硬件,让用户不需要升级整个存档,就可以增添容量、提升性能。从长远来看,这种扩展性能够创建“永远扩展”的单一存档,而不需要升级存储介质或硬件。一些解决方案借助与厂商无关的行业标准服务器和硬件,以及能够灵活扩展的纯软件方案,甚至不用像过去那样必须依赖特定厂商的硬件,带来了完全的自由。
3.开放和易于访问
面对多个素材和系统,活动视频存档必须易于访问,而且访问速度要快。许多传统存档采用串行方式读取数据,降低了存储和检索的性能,同时这类系统还由于需要专门的访问软件,或者需要企业把所有访问通过控制及管理惟一存档接口的主服务器来传送,这本身也是串行方式访问。现代数字媒体资产管理(DMAN)系统为访问存档提供了便利,把存档管理变成了在存储设备之外进行的一项任务,因而可以通过NFS或FTP等开放式协议来访问数据,使多个客户能够同时访问某文件,在速度和效率方面有显著的优点。
4.价位合理
由于长期存储海量系统在决策过程中有着重要地位,数字视频存档中存储的价位合理性就颇受关注。如今,有较高响应能力的基于磁盘的系统在成本上与目前最好的存档解决方案相比具有竞争力。此外,大规模的成本效益很重要。活动视频存档保持了成本效益,因为它们不需要额外的整个库或一组新的驱动器来读取视频。长此以往,基于磁盘的解决方案只有得益于不断下降的硬件价格和不断增加的磁盘容量,才能保持成本效益。如果简化及利用多种介质类型(磁带和磁盘)的最佳功能,一套全面集成的活动数字视频存档的作用和灵活性只会随之增长。
在我们看来,上述这些功能将体现在未来的最佳解决方案中。数字视频存档存储方面的这些创新让这类解决方案有望大大改善企业处理视频资料的方式。这些解决方案中的佼佼者不但仍可以提供同样的可扩展性和完整性,还能采用更高速的基于磁盘的架构来实现。这种架构可以把积满灰尘又无法访问的存档变成能够立即响应内容需要的互动式存储层。
此外,最佳解决方案常常把磁盘和磁带结合起来,组成单一存储库,以便把数据从性能较高的磁盘层迁移到长期存储的磁带层,同时实现功能、性能和容量三者的最佳平衡。
解决方案
对于处理数字内容的企业来说,活动视频存档会通过以下几个方面给业务经营的成本带来重大影响:
● 缩短耗费在等待慢速数字视频读取访问上的时间;
● 让视频内容更容易访问,因而更有可能作为一种资产重复使用于其他素材,或利用它另外创造价值;
● 减少管理开销,因为活动视频存档简化了复杂的存档和检索过程;
● 使企业不再需要定期更换硬件和介质,而这种更换对企业来说不但成本高,还会带来干扰。
说到基于可扩展磁盘并作为可扩展视频库而设计的活动视频存档这个领域,我们发现,Active Circle、Avid、Front Porch Digital和Omneon等厂商已经脱颖而出,它们占据了领先地位;而媒体公司正在充分利用存储技术来解决颇具挑战性的视频存档管理难题。此外,诸多横向扩展型NAS(scale-out NAS)解决方案将来也许能够满足需要,比如惠普公司的IBRIX、IBM公司的Scale-Out NAS(SONAS)和戴尔公司的ExaNet,不过这类解决方案并不是专门针对视频的。
此外,随着云计算技术不断完善,有望充分利用一些解决方案实现云中更庞大的视频存档层,比如EMC公司的Atmos、Iron Mountain公司的VFS和Nirvanix公司的CloudNAS等解决方案。不过,对许多这类基于云的解决方案来说,需要投入特别大的精力,才能把它们作为一种完全与工作流集成的存档来利用。这类云解决方案常常必须认真设计,以便与视频管理流程的生命周期衔接起来。
我们认为,这个领域一些比较年轻的厂商(如Active Circle)和横向扩展型NAS厂商将来可能提供的一些方案,有望在容量成本、保护级别和可扩展性方面为下一代活动视频存档提供真正差异化的价值。
我们要认识到,一些厂商正在借助磁盘作为一个缓存层,消除磁带固有的管理和缺少响应能力等问题,而另一些厂商开发的端到端解决方案旨在作为一种名副其实的活动视频存档。解决方案的可扩展性也许有好坏,提供关键优点的能力也有强弱,这取决于厂商采用哪一种方法。
链接
横向扩展NAS
横向扩展(Scale-out)是近两年在业界出现频率较高的词汇。在存储中,横向扩展是指存储具有模块化的结构,在其扩展容量的同时,性能也呈线性增长。用户最初只需部署能满足眼下需要的容量和性能,也就是按需配置,之后可根据应用的需要逐渐增加容量,当然性能也随之增加。与之相反的是一般传统存储的纵向扩展(Scale-up),也称向上扩展,这种存储设备扩展时往往增加了容量,降低了性能,并且可扩展的空间也很有限。
目前,在横向扩展领域有不少厂商都推出了产品和解决方案。今年4月,惠普推出了可横向扩展的P4000 G2和X9000产品。这两款产品均来自惠普之前收购的存储厂商LeftHand和IBRIX。IBRIX的横向扩展NAS平台和IBRIX Fusion能够极大地扩展性能、容量和管理能力。今年2月,IBM发布其首款横向扩展NAS存储系统SONAS(Scale Out Network Attached Storage),正式进入这一领域,日前该产品已经进入中国市场。Isilon公司是专注于这一领域的厂商,它的IQ横向扩展NAS在业界处于领先水平,其独有的操作系统OneFS目前已经到了第五代,最多可支持144个存储节点,其产品在视频领域有众多的用户,像传媒娱乐公司NBC Universal就曾选用Isilon IQ来归档和访问不断增长的媒体节目,包括娱乐电视与制作、电影、新闻和体育节目,并在其主制作与播出中心部署了数PB的IQ存储。据说,NBC对2008年北京奥运会的转播报道就得益于其部署的IQ横向扩展NAS。BlueArc公司也是一家横向扩展NAS领域的先进厂商,它的著名产品Titan在电影《阿凡达》等影片中的卓越表现被业界津津乐道。华为赛门铁克公司推出的Oceanspace N8000产品也是横向扩展NAS,尽管其推出时间不长,但已经有了成功的应用,具备很强的竞争力。