论文部分内容阅读
【摘要】媒资系统自出现以来，就被定义为一个巨大的“数据仓库”，作为媒资系统存储管理的唯一对象，数据的安全性和可用性既是数据管理的目的，也是整个系统在前期设计和后期运行中应当时刻考虑并遵循的重要原则。本文深入分析了媒资系统中数据管理的理论知识和技术基础，详细地划分了各种数据管理的对象，分别给出具体的管理方式，并紧密结合系统中的实际数据流向详细阐述了系统中软硬件的部署，以及在实际管理工作中需要特别注意的数据方案和存储策略。希望能为从事广电行业媒资系统建设和维护的技术人员一些有限的借鉴和参考。
【关键字】 媒体数据 元数据 LTO 数据流向 编目前移
媒体资产管理系统中存储的各类媒体数据是各应用单位极其宝贵的重要资产，这些数据将在今后的业务生产过程中发挥巨大的价值，对其有效、可靠的保存是媒资系统最重要的任务之一。考虑到电视台媒资系统的功能需求、业务流程的特殊性，这些珍贵资料的重要性远远大于制作版块日常生产使用的临时数据，而且一般都要长期保存甚至永久存储，因此应当充分认识并重视媒资系统中数据的管理。
从本质上说，媒资系统也是一个基于IT的信息处理系统，所以在系统设计之初，就需要对系统安全有完整的考虑和应对措施。通常来讲系统安全需要从以下角度综合考虑：物理安全、网络安全、访问安全、数据安全。而物理安全、网络安全、访问安全的设计最终都会影响到数据安全，数据安全在媒资系统来讲是整个安全系统中的重中之重，所有安全方面的设计最终也都要在高可用的基础上确保数据安全；另一方面，在媒资系统运行期间也必须进行日常的备份措施，以便系统出现问题的情况下及时恢复数据，及时保证全台制作播出这一业务流程的完整和安全。
简单来说，电视台媒资系统内的数据主要分为两类：一类是媒体数据（包括视音频、图片、电子文档等）本身，这部分数据通常存储在在线硬盘阵列的缓冲区和数据流磁带中；另一类是描述媒体数据的元数据，包括数据库内存储的各类媒体数据的描述信息和属性，视音频数据的低码流文件、关键帧数据，以及全台业务流程中系统互联和编目节点所产生的元数据等。
元数据由于需要频繁访问，通常都存储在计算机系统的硬盘或是硬盘阵列中：其中部分媒体数据的描述信息和属性存储在数据库系统中；低码流文件和关键帧数据通常存储在管理服务器、在线盘阵或是专门的流媒体服务器的数据硬盘上；此外，像大多数非编网络一样，媒资系统内也部署了许多服务器设备，这些服务器在进行日常的管理工作时，会产生大量的重要数据，如数据库文件、系统日志、配置文件等等，这些数据对于保证系统本身正常运行，和必要情况下的系统数据恢复都是非常重要的，所以经常需要技术维护人员进行备份，而这种备份本身又产生了大量的重要数据，这些数据可能同样需要管理备份。
综上所述，结合媒资系统中数据的多样性，根据各种数据重要性级别和备份恢复手段的不同，我们将媒资系统中的数据分为三类：媒体数据、数据库文件、非数据库的元数据。对于这些数据的管理，个人认为不仅要在搭建系统架构时充分考虑各种数据的存储需求和管理模式，还要联系实际情况——参照媒资系统投入运行之后的业务流程，分析系统内流程节点数据流向——对这些数据进行不同的记录备份和恢复处理。
前期设计——明确存储需求，做好数据部署
既然是数据管理，首先就要明确管理多少数据。数据量的多少直接影响媒资系统统计出客户需要保存的节目时间、节目增量和工作目标，进而得出各站点的数量，最终确定媒体文件和元数据的存储空间。个人认为应当从以下几方面来考虑：
1. 系统中高低码率文件编码方式和码率的选择。对台内现有数字化系统的资料进行保存时，一般可选用制作网、新闻网或播出网中的原始文件格式。现在的媒资管理系统基本上可对多种码率、多种编码格式的节目资料文件统一管理，这样既避免了转码带来的时间、空间上的浪费，又防止出现因转码可能带来的视音频质量损失。
如上表所示，海量存储一定是多格式的，从长远来看，不管是高清还是标清压缩算法都会改变，面向应用也会有不同的考虑，而且允许针对不同的节目形态在节目类型方面做一些优化，例如改变文件的封装方式以有效提高效率等，这些优化都是有针对性的，需要根据实际情况制定相应的策略。
2. 上载工作站和编目工作站数量的确定。上载工作站的数量主要是根据用户每天需要上载的传统磁带节目量的大小来确定的。由于上载的过程是1：1的信号上载，通常需要了解用户现有的磁带类型，各类节目的库存量，计划完成节目数字化采集上载的工作时间（如一年内完成多少小时等），由此计算出每天需要上载的节目量，从而得到系统需要配置多少台上载工作站。个人认为还需要注意的是，要考虑到上载工作站的可用时间以及上载人员的工作习惯，相应增加站点的数量，常见的配置方案是6小时/每天的上载量对应1台工作站。
此外，如果仅仅考虑完成传统磁带上载保存的话，简单计算可按每台上载工作站对应需要配置2台编目工作站来配置；如果考虑保存其他系统的数字化成品和素材，每天每增加3小时的编目工作就应相应增加1台编目工作站即可。
3. 明确数据总量，科学规划存储系统配置。在确定了媒资系统的上载站点和上载时间后，基本上就可以明确在一个较长的时间内数据量的大小，这也对存储系统的选型、配置提出了要求。媒资的存储系统通常包括在线盘阵和近线数据流磁带库，同时我们也要把媒资系统数据库的元数据作为数据管理的重要对象之一来对其进行存储规划：
·在线盘阵主要存储媒体文件、关键帧等数据，同时还可以作为提供上载的缓冲区和下载的缓冲区。高低码率文件都可以储存到在线盘阵中，也可以部署单独的高、低码率文件存储管理服务器。低码率文件除了作为编目、检索的预览文件，还可以用来对素材进行简单的粗编，所以一般不删除一直占据着相应的存储空间，如果条件允许，可以考虑单独部署一台流媒体管理服务器来对其进行存储和管理，这样对于缓冲区、流媒体存储空间的规划就相对宽松；而如果只有一个在线盘阵，其容量就要根据低码率文件的容量加上上载和下载缓冲区大小来计算。这就是一个相对不确定的数量，因为上载和下载对缓冲区的使用是不确定的，解决办法就是尽可能地扩大在线盘阵的存储容量，使其在满足较长时间内的存储任务的同时，兼顾为日常进出媒资的数据提供足够的临时空间。
·近线数据流磁带库容量规模的选择：一般高码率节目在近线带库存储1年左右，之后就可以离线到数据流密集架上去存储。可据此估算1年内新增的数据量；同样根据每天上载节目的多少可以计算需要多少台磁带驱动器。
小型媒资系统可选用独立磁带机，也可选用含一个磁带驱动器的小型磁带库；对于一般中型的系统，实际上在平均流量上，1台磁带机已经足够保证数据归档和回迁的需要，但可能某个时段使用特别集中，系统响应的时间就会变慢，某个任务在排队后可能在十几分钟或更长的时间才会完成。另外，由于磁带机的平均无故障工作时间也不是特别的长，所以中型媒资系统通常配置2台磁带机。大型系统的磁带机通常在3台到5台，甚至会达到10台以上。这种大型系统的磁带机数量一般需要经过业务需求的仔细分析计算得到。大致需要考虑的因素包括：每天归档数据量、带库分区的情况（有几类节目在带库里面，被划分为几个不同的独立区域）、查询回迁的数据流量、磁带机的使用分配模式、使用的磁带类型等。需要说明的是，现在多数媒资系统都可以对不同厂家不同型号的数据流磁带库统一管理。
·数据库元数据管理方面，需要指定专门的存储空间来存放管理数据库。数据库数据的存储安全固然重要，硬件上为避免单个硬盘在系统运行期间出现故障，管理服务器的数据硬盘采用RAID卡实现硬件方面的冗余保护，这样既提高了服务器关键数据访问效率，又可同时保证单硬盘故障情况下不会造成任何数据丢失。此外还可以通过集群技术实现数据库管理的热备。另外针对媒资业务本身产生的元数据，需要根据不同的流程节点来选择不同的存储管理设备。
（未完待续）
【关键字】 媒体数据 元数据 LTO 数据流向 编目前移
媒体资产管理系统中存储的各类媒体数据是各应用单位极其宝贵的重要资产，这些数据将在今后的业务生产过程中发挥巨大的价值，对其有效、可靠的保存是媒资系统最重要的任务之一。考虑到电视台媒资系统的功能需求、业务流程的特殊性，这些珍贵资料的重要性远远大于制作版块日常生产使用的临时数据，而且一般都要长期保存甚至永久存储，因此应当充分认识并重视媒资系统中数据的管理。
从本质上说，媒资系统也是一个基于IT的信息处理系统，所以在系统设计之初，就需要对系统安全有完整的考虑和应对措施。通常来讲系统安全需要从以下角度综合考虑：物理安全、网络安全、访问安全、数据安全。而物理安全、网络安全、访问安全的设计最终都会影响到数据安全，数据安全在媒资系统来讲是整个安全系统中的重中之重，所有安全方面的设计最终也都要在高可用的基础上确保数据安全；另一方面，在媒资系统运行期间也必须进行日常的备份措施，以便系统出现问题的情况下及时恢复数据，及时保证全台制作播出这一业务流程的完整和安全。
简单来说，电视台媒资系统内的数据主要分为两类：一类是媒体数据（包括视音频、图片、电子文档等）本身，这部分数据通常存储在在线硬盘阵列的缓冲区和数据流磁带中；另一类是描述媒体数据的元数据，包括数据库内存储的各类媒体数据的描述信息和属性，视音频数据的低码流文件、关键帧数据，以及全台业务流程中系统互联和编目节点所产生的元数据等。
元数据由于需要频繁访问，通常都存储在计算机系统的硬盘或是硬盘阵列中：其中部分媒体数据的描述信息和属性存储在数据库系统中；低码流文件和关键帧数据通常存储在管理服务器、在线盘阵或是专门的流媒体服务器的数据硬盘上；此外，像大多数非编网络一样，媒资系统内也部署了许多服务器设备，这些服务器在进行日常的管理工作时，会产生大量的重要数据，如数据库文件、系统日志、配置文件等等，这些数据对于保证系统本身正常运行，和必要情况下的系统数据恢复都是非常重要的，所以经常需要技术维护人员进行备份，而这种备份本身又产生了大量的重要数据，这些数据可能同样需要管理备份。
综上所述，结合媒资系统中数据的多样性，根据各种数据重要性级别和备份恢复手段的不同，我们将媒资系统中的数据分为三类：媒体数据、数据库文件、非数据库的元数据。对于这些数据的管理，个人认为不仅要在搭建系统架构时充分考虑各种数据的存储需求和管理模式，还要联系实际情况——参照媒资系统投入运行之后的业务流程，分析系统内流程节点数据流向——对这些数据进行不同的记录备份和恢复处理。
前期设计——明确存储需求，做好数据部署
既然是数据管理，首先就要明确管理多少数据。数据量的多少直接影响媒资系统统计出客户需要保存的节目时间、节目增量和工作目标，进而得出各站点的数量，最终确定媒体文件和元数据的存储空间。个人认为应当从以下几方面来考虑：
1. 系统中高低码率文件编码方式和码率的选择。对台内现有数字化系统的资料进行保存时，一般可选用制作网、新闻网或播出网中的原始文件格式。现在的媒资管理系统基本上可对多种码率、多种编码格式的节目资料文件统一管理，这样既避免了转码带来的时间、空间上的浪费，又防止出现因转码可能带来的视音频质量损失。
如上表所示，海量存储一定是多格式的，从长远来看，不管是高清还是标清压缩算法都会改变，面向应用也会有不同的考虑，而且允许针对不同的节目形态在节目类型方面做一些优化，例如改变文件的封装方式以有效提高效率等，这些优化都是有针对性的，需要根据实际情况制定相应的策略。
2. 上载工作站和编目工作站数量的确定。上载工作站的数量主要是根据用户每天需要上载的传统磁带节目量的大小来确定的。由于上载的过程是1：1的信号上载，通常需要了解用户现有的磁带类型，各类节目的库存量，计划完成节目数字化采集上载的工作时间（如一年内完成多少小时等），由此计算出每天需要上载的节目量，从而得到系统需要配置多少台上载工作站。个人认为还需要注意的是，要考虑到上载工作站的可用时间以及上载人员的工作习惯，相应增加站点的数量，常见的配置方案是6小时/每天的上载量对应1台工作站。
此外，如果仅仅考虑完成传统磁带上载保存的话，简单计算可按每台上载工作站对应需要配置2台编目工作站来配置；如果考虑保存其他系统的数字化成品和素材，每天每增加3小时的编目工作就应相应增加1台编目工作站即可。
3. 明确数据总量，科学规划存储系统配置。在确定了媒资系统的上载站点和上载时间后，基本上就可以明确在一个较长的时间内数据量的大小，这也对存储系统的选型、配置提出了要求。媒资的存储系统通常包括在线盘阵和近线数据流磁带库，同时我们也要把媒资系统数据库的元数据作为数据管理的重要对象之一来对其进行存储规划：
·在线盘阵主要存储媒体文件、关键帧等数据，同时还可以作为提供上载的缓冲区和下载的缓冲区。高低码率文件都可以储存到在线盘阵中，也可以部署单独的高、低码率文件存储管理服务器。低码率文件除了作为编目、检索的预览文件，还可以用来对素材进行简单的粗编，所以一般不删除一直占据着相应的存储空间，如果条件允许，可以考虑单独部署一台流媒体管理服务器来对其进行存储和管理，这样对于缓冲区、流媒体存储空间的规划就相对宽松；而如果只有一个在线盘阵，其容量就要根据低码率文件的容量加上上载和下载缓冲区大小来计算。这就是一个相对不确定的数量，因为上载和下载对缓冲区的使用是不确定的，解决办法就是尽可能地扩大在线盘阵的存储容量，使其在满足较长时间内的存储任务的同时，兼顾为日常进出媒资的数据提供足够的临时空间。
·近线数据流磁带库容量规模的选择：一般高码率节目在近线带库存储1年左右，之后就可以离线到数据流密集架上去存储。可据此估算1年内新增的数据量；同样根据每天上载节目的多少可以计算需要多少台磁带驱动器。
小型媒资系统可选用独立磁带机，也可选用含一个磁带驱动器的小型磁带库；对于一般中型的系统，实际上在平均流量上，1台磁带机已经足够保证数据归档和回迁的需要，但可能某个时段使用特别集中，系统响应的时间就会变慢，某个任务在排队后可能在十几分钟或更长的时间才会完成。另外，由于磁带机的平均无故障工作时间也不是特别的长，所以中型媒资系统通常配置2台磁带机。大型系统的磁带机通常在3台到5台，甚至会达到10台以上。这种大型系统的磁带机数量一般需要经过业务需求的仔细分析计算得到。大致需要考虑的因素包括：每天归档数据量、带库分区的情况（有几类节目在带库里面，被划分为几个不同的独立区域）、查询回迁的数据流量、磁带机的使用分配模式、使用的磁带类型等。需要说明的是，现在多数媒资系统都可以对不同厂家不同型号的数据流磁带库统一管理。
·数据库元数据管理方面，需要指定专门的存储空间来存放管理数据库。数据库数据的存储安全固然重要，硬件上为避免单个硬盘在系统运行期间出现故障，管理服务器的数据硬盘采用RAID卡实现硬件方面的冗余保护，这样既提高了服务器关键数据访问效率，又可同时保证单硬盘故障情况下不会造成任何数据丢失。此外还可以通过集群技术实现数据库管理的热备。另外针对媒资业务本身产生的元数据，需要根据不同的流程节点来选择不同的存储管理设备。
（未完待续）