论文部分内容阅读
在生产型媒体资产管理系统中，采集收录板块主要负责电视信号的收集调度、采集收录和发布交换，是电视信号的重要来源之一，服务于电视工艺后期的新闻、制作、播出、媒资管理等。
一.系统总体设计
1.系统总体架构设计
卫星、光纤、微波、3G网络等电视信号经过台信号调度中心输入收录矩阵，收录矩阵将各种信号调度到相应收录服务器进行信号收录。采集收录板块支持各种国际通用的高标清视音频格式，可以实现收录单的编辑、信号自动收录、收录任务控制、矩阵的调度、场记与文稿的制作等功能，收录后的媒体文件和元数据信息通过全台网主干平台的ESB、EMB双总线系统与其它业务板块进行交，如图1所示：
2.软件体系架构设计
采集收录板块软件体系架构，主要分为三个层面：
应用层：本层是最前端的用户体验和应用，包括SDI信号收录、ASI信号收录、UDP信号收录、统一监控、系统配置等；
中间层：该层是一系列中间件和服务构成，采用透明化方式为上层应用提供后台支撑。
数据层：由数据库和存储构成，是上面的应用和中间层的运行平台。
3.系统业务流程设计
采集收录板块业务流程分为以下几个阶段：
（1）收录预约阶段
在本阶段中，将有不同的账户进行任务预约工作，具体账户可以分为三大类：管理账户、普通账户、临时账户。根据每种账户的权限不同，系统会进行不同的预约响应，最终形成收录编单信息。
（2）信号收录
在资源收录部分，主要来源有SDI、ASI、UDP等的信号，由收录服务器实现信号的收录采集，并最终实现数字文件信息存储进入收录系统之中。
（3）收录文件共享、资源的发布检索下载
各制作人员可根据收录预约单直接浏览收录文件，并发起文件迁移流程，将收录下来的文件提交目标生产子系统中，或者系统直接根据任务单的指定目录将收录文件推送到目标生产子系统中。
资源通过采集收录板块对外进行发布，台内其他系统人员可以登录检索页面，进行素材浏览、播放、检索、下载等工作。一旦选择所需节目且权限允许，则由系统自动后台进行迁移送至其他系统之中进行进一步应用。
二.系统关键功能设计
1.基于任务矩阵的自动收录
在收录任务创建阶段，制作人员通过收录编单工作站将各个收录任务按照收录时段、收录内容、文件格式、文件存放地址等相关参数设定完成，之后收录系统数据库会根据此收录任务单自动调配设备、打通路由、在预定时间里进行收录工作。收录服务器将收录节目内容保存到在线磁盘阵列的收录缓冲区中，同时在数据库服务器上记录节目元数据信息。整个过程完全自动化，无需人为干预。
2.关键信号多重任务备份
生产型媒资的采集收录板块以整场为单位进行收录，所收录节目的时间都比较长，收录时间和节目内容都是不可重复的，而且如果收录内容不完整，将没有可替代性，因此相比资讯制播系统的短收录要求，其内容安全性要求更高，具有时间不可重复性、内容不可替代性的特点。对于重要的收录任务，采集收录板块支持关键信号多重任务备份。在收录时系统可分配一个备份收录进程，形成一个收录任务，同时执行两个收录进程，形成两个收录媒体文件，无论哪一个收录设备的故障，都不会影响收录内容的完整性。系统所需要做得的工作是在收录完成后，对比两个收录素材，删除其中一个不完整的素材。
3.动态任务自动切换与备份
采集收录板块支持动态任务自动切换与备份，当正在执行收录任务的服务器故障时，控制服务器监测到，对于该任务重新自动生成再生任务，再生任务是原来预约任务的子任务，子任务继承原来预约任务的信号参数，时长重新计算，并把子任务分配给收录设备池中的可用资源，继续完成子任务的收录。
如图6所示，预分配的任务完成的一部分，已经完成的收录生成的素材依然可用。信号重新分配后，再生子任务会继续完成后续的收录工作。收录完成后，后台打包整理服务器，能够根据任务之间的逻辑关系，把两段不连续的素材进行自动合并处理，保持对应原始收录任务内容的完整。
4.分布式单机帧缓存写入机制
（1）收录数据多重备份
在采集收录板块中，支持三种模式的存储：本地存储、网络存储、本地+网络。本地+网络存储，是针对收录安全性的设计，即信号采集后将视音频文件保存于服务器本地以及主备核心存储体内，这样可以使收录文件同时存在多个备份，减少存储损坏丢失数据的危险。
（2）单机帧缓存写入机制
收录服务器在执行收录任务时，先将收录的文件保存在收录服务器的本地硬盘中，同时收录服务器按照帧数据读出文件后，传输到中心存储，中心存储按照帧的重新封装后形成最终的收录文件。当网络故障时，收录服务器的本地文件不受影响，直到完成收录任务，在服务器本地硬盘形成收录的完整文件。
故障修复后，媒体文件重新传输，并进行对比验证，当确认中心存储的媒体文件完整后，可选择删除收录服务器的本地文件。在本地缓存应用中，采用了边采边编的技术，数据传输按照帧进行封装，传输协议融合了FTP和UDP协议，同时支持FC和以太网络环境。
（3）分布式单机帧缓存写入机制
单机帧缓存写入的分布式模式，是将集中的迁移服务中心，分散到收录服务器单机上，由其完成自己的网络写入。每台服务器只管理自身收录内容与网络写入，在帧缓存的网络中管理简单、安全可靠、负载均衡。分布式单机帧缓存写入机制最大的特点是分散，将迁移中心的集中迁移分散到各个单机本身，如果一台收录服务器故障，其它所有站点正常运行，不将风险管理寄希望于某套设备或者核心管理。
5.分段采集传输
采集收录板块支持分段采集传输，主要用于采集后需立刻制作、播出的紧急收录节目。分段采集传输与分布式单机直接写入原理是一致的，也是使用收录服务器本身进行数据迁移，结合帧缓存写入机制和分布式迁移机制最大限度的保障网络带宽的利用率，同时又不避免帧缓存机制传输对网络带宽的要求太大的弊端，同时节目进行分段采集、保存，最大程度的保障了采集节目的安全性。具体如图10所示：
编单人员在进行添加收录任务时可以将该任务进行分段设置，将收录任务分成片段等同的多个段落，当任务采集时会根据设计的时间段生成同等长度的多段素材，而采集完一段后，收录服务器将自动将采集完的片段素材传输到网络存储，等所有的片段采集完成后，在网络存储上可以选择采集节目是否合并。
采用分段采集传输机制最大的好处是便于核心收录系统为其他生产系统提供及时、有效的收录节目。在节目没有完全采集完成和传输之前就可以通过介质下载等方式获得收录节目的多个片段进行编辑、制作，极大的提高了节目制作的时效性，有效的保障了此类紧急节目制作、播出的需求。
一.系统总体设计
1.系统总体架构设计
卫星、光纤、微波、3G网络等电视信号经过台信号调度中心输入收录矩阵，收录矩阵将各种信号调度到相应收录服务器进行信号收录。采集收录板块支持各种国际通用的高标清视音频格式，可以实现收录单的编辑、信号自动收录、收录任务控制、矩阵的调度、场记与文稿的制作等功能，收录后的媒体文件和元数据信息通过全台网主干平台的ESB、EMB双总线系统与其它业务板块进行交，如图1所示：
2.软件体系架构设计
采集收录板块软件体系架构，主要分为三个层面：
应用层：本层是最前端的用户体验和应用，包括SDI信号收录、ASI信号收录、UDP信号收录、统一监控、系统配置等；
中间层：该层是一系列中间件和服务构成，采用透明化方式为上层应用提供后台支撑。
数据层：由数据库和存储构成，是上面的应用和中间层的运行平台。
3.系统业务流程设计
采集收录板块业务流程分为以下几个阶段：
（1）收录预约阶段
在本阶段中，将有不同的账户进行任务预约工作，具体账户可以分为三大类：管理账户、普通账户、临时账户。根据每种账户的权限不同，系统会进行不同的预约响应，最终形成收录编单信息。
（2）信号收录
在资源收录部分，主要来源有SDI、ASI、UDP等的信号，由收录服务器实现信号的收录采集，并最终实现数字文件信息存储进入收录系统之中。
（3）收录文件共享、资源的发布检索下载
各制作人员可根据收录预约单直接浏览收录文件，并发起文件迁移流程，将收录下来的文件提交目标生产子系统中，或者系统直接根据任务单的指定目录将收录文件推送到目标生产子系统中。
资源通过采集收录板块对外进行发布，台内其他系统人员可以登录检索页面，进行素材浏览、播放、检索、下载等工作。一旦选择所需节目且权限允许，则由系统自动后台进行迁移送至其他系统之中进行进一步应用。
二.系统关键功能设计
1.基于任务矩阵的自动收录
在收录任务创建阶段，制作人员通过收录编单工作站将各个收录任务按照收录时段、收录内容、文件格式、文件存放地址等相关参数设定完成，之后收录系统数据库会根据此收录任务单自动调配设备、打通路由、在预定时间里进行收录工作。收录服务器将收录节目内容保存到在线磁盘阵列的收录缓冲区中，同时在数据库服务器上记录节目元数据信息。整个过程完全自动化，无需人为干预。
2.关键信号多重任务备份
生产型媒资的采集收录板块以整场为单位进行收录，所收录节目的时间都比较长，收录时间和节目内容都是不可重复的，而且如果收录内容不完整，将没有可替代性，因此相比资讯制播系统的短收录要求，其内容安全性要求更高，具有时间不可重复性、内容不可替代性的特点。对于重要的收录任务，采集收录板块支持关键信号多重任务备份。在收录时系统可分配一个备份收录进程，形成一个收录任务，同时执行两个收录进程，形成两个收录媒体文件，无论哪一个收录设备的故障，都不会影响收录内容的完整性。系统所需要做得的工作是在收录完成后，对比两个收录素材，删除其中一个不完整的素材。
3.动态任务自动切换与备份
采集收录板块支持动态任务自动切换与备份，当正在执行收录任务的服务器故障时，控制服务器监测到，对于该任务重新自动生成再生任务，再生任务是原来预约任务的子任务，子任务继承原来预约任务的信号参数，时长重新计算，并把子任务分配给收录设备池中的可用资源，继续完成子任务的收录。
如图6所示，预分配的任务完成的一部分，已经完成的收录生成的素材依然可用。信号重新分配后，再生子任务会继续完成后续的收录工作。收录完成后，后台打包整理服务器，能够根据任务之间的逻辑关系，把两段不连续的素材进行自动合并处理，保持对应原始收录任务内容的完整。
4.分布式单机帧缓存写入机制
（1）收录数据多重备份
在采集收录板块中，支持三种模式的存储：本地存储、网络存储、本地+网络。本地+网络存储，是针对收录安全性的设计，即信号采集后将视音频文件保存于服务器本地以及主备核心存储体内，这样可以使收录文件同时存在多个备份，减少存储损坏丢失数据的危险。
（2）单机帧缓存写入机制
收录服务器在执行收录任务时，先将收录的文件保存在收录服务器的本地硬盘中，同时收录服务器按照帧数据读出文件后，传输到中心存储，中心存储按照帧的重新封装后形成最终的收录文件。当网络故障时，收录服务器的本地文件不受影响，直到完成收录任务，在服务器本地硬盘形成收录的完整文件。
故障修复后，媒体文件重新传输，并进行对比验证，当确认中心存储的媒体文件完整后，可选择删除收录服务器的本地文件。在本地缓存应用中，采用了边采边编的技术，数据传输按照帧进行封装，传输协议融合了FTP和UDP协议，同时支持FC和以太网络环境。
（3）分布式单机帧缓存写入机制
单机帧缓存写入的分布式模式，是将集中的迁移服务中心，分散到收录服务器单机上，由其完成自己的网络写入。每台服务器只管理自身收录内容与网络写入，在帧缓存的网络中管理简单、安全可靠、负载均衡。分布式单机帧缓存写入机制最大的特点是分散，将迁移中心的集中迁移分散到各个单机本身，如果一台收录服务器故障，其它所有站点正常运行，不将风险管理寄希望于某套设备或者核心管理。
5.分段采集传输
采集收录板块支持分段采集传输，主要用于采集后需立刻制作、播出的紧急收录节目。分段采集传输与分布式单机直接写入原理是一致的，也是使用收录服务器本身进行数据迁移，结合帧缓存写入机制和分布式迁移机制最大限度的保障网络带宽的利用率，同时又不避免帧缓存机制传输对网络带宽的要求太大的弊端，同时节目进行分段采集、保存，最大程度的保障了采集节目的安全性。具体如图10所示：
编单人员在进行添加收录任务时可以将该任务进行分段设置，将收录任务分成片段等同的多个段落，当任务采集时会根据设计的时间段生成同等长度的多段素材，而采集完一段后，收录服务器将自动将采集完的片段素材传输到网络存储，等所有的片段采集完成后，在网络存储上可以选择采集节目是否合并。
采用分段采集传输机制最大的好处是便于核心收录系统为其他生产系统提供及时、有效的收录节目。在节目没有完全采集完成和传输之前就可以通过介质下载等方式获得收录节目的多个片段进行编辑、制作，极大的提高了节目制作的时效性，有效的保障了此类紧急节目制作、播出的需求。