高性能计算在广播电视广告监管应用研究

来源 :传播与制作 | 被引量 : 0次 | 上传用户:jinyu9782
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  【摘要】 高性能计算在快速数据处理和海量数据高速分析方面的特点与监管业务的信息化发展相契合,更容易实现大时间和地域跨度的及时监管和及时处理。本文详细介绍了高性能计算在广播电视广告监管方面的应用。
  【关键字】 计算机集群 海量数据 资源利用 交互效率
  一.引言
  高性能计算(High performance computing,缩写HPC,也称“超算”)【1】通常指多处理器集群或多台计算机集群计算的系统和环境,通过软件系统和硬件环境的完美配合实现在单位机房面积内运算效能最大化的系统。高性能计算分很多类型,包括通过高性能网络互联的通用计算机集群系统或专用计算机集群到天河之类的巨型机系统,系统运算核心从十几颗到上万颗不等。
  随着信息技术发展,高性能计算已经不单指大规模通用CPU或重核CPU集群计算系统,基于GPU集群和X86服务器集群的高性能计算系统也日趋成熟。通过高速网络连接,用户可以根据业务需要搭建规模不一,价格相对低廉的超算系统提升单位机房面积综合计算效能。高性能计算应用领域非常广泛,传统的应用领域包括:量子化学、分子模拟、气象预报、天气研究、油气勘探、流体力学、结构力学、核反应等。随着经济发展和社会进步,人们需要更深入、更精细和更大规模的对研究对象进行分析和计算模拟,高性能计算成为在发现新现象、认识科学规律、进行工程设计中不可替代的手段。应用范围从传统领域不断扩大到资源环境、航空航天、新材料、新能源、医疗卫生、金融、文化产业等经济和社会发展的众多领域。
  在海量数据大规模分析应用系统中,在每天PB级的数据承载压力下,由于节省了大量的硬件设备和配套资源高性能计算系统是一个合适的选择。中国是人口大国,社会基础信息量极大,大量高性能计算已经应用在重要部门的海量信息融合性监管和分析系统中,随着国家信息化管理要求的不断提高,高性能计算对推动各级管理部门的信息自动化、智能化、融合化发展起着决定性作用。
  二.高性能计算主要技术特点
  相对于传统应用系统,高性能计算系统主要解决了:提高系统资源的利用率和加快运算节点间的交互效率。
  运行在单台X86平台上的传统应用系统属于多线程串行工作模式,即系统按照标准的系统资源分配原则将任务分配到不同的物理核,将不同物理核的计算结果保存在内存或硬盘。传统环境下的应用服务器的平均资源利用率通常不超过30%。
  云计算很好地解决了快速部署和硬件资源共享,可以大幅减少云平台的资源浪费,将不同节点的处理器、内存、存储等资源统一分配的网格计算技术,以及为了减少落盘次数发展起来的内存运算技术(即所有计算结果和交互数据都存放在内存中)都是为了最大限度提升系统整体效能。
  并行计算是高性能计算的一种,通常我们也把运算能力较强的定制化服务器称为HPC(High performance computer),随着应用需求的发展,目前我们所描述的HPC(High performance computing)系统已经不单单指一台定制化设备,而是通过高速网络连接起来的多服务器机群和底层资源控制系统之间的完美组合。


  图1显示了一标准化网状HPC系统。在网状网络拓扑中,该结构支持通过缩短网络节点之间的物理和逻辑距离来加快跨主机的通信,而控制服务器通过任务和运算服务器资源的状况进行统筹安排,先进的底层控制技术可以按照CPU时钟来分配每个物理核在不同的时间段完成指定的任务。典型HPC环境中的任务执行,有两个模型:单指令/多数据(SIMD)和多指令/多数据 (MIMD)【2】。以视听节目数据分析HPC系统为例,由于系统要进行视听节目的转码、元数据提取、拆帧、图像内容分析、语音内容分析等,但同时又需要多路视频实时并发,实际上是一个典型的MIMD系统。
  对于数据运算复杂、数据总量大的系统来说,HPC因为单位资源效率的数倍甚至数十倍提高,可以大幅降低硬件投入成本、机房建设成本和维护成本,满足信息化快速发展需求。
  由于对系统底层资源控制技术研究的不断深入和高速网络的发展,利用通用服务器构建HPC系统已经日趋成熟,用户可以根据信息处理需求定制化不同规模的HPC系统。HPC相对于巨型机来说,更加实用、部署灵活、价格低廉,相对于云计算来说,运算更快、空间更小、节能环保。
  三.广播电视广告监管的现状
  当前,电台电视台播放虚假医药广告问题比较突出,屡禁不止。这些虚假广告既损害了人民群众的切身利益,也严重影响了广播电视媒体的形象。国家新闻出版广电总局先后下发了《关于做好养生类节目制作播出工作的通知》、《关于进一步加强医疗养生类节目和医药广告播出管理的通知》等行业法规。坚持以宣传普及疾病预防、控制、治疗和养生保健等科学知识为主体内容,坚持真实、科学、权威、实用的原则,不得夸大夸张或虚假宣传、误导受众。做好医疗养生类节目和医药广告播出对于宣传国家医药卫生政策,传播医学科学知识,引导民众增强健康意识、养成健康生活方式,促进医患和谐,为健康中国创造良好氛围,培育厚田沃土,具有十分重要的意义。
  一方面要求各级新闻出版广电播出机构自觉遵守、执行,落实《通知》精神,开展自查自纠、认真整改;另一方面应依据法律法规对近千套的有线电视节目实现广告节目的实現有效的监听监看及研判。前者是相信广播电视播出机构具有自觉性,后者是实现管理的必要监督手段。
  如何利用新技术来实现对海量节目内容的排查、定位、数据统计是摆在监管面前的问题。但是由于目前监管技术手段较为单一,需要借助于新技术手段利用机器协助人工达到对已知违规内容实时发现、快速检索、快速取证等功能,还需要借助机器学习技术能够自动发现有明显违规现象的违规广告内容。   四.高性能计算在广播电视广告监管应用研究
  国内的电视节目信号有数千路,要实现在全国电视网络中做到自动、快速发现违规广告内容需要解决如下三个问题:
  快速数据处理能力:电视节目数据属于非结构化数据,相对于结构化数据库,数据量比较大,满足数千路数据的实时处理需要耗费大量的系统资源,传统的多线程串行系统设计思路需要数以千计的设备才能将所有电视信号进行深度内容分析。
  海量数据高速分析能力:视听节目数据在结构化之后,数据量非常大,100路数据1年的结构化数据总条目就可以达到30多亿条,在违规广告监管中如果需要大时间和地域跨度做分析,系统分析的综合效率需要大幅提升,才能满足监管业务的时效性要求。
  信息标准化:数据处理、数据分析、违规节目库、违规分类分级等都需要对信息资源进行标准化管理。比如将所有违规样本和视听节目的内容属性按照统一标准进行分析,所提取的内容属性满足内容检索要求,即通过现有样本可以与实时信号流进行图像和声音的内容比对而实现对相似节目实时发现,或者可以从海量数据资源中快速筛选出与违规样本相似的历史节目数据。只有实现了信息标准化之后,监管信息系统才能明确相对稳定的技术方向,保证系统业务的持续发展。
  在解决这三个问题中,高性能计算在快速数据处理和海量数据高速分析方面可以大幅提供系统性能的同时可以节省大量的硬件资源,相对较少的环境空间需求和设备需求可以加速监管业务的信息化发展。同时在日益紧迫的违规广告监管中,更容易实现大时间和地域跨度的及时监管和及时处理。
  资源粒化和智能分析系统是目前国家新闻出版广电总局正在进行系统实验的一个应用平台,在该平台中很好的解决了上述问题,并提出了自动化、高融和监管设计思路,通过一次粒化、自适应分析系统总体设计,可以满足日常和突发监管业务需求。
  在下述的资源粒化与智能分析平台介绍中,系统在数据加工、管理、分析、应用等不同环节,在信息高度标准化的前提下,结合行业知识充分利用信息之间的关联关系形成可被机器认知的知识化信息资源体系,从而可以承载智能分析、自主学习等智能应用系统。
  五.资源粒化与智能分析平台
  资源粒化与智能分析总体架构
  空间资源粒化:是对空间资源的知识化属性提取过程;多源粒化适应性体系结构:是指由用户自主对各类业务资源(含信息、知识、过程等)进行知识化属性提取,并可实时、简便地进行相应调整;双空间构造技术:具体在软件系统设计、开发过程中,将硬件环境与软件结构、模型算法、控制反馈等方面进行统一的规划、集成,达到高效、低耗、自适应稳定工作的目的。


  主要技术构成
  列式数据库:是大数据平台中结构化/元数据管理的基础部件;文字智能引擎:针对多语言文字内容,基于信息论、概率论的数学模型,提供各种处理、分析、关联、聚类等功能;视频智能引擎:针对帧图像中颜色、纹理和形状等特征建立其高维度空间的数学模型,实现镜头、关键帧、视频摘要、帧图像索引、相似查询与分析;音频智能引擎:针对音频信号,基于多种数学模型与方法,提供编解码、语种识别、声纹识别、语音识别(语音转文字)、音频短语识别等功能;流式数据处理引擎:将内存处理、事务、历史数据与流式分析相结合,对临界点进行实时计算,达到每秒百万条信息量的分析效率,处理迟延毫秒级;超算结构:基于x86聚合技术架构,支持向量计算AVX和多处理器并行计算。
  资源粒化集群示意图


  资源粒化集群和智能分析集群都采用了高性能运算集群架构,系统将实时流经过转码、分镜头和拆帧等数据归一化处理后,还要做元数据属性和传播属性提取、图像内容分析及属性提取、声音内容分析及属性提取、语音转文字等工作并将结果数据入库。因为采用了HPC集群架构,系统可以将任务分配到不同系统单元的时间窗口上,从数据流进入到产生结果数据之前始终不落盘,并且每个计算资源都按照计算任务的复杂程度安排了合理的时间窗,从而保证计算资源最大化利用,数倍以上的提升了系统的综合效率。
  在图3所示的硬件環境下,具有以下功能:100路节目转码、镜头分拆、关键帧、图像内容结构化、元数据提取、语音转文字等属性提取并实时入库。其中镜头及关键帧提取能够实时提取100路镜头及关键帧;语音转文字能够对100路节目实时进行中、英文语音转文字,新闻类节目准确率90%以上。
  通过对原始视频的资源粒化处理,形成以元数据、关键帧、图像特征属性(台标、人物、物品、场景、标识、纹理、字幕等)、声音属性(声纹、语音、语种、语音转文字)、关键字等构成的结构化数据,通过系统学习在列式数据库中形成特定的关联性数据,即知识型数据引擎,在分析层中可以通过任意属性组合快速、准确定位原始视频文件。
  在违规广告监管业务中,我们可以通过关键字、图像特征和声纹快速找到相似的广告信息,在以广告片断为样本的检索实验中,违规节目的筛选和拦截率甚至可以接近100%。以目前比较经常出现的虚假广告为例,一些虚假广告主采取多种手段躲避广播电视监管,先是以节目形式播出广告,从节目包装、节目名称到节目形式都是一部专题片,比如:某卫视播出的《走进科学之解读白癜风》和《走进科学之解密甲状腺》,实际播出的是违规医疗广告,一旦被国家新闻出版广电总局叫停后,它会在地方有线频道播出。在实验中,我们将违规视频放入违规样本库,系统对34家上星卫视节目进行布控,看看在此广告被叫停后是否还有别的频道播出此广告。系统能够准确找到同样节目在个别台播出,同样,我们也可以按照“白癜风”、“甲状腺”、“王克珍”等关键字检索是否还有类似内容播出。
  通过实验,我们发现利用资源粒化和智能分析系统,在违规广告监管中系统可以提供如下手段实现违规广告监管:
  (1)将违规广告作为样本,在电视节目流上进行实时拦截,时效性为秒级,相同节目内容拦截率100%,可以进行多样本同时拦截。
  (2)按照特定的违规广告样本,在历史节目中进行查询,根据资源库的大小,效率从十几秒到数分钟不等,相同节目内容准确率接近100%。
  (3)根据违规广告特点,通过机器学习将声纹、人像和关键字等进行相似节目检索和拦截,系统根据内容相近程度提供结果,人工甄别后可确定新的违规样本,维护进样本库后可按照第1种方式自动拦截,提高准确率。
  六.结束语
  随着新一代信息技术在各行各业的大量应用,面对海量内容数据,智能、高效的信息化技术手段应用在广告监管业务上是必然趋势,为了保证系统资源被最大限度利用,在数据集中处理和分析系统中应用超算架构搭建数据中心是非常适合的。随着技术发展,超算架构可以采用通用X86平台实现数倍甚至数十倍性能的提升,建设和维护成本大幅下降,已经成为新信息化应用系统核心。
  国家新闻出版广电总局监管业务对新型内容监管系统的需求越来越迫切,就广告监管业务来说,搭建新型广告监管系统需要大量的运算资源,而超算架构可以利用成熟技术,减少机房面积和环境资源,能够及早实现更大规模、更智能、自动化更高的全国广告及其它视听节目内容监管体系。B&P
  参考文献
  【1】https://baike.baidu.com/item/高性能计算/329249
  【2】《并行处理基本原理》,作者:(美)Harry F.Jordan,翻译:迟利华,出版:清华大学出版社2004年出版
其他文献
广电加入OTT  OTT的高速发展已经使付费电视用户数迅速下滑,传统付费电视(包括有线、卫星和IPTV)的价值正在逐步降低。虽然目前90%的宽带用户仍然继续使用付费电视,但过去12个月里他们感到其价值正在降低。宽带用户不再使用付费电视业务的比例从2010年底的9.5%上升到2011年底的12.5%。  而OTT在很大程度上,变成了新型的机顶盒之争,因为无论是乐视还是小米,都将OTT的核心放在“盒子
期刊
为满足日益扩大的数据存储要求,业界不断生产更大容量的硬盘设备以支持更大的存储器池。除了这些有形的解决方案之外,微软、思科和亚马逊等公司还向用户出售存储空间,把他们的信息放入一个未知规模的基于云的存储仓库。全体行业部门(不光是广播、媒体和娱乐)都刺激驱动器制造商努力制造容量无尽头的存储器。  当前不到60美元的1TB硬盘就是一个很好的例子。市场宣传往往举例说硬盘可以存多少张相片或多少小时的影片(通常
期刊
“索尼ODS-L30M海量数据流光盘库”荣获“BIRTV2013产品大奖”。网络应用行业专家、CCTV副总工宋宜纯给出了高度的评价:“作为台内媒体资产管理的核心,存储依然是各个厂商所关心的重点。索尼新推出了使用ODA光盘和ODS-D77F驱动器的ODS-L30M海量数据流光盘库,该光盘集中了ODA光盘的成熟、稳定、可靠、安全、耐用、文件检索速度快、良好的代际兼容性等特点。新型的ODS-D77F驱动
期刊
一年前的2012年12月,索尼在为PMW-F55/F5 4K数字摄影机所召开的新品发布会上,曾肯定地告知媒体:“PMW-F55/F5的诞生将改变整个数字摄影机竞争格局”。如今一周年刚过,信心已成现实:目前的影视剧拍摄制作中,PMW-F55/F5已经毫无争议地坐上了市场占有率的头把交椅,并正在推动整个节目拍摄市场快速进入4K时代。  实力,赢得市场尊重  来自索尼中国专业系统集团的数据显示,在大批量
期刊
以上三个结果来自乔什·戈登集团的白皮书——“4K UHDTV、3Gbps/1080p和1080i将如何塑造体育电视制作的未来”。该由Miranda公司赞助的白皮书建立在来自美国538位“从事移动车制作的高端体育制作专业人士”的回应的基础上,约75%的回应者与体育车制作有关。  “我们进行此调查以便更好地了解该领域的技术发展趋势,”Miranda公司营销传播总监David Cohen解释道。Mira
期刊
当前电视行业的热点是4K,但话题大多集中于视频质量,很少提及支持图像的音频。  对4K电视的音频很少提及的原因是它还处于新生期。目前没有准确定义4K音频的标准,但ATSC和SMPTE等组织现正在着手处理技术要求,而杜比、DTS、弗劳恩霍夫研究所及其它厂商正在解决该链条的创作和消费端问题。非常清楚的是标准组织和厂商们的所有努力都是为了使4K音频体验既有沉浸感又有个性化,而这些目标以基于对象的音频为中
期刊
一部影片的视觉感受好坏与否,除了镜头的构图与立意以外;很重要的一部分便是图像的质量。好的图像不仅曝光良好,而且颜色特别吸引人,整部作品有着自己的统一的色调。而要达到这点,前期摄像的调整与后期校色,都是不可或缺的。同时它们还有着相同点与不同点,下面就分别从摄像机,以及后期校色分别阐述。  随着近些年高清摄像机的普遍使用,人们越来越多的试图进行电视摄像机模拟电影摄像机的尝试,力图拍出像胶片一样的质感。
期刊
索尼、新疆电视台十二讯道高清转播车交付仪式成功举办!  2月7日上午,新疆电视台8+2+2讯道转播车交付仪式于新疆电视台成功举办。这是新疆电视台实施广电数字化、高清化改造工程的一项重要内容,此次高清转播车的投入使用,使新疆电视台拥有了一辆在同等规模高清制作领域达到国内先进水平的中型高清转播车。新疆电视台高清转播体系自此形成了大小互补、新旧互联的完整格局。  新疆电视台副台长蔡贺表示,该项目顺利交付
期刊
随着移动设备的重要性以及预期收益与日俱增,亚太地区被寄予厚望。该地区中产阶级的增加也意味着付费电视正日益成为此地区内消费者的一个选择。  市场研究机构“数字电视研究”预测付费电视收入将增长21亿美元,达到339亿美元,为该地区的卫星服务提供商持续显著增长做了铺垫。由于亚太地区数字电视转换发展迅速,数字电视渗透率也将从2012年的44%增长到2018年的90%,或者说2012-2018年增加4.4亿
期刊
5月26日,中外演艺设备行业备受瞩目的第二十三届中国国际专业音响?灯光?乐器及技术展览会正式拉开帷幕,将丰富的内涵,宏大的气势呈现于广大专业观众的眼前。  来自中国大陆和境外20多个国家和地区的1100余家企业汇集了上万种演艺设备和器材产品在北京中国国际展览中心(新馆)炫彩展示。展品涵盖了专业音响、专业灯光、舞台器械、专业音频系统集成、中西乐器及配件、会议系统、公共广播系统等领域。  整个展会精彩
期刊