8K超高清电视在线播放关键技术研究

来源 :卫星电视与宽带多媒体 | 被引量 : 0次 | 上传用户:AABBCCPANJIANHUA
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  【摘要】基于MT9950平台开发的8K系统方案设计与关键技术攻关验证。重点针对8K电视平台的超分辨率画质提升算法与应用研究。本文提出的8K-SR算法是基于SRCNN、FSRCNN算法基础模型进行分析,通过将降质图像进行十二等分训练学习,同步平衡还原效果和处理时间,并通过后端的画质优化技术进行图像修正。
  【关键词】8K;传输速率;超分辨率算法;在线视频播放
  中图分类号:TN929                    文献标识码:A                    DOI:10.12246/j.issn.1673-0348.2021.16.025
  1. 技术背景
  Futuresource Consulting发布的预测数据,2023年8K电视机的销量将从2019年的20万台以每年130%的复合增长率增长。据Strategy Analytics报告预测:到2025年,全球将有超过2000万家庭拥有8K级别的电视机,由此可见,8K超高清电视前景广阔,具有非常诱人的吸引力。而实现8K超高清在线播放关键技术除了网络带宽升级,另外一个非常重要的方向就是利用AI技术改变片源匮乏的现状。
  2. 硬件方案设计
  2.1 显示屏的选择
  8K电视机分辨率为7680*4320,约有3300万个像素点,是4K电视机的四倍,像素点细腻感很强,准确的说8K在尺寸越大的显示面积上才会更有意义。对于之前的4K产品,50寸以下就没有太大的意义,而在8K产品上,65寸以下就没有太大的意义。目前的10.5/11代液晶面板线,以每块玻璃基板6片单元的方式切割的75英寸产品,是切割效率最高的方式,是目前最容易大量供给的“大尺寸8K”规格,在价格和供应上,75寸8K都具有明显的优势,所以现有8K产品一般采用75+及以上的尺寸。
  2.2 平台选择
  8K平台基于编解码的超高诉求,对于平台的性能要求很高,本身8K SOC资源并不多,本文采用的是MTK公司在推出了第一款8K SOC,型号为MT9950。我司采用該IC为整个8K平台的主IC,该芯片可支持4K 120Hz以及8K 60Hz的视频输出,具体特点如下:
  用于其他国家或地区的外部解调器的传输流输入全球多标准模拟电视解调器。
  支持ATSC/DVB-T/DVB-T2/DVB-S/DVB-S2//DVB-S2X/DVB-C/DTMB/ISDB-T解调;
  120Hz 4K/30Hz 8K/60Hz 8K直接驱动,MT9950系列可直驱8K 60Hz。同时还支持ME/MC帧速率转换,数据速率由3840x2160p@30Hz至3840x2160p@60Hz或3840x2160p@24Hz至3840x2160p@48Hz。
  支持两路HDMI2.1;
  多标准视频解码器(含AV1);
  支持多分区local dimming功能;
  3. 超分辨率软件处理算法设计
  3.1 超分辨率技术介绍
  所谓的超分辨率即是通过某种算法将下图里面的输入图像转换成输出图像。通过补充输入图像像素周围的像素点,呈现更完成的细节,换而言之,相当于补充高频内容。本章将详细的介绍各类超分算法,逐一进行解析,并提出具有自主知识产权的超分算法,实现更优的图像画质表现。如图1所示:
  从技术的实现层面对超分辨率进行分类,主要可分为如下三大类:
  3.1.1 基于插值算法的实现
  基于插值方法的原理为先预估多帧图像间的运动趋势,采集在不同的图像采样区间HR图像的像素分布,然后通过类似加权平均计算HR栅格上图像应该呈现的像素,用这类帧间像素预测技术来去掉模糊隐藏的信息并实现较好的噪声控制]。优点是算法高效,适合并行计算,可达到实时的效果。缺点是是获取高频信息能力较弱,SR处理后的图像立体感不强。
  3.1.2 基于重建的方法
  基于重建的算法是基于低分辨率图像信号能够有效的估算出最初的高分辨率图像的基础上,最终目标复原图像的效果取决于输入低分辨率图像的质量与数量,目标复原图像的分辨率越高,所需的训练集数量随之增加。
  3.1.3 基于学习的方法
  基于学习的算法今年来异常火爆,该算法中最重要的部分是建立学习模型,目的在于获得先验知识。现有流行的学习算法模型包含:金字塔模型、神经网络模型、主要成分分析模型等。基于学习的算法通过训练样本计算获取先知知识,得到输入与输出图像的转换算法。基于学习算法认为,在经过了反复的学习之后,算法已经完全有能力从低分辨率图像的信息推测到高分辨率图像的信息,在样本图像数量固定的条件下不增加图像数量就可以获得图像的高频部分的信息,相较于重建方法具有更佳的复原效果,在超高清分辨率持续刷新消费显示领域的今天,该算法以其独特的技术优势,在图片和多帧视频分辨率显示质量提升的各种场景得到了广泛的应用。
  3.1.4 实现方案
  第一步是搭建好自己的图片信息库,收集各种类型的图片。然后选取高质量的图像进行模糊化,让清晰的图像不再清晰,接下来对图像进行等分切割,形成图像分块。本算法将选择将图像分割成12份,12份这个数字是综合考虑PSNR以及SOC运算速度和算力选取的数据,系统整体的处理速度比较快,同时也能满足图像的基本质量需求,整个学习模型的对于系统的负载也相对适中,稳定性和可靠性较高。
  第二步是利用切割的图像建立一个高频训练样本集,从中学习到所需的高频信息模型,预测所需信息,从而提升图像分辨率的目的。超分图像处理方法都是采用把图像信息进行切割均分(Patch-based)的方式,图像被分成多个小图像块, 通过一定的卷积计算获取和低分辨率图像块匹配度最高的高分辨率图像块。   第三步是算法的选择与改进。SRCNN是最早的深度学习用来研究超分辨率重建的学习算法。它采用非常简单的网络结构,计算的卷积算法一共只有三层,FSRCNN算法是基于SRCNN的改进型的算法,但是主要做了三个方面的技术提升:一是可以直接将低分辨率原图片直接输入到网络中。二是实现了用更小的卷积核,并调整了原来的映射层,使用了更多的映射层,三是通过映射层共享实现快速模型学习,效率大幅提升。
  FSRCNN提升了超级分辨率技术的运算速度,结合当前NPU的超强算力,有机会实现视频超分技术,即8K超高清视频的在线播放技术,为了更好实现图像信息的还原,帧与帧之间的微小差异的信息互补是视频超分辨率算法的另外一个非常重要的途径。
  接下来介绍详细的思路:1)简单的说,该模型主要就是把低分辨率图像帧通过一定的预测算法,预测运动画面各帧画面,常规的视频超分辨率技术,大都需要执行这个必不可少的步骤。预测算法的好坏对输出质量其决定性作用。2)即就是在同一坐标系中中,对相邻帧图像进行处理,与当前帧进行图像配准。3)图片3.10重点介绍的超分辨率算法和实现视频图像的超分辨的另外一个方法,将更多帧数的图像进行信息提取并合并。4)通过相邻帧的运动估计,视频图像超分辨算法在单帧图像基础上结合多帧图像来输出目标图像。由于8K的数据量较4K提升有4倍,整个过程将会耗费更多的时间进行计算,对算法来说挑战巨大。超分辨率算法必须模型够小、速度够快,才能够真正具备实用价值,所以本方案算法将朝着这个方向去努力。基于SRCNN演化出来的FSRCNN算法,在运算效率上得到了极大的改善,但是图像的PSNR还是比较高,因此,本方案的算法将基于FSRCNN进行优化。
  低速视频:超分辨率算法主要包括两个部分:相邻帧图像之间的运动补偿以及多帧图像的超分辨率重建。其算法的核心在于通过多张低分辨率图像作为输入,然后进行运动补偿,接下来对调整后的每一帧送入卷积神经网络处理。在整个的过程中,本方案可以通过调整卷积网络中滤波器的个数与尺寸来获取不同质量的图像。
  非低速视频:通常遇到的视频并非都是低速视频,有时候视频中还会出现大幅度的运动甚至是高速运动,高分辨率重建图像在这一环节将差强人意。面对此种情况,本论文提出全新的思路,在图像处理中引入自适应运动补偿算法,主要目的是减少相邻帧的配准错误的出现,提升重建的效果。自适应运动补偿的公式如下:
  (3-1)
  其中yt为中心帧,是相邻帧yt-T的输出。r(i,j)是 和yt-T的权重系数,主要用来做多帧图像的权重平衡。其中,r(i,j)定义如下:
  (3-2)
  k是常数,e(i,j)为运动补偿。e(i,j)的值有时候会偏大,这可能有多种原因,比如图像上的拖尾,或者由于运动过快、像素缺失等,但是这时候计算出来的权重系数会变小,这就是自适应补偿机制的平衡运行机制,能有效降低图像误差运算。
  该运动补偿自主算法是基于FSRCNN算法进行改进的,主要通过调整输入图像的切割尺寸和图像的连续帧数找到一种相对学习时间和图像效果均衡的参数,具体图像运算补偿输出公式如下:
  (3-3)
  w是首层滤波器权重,b是偏置项,k是滤波器的编号,Ny则是第N帧的输入帧。
  (3-4)
  基于如上描述的算法逻辑,最终形成算法模型。
  4. 实验成果验证
  4.1 超分辨率质量评价指标
  峰值信噪比(PSNR):用于量化图像质量失真程度。,它是对比原始图像和超分图像质量的差异而来,既可以用于体现所重建的图像对比原图像的失真水平,还可以有效的表现出重建图像的噪声大小。目前该指标已经被广泛应用于评估图像质量。PSNR本身的值越大,表明对应算法重建图像的质量越好。
  结构相似度(SSIM):用于量化输出图像与原始图像的相似度,值越大,差异越小。
  4.2 图像超分辨率验证
  图像超分辨率验证需要基于测试数据集来对比输出的图像效果,这里,本算法使用行业公认的Set5、Setl4进行验证。如下为三组SRCNN、FSRCNN以及本改進算法超级分辨率效果客观数据对比:
  从数据列表里面可以明显地看出,以Set5为数据集时,在因子为2的情况下,自主算法对应的PSNR的值比FSRCNN高0.27,SSIM的值比FSRCNN高0.0012,在因子为3的情况下,自主算法对应的PSNR的值比FSRCNN高2.11,SSIM的值比FSRCNN高0.0009,在因子为4的情况下,自主算法对应的PSNR的值比FSRCNN高1.18,SSIM的值比FSRCNN高0.0032。
  从数据列表里面可以明显地看出,以Set14为数据集时,在因子为2的情况下,自主算法对应的PSNR的值比FSRCNN高3.26,SSIM的值比FSRCNN高0.0111,在因子为3的情况下,自主算法对应的PSNR的值比FSRCNN高0.22,SSIM的值比FSRCNN高0.0349在因子为4的情况下,自主算法对应的PSNR的值比FSRCNN高3.33,SSIM的值比FSRCNN高0.0446。
  可以明显的看出本论文的超级分辨率自主算法在客观数据上明显优于SRCNN和FSRCNN,对于图像的重建显示部分有明显的提升。同步结合客观数据,对实际的算法做了主观的判断,包括人脸以及动物的超分辨率重建图片。
  5. 小结
  文本论文介绍了行业流行的多种超分辨率技术,结合现有FSRCNN算法,提出基于学习的自主知识产权超分辨率优化算法,通过图像切割尺寸和图像帧数的优化,最终生成相对合理的8K超分视频库和算法逻辑,并针对图像和视频信号均有进行实际的实验和数据验证,通过主观和客观的方式呈现出与传统超分辨率算法的差异化对比,最终的测试数据以及主观表现都有比较明显的提升,同时该算法有效提升了运算的效率以及图像的还原清晰度。该算法的提出,是对现有8K电视机产品的画质的保障,能在8K资源匮乏的情况下为8K快速产业化推波助力。
  参考文献:
  [1]桂笑冬.4K/8K超高清电视:现状、发展与趋向——基于日本4K/8K超高清卫星电视播出的观察[J].中国新闻传播研究,2018,(02):42-59.
  [2]肖运虹,王志铭.显示技术(第二版)[M].西安电子科技大学出版社,2018.
  [3]刘宁.8K超高清电视发展现状和发展趋势[J].现代电视技术,2018,204(06):(112-115)+132.
  [4]王朝明.新一轮显示技术革命蓄势待发5G+8K将带来哪些变革?[J].电视指南,2019(14):34-37.
  [5]解放.分辨率新贵“8K”知多少[J].家庭影院技术,2019(02):96-99.
  [6]钟鑫.基于超分辨率技术的图像增强技术的应用[M].中国安防,2013.
  [7]李程超.视频超分辨率重建系统的研究与实现[D].东南大学,2017.
  [8]钟文莉.卷积神经网络在视频超分辨率中的应用研究[D].电子科技大学,2018.
  [9]魏妍妍.低照度图像增强与超分辨率重建算法研究[D].西安科技大学,2019.
  [9]高英俊,于涛.视频超分辨率算法的研究与实现[D].当代教育实践与教学研究,2015.
  作者简介:江润,福建漳州人,毕业于北京大学深圳研究生院,硕士,高级工程师。研究方向:显示技术产业化。
其他文献
【摘要】随着社会的不断发展,各种生活栏目应运而生。在此基础上,结合播音员播音风格的这一特点,总结了播音风格的内涵,阐述了播音风格的主要特点和形成因素,提出了培养播音风格个性化的方法和策略,促进播音风格。找到合适的播音风格,提高播音员的能力,提高节目的质量和效果。  【关键词】播音员;风格;多样化;形成因素  中图分类号:G221 文献标识码:A DOI:10.1
【摘要】随着国家繁荣与科技发达,我国已进入到数字化时代,而数字技术更是运用在社会各行各业,对行业发展具有重要作用。广播电视行业也同样受到数字化时代的影响,由于传统编排与播出形式相对单一陈旧。而数字化技术运用在广播电视节目制作中,能够使广播电视节目与新媒体技术密切融合,进而走出全新的发展之路。本文基于对广播电视节目制作发展历程进行解读,明确数字化环境下广播电视节目制作面临的挑战,而后总结出具体发展路
在“健康中国”、“体育强国”的战略推动下,我国群众体育发展进程飞快,群众日益增长的体育需求与政府供给处于非均衡状态,体育社会组织应运而生。十八届三中全会提出推进治理体系和治理能力现代化,社区作为服务居民的“最后一公里”,在治理层面发挥着不可替代的作用。地方体育社会组织在社区治理发挥自身优势,也面临诸多挑战。运用文献资料调研、实践考察、逻辑分析等研究方法,探寻地方性体育社会组织参与社区治理的困境与出路。地方体育社会组织社区治理可通过主体协同治理、激活组织力量、优化供给、健全体育人才支撑体系、网格治理向网络化
【摘要】全媒体时代的新媒体编辑,应当学会分析自己在工作内容上的特殊要求。结合新闻事件以及与事件相关话题信息内容的传播,了解在网络平台中整改公开网络环境和保护新闻知识产权等方面的巨大工作需求。把如何加工和在原稿件中融入读者观点,作为编辑工作对外传播信息内容、报道新闻事件的重要立足点,提出提升个人职业素养的做法。  【关键词】全媒体时代;新媒体编辑;信息内容传播  中图分类号:G221
【摘要】21世纪我国已步入经济快速发展时期,基层的新闻宣传工作也逐渐呈现出蒸蒸日上的上升趋势,主要是以凝心聚力、发展合力的强大思想作为主体方向进行科学宣传,切实保证基层新闻宣传的时效性,促进基层新闻宣传效果,进而实现全民报道的新闻宣传目标。在进行基层新闻宣传工作过程中,由于基层民众对新闻宣传认识浅薄,为工作开展带来一定挑战。  【关键词】新媒体;基层新闻宣传;机遇  中图分类号:TN94
【摘要】随着信息技术和互联网技术的发展,媒体的制作、传播都发生了前所未有的改变,媒体介质的发展也遵循着由简单到复杂的更迭路线。各种媒体的深度融合催生全媒體时代的到来,对于新闻记者也有着不可避免的挑战,在原有核心素养的基础上,如何应对全媒体时代的到来是传统新闻记者推陈出新、顺应潮流的重大课题。全媒体时代,新闻记者应该开拓思维,敢于创新;主动掌握新媒体应用技术;做到各类文化融合;永葆守正出新的新闻情怀
【摘要】在日常生活中,通过利用有效的技巧检测分析电视机故障,可以提高电视机维修的效率。在通电和断电两种状态下进行维修是两种截然不同的维修方式和维修技巧。基于此,本文简要说明电视机故障检测的意义,并分别对两种状态下的电视机故障检测与维修策略加以分析。  【关键词】电视机;故障检测;维修技巧  中图分类号:TN929 文献标识码:A DOI:10.12246/j.i
教师资格证对于想要从事教师职业的人是一个必不可少的证书,教师资格证是需要通过一系列的考核认证才能取得。本文通过对四川文理学院体育学院学生参加教师资格证笔试的情况进行调查,采用文献资料法、问卷调查法、数理统计法等研究方法,以2016级学生为调查对象,研究认为影响教师资格证笔试成绩的原因主要是学生对教师资格证考试的重视度不足、对考试内容的了解度不够、学生的学习准备不充分,还有学校的专业课程设置不完善,为提高教师资格证笔试通过率应该针对上述情况提出相应的建议。
【摘要】随着媒体融合技术的迅速发展,传统电视行业正在向现代新型模式过渡及转型。在融媒体背景下,电视媒体竞争的核心将会是电视节目主持人的品牌化塑造。从当前的发展状况来看,电视节目主持人的品牌化塑造存在缺乏新媒体资源的利用、主持风格同质化问题突出、文化素养缺失等问题。本文提出了充分利用新媒体资源、形成个性化的主持风格、不断提高自身职业素养三个方面的策略,进行电视节目主持人品牌化塑造,以促进电视节目的传
【摘要】对于新旧媒体的融合,要有效避免两种媒体的短板。传统媒体在过去几十年中发挥了相对重要的作用,随着时代的发展,互联网也在不断改变和创新,媒体新媒体时代终于到来。与传统媒体相比,新媒体传播速度更快,传递的信息更直观。但是,新媒体也有一些弊端。因此,在偏远地区,需要将新媒体和传统媒体进行融合,这就要求媒体工作者要不断创新改革,实现新媒体和传统媒体的共同发展。  【关键词】偏远地区;新媒体;传统媒体