基于逆向重建网格和空时显著性分类的视频重定向质量客观评价研究

来源 :广西大学 | 被引量 : 0次 | 上传用户:zhaoml0000
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动多媒体终端的迅速普及以及视频数据爆炸式的增长,终端显示设备的尺寸呈现多样性的特点。为了使视频内容适应不同终端设备的显示要求,需要对视频进行空间分辨率或宽高比的调整。基于内容的视频重定向方法旨在视频缩放的过程中尽可能地保证重要内容的重建质量,并保持视频流畅的播放效果。然而,对于复杂的视频内容,现有的视频重定向算法难以获得理想的性能,或多或少地引入视频的空域失真和时域失真。为了更好地提升视频重定向算法的性能,为不同的视频应用选择合适的重定向算法,需要对重定向视频的质量进行有效的评价。现有的视频重定向质量评价(Video Retargeting Quality Assessment,VRQA)方法主要分为:主观评价和客观评价。一方面,存在的视频重定向质量主观评价研究通常是通过寻找少量观看者进行简单的视觉比较,实验结果往往缺乏有效性和说服力。至今为止还没有独立和公开的视频重定向质量的主观评价数据库,而主观数据库是衡量客观评价算法性能的必要基准,所以对重定向视频质量的主观研究是必要的。另一方面,现有的视频重定向质量客观评价(Video Retargeting Quality Objective Assessment,VRQOA)方法一般采用统一视频尺寸的方式,根据SIFT方法将重定向视频帧放大到原始视频帧的尺寸,从而解决重定向前后分辨率不一的问题,但这样很容易引入失真,影响评估性能;而且这些算法往往直接根据人为经验对失真指标设置固定权重,使其难以适用于不同内容的重定向视频的质量评估,导致最终难以获得符合人眼视觉感知的质量分数。为了解决上述问题,本文对视频重定向质量主客观评价进行了深入研究,本文的研究结果如下:设计并建立一个视频重定向质量主观评价数据库,旨在用于衡量视频重定向质量客观评价算法的有效性。该数据库采用双刺激方法,随机邀请43位测试者对重定向视频进行主观质量评估。该数据库包含由28个内容和形式多样的原始视频(其中包含20个空间分辨率为352×288的视频,4个分辨率为1280×720的视频和4个分辨率为1920×1080的视频),经6种重定向方法得到的840个测试视频。提出了一种基于空时显著性分类和自适应融合的视频重定向质量客观评价算法。该算法根据原始视频的空时显著性信息构建一个视频分类模型,对视频进行分类后,根据不同种类视频的特性对评价指标自适应分配不同的融合权重,并融合获得最终的评价结果。具体而言,采用感知几何失真(Perceptual Geometric Distortion,PGD)、边缘组相似度(Edge Group Similarity,EGS)、目标时间失真(Object Temporal Distortion,OTD)和时间连续性相似失真(Temporal Continuity similarity Distortion,TCD)四种衡量空域和时域失真的指标来评估重定向视频的质量。特别地,本文提出了时间连续相似失真(TCD)及目标时间失真(OTD)指标,分别用于评估重定向视频相邻帧之间的时间连续性以及重要区域的时间失真。实验结果表明,与现有的评价算法相比,该算法具有较好的性能,与主观数据库的肯德尔相关系数达到0.47,对于不同类别视频均保持较好的稳定性。提出了一种基于逆向重建网格的视频重定向质量客观评价算法。该算法首先对重定向视频帧进行划分均匀网格,并通过采用逆向匹配的方式将网格顶点映射到原始视频帧,从而获得逆向重建网格。然后将视频重定向中基于网格变形(Warping)的能量指标用于衡量重建网格的空间失真以及时间连续性来评估重定向视频的客观质量,有效地解决了重定向过程中造成的视频尺寸不匹配的问题。实验结果表明,本文算法的评价结果与主观数据库的肯德尔相关系数达到0.50;与现有的算法相比,该算法能更有效地评价重定向视频的质量,与人眼感知的吻合度更高,并且具有更低的处理时间。
其他文献
背景:肝细胞癌(HCC)是我国主要发病率和最具威胁生命的癌症之一,如何战胜肝癌是摆在患者面前的世界性难题。木通及其果实预知子是一种具有抗炎和抗肿瘤作用的中药,文献研究发现中药木通及其果实预知子对肝癌有抑制作用,但是否与其质量标志物木通苯乙醇苷B有关,其作用机制如何,尚未明确。目的:研究木通苯乙醇苷B对肝癌细胞周期、凋亡的影响,并初步探究其作用机制。方法:用木通苯乙醇苷B处理肝癌细胞。MTT法检测细
学位
背景:脑卒中是一种急性脑血管疾病,其高发病率、高死亡率和高致残率使得脑卒中成为中国居民的第一位死亡原因,且其疾病负担在世界各国均呈不断上升趋势。在临床治疗过程中,脑卒中的治疗仅限于通过药物或机械溶栓等手段来恢复缺血区域的血流,然而在这些患者中,仍有一半患者未表现出症状改善,伴随着不同程度的运动功能障碍。临床实践表明穴位埋线可以有效改善脑卒中患者的运动功能障碍,但具体作用机制仍需进一步进行研究。目的
学位
背景:补体系统广泛参与机体的生物防御功能和免疫调节效应。补体系统过度激活导致多种免疫和炎症性疾病,包括缺血再灌注损伤、脓毒症和自身免疫系统疾病等。因此,补体系统是免疫和炎症性疾病药物研发的重要靶点。近年来,天然产物来源的高效低毒的新型补体抑制剂的研究和开发,开始受到国内外学者的广泛关注,从虎杖、鱼腥草、蜱虫、血吸虫中发现了抗补体活性分子,天然产物成为补体系统药物研发的新方向。目的:本文拟结合抗补体
学位
规则意识的培养是小学道德与法治课程教学的重要内容。如何有效培养学生的规则意识也是现今道德与法治教师关注的一个重要课题。本文从学生的发展实际出发,依据课程标准,采用“构建主题生活情境,多角度刺激促成长”“价值辨析修正意识,疏导规则抵触情绪”“德育活动践行推进,行动带动意识发展”“建立实施评价体系,形成良好意识反馈”四大教学策略,以达到培养学生良好的规则意识,优化小学道德与法治教学的目的。
期刊
综述了聚乙醇酸(PGA)的工业化制备工艺、应用及市场现状,分析了PGA产业化技术进展情况。目前乙交酯开环聚合是PAG最成熟的工业化制备技术,但规模化、低成本的高纯度乙交酯单体合成技术是限制因素。依托煤制乙二醇产业基础,国内自主开发的煤基乙二醇联产PGA大规模工业化技术取得一定进展,但目前仅局限于千吨级规模;虽有万吨级规模装置建设,但技术放大后的稳定性和可靠性需进一步验证。
期刊
<正>江汉盐化工发挥自身盐卤资源优势,延伸盐化工产业链,为园区企业提供优质原料。中石化江汉盐化工湖北有限公司(简称江汉盐化工)结合自身资源、技术和产品等优势以及当地政府招商引资的优惠政策,吸引业内的领军企业就近办厂,形成了上下游一体化的江汉盐化工业园。截至目前,江汉盐化工业园内已建成新化工产业园、长飞潜江科技园和潜江微电子产业园三大产业片区,共26家企业入驻。2022年,江汉盐化工在江汉盐化工业园
期刊
目的:分析第一轮国家组织药品集中采购(即4+7试点)实施后,中选产品、中选产品同通用名的非中选产品和中选产品的可替代品种药品的采购使用变化,评估政策对药品价格和药品费用的影响,为完善国家组织药品集中采购政策提供实证参考。方法:本研究采用国家药品供应保障综合管理信息平台和深圳全药网药品采购平台数据,以4+7相关药品为研究对象,包括25个4+7品种和102个可替代品种;以试点城市、对照城市和非试点地区
学位
鉴于不同的应用场景和用户需求,目前多媒体终端显示屏幕的分辨率和宽高比呈现多样性的特点。固定尺寸的图像在不同终端的屏幕上显示,需要进行适当的调整,以减少因分辨率或宽高比的不适配而产生的图像失真以及屏幕空间的浪费。基于内容的图像重定向方法旨在图像缩放的过程中尽可能地保证重要内容的重建质量,满足用户的观看体验要求。然而,采用不同的重定向方法获得的重定向图像的质量往往差异较大。因而,为了能够在不同的实际应
学位
<正>浩浩汉水,奔流不息;荆楚大地,郁郁生机。位于湖北潜江市王场镇的4对卤水生产井和2口储气井,每小时从地下2000米深处抽取数百立方米盐卤水,通过管道输送到中石化江汉盐化工湖北有限公司,衍生出江汉油田除油气之外最重要的特色产业—盐化工。30多年来,大自然丰厚的馈赠,造就了中国石化独一无二的盐化工产品。如何让资源优势转化为发展优势,一直是江汉油田多年思考的问题。在“两域协同”产业新格局下,时代之问
期刊
彩色图像去马赛克(Color Image Demosaicking,CDM)和超分辨率(Super-Resolution,SR)是数字图像处理中两个重要而实用的研究课题。在消费级相机中,由于传感器(CMOS)限制,在采样得到的图像中的每个像素位置仅有一个色彩通道的信息,因此,需要采用去马赛克算法来恢复全彩图像。图像SR技术则是将低分辨率图像恢复为包含丰富图像细节的高分辨率图像,其被广泛应用于视频监
学位