立体视觉信号质量评价方法研究

来源 :江西财经大学 | 被引量 : 0次 | 上传用户:sf45df
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
立体成像技术的迅速发展使得立体视觉信号成为人们生活中重要的多媒体数据,立体成像技术也给人们的日常生活带了巨大的变化。最常见的立体视觉信号是三维(3D)图像,它广泛出现在3D游戏、3D电影等应用中。由于三维图像的观看视角是固定的,即左右视图的视差是固定的,无法给用户提供其他的观看视角。为了满足人们日益增加的视觉体验需求,虚拟视角合成技术应运而生。虚拟视角合成技术可以合成任意视角的图像,给用户提供更好的沉浸式体验。最常用的虚拟视角合成技术是基于深度图绘制技术(Depth Image Based Rendering,DIBR),该技术生成的合成图像和合成视频也成为了立体视觉信号的重要组成部分。自由视点视频是合成视频中的一种,它可以让用户自由地切换观看视角。相对于其他立体视觉信号,自由视点视频与用户有更好的交互性,并逐渐出现在体育、综艺节目等应用中。多媒体立体视觉技术在服务人们日常生活及提升生活质量的同时,也带来了多媒体信息管理的难题。比如,海量的立体视觉信号的质量参差不齐,如何准确地预测立体视觉信号的质量并筛选出低质量立体视觉信号是十分必要的,该操作可以有效地节约存储空间并提高多媒体资源的利用率。另外,随着人们对多媒体立体视觉技术带来的视觉体验要求逐渐增加,如何提升多媒体立体视觉技术成为学术界和工业界追求的目标。立体视觉信号质量评价旨在准确地预测立体视觉信号的质量,是海量立体视觉信号筛选的重要手段。同时,它可为立体视觉信号处理算法优化和立体视觉系统优化提供直接的优化目标。因此,立体视觉信号质量评价在多媒体信息管理中是不可或缺的,具有重要的研究价值和应用价值。本文面向三维图像、合成图像和自由视点视频三种立体视觉信号,开展质量评价研究工作,主要研究内容如下。(1)针对大部分现有三维图像质量评价模型仅考虑高级语义特征融合问题,本文提出融合多层级语义特征的三维图像质量评价模型,它包含一个权值共享的特征提取模块、一个特征融合模块和一个质量回归模块。首先,受多层级视觉感知机制启发,使用一个权值共享的深度卷积神经网络,提取左右视图低级、中级和高级语义特征。其次,考虑到双目视觉特性,构建特征融合模块。该模块先分别融合左右视图的不同层级语义特征,再通过两个卷积操作进一步融合多层级语义特征。最后,构建包含多个全连接网络的质量回归模块,输出三维图像的质量分数。本文在两个常用的三维图像质量评价数据集上进行实验,实验结果表明所提出的模型性能超过了其他对比的模型。(2)针对当前公开的三维图像质量评价数据集规模过小导致模型性能比较可信度不足的问题,本文开展基于弱监督学习的三维图像质量评价研究。首先,构建首个大规模三维图像质量评价数据集,并自动生成三维图像对的相对质量作为粗粒度标签,生成单一视图质量作为伪标签。其次,利用构建的三维图像质量评价数据集,重新训练当前主流的三维图像质量评价模型,以更加公平的方式比较不同的模型,并探索网络框架、输入尺寸和额外的监督信号对模型性能的影响。所有的测试模型均在当前公开的数据集上测试,实验结果证明了本文构建的三维图像数据集的必要性,并获得了关于三维图像质量评价模型多维度的比较。(3)针对DIBR过程引入的非均匀失真难度量问题,本文提出结合局部变化感知和全局自然性建模的合成图像质量评价方法。首先,使用局部高斯导数计算图像的局部泰勒展开,用于表征图像局部结构信息。进一步地,使用局部二值模式表示初始结构特征,并使用局部结构特征幅值对初始结构特征进行加权,得到最终的结构特征。同时,计算图像的色度信息和颜色角度信息。类似地,计算得到颜色特征。结构特征和颜色特征共同用于感知局部变化。其次,使用全局自然性度量全局变化,包括亮度自然性和结构自然性。其中,亮度图通过局部归一化操作获得;结构图通过计算合成图与其低通滤波图的差异图得到。最后,结合局部变化和全局自然性共同度量合成图像质量。实验证明,本文提出的方法能够有效地度量合成图像的质量。并且,通过剥离实验证明了局部感知和全局建模在度量合成图像质量变化上的有效性和互补性。(4)针对当前自由视点视频体验质量评价研究中内容简单、数据量少的问题,开展自由视点视频体验质量评价研究。考虑到应用场景仅有两种(中国男子篮球联赛和综艺节目),本文提出有限场景内的多样化数据收集策略,构建首个大规模自由视点视频体验质量评价数据集。其次,提出从粗至细的两阶段主观数据标注法。第一阶段为挑出“确定的”样本,即受试者对此类样本的评分一致性概率较高,第二阶段则继续为“不确定的”样本打分。通过深入分析主观数据,研究深度信息和人物聚集程度对自由视点视频体验的影响。另外,考虑到模型性能和效率的平衡,设计快速、有效的自由视点视频体验质量预测基准模型。率先探索帧稀疏采样对模型性能的影响,测试多种稀疏采样策略。实验证明,仅使用自由视点视频的部分帧,就可以准确地预测整个自由视点视频的体验质量。
其他文献
报纸
研究背景和目的:抑郁症是以显著持久的心境低落为核心症状的一种心理疾病。患者会出现严重心理社会功能受限,生活质量降低,自杀行为风险增加。据世卫组织统计它已成为世界上第二大致残原因,给患者、家人及社会造成巨大的负担。有假说认为抑郁症是一种由应激源引起的慢性炎症,而下丘脑-垂体-肾上腺轴在抑郁症的形成中起着关键作用。但抑郁症的具体机制还不明确。慢性不可预见温和应激模型是目前最常用、最可靠、最有效的鼠类抑
学位
研究背景及目的:化疗损伤性卵巢早衰(Chemotherapy-induced premature ovarian failure,CIPOF)是指在40岁之前接受化疗的女性出现雌激素水平降低,伴有不同程度围绝经症状的内分泌疾病。主要临床表现为月经失调、盗汗、潮热、烦躁、不孕,同时导致雌激素减少相关疾病如骨质疏松、心血管疾病的发病率增高,严重影响化疗后女性患者的生存质量。对于CIPOF尚无有效治疗方
学位
研究背景:系统性红斑狼疮(systemic lupus erthyematosus,SLE)是免疫系统异常攻击全身健康细胞和组织的一种自身免疫性疾病。目前,众多学者普遍认为SLE的发生受到是遗传、环境、免疫等多种复杂因素共同作用。SLE患者病程反复,临床治疗以激素、免疫抑制剂、抗疟疾药、生物制剂、非甾体类抗炎药等方法为主,目前仍无彻底根治的方法。然而,药物的长期服用所引起的副作用给患者造成严重身体
学位
研究背景与目的:胶质瘤是最常见的原发性颅内恶性肿瘤,占颅内恶性肿瘤的80%。根据2016年世界卫生组织(World Health Organization,WHO)发布的中枢神经系统肿瘤分类第四版修订版的标准,胶质瘤分为I至IV级四个级别。流行病学统计发现,确诊的胶质瘤以高级别为主,尤其是胶质母细胞瘤(glioblastoma,GBM)或间变型星形细胞瘤,肿瘤易进展、易复发、预后差、生存率低。尽管
学位
报纸
神经恶性胶质细胞瘤是中枢神经系统(CNS)中最常发的恶性肿瘤,占据了70%以上的原发性CNS恶性肿瘤,并且以肿瘤切除术后复发率高、对化疗耐药耐、耐放疗、死亡率高为临床特征。虽然在近几十年的时间里,全世界医疗诊治技术水平发展十分迅速,颅内胶质瘤患者的治疗方案也逐渐个体化与精准化,但对于大多数患者来讲手术切除结合放化疗仍然是主流治疗方案。然而这种治疗方案的临床效果仍然不甚满意。所以挖掘与开发新的并且有
学位
探究核心素养的落地途径,关键在于对学生学习过程的把握,而对当下初中数学教师来说,最有挑战的工作就是如何在课堂教学当中预设学生的学习过程,同时理性、科学、智慧地处理课堂上的生成.对绝大多数初中数学教师而言,仅凭自身的教学经验来面对预设与生成,很容易出现捉襟见肘的现象,要想在经验的层面超越自己,很关键的一点是要找到相关的教育教学理论.张景中院士教育教学思想中的“让数学变容易”等思想,对预设与生成的实践
期刊
目的:尽管有诸多研究探究ALS的发病机制及其诊治方法,但目前为止,临床上依然缺乏治疗ALS的有效策略和特异性疗法。有研究表明,服用大剂量褪黑素可以一定程度延长ALS患者的生存时间。但目前为止,褪黑素对ALS的作用依然不甚明确,相关研究也十分缺乏。本部分研究拟构建ALS小鼠模型,探究不同剂量的褪黑素对ALS小鼠生存时间及运动功能的影响。方法:研究采用SOD1*G93A转基因小鼠作为ALS模型动物,非
学位
低虚警的红外弱小目标检测算法是战机、巡航导弹和弹道导弹等高速机动平台的红外远程探测系统的关键技术,这一类平台在对远距离目标探测时场景会发生变化,不同场景下的目标与背景的差异度悬殊,根据奈曼-皮尔逊(NP)检测准则[1],很难存在一套算法能兼顾所有场景的下目标的高性能检测。算法的检测门限、滤波器的噪声抑制往往适用于某种场景或者某种杂波,欲获取高的检测率,则需要降低检测门限,但复杂场景下的背景杂波与噪
学位