【摘 要】
:
随着虚拟现实技术的发展,虚拟现实内容在教育、医疗、多媒体数字娱乐等领域的应用受到了广泛关注。研究用户在虚拟现实内容作用下的情感感知对内容优化和用户体验提升有着重要的指导作用。因此,本文的研究将围绕虚拟现实场景的情感诱发和情感识别这一科学问题展开。目前,基于虚拟现实场景的情感诱发及情感识别研究存在几个突出的问题。一是传统的情感诱发素材多为图像、音频、视频等格式,缺少科学量化的方法建立虚拟现实场景与情
论文部分内容阅读
随着虚拟现实技术的发展,虚拟现实内容在教育、医疗、多媒体数字娱乐等领域的应用受到了广泛关注。研究用户在虚拟现实内容作用下的情感感知对内容优化和用户体验提升有着重要的指导作用。因此,本文的研究将围绕虚拟现实场景的情感诱发和情感识别这一科学问题展开。目前,基于虚拟现实场景的情感诱发及情感识别研究存在几个突出的问题。一是传统的情感诱发素材多为图像、音频、视频等格式,缺少科学量化的方法建立虚拟现实场景与情感标签间的映射关系。二是对比传统的多媒体素材,虚拟现实场景在视觉交互层面上存在较大差异,如何提炼其视觉特征并探索特征与情感间的关联亟待研究。三是在情感识别领域中,研究主要集中于图像、音频、视频等,少有适用于虚拟现实场景下的情感识别模型框架。针对上述问题,本文开展以下三项工作:(1)建立虚拟现实情感诱发素材库及其音视频数据集。本文围绕多感官交互手段搭建虚拟现实情感诱发素材库建立框架,从标准化情感诱发素材中筛选合适的情感关联特征,指导虚拟现实情感诱发素材的设计制作;并通过一系列心理学实验证明场景素材的标准性和有效性。最终建立了一个基于虚拟现实场景的音视频数据集。(2)根据虚拟现实场景的视觉空间分布特点,本文提出一种基于六视角区域权重的全景图情感识别方法。首先给出六视角区域的定义,并获取各场景六视角区域权重值。然后将全景图按照六视角区域划分赋权值,用于加权微调卷积神经网络提取的深度情感特征。最后在此基础上执行分类算法得到最终的情感识别结果。通过实验,情感识别的准确率达到95.32%,验证了本文提出模型方法的有效性。(3)针对分辨率或帧率较低的虚拟现实场景,根据虚拟现实场景视听双通道输入的特性,引入多模态融合机制,建立基于视听觉融合的虚拟现实情感识别方法。该方法分别提取视觉内容和听觉内容的深度情感特征,并在公共空间进行多模态特征融合,最后通过分类网络获得情感识别结果。通过实验,虚拟现实情感识别方法的准确率达到97.15%,优于单模态情感识别方法。通过上述三个方面的工作,本文基于全景图多视角区域权重和视听觉融合对虚拟现实情感识别进行了系统性研究,其中构建的素材库和算法框架为未来研究提供参考。
其他文献
广州素有“千年商都”之称,近代以来在繁荣的商贸活动及“中国南大门”、“广交会”等标签的加持下,广州的酒店业取得了持续发展且长期处于国内领先地位。以1885年沙面宾馆开业为标志,广州的新式酒店业已有近140年历史,期间出现了大量酒店建筑。上世纪80年代起,广州有关部门公布了多批文物、历史建筑名单,其中不乏优秀的酒店建筑。然而酒店行业竞争激烈,随着时代的发展,这些酒店皆面临着自身老化、竞争力减弱甚至亏
得益于相关软硬件的发展和应用需求的增长,目标检测算法作为计算机视觉领域的研究热点之一,不断取得突破,在检测精度和运行效率上都获得了令人满意的效果。但是,在实践中,位置标签的缺乏仍然是目标检测算法推广应用亟待解决的问题。作为解决位置标签缺乏问题的途径之一,弱监督目标定位算法可以仅依靠分类标签实现定位任务。然而,当前主流的基于显著图(Saliency Map)的弱监督目标定位算法却存在着如非目标物体特
作为数字孪生技术在制造业的一个重要应用,机电一体化虚拟调试技术可以在数字模型中对设计方案和控制程序进行充分的仿真验证和优化,从而摆脱了传统调试模式对物理设备的过度依赖,对于一些创新性或者控制复杂度较高的自动化设备的设计和制造,具有明显的优势。目前只有一些国外软件企业推出了虚拟调试软件,但是昂贵的价格和封闭的软硬件生态阻碍了这些软件的推广。为了促进虚拟调试技术在国内自动化设备行业的应用和发展,本文在
食源性疾病被认为是困扰世界的公共卫生问题。微生物污染是食源性疾病的重要原因之一,导致每年数十万人因此死亡。抗生素是普遍用于预防和治疗细菌感染的方法,但其过度使用和滥用导致耐药菌的产生和流行,因此开发新型高效抗菌剂势在必行。光动力抗菌因不易产生耐药菌而引起了全球研究者的关注,成为开发抗菌剂的热点。核黄素是一种光敏剂和紫外吸收剂,也是人体必需维生素。然而,核黄素在水中的溶解度低,限制了其应用。核黄素磷
时间序列在现实生活中有广泛的应用,如何对时间序列数据进行有效的建模成为广大研究的焦点之一。时间序列分类与时序异常检测任务在现实的时序信息系统中具有重要的实际应用价值,近年来许多深度学习方法在这些时序建模任务中取得了较大的进展。传统回声状态网络具有建模时间信息短期依赖特征的能力,在混沌时间序列建模任务中取得了优异的性能。在时间序列分类任务中,近年来基于回声状态网路的时序分类方法取得了优异的性能,然而
随着涂料技术的发展进步,水性环保型涂料越来越受人们的青睐。但是水性涂料,例如水性聚氨酯和水性聚丙烯酸酯涂料,存在耐水性差、硬度低和热稳定性差等缺点。这些缺点可以通过有机聚合物与无机纳米粒子杂化的方式,制备成两相的、多功能的和结构化的涂层进行改善。这一方案为改善水性涂料的性能,制备出性能优异的水性涂料提供了一种有效的方法。本文通过将纳米氧化锌(ZnO NPs)和纳米氧化铁(Fe2O3 NPs)复合,
光纤放大器作为现代通信网络中的重要组成部分,一直是人们研究的焦点。光纤喇曼放大器(FRA)因为具有任意工作波长、增益波段灵活以及可实现分布式放大等特点,成为现代光纤通信系统中关键技术之一,在密集波分复用(DWDM)通信系统中得到广泛应用。但是光纤喇曼放大器也存在自身的缺点:例如增益不平坦和较高的干扰噪声。目前为了解决增益不平坦的问题,主流的方法是利用空间波分复用(WDM)的方式。主要是通过同时抽运
我国的道路交通安全形势十分严峻,每年的交通事故数量居高不下,有数万人在交通事故中受伤或丧生;行人作为道路交通中的弱势参与者,在交通事故伤亡人数中一直占据较高比例,相对于机动车内乘员,与机动车碰撞后更易受到伤害,行人的碰撞安全问题一直是我国道路交通安全领域的研究热点。基于上述背景,本文以我国的人车碰撞事故中行人的损伤影响因素为研究内容,通过我国的道路交通事故进行抽样调查和深度调查,得到能反映我国人车
Cu-15Ni-8Sn合金具有优异的力学性能、导电导热性能、耐磨耐腐蚀性能和抗应力松弛性能,被视为最有潜力的铍铜合金替代品。该合金在飞机起落装置、航空航天工程、海洋工程装备及电气工程等领域具有十分广阔的应用前景。众多学者对该合金的相变、微合金化、制备工艺以及热处理进行了大量系统的研究,并在实验室条件下制备出了兼具高强度和高塑性的Cu-15Ni-8Sn合金。但目前,研究依然侧重于实验室条件下的小尺寸
疲劳驾驶导致了大量的交通事故。深入研究疲劳驾驶,对驾驶员的状态进行实时监控,对于提高驾驶的安全性有着重要的意义。目前,作为疲劳驾驶检测方法之一的基于面部特征的疲劳驾驶检测方法具有实时性、无入侵式、成本低、精度高等优点,成为疲劳驾驶检测方法研究的热点。然而,传统的疲劳驾驶检测方法对基于时序特征的疲劳行为缺乏有效识别,如打哈欠和瞌睡。同时,由于光照条件的变化、极端的头部姿势和脸部遮挡等干扰因素严重影响