基于音乐要素驱动的振动触觉研究及应用

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:chengyfei
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
振动触觉与音乐的结合是人机交互与艺术结合研究热潮中的方向之一。振动触觉与音乐结合的研究核心在于运用振动触觉表征音乐信息,其难点在于音乐要素的振动触觉映射受到振动驱动器性能、音乐信号处理算法、多场景差异性等多方面因素影响,缺乏符合人体振动触觉感知特性、结合高性能算法、融合多要素映射的触觉交互研究以及针对乐器舞蹈学习辅助的振动触觉音乐应用研究。为解决上述问题,本文以国家重点研发计划项目为背景,旨在对音乐要素的振动触觉表达进行研究,解决乐器舞蹈教学振动触觉辅助应用问题。本文提出一套音乐要素振动触觉表达方案并实现基于音乐要素驱动的振动触觉表达系统,主要工作内容如下:(1)人体触觉对振动的感知特性研究。本文基于心理物理法设计开展振动触觉感知特性实验,包括振动触觉感知阈限实验和振动触觉感知的情绪反应实验。以振动强度、持续时间、间隔时间、空间落点四大振动感知参数的感知阈限和不同振动感知参数取值组合下个体情绪反应差异结论作为振动触觉感知参数的选择原则,为后续的音乐要素振动触觉交互设计提供了重要理论依据。(2)基于人体振动触觉感知特性的音乐要素振动触觉表达设计。基于人体振动触觉感知特性,利用高性能音乐信息检索算法提取听觉层面的音乐要素并设计其振动触觉映射。针对乐器和舞蹈学习场景,基于所提出的音乐要素振动触觉映射采用刺激-反应相容性方法设计符合具体场景的音乐要素振动触觉表达,最终提出的乐器舞蹈学习场景的节拍和节奏振动触觉表达最佳方案在用户反应正确率上均高于88%,反应时长均在0.5s以内。(3)基于音乐要素驱动的多模态音乐舞蹈教学辅助系统构建与评估。本文将所提出的音乐要素驱动的振动触觉表达方法移植到振动触觉可穿戴装置,搭建了融合音乐要素振动触觉反馈的多模态教学辅助系统。为验证该系统的可靠性与可行性,本文对其进行实际测试与应用场景评估,相比于传统听视觉通道学习模式,用户使用该系统在乐器弹奏与舞蹈步法动作的正确率和反应速度上均得到提升。
其他文献
从创作之初到新作《雾行者》,纵观路内的创作历程,小城镇是其每部小说作品中的主要场域。路内有意识地令不同作品中的主题、人物、视角、背景彼此呼应,让长篇之间形成互相阐发、彼此深化的关系。在这些创作中,作者对于小城镇的表达与思考一直延续。这种小城镇叙事模式构成了路内系列长篇小说写作的基本构架。从路内小城镇叙事类作品的发展脉络来看,《雾行者》的出现带来了小镇空间的流转变化,人物命运轨迹出现了新的走向。小城
学位
《普通高中英语课程标准》(2017年版2020年修订)的核心理念是发展学生的英语学科核心素养,并提出教师应践行英语学习活动观,以整合课程内容促进学生核心素养的有效发展。所以,英语学习活动观作为桥梁沟通了课程目标和课程内容。当前,阅读课作为初中英语教学的主要课型,仍然存在着“表层化”和“碎片化”等问题,而采用英语学习活动观可以从学习理解类活动、应用实践类活动和迁移创新类活动逐步深入发展学生的英语学科
学位
2021年出版的《张枣诗文集·诗歌卷》共收录张枣1978年大学时期起至2010年写作的147首诗歌,其中包括旧体诗词2首,散文诗3首。从张枣现存的全部诗歌和论文来看,“元诗”一词是张枣创作的核心与批评的出发点。张枣的诗歌以简练却隐晦多义的语言组织方式构成了对精神现象与思维本体最直接最紧密的文学表达,追问元诗的本质即在追问张枣作品之整体风格、诗人写作的逻辑与动力,以及张枣诗学思想的本质与文学价值。本
学位
随着社会的发展,人类社会对石油这一能源的需求也在不断增加,为了降低石油勘探的风险与成本,油气系统逐渐朝着信息化、智能化的方向发展。但目前智能油气通信系统面临着两个重要难题:第一个是井下供能方面的难题;第二个是井下通信方面的难题,目前应用最为广泛的泥浆脉冲遥测技术,数据传输速率太慢,仅为40 bps/s左右,严重影响了实时通信的效率。针对上述两大难题,本文将自供能环境能量收集技术与低功耗通信系统结合
学位
互联网的规模日益庞大,结构日益复杂,网络拓扑探测技术面临着网络的异构性,多样性,大规模等特性带来的挑战。网络拓扑主动探测技术主要利用网络协议中的相关机制来进行网络拓扑探测,是一种通用性较高的网络探测技术。Traceroute是最为基础的网络拓扑主动探测技术。在现今网络普遍存在负载均衡的情况下,简单的Traceroute探测难以识别负载均衡中的并行路径,因此多路径探测算法(MDA)应运而生。但MDA
学位
中国一直很重视文艺事业的发展和对非物质文化遗产的保护,而舞蹈是其中一个十分重要的组成成分。对舞蹈动作进行分析,有利于对现有舞蹈动作的优化和改进,以及对传统舞蹈动作的理解和传承。随着线上教学的兴起,智能的舞蹈动作识别和分析更有利于舞蹈教学的开展。但是目前对该领域的研究仍然十分稀少,作为开展这些工作的基础,对舞蹈动作的识别就显得十分迫切,基于深度学习的舞蹈动作识别研究具有十分重要的现实意义。本文以舞蹈
学位
网络行为特征作为网络运行过程中的采集信息,是网络管理和安全状态检测的重要信息来源,往往表现为高维的时间序列数据集合。通过对网络行为特征的研究分析可以在一定程度上评价当前网络的运行情况,对于网络安全的保障具有重要的现实意义。然而,现有的研究方法难以完全满足高维度、成分复杂的网络行为特征时间序列分析需求,重点表现在两个方面:第一,现有的公开数据集往往时间周期短、样本数量不足;第二,针对多维特征的异常分
学位
人民防空作为现代国防的重要组成部分,是维护国家安全与社会建设成果的长期战略。在新的时代,人民防空由单一防空逐步向防空防灾一体化发展,人民防空不仅是战时减轻敌方空袭危害的决定性力量,也成为平时减灾救援的关键手段。在人民防空重要性日益凸显的背景下,如何克服传统人防指挥工作效率低下的缺点,高效高质完成指挥工作,成为各级人防部门急需研究与解决的重要问题。本文以某市人防指挥信息化建设为背景,遵循将互联网相关
学位
钻孔测井雷达发源于探地雷达,是其在石油测井领域的新型应用。按照工作体制划分,钻孔测井雷达又属于冲激体制雷达。这种雷达得名于其使用超宽带窄脉冲信号作为信息载体,其优点得益于这种信号的优良特征,具有很高分辨率,较远的探测距离和极强的穿透能力等特点,因此被广泛应用于一些很难直接探测到的环境中,例如地下、墙壁以及人体等。雷达接收机作为整个雷达系统的关键组成部分,是衡量整套系统的性能优劣的重要因素。钻孔测井
学位
数字孪生网络是近年来基于数字孪生理念,引出的一个新兴研究领域。数字孪生网络旨在通过创建的物理被测网络模型来构建对应的虚拟镜像网络。孪生网络与被测网络在网络结构、网络规模、网络状态等多个维度相互映射,并且两者可实现数据信息和控制信息的双向交互。数字孪生网络与传统网络仿真方法的主要区别在于是否能对被测网络进行全维度的状态感知并在孪生网络中与其实现双向快速同步,而这也是数字孪生网络的研究重点和难点所在。
学位