基于深度学习的多模态生理信号分析及其音乐生成

来源 :北京交通大学 | 被引量 : 0次 | 上传用户:venicego
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
生理信号能够从多方面反映出人类的生理和心理状态,对判断情绪,诊断疾病等具有重要的意义。音乐是一种非语言的听觉艺术形式,很多人类活动中的生物信号都包含着类似音乐的节律,例如呼吸、心跳等。因此,将生理信号转换成音乐,有希望获得隐藏的生理状态信息,增加了分析的维度。而本研究就是利用深度学习和可听化的方法对生理信号进行分析,生成能够反映生理状态的音乐。本文采用的数据来自说谎检测实验,数据集中包含了心电信号、皮电信号和表情信号三种生理信号,每一组信号分别对应说实话、说谎话、静息这三种状态。本文使用了两种方法来对这个多模态生理信号数据集进行分析:第一种方法是利用深度神经网络直接分类:对经过预处理的生理信号,将其放入卷积神经网络中进行分类。随后又在模型中加入更善于处理时序信号的长短期记忆网络,将卷积神经网络和长短期记忆网络结合起来做分类并取得了更好的效果。之后,通过多次实验,对比了各种防止过拟合的方法以及Batchsize大小对实验效果的影响,选择了适合模型的方法和参数,使最终的分类准确率提高到了86.1%。与传统的机器学习方法和经过特征提取的LSTM网络进行对比,本文中的模型在分类性能上有较大优势。证明本文提出的模型能够更好的学习到当前生理信号数据集中不同生理状态之间的差异,分类效果更好。第二种方法是应用音乐解纠缠模型,生成含有生理信息的音乐:本文将深度学习应用到生理信号生成音乐上,先是通过参数映射法生成带有无标度性质的生理音乐,再应用并改进了音乐解纠缠中的EC2-VAE模型,解决了在音乐生成过程中难以对其进行控制的难题。通过以上改进,得到了含有生理信息的音乐。之后,还进行了以下四个实验以验证通过生理音乐能够区分不同状态的生理信号。(1)根据五线谱进行对比,不同状态对应生成音乐的五线谱有着明显的差别;(2)开展音乐聆听实验,被试者对不同状态对应生成音乐的分辨准确率达到80.4%;(3)使用数据挖掘软件Weka对生成的音乐进行分类,准确率达到88.89%;(4)对比改进前后模型效果的差别,发现改进后的模型能够更好的学到音乐数据集中的和弦信息。最后,还将实验结果和前人所生成的生理音乐进行对比,本文所生成的音乐在各个实验中效果都要更好。利用本文中方法所生成的生理音乐可以通过直接聆听来区分不同的生理状态,音乐效果好,可听性强,且具有无标度性质。该方法不仅能够应用于本文的数据集上,还可以类比迁移到其他生理信号数据集中。生理音乐可以辅助对生理信号的研究,可以被用于失眠治疗,疼痛缓解和说谎检测等领域,具有较大的实用价值。
其他文献
推荐算法的主要目的是发现用户潜在兴趣点,帮助用户在海量数据中快速发现有用信息。由于推荐算法在商品推荐中的突出表现,推荐算法得到了学术界和工业界的广泛关注。衡量推荐算法效果的指标是推荐的准确性,但研究发现过分关注准确性或导致多样性等其他指标被忽视,使得推荐结果过于单调,不利于发现用户新的潜在偏好,无法充分挖掘长尾物品的价值。另一方面,一味提升多样性容易造成准确性的快速下降。因此,如何在准确性和多样性
自闭症(Autism Spectrum Disorder,ASD)是一种复杂的神经系统发育障碍疾病,其临床诊断具有主观性。结构磁共振成像和功能磁共振成像从两个不同模态提供了关于大脑的结构和功能信息,能够为ASD的识别提供客观的生物标记。相比于基于单模态影像数据的识别方法,通过多模态数据融合可以提高ASD客观辅助诊断的准确性。为了利用两个模态的共享特征和模态特定特征,本文首先提出了基于特征表示学习的
二维人体姿态估计是计算机视觉领域中的热点研究课题,最近几年在深度学习的帮助下取得了重大突破。然而对于实际场景中普遍存在的低分辨率(Low-Resolution,LR)图像,基于深度学习的姿态估计方法还无法达到可接受的准确率。LR图像下的姿态估计的难点在于从图像中能够提取的信息有限并且缺乏判别性。已有研究表明超分辨率(Super-Resolution,SR)重建可以有效帮助其它视觉任务处理LR问题。
近些年来,在我国中长期科技发展规划的制定,新型城镇化战略的实施,一带一路的发展和城市道路网络结构日趋完善的时代大背景下,城市交通问题日益突出。高速公路在交通运输业中占据着关键性的作用,在城市道路网络结构中,是实现中长途快速出行目标的重要载体。近十几年来,由于国民经济的迅猛发展和我国城市规划建设的日益完善,解决交通发展的三大热点问题就显得尤为重要。机动车保有量逐年以每小时递增,不仅极大地增加了对高速
随着我国城市群、都市圈的逐渐形成,城市间交流日益频繁,城际铁路建设力度不断增强,城际铁路运输组织工作也要随之不断完善。列车运行图不仅是铁路运输组织工作的重要组成部分,也是旅客出行的重要依据。在我国城际铁路客流呈现明显高峰时段特征,同时旅客与铁路部门需要规律化列车开行的背景下,如何安排列车开行,提供既满足城际铁路客流需求又保证规律化开行的列车运行图是本文要解决的问题,主要研究内容如下:(1)归纳城际
为了满足下一代无线通信中信道建模更高精度、更高效率的需求,使建模方案更加适配于毫米波、大规模天线等新技术的应用,传统射线跟踪面临着全新的机遇与挑战。本文基于实验室原有的射线跟踪信道仿真平台,对其不断优化,从电磁环境建模、收发模块分别进行深入研究,总结了射线跟踪技术的待改进之处并提出了相应的解决方案:针对射线跟踪信道仿真中电磁参数难以准确确定这一实际问题,提出了一种射线跟踪信道仿真的电磁参数选取方法
近年来,疫情这类突发公共卫生事件发生的频率越来越高,例如:2003年的SARS、2009年的甲型H1N1流感以及2020年的新冠肺炎疫情,这些疫情突然发生,具有很强的传染性,对人民的身体健康造成严重损害。为减轻这些疫情带来的损害,防止疫情扩散,需要积极开展应急救援工作,为事发区域提供大量的应急医疗物资。但在救援初期,应急医疗物资的数量有限,受感染地区的紧迫程度不同,如何公平合理的分配应急医疗物资,
随着高速铁路的快速发展,新型列车运行控制系统(Chinese Train Control System-New,CTCS-N)已经成为列控系统重要发展方向,全球卫星导航系统(Global Navigation Satellite System,GNSS)在铁路领域的应用成为了CTCS-N“车载中心化”定位的重要实现途径。由于铁路沿线环境复杂多变,卫星定位受环境影响可能出现较大误差,甚至定位功能失效
随着高速铁路的普及,高速移动的用户越来越多,人们对高速移动通信的需求量越来越大。列车在运行过程中,从一个基站的覆盖范围进入到另一个基站的覆盖范围时,列车上的用户与基站的连接会发生切换。同时,在5G网络中,视频通话和直播等高交互性、高速率的应用越来越丰富,这些应用对切换性能的要求也越来越高。5G网络下基站的覆盖半径为数百米,移动性用户的切换频率增加,导致连接稳定性降低。研究表明,将C/U(Contr
目前针对隧道开挖面施工稳定性分析的相关研究中,对盾构隧道及全断面法开挖的矿山法隧道已开展很多,但对大断面山岭隧道三台阶法施工稳定性的研究较少。在理论分析方面,为研究台阶岩体对开挖面的稳固作用,朱举[43]假定开挖面处于台阶顶面以下的部分为稳定状态,仅对台阶顶面以上部分进行开挖面稳定分析。这种方法对台阶岩体的考虑不够全面,忽视了台阶长度,只考虑了台阶高度的影响,无法全面地分析台阶岩体对开挖面的稳固作