一个基于手势的交互式音乐合奏系统研究

来源 :中国科学院研究生院 中国科学院大学 | 被引量 : 0次 | 上传用户:chinababay
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
目前,在儿童的教育方面过于偏重分数,普遍存在素质教育缺失的问题。大多数的儿童都是独生子女,与他人的协作沟通能力欠缺,可能导致将来难以融入社会。而音乐教育尤其是合奏教育,对于解决上述的现实问题有很大的促进意义。它可以培养儿童的情感,对儿童进行规则意识上的教育。基于这一思路,本文围绕着交互式音乐合奏系统开展了如下的研究工作:   提出了一种新的多人协同合奏方式。在面向儿童的交互式音乐系统方面,现有的研究很少关注如何让儿童享受合奏的乐趣,很少研究探索如何用技术手段发掘合奏的教育价值。本文强调尽量保留合奏的真实性和难度,让儿童跳过比较难的器乐独奏的学习阶段,能够直接控制乐曲的节奏。每首歌曲分为不同的声部,每一名儿童演奏一个声部,这样多个儿童经过协同配合可以进行不同声部的融合。   提出并设计了用肢体动作控制音符音长及音量的方法。本文结合现实中音乐指挥控制节奏的动作,设计了比较自然的手势,就是通过手臂的左右摆动控制音符的长度,上下摆动调节控制音量的高低。在水平角度沿着一个方向的摆动对应一个音符的持续播放。   提出了一种新的传感器运动极值点检测算法及偏移数据过滤算法。陀螺仪传感器获取三个轴的角度数据:俯仰角(Pitch),横滚角(Roll),航向角(Yaw),本文通过航向角数据检测手部左右摆动动作,横滚角数据检测上下摆动动作。由于不是对已有的一个完整数据序列进行分析识别,而是在演奏过程中实时采集数据,及时识别并给出响应,所以就需要实时记录角度的变化状态。我们把航向角持续增大或者持续减少做为一个单程摆动动作。两个单程摆动动作的分隔点,就是航向角数据取极值的时刻,即角度变化趋势发生改变的时刻。另外一个主要问题是传感器存在静止漂移现象,航向角或横滚角会出现很小范围的无规律跳动变化,会额外多识别出不必要的变化趋势。为此,本文设计了一种跳动过滤算法。实验证明,该方法能十分有效的减少陀螺仪静止漂移误差对识别结果的影响。   设计并实现了通过可穿戴传感器进行交互式演奏的系统。系统分为界面模块、音乐模块和动作识别模块。系统的输入是用户的肢体动作,动作识别模块接收实时传感器数据,进行预处理、极值点检测。音乐模块根据当前动作的时序调用MIDI音乐库发声。界面模块负责实时提示当前的播放进度。系统设备还包括特制的手套,手套背面缝割有一个小兜,可放置陀螺仪传感器。本文采用Client/Server模式构建传感器蓝牙通讯网络。在该架构下,每个蓝牙适配器是一个独立的客户端,在客户端对传感器原始数据进行预处理,在服务端只负责接收Socket数据,并进行后续应用,不管理蓝牙连接。以这种方式,可以做到蓝牙连接与数据处理相互独立,这样数据处理能达到实时,而且即使某个蓝牙设备出现故障,也不会影响服务端的数据处理。   最后,通过在一所小学进行的可用性实验观察、评估了基于手势的音乐合奏系统对儿童协作能力培养的现实意义。
其他文献
在社会经济高速发展的今天,人类赖以生存的自然环境受到了前所未有的破坏,人们越来越认识到森林对环境保护的重要性。为了对森林生态环境更好的认识和保护,借助于现代无线传
随着计算机科学技术的飞速发展,网络在人们的生活中扮演了越来越重要的作用,各种新兴的互联网应用遍地开花,人们在享受互联网为生活带来的便利的同时,也为互联网创造了一份价值,就
手绘草图是一种自然的符合人类纸笔交互习惯的交互方式,适用于表达思想,特别是进行及时的思想捕捉。草图动画具有直观性、动态性的特点,适合于在讨论中支持用户进行想法交流,特别
随着信息化水平的不断提高和国际交流的日益频繁,世界各国对语音识别的需求急剧增长。方言口语的语音识别是国内外研究的难点问题,少数民族语言的方言语音识别研究甚少,维吾尔语
近年来,随着人民银行及地方财政部门加强对财政专用账户的管理力度,出台了大量财政账户管理细则,使得目前的财政账户管理系统很难满足于基层客户的需求。大量的基层账户仍然
随着国家将新能源汽车产业作为未来的战略性新兴产业,各大央企开始登陆抢占电动汽车市场,并迅速在各大城市部署架设电动汽车快速充换电加电站网络。加电站网络规模在不断扩大
随着科学计算在应用数量上以及规模上的快速发展,封闭于单一组织的超级计算机已经难以满足科学家们的需求。随着互联网基础设施的不断完善,跨越多组织、多管理域的多机群共享与
现如今软件系统需要不断地进行演化以适应外部环境和用户需求的频繁变化,软件演化已成为软件系统整个生命周期的重要形态之一。因此,在软件需求分析开始时就考虑支持软件演化
学位
近年来,随着信息化与数字化的发展,广告业也有了天翻地覆的变化。而随着互联网的愈发普及,网络广告已经成为了广告业中的重要主体。通过传统的静态投放方式,巨大的投放费用无法换