论文部分内容阅读
目前,在儿童的教育方面过于偏重分数,普遍存在素质教育缺失的问题。大多数的儿童都是独生子女,与他人的协作沟通能力欠缺,可能导致将来难以融入社会。而音乐教育尤其是合奏教育,对于解决上述的现实问题有很大的促进意义。它可以培养儿童的情感,对儿童进行规则意识上的教育。基于这一思路,本文围绕着交互式音乐合奏系统开展了如下的研究工作:
提出了一种新的多人协同合奏方式。在面向儿童的交互式音乐系统方面,现有的研究很少关注如何让儿童享受合奏的乐趣,很少研究探索如何用技术手段发掘合奏的教育价值。本文强调尽量保留合奏的真实性和难度,让儿童跳过比较难的器乐独奏的学习阶段,能够直接控制乐曲的节奏。每首歌曲分为不同的声部,每一名儿童演奏一个声部,这样多个儿童经过协同配合可以进行不同声部的融合。
提出并设计了用肢体动作控制音符音长及音量的方法。本文结合现实中音乐指挥控制节奏的动作,设计了比较自然的手势,就是通过手臂的左右摆动控制音符的长度,上下摆动调节控制音量的高低。在水平角度沿着一个方向的摆动对应一个音符的持续播放。
提出了一种新的传感器运动极值点检测算法及偏移数据过滤算法。陀螺仪传感器获取三个轴的角度数据:俯仰角(Pitch),横滚角(Roll),航向角(Yaw),本文通过航向角数据检测手部左右摆动动作,横滚角数据检测上下摆动动作。由于不是对已有的一个完整数据序列进行分析识别,而是在演奏过程中实时采集数据,及时识别并给出响应,所以就需要实时记录角度的变化状态。我们把航向角持续增大或者持续减少做为一个单程摆动动作。两个单程摆动动作的分隔点,就是航向角数据取极值的时刻,即角度变化趋势发生改变的时刻。另外一个主要问题是传感器存在静止漂移现象,航向角或横滚角会出现很小范围的无规律跳动变化,会额外多识别出不必要的变化趋势。为此,本文设计了一种跳动过滤算法。实验证明,该方法能十分有效的减少陀螺仪静止漂移误差对识别结果的影响。
设计并实现了通过可穿戴传感器进行交互式演奏的系统。系统分为界面模块、音乐模块和动作识别模块。系统的输入是用户的肢体动作,动作识别模块接收实时传感器数据,进行预处理、极值点检测。音乐模块根据当前动作的时序调用MIDI音乐库发声。界面模块负责实时提示当前的播放进度。系统设备还包括特制的手套,手套背面缝割有一个小兜,可放置陀螺仪传感器。本文采用Client/Server模式构建传感器蓝牙通讯网络。在该架构下,每个蓝牙适配器是一个独立的客户端,在客户端对传感器原始数据进行预处理,在服务端只负责接收Socket数据,并进行后续应用,不管理蓝牙连接。以这种方式,可以做到蓝牙连接与数据处理相互独立,这样数据处理能达到实时,而且即使某个蓝牙设备出现故障,也不会影响服务端的数据处理。
最后,通过在一所小学进行的可用性实验观察、评估了基于手势的音乐合奏系统对儿童协作能力培养的现实意义。