论文部分内容阅读
当一个人随着音乐点头或跺脚的时候,他的这种行为就是在进行音乐节拍的跟踪。为了让机器人模拟人类的这种行为,本论文设计了一个基于实时音乐节拍跟踪的机器人舞蹈系统,实现机器人感知音乐节拍的功能。机器人跟踪音乐节拍跳舞的能力是通过在系统中设计一个低层次检索音乐信息的模块来实现的,此模块建立在一个开源的处理音频信号软件框架(Marsyas)的基础上。系统通过Spectrum Flux算法来实时检测音频信号的节拍触发(onset)时刻,并对onsets信息进行聚类分析来预测相邻节拍间的时间间隔,完成对音乐节拍的跟踪。然后,系统根据检测结果通过无线的方式控制并改变机器人的舞蹈动作,使系统在对音乐没有任何先验知识的条件下让机器人自发和动态的与音乐节拍保持同步,实现机器人像人一样跟着音乐节拍跳舞的目的。另外,机器人的这些舞蹈动作是根据音乐节拍的强弱和持续时间来定义和设计的,通过机器人跳舞的形式与音乐的强、中和弱节奏事件相匹配,实现机器人模拟人类跟着音乐跳舞的行为。
本系统的实现分为硬件平台的构建和软件设计两部分。硬件平台的构建主要完成对人形机器人(KHR一2HV)的改造,使其具备无线传输的功能。系统的软件设计分为三个模块:音乐分析模块的设计、IOI(Inter—onset interval)预测模块的设计和机器人控制模块的设计。其中,音乐分析模块执行的是一个基于onset检测的低级别(音调、音色、音量等信息)节拍感知算法,并将带有峰值提取和自适应阈值函数的此模块嵌入到开源的音频分析软件Marsyas中来实现节拍的检测和跟踪。IOI预测模块根据已检测到的onset信息来预测音乐的节拍速度,并估计当前节拍与下一节拍的时间间隔。最后,机器人控制模块根据节拍时刻和时间间隔从机器人动作库中搜索一个合适的舞蹈动作,并将该动作指令通过无线的方式发送给机器人,控制机器人跟着音乐节拍做出各种舞蹈动作。
实验结果表明,本论文设计的人形机器人舞蹈系统具有良好的性能来检测并跟踪音乐中变化的节拍,音乐中实际节拍时刻与机器人开始动作的时刻误差在毫秒级别内,不会影响机器人整套舞蹈的观赏效果,系统达到了实时与音乐节拍保持同步的目的。另外,系统对任意音频信号都能做出稳定可靠的识别效果,并能实时控制机器人跟踪音乐节拍做出各种舞蹈动作,表现出良好的性能。
系统在对音乐没有任何先验知识的情况下,实现了机器人跟着音乐节拍像人一样做出各种舞蹈动作的目的。本文设计的机器人跳舞系统是一个充满活力和交互行为的应用,该系统的娱乐性和实用价值体现了人与机器人之间的有趣关系,并促进了机器人和人工智能技术的长远发展。