基于实时音乐节拍跟踪的机器人舞蹈系统

来源 :中国地质大学(武汉) | 被引量 : 0次 | 上传用户:konghao12345
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
当一个人随着音乐点头或跺脚的时候,他的这种行为就是在进行音乐节拍的跟踪。为了让机器人模拟人类的这种行为,本论文设计了一个基于实时音乐节拍跟踪的机器人舞蹈系统,实现机器人感知音乐节拍的功能。机器人跟踪音乐节拍跳舞的能力是通过在系统中设计一个低层次检索音乐信息的模块来实现的,此模块建立在一个开源的处理音频信号软件框架(Marsyas)的基础上。系统通过Spectrum Flux算法来实时检测音频信号的节拍触发(onset)时刻,并对onsets信息进行聚类分析来预测相邻节拍间的时间间隔,完成对音乐节拍的跟踪。然后,系统根据检测结果通过无线的方式控制并改变机器人的舞蹈动作,使系统在对音乐没有任何先验知识的条件下让机器人自发和动态的与音乐节拍保持同步,实现机器人像人一样跟着音乐节拍跳舞的目的。另外,机器人的这些舞蹈动作是根据音乐节拍的强弱和持续时间来定义和设计的,通过机器人跳舞的形式与音乐的强、中和弱节奏事件相匹配,实现机器人模拟人类跟着音乐跳舞的行为。   本系统的实现分为硬件平台的构建和软件设计两部分。硬件平台的构建主要完成对人形机器人(KHR一2HV)的改造,使其具备无线传输的功能。系统的软件设计分为三个模块:音乐分析模块的设计、IOI(Inter—onset interval)预测模块的设计和机器人控制模块的设计。其中,音乐分析模块执行的是一个基于onset检测的低级别(音调、音色、音量等信息)节拍感知算法,并将带有峰值提取和自适应阈值函数的此模块嵌入到开源的音频分析软件Marsyas中来实现节拍的检测和跟踪。IOI预测模块根据已检测到的onset信息来预测音乐的节拍速度,并估计当前节拍与下一节拍的时间间隔。最后,机器人控制模块根据节拍时刻和时间间隔从机器人动作库中搜索一个合适的舞蹈动作,并将该动作指令通过无线的方式发送给机器人,控制机器人跟着音乐节拍做出各种舞蹈动作。   实验结果表明,本论文设计的人形机器人舞蹈系统具有良好的性能来检测并跟踪音乐中变化的节拍,音乐中实际节拍时刻与机器人开始动作的时刻误差在毫秒级别内,不会影响机器人整套舞蹈的观赏效果,系统达到了实时与音乐节拍保持同步的目的。另外,系统对任意音频信号都能做出稳定可靠的识别效果,并能实时控制机器人跟踪音乐节拍做出各种舞蹈动作,表现出良好的性能。   系统在对音乐没有任何先验知识的情况下,实现了机器人跟着音乐节拍像人一样做出各种舞蹈动作的目的。本文设计的机器人跳舞系统是一个充满活力和交互行为的应用,该系统的娱乐性和实用价值体现了人与机器人之间的有趣关系,并促进了机器人和人工智能技术的长远发展。
其他文献
合成孔径雷达(SAR)是一种主动式微波成像雷达,具有全天时、全天候的工作能力。其结合了脉冲压缩技术和合成孔径技术,实现了利用小天线获得高分辨率的成像特性,在军事和民用领域
生活中,不知道您有没有过以下类似的经历:您拿起手机本来是要查一个关于工作安排的聊天记录,但此时收到了一条淘宝降价提醒.您浏览提醒后,随手点开了一个弹窗发布的当地新闻.
期刊
我们经常会听到有人说:“少吃冰淇淋、棒棒糖、糖果,不然会吃进去太多色素的.”新闻也曾经报道过与色素相关的安全事故,比如在辣椒粉和咸鸭蛋中检验出苏丹红,腐竹中检出碱性
期刊
本文从化学生态及螨类行为生物学反应的角度出发,以影响朱砂叶螨与寄主植物之间相互关系的植物主导因素为主线,研究朱砂叶螨对寄主植物的行为反应,主要研究结果如下: 1、朱砂
近年来,磁共振成像(Magnetic Resonance Imaging,MRI)技术的飞速发展和计算机化的神经解剖学图像处理技术的进步,使研究人员可以对活体脑进行快速、自动的定量计算和分析,为
背景:  骨关节炎(Osteoarthritis,OA)是一种以关节软骨缺损为主要表现的多因素疾病,是最常见的一种风湿性疾病,以关节软骨逐渐损失为特点,并可累及骨质、滑膜及关节囊等结构,是引起
极化合成孔径雷达(PolarimetricSAR,POLSAR)通过近似同时发射和接收不同极化方式的电磁波,对每个散射单元均能获取一个复散射矩阵,从而能比传统合成孔径雷达(SyntheticApertureR
青蒿素是从中药青蒿中提取的新型抗疟药物,然而,青蒿素在青蒿中的含量非常低。近年来,随着青蒿素生物合成途径相关酶基因的克隆,基因工程成为提高青蒿素含量的有效途径之一。在对青蒿进行遗传转化过程中,高效稳定的丛生芽诱导体系是青蒿转化成功的关键。然而,随着继代次数的增多,青蒿丛生芽诱导能力存在退化现象。本文首先研究了滤纸对青蒿丛生芽诱导的影响和在遗传转化中的应用,进而研究了反义鲨烯合酶基因表达对青蒿素生物
合成孔径雷达(Synthetic Aperture Radar,SAR)图像辐射分辨率是一个用于衡量SAR图像中地物目标信息区分难易程度的性能参数。该参数由两个指标决定:一是系统的信噪比(Signal
国家“十二五”规划明确提出要大力发展“物联网”,WLAN作为物联网中非常重要的环节也受到广泛的关注,目前WLAN常用的标准IEEE802.11系列协议各有优劣,因此研究高吞吐量、低