论文部分内容阅读
数字图像处理、多媒体技术、计算机图形学等学科的迅速发展，给交互式技术的发展带来了无限可能，尤其是当交互式技术与多媒体技术相结合时，它就成为一门集技术和艺术为一体的学科。本文设计的音乐机是一种可人机交互操作的电子音效设备，它突破了传统的键盘、鼠标、按键交互手段，采用机器视觉技术进行多媒体人机交互。本文研究的主要包括以下几个方面: (1)系统平台的构建包括硬件平台和软件平台两方面的内容。硬件平台为一个带有半透明操作平台的箱式结构，各个模块按照其功能在结构内有序摆放。软件平台则在VS2005环境下通过C++编程实现各个功能模块。 (2)图像采集和预处理模块。利用USB摄像头进行图像采集，在windows驱动模型下WDM下遵循UVC协议实现视频数据流的传输。图像预处理部分主要包含自适应阈值分割，分割过程中充分考虑邻接区域的像素信息，比全局阈值分割拥有更强的抗噪能力。 (3)在图像识别追踪模块，利用图像拓扑特征的良好的全局特性，设计了一类载有乐器基本形状的拓扑结构模块，并相应提出了一种基于图像拓扑特征的运动目标追踪的算法。这种算法具有良好平移旋转、尺度缩放不变性，并且在满足实时性的前提下保持良好的鲁棒性。 (4)视听效果生成部分包括视觉效果和听觉效果两个模块。听觉效果模块，根据识别追踪的结果，电子音效产生模块根据MIDI协议，实时发送MIDI命令消息控制声卡发声，产生动态的电子音乐效果;视觉效果模块，基于OpenGL图形应用接口产生简单的二维图形，并通过实时绘制过程产生动态的视觉效果。 本文实现的这种基于人机交互技术的音乐机系统，由于采用了拓扑结构追踪算法能够保证系统的实时性和鲁棒性，采用USB视频捕捉方式、MIDI音乐通信协议和OpenGL跨平台的图形接口能够保证系统的灵活性和兼容性。