如今，机电设备和自动化技术发展迅速，自动化系统层出不穷，机电系统的功能与结构更加复杂多变，因此，机电系统的检测与维护变得越来越困难。为了能让现代化的机电设备能够高效、稳定的运行，对机械的运行状态施行实时检测是非常必要的。当机电状态出现异常时，机电系统能够根据状态的综合信息，及时做出简单的调整，保证系统正常运行下去，因此课题从对机电系统运行中的状态描述与识别方面进行研究。 　　因为复杂机电系统涉及的范围较广，课题在研究时提出了一个代表性模型—锤钉模型，并建立其与复杂机电系统的映射关系。针对机电系统中多种媒体信息的情况，采用MPEG-7 标准进行状态描述，并对描述方法进行了研究。通过对锤钉模型中的音频、视频特征进行分析，确定采用MPEG-7标准中的音频签名、音频频谱平滑度分布、音频频谱质心、音频包络描述子和区域形状特征描述子作为对象，根据VC编写的特征提取算法完成音频、视频特征的提取，并用 XML 语言加以描述形成特征描述库。在状态识别中，提出了先音频后视频的逐级分类方法，通过 KNN 算法实现了音频粗分类、视频再精确，最终确定了钉子最后的状态。 　　本课题综合运用了MPEG-7中的音频特征和视频特征进行了对锤钉模型中锤钉状态的检测，得到快速、准确的检测效果。最后将该方法运用到了语音识别实验中，并将识别率与传统的唇读方法相比，得到了较好的识别效果，证明了该方法的有效性。