针对音乐形态的愈加丰富,在使用传统协同过滤的方式进行推荐时往往会忽视音乐底层特征。通过将音乐的音频特征与歌词信息进行多模态融合,并将融合后的特征信息与用户的喜好进行关联分析,提出了一种基于多模态的音乐推荐系统。本文主要探讨了音频特征提取方法,选择MFCC作为音频特征的提取标准,而对于文本属性的歌词特征则采用Doc2Vec进行处理。针对多模态融合问题,本文提出一种基于HMM约束的EFFC多模态融合法。在收集用户评分后,将多模态特征与用户评分进行映射与相似度分析,从而找出用户最感兴趣的若干首歌曲,并进行推荐。同时,在多模态的音乐推荐系统的基础上,辅助以实时热度推荐,解决了推荐系统中的冷启动问题。在实验中,通过绘制PR曲线的方式,确定了歌曲的最优推荐数目。针对本系统在度量准确度以及削弱推荐系统长尾效应的能力上,分别采用了准确率、召回率与覆盖率,对三种不同种类的音乐推荐系统进行了对照实验。结果表明,本系统与传统的单模态音乐推荐系统相比,准确率仅降低3%,覆盖率却提升了28%,验证了本系统在准确度损失不大的情况下,使得发掘长尾的能力大大提升。