环境声音分类(Environmental Sound Classification,ESC)是音频处理领域中的重要分支之一。ESC任务在机器人导航、音频检索、音频取证以及其他基于情景感知和可穿戴设备中具有重要的应用场景。环境声音识别任务的困难主要在于环境声音信息中往往混杂着大量无用、随机的声音信息,这使不同的声音场景也经常出现相似度非常高的声音特征。现有的方法在ESC任务中的分类精度还有很大提升的空间。本文提出了一种基于残差网络和随机森林的音频识别算法,利用深度学习模型对音频进行特征提取,通过将一维时域的音频信号转换为二维的频域信号利用残差网络模型进行特征提取,提高音频特征的提取质量。针对音频数据集由于其标记声音事件录音非常困难导致数据量较少,训练深度学习模型容易过拟合导致精度下降的问题,本文设计了基于残差网络和随机森林相结合的方法,该方法能有效的提取音频特征,缓解了过拟合的现象,因此该方法不仅提升了音频识别的精度,加快了预测的效率。本文实验采用了具有代表性的环境声音数据集,将提出的音频识别方法在这些数据集上进行训练预测。经实验结果表明,该方法在选取的数据集上的识别精度均有较大的提升,在实际录制的人声数据集上也取得了很好的验证,验证了该方法的普适性和有效性。