当前我国的人工智能技术进入快速发展的阶段，其中音频和语音作为智能设备与外界和人类进行交互的重要接口而受到来自于政府、产业界与学术界的广泛关注。国务院提出了人工智能发展规划，指出我国将在教育、医疗、养老、环境保护、城市运行等领域广泛应用人工智能技术。音频数据的自动标注技术将为这些业务提供有效的服务。然而这些实际应用场景中的声场构成往往非常复杂，通常含有多种声源和不同程度的噪声干扰，因此在实际应用中通过复杂场景下的音频自动标注方法来为智能系统提供声音模态的信息具有迫切的需求。当前对于复杂场景下的音频数据往往缺乏统一有效的数据处理流程和模型。因此本课题针对复杂场景下的音频自动标注任务开展了研究。　　针对复杂场景下的音频数据的性质，我们首先提出了一种复杂场景下的音频数据处理流程。对复杂场景下的音频数据进行时域和频域的详细分析，发现音频中从时间维度和频率维度上都存在着音频类别的信息，且这些模式存在不确定性，并发现大量音频数据中存在着非活动片段，对数据集中类别和音频文件时长的分布进行分析后发现音频类别不平衡的问题。基于这些信息设计了音频的处理流程，包括音频活动检测和基于活动检测的噪音去除，提出多种用于音频数据的扩张方法和数据集过采样的数据处理方法。通过实验对比证明了数据处理流程设计对于复杂场景下的音频标注任务性能具有明显的提升。　　针对音频中信息在时域和频域上的分布具有多形态的特点，提出了自注意InceptionLDNN模型。对数据的研究中发现音频类别相关的信息在时间分布上不均匀，在频域上的模式也较为多样化。基于这两个结论研究设计了含有注意力机制和多种尺寸卷积的深度学习音频自动标注模型，并在实验中对这两种改进和模型整体的性能进行了评价分析，确定该模型取得了明显优于对比方法的预测效果。