随着科技的进步和人工智能的发展,互联网和信息技术在生活中得到广泛应用。说话人识别聚类是语音信号处理的一个研究方向,它的任务是在多个说话人分时说话的语音音频文件中识别说话人边界和说话人身份,使得相同的说话人被标记为同一类,且每一类中只包含一个说话人。说话人识别聚类通常使用说话人的嵌入向量来聚集音频片段,如i-vector。近年来,由于深度学习的快速发展,基于深度网络的d-vector嵌入向量在这个领域也得到快速发展,但还有待提高。以GMMUBM模型获得的GMM矢量与聚类算法结合作为基线,本文将提出一种基于avector作为说话人嵌入向量的说话人识别聚类算法,在说话人嵌入特征提取、说话人聚类算法方面进行研究。本文的主要工作如下:第一,针对当前语音识别领域常采用的MFCC特征经过降维处理而存在过度加工的问题,采用梅尔语谱特征作为卷积神经网络的输入特征,保留更多的语音信息。第二,针对说话人特征提取网络中会忽略全局语音帧的相关性的问题,本文提出了一种基于多头注意力机制的a-vector提取方法。搭建基于CNN的说话人特征提取网络,为获得更好的效果,借助Resnet的思想改进说话人特征提取网络。结合语音数据的特点,在网络中引入多头注意力结构和修改交叉损失函数,以此获取不同特征图的权重矩阵,增强语音中说话人特征的区分程度。在相同的数据下,基于Resnet改进的网络比CNN的识别率提高了3%。这证明基于Resnet改进的说话人特征提取网络提取的a-vector表征说话人嵌入特征的质量会更好。第三,传统的聚类算法由于参数的选择、数据点的分布特点和聚类中心距离差距大等问题而影响聚类效果,提出一种基于特征间隔改进的说话人谱聚类算法。它能够自动估计聚类数目,且在任意分布的数据空间达到更高的聚类质量;本文对谱聚类中的相似度矩阵进行优化,可获得聚类数目和聚类中心,从而更好的识别说话人人数和分类。实验结果表明,改进的聚类算法具有更好的聚类质量。第四,联合说话人特征提取和说话人聚类模块,搭建说话人识别聚类系统。本文将不同的嵌入向量与不同的聚类算法结合进行实验,在相同的数据集下,a-vector与改进的说话人谱聚类算法相结合时比基线系统获得更低的错误率。