说话人识别问题是通过语音特征来确定说话的人是谁。近年来,大多数学者仍然使用传统的方法来提取语音特征,如梅尔频率倒谱系数,简称MFCC,但是由于真实环境比较复杂并且与实验的环境相差很大,所以得到的结果差强人意。因此,我们应寻求一种新的方法来提取语音特征并且达到较好的实际效果是非常有必要的。随着人工智能技术不断发展,利用深度学习的方法使人工智能技术快速的应用到图像、文本、以及语音识别等众多领域,具体来讲,渐渐形成了一种利用大数据获取抽象特征并且这些抽象的特征都是自动提取的方法。其中,卷积神经网络的发展使深度学习的研究达到一个新高度,通过卷积神经网络的特征提取来解决说话人识别问题,也受到广泛关注。说话人识别方法有GMM-UBM模型,该模型在实际应用中取得了不错的成绩,但是它仍然存在两个主要的缺点:(1)模型采用的是EM算法进行迭代训练,该方法结构复杂,训练时间较长,并且需要大量的内存,泛化能力一般;(2)模型对数据的要求非常严格,因此需要相对应的方法来生成指定的数据格式。本文针对说话人识别的问题,提出了一种基于卷积神经网络的说话人识别与聚类模型,该模型分为两个部分,第一部分是使用声音的频谱图作为卷积神经网络的输入,研究并优化了网络用于说话人识别;第二部分是根据说话人识别模型提取相关的特征进行未知说话人的聚类研究。为了提高说话人识别的模型效果,在频谱图的生成过程中,本文采用了512维的声纹特征进行频谱图的生成,并且在声音的静音检测过程中,采用动态的阈值来处理静音区域;在网络设计中增加了Dropout和块归一化层,并且研究了不同层数的说话人模型效果。除此以外,为了验证说话人识别模型的鲁棒性,对比了不同的人数的模型效果。对说话人聚类模型,还选择了主成分分析和适应性传播聚类进行可视化分析。在数据集TIMIT上取得了92%的测试准确率,对未知说话人聚类也获得了可比较的效果。