数据聚类是最基础和最重要的数据分析手段,实现对海量数据快速智能的聚类分析对于帮助整理、摘要和储存数据具有重要意义。在大数据和人工智能快速发展的背景下,传统聚类算法逐渐不能满足人们的实际需求,基于深度神经网络的聚类方法成为当前领域的热门研究方向。现有的深度聚类算法普遍存在目标函数易退化、泛化能力弱、训练不稳定和无监督神经网络表达性不足等问题。如何设计具有强表达性、泛化性、稳定性的深度聚类算法是人工智能中至关重要的研究问题。本文致力于克服现有深度聚类存在的研究难点,从目标函数设计、数据增强技术、自步学习算法、同变性特征和自监督表示学习等方面,研究如何提升深度聚类学习特征的质量,最终提高聚类性能。本文主要创新点概括如下:1.借助欠完备自编码器对数据局部结构的保存能力,提出了具有局部结构保存的深度卷积嵌入聚类算法,以解决目标函数存在退化解的问题。很多深度聚类算法使用单独的一个聚类损失函数同时优化神经网络的参数和聚类模型的参数。这类损失函数一般存在退化解,即神经网络可以通过将所有样本映射到同一个特征点上来使损失函数值最小化。在该退化解下,深度神经网络学习的特征缺乏合理意义,得到的聚类结果也不能令人满意。为了解决该问题,我们提出使用欠完备自编码器保存数据的局部几何结构,从而防止出现退化解。提出使用自编码器的重建损失和基于KL散度的聚类损失一起对模型进行训练,前者保证数据的局部结构在特征空间得以保存,后者鼓励特征向有利于聚类任务的方向调整。通过联合优化这两项损失,实现聚类精度的不断提升。另外,设计了一种新的卷积自编码器结构,使用卷积层实现靠近图像的部分,而用全连接层实现嵌入层附近的部分,保证既能有效地从图像中提取信息,又能保存数据的局部结构。在图像和文本数据集上验证了数据局部结构保存的重要性和提出的深度嵌入聚类算法的有效性。2.通过将数据增强技术引入无监督学习,提出了基于数据增强的深度嵌入聚类框架,以解决模型对少量样本聚类效果不理想和泛化性差的问题。深度神经网络往往需要大量的样本才能学习到有意义的特征。当数据量较少时,难以训练出理想的神经网络。而深度聚类使用深度神经网络作为特征学习模型,因此也受数据量的影响。为了解决该问题,我们首次将数据增强技术引入到无监督深度聚类任务中。首先通过对现有深度聚类算法进行分析,总结出深度嵌入聚类框架,即基于自编码器模型和连接在自编码器嵌入层的聚类模型的深度聚类方法。该框架分为自编码器预训练和联合微调两个阶段。然后从流形学习角度和有监督训练的角度分析数据增强在预训练和微调阶段能够起到的积极作用,据此给出将数据增强技术分别用于这两个阶段的实现方式,从而得到基于数据增强的深度嵌入聚类框架。根据该框架实例化了五个具体的基于数据增强的深度嵌入聚类算法。大量的实验证明了数据增强技术在无监督深度聚类领域具有积极的重要作用,大幅度提升了聚类性能。实例化的五个基于数据增强的深度嵌入聚类算法在四个图像数据集上达到了当前最先进的聚类性能。3.针对边缘噪声样本影响模型训练稳定性的问题,提出了基于自适应自步学习的增强深度聚类算法。深度聚类算法一般交替进行特征学习和聚类两个过程。由于无监督学习的本质,聚类结果不能保证完全准确。而将不准确的聚类结果作为监督信号引导神经网络的训练时,存在误导神经网络的风险,而用误导的网络提取特征再做聚类时会导致聚类结果进一步恶化,从而导致整个交替训练的过程不稳定,影响最终的聚类性能。为了解决该问题,我们利用自步学习技术在每次迭代中只选择最可靠的样本用于网络的训练,排除处于类别边缘的不可靠的样本的影响。自步学习存在难以调节的超参数,为此我们提出自适应自步学习算法,利用数据的统计信息动态选择样本,从而消除超参数的影响。另外我们还设计了一个能有效防止退化解的聚类损失,类似于KMeans损失,但约束聚类中心保持不变。最后使用数据增强技术进一步提升模型的泛化性能和提取的特征的鲁棒性。开展了大量的实验,结果验证了提出的算法的有效性。消融实验展示了自适应自步学习和数据增强分别对深度聚类性能的提升作用。4.为了研究同变性特征的判别性,提出基于仿射同变自编码器的聚类算法。深度聚类的特征提取模块依赖于现有的无监督深度神经网络。然而现有的无监督神经网络处理图像的效果还不能令人满意。同时现有的神经网络都致力于学习对变换具有不变性的特征,而我们发现对变换具有同变性的特征能更好的反映数据的内在性质。直观的理解,为了保持同变性,神经网络将试图解构数据的变换因子,即学习数据的变换模式,从而需要对数据的内容进行必要的理解。因此,同变性特征比不变性特征表达的信息更全面,判别性也有望更好,也更适合聚类任务。为此,提出了仿射同变自编码器模型,以无监督的方式学习对仿射变换具有同变性的特征。目标函数由原始样本的自重建、仿射变换后的样本的自重建和对仿射函数的逼近三部分组成。其中两个自重建损失保证编码器能有效提取数据的特征,对仿射变换的逼近项负责将同变性质融入编码器中。设计了能验证特征同变性的定性实验和定量实验。通过对特征添加扰动然后可视化重建样本的方式对同变性进行定性验证;使用同变性的定义对同变性进行定量验证。实验证明该模型学习的特征具有仿射同变性和很强的判别性。通过在学到的特征上运行谱聚类算法达到了当前最先进的聚类性能。5.为了进一步解决深度聚类在背景复杂接近自然的图像数据上表现不佳的问题,提出基于图像平移的自监督表示学习算法。自监督学习方法通过预测施加在数据上的变换来为神经网络提供监督信息,实践证明用这种监督信息可以训练更加复杂的神经网络,以及在复杂数据集上学习具有判别性的特征。但现有的基于几何变换的自监督方法受变换产生的边缘效应的影响,性能还有待提升。为了解决该问题,我们设计了预测图像平移的像素个数的自监督任务,并通过对同一平移方向的图像施加相同的掩码来消除边缘效应对该任务的影响。实验证明提出的自监督方法能在复杂图像数据集上学习具有很强判别性的特征,为深度聚类提供了新的特征学习模型。