聚类分析是一种重要的数据挖掘技术。它的目标是挖掘数据中的簇,使得在同一簇中的数据比在不同簇中的数据更相似。研究者已经提出了一系列聚类算法并把它们广泛应用于图像分割、信息检索、数据压缩和生物信息学等领域。近年来,随着大数据、区块链和人工智能等一系列新兴技术的快速发展,在互联网、科学研究和工业生产等领域积累了大量复杂结构数据,比如形状不规则数据、密度不均匀数据等。聚类这些数据给传统的聚类算法提出了严峻挑战。因此,如何聚类复杂结构数据成为了一个富有挑战性的研究课题。本文针对复杂结构数据,开展了聚类算法的研究,主要的研究内容及研究成果如下:（1）针对密度不均匀的数据,本文提出了一种基于局部差异密度的聚类（LGD）算法。该算法根据一个数据点的密度与它邻居的最高密度的差异定义了局部差异密度。基于局部差异密度,LGD算法首先识别数据中的核心点和边界点。然后,它根据k近邻图中边的端点是否为边界点以及边的权重大小,定义了潜在的跨簇边。在删除了跨簇边后的k近邻图中,包含数据点较多的分支上的所有数据点被作为一个初始簇。最后,对于未被聚类的数据点,LGD算法在初始簇中为它们选择了代表点,并把每个不属于初始簇的数据点分配给包含其代表点的初始簇。实验表明提出的算法的聚类效果优于传统的聚类算法和新近的聚类算法。（2）针对复杂结构数据,本文提出了一种基于密度递减链的聚类（DDC）算法。该算法在交互k近邻图上定义了密度递减链,其链上的数据点的密度依次递减且链的起始点为具有局部最高密度的数据点。利用密度递减链,复杂结构的数据可以被很好地分为核心点和边界点。为了聚类数据,DDC算法首先定义了簇内密度递减链概念以在数据中挖掘初始簇,然后基于密度递减链把数据中不属于初始簇的数据点层次地分配到相应的初始簇中。通过实验证实,该算法对于复杂结构数据的聚类效果超越了相关的聚类算法。（3）针对大规模复杂结构数据,本文提出了一种基于邻接密度的聚类（JDC）算法。该算法定义了邻接密度用于度量两个子簇相邻区域的密度,其中子簇由K-means算法划分数据集获得。基于子簇之间的邻接密度,JDC算法先重新定义了DBSCAN算法中密度可达的概念,以合并满足密度可达条件的子簇为初始簇,然后重新定义了LGD算法中的代表点的概念,以分配剩余的子簇给相应的初始簇。由于JDC算法聚类子簇而不是直接聚类数据点,与那些直接聚类数据点的密度算法相比,它的计算复杂度显著降低。在多个复杂结构的数据集上提出的算法的高效性和有效性被验证。（4）针对含噪声的复杂结构数据,本文提出了扩散聚类（DC）算法。该算法首先根据一个数据点与它的邻居的距离定义了该数据点的扩散距离。然后,基于数据点的扩散距离及其近邻点的平均扩散距离,DC算法将数据分为可扩散点和终止点。最后,该算法定义了可扩散点的扩散集概念用于挖掘数据中的簇,特别地,离可扩散点较远的终止点被识别为噪声数据。通过实验证实,DC算法可以很好地挖掘复杂结构数据的簇和准确地识别数据中的噪声点。针对复杂结构数据聚类问题,本文进行了系统性研究,定义了一些新的概念,比如局部差异密度、密度递减链、邻接密度、可扩散点等。基于这些概念,本文针对复杂结构数据提出了4种新的聚类算法,丰富了聚类分析的研究内容。