以高角分辨率弥散成像(High Angular Resolution Diffusion Imaging,HARDI)为典型的核磁共振成像技术已经发展得比较成熟,给人类大脑白质神经纤维结构的无创检测带来了良好的前景,但是此类方法通常会产生庞大且难以理解的纤维数据集,如何对这一纤维集合进行准确的可视分析是一直临床研究中的一个重要问题。脑神经纤维聚类技术将结构相似的纤维聚类成符合解剖学知识的纤维束,从而提升人对纤维结构的感知,是脑纤维可视分析中的一种重要手段。由于经典的聚类技术无法直接应用于高维的脑纤维数据,而基于神经网络的聚类方法存在对参数选择敏感且计算量大的缺点。本文针对脑神经纤维数据的结构特点改进脑纤维相似度测量算法,并提出一种基于快速密度峰值搜索的脑纤维聚类算法,针对整体时间复杂度过高的问题提出一种基于连续聚类框架的脑纤维聚类算法。本文完成的主要工作和成果如下:(1)改进脑神经纤维相似度度量算法。针对现有脑纤维相似度测量算法没有考虑纤维整体形态结构间相似情况的问题,本文引入动态时间规整算法,通过将两条纤维进行拉伸和压缩等操作使其整合成同一长度,计算得到最短折叠路径作为纤维相似度的依据,并提出一种符合纤维形态结构特征的纤维相似度计算方法;(2)基于快速密度峰值搜索对脑纤维聚类进行优化。由于现有的聚类算法主要是基于点数据设计而成,本文针对脑纤维束的空间分布结构特点,引入快速密度峰值搜索算法,采用随机采样的方式计算密度半径,通过计算纤维的局部密度和最小距离,由用户在决策图中交互的选择集群中心,实现脑纤维聚类。临床数据的实验结果表明,相较于成熟的DBSCAN算法,本方法可以更准确地分析复杂的纤维结构。(3)提出基于连续聚类框架的脑纤维聚类算法。针对现有的脑纤维聚类算法在纤维相似度计算过程中需要消耗大量计算时间的问题,本文提出一种基于连续框架的脑纤维聚类算法,该方法通过参数模型表示纤维集群,以参数模型的形式代表集群中的所有纤维进行纤维相似度计算,最终对所有参数模型进行聚类。临床数据的实验结果表明本方法在取到较好的聚类效果的同时能显著减少整体聚类时间。最后,本文通过Qt构建可视化平台,实现脑纤维聚类可视化原型系统以满足用户可视分析的需求。