齿轮作为现代机械设备中使用极其广泛的连接和传动零部件，故障发生概率比较高，一旦发生故障会造成停机停产，甚至威胁到人员安全。目前齿轮故障诊断方式比较多，但是传统方法在进行诊断时未将齿轮振动信号的非线性因素考虑在内。为了弥补这方面的局限，本文在总结和借鉴前人研究成果的基础上，采用分形理论这一非线性分支学科，将其与具有非线性特点的神经网络相结合进行齿轮的故障诊断。本文首先介绍了齿轮故障诊断的研究意义和发展现状，分析了传统故障诊断方法的不足，在此基础上提出了本文的研究内容和研究方法。针对齿轮故障，对典型故障进行了研究介绍，分析了齿轮运行时的振动类型，然后选取三种常见典型故障从有限元的角度分析了振动特性，随后在自制平台上进行了齿轮故障模拟试验，采集得到齿轮振动信号。根据分形理论，对振动信号依次进行了分形滤波、分形维数求解等处理，然后将振动信号的分形维数和统计参数作为BP神经网络的输入，进行模式识别，实现了分形理论和神经网络的联合诊断，并通过了理论方程和试验数据的双重验证，且故障诊断准确率较高，证明了本文所选方法的有效性和正确性。利用Visual Basic和MATLAB两大软件的优势进行混合编程，开发出齿轮故障诊断系统，将本文之前部分内容进行了整合，界面友好、操作简单，使本文实现了由理论研究到实践应用的迈进。