随着人工智能应用的越来越广泛,以卷积或深度神经网络为代表的人工智能技术取得了巨大的应用。为了提高预测的精度,神经网络的规模急剧增加,巨大规模的神经网络引入了极大的计算量。网络稀疏化技术虽然能大幅度地减少计算量,但会造成神经元和连接权重矩阵的高稀疏性,并且连接权重矩阵也会出现不规则性。GPU+CPU异构计算架构能够实现大规模神经网络的高效计算,但稀疏连接权重矩阵的不规则结构会使得不同神经元的计算量出现明显差异,存在线程空转的情况,降低神经网络的性能,甚至抵消网络稀疏化技术带来的性能提升。本文设计和实现基于GPU稀疏矩阵运算优化系统,全连接运算本质是稀疏矩阵向量乘,通过优化稀疏矩阵向量乘和卷积运算,加速面向稀疏矩阵的神经网络运算。首先,将稀疏矩阵压缩行分组问题模型化为迭代多路整数分组问题,提出整数分组的稀疏矩阵向量乘,尽可能地平衡线程间计算量差异,缓解线程空转的情况。其次,提出合并存储的稀疏矩阵向量乘,实现合并访存和数据复用,提高访存效率,实现行与列之间尽可能的并行。再次,使用共享内存、对齐访问和稀疏存储格式设计自定义卷积函数优化传统卷积运算。最后,将传统卷积运算转化为矩阵乘法,使用稀疏存储格式设计自定义函数,通过优化稀疏矩阵乘法优化卷积运算,并测试稀疏度和存储格式对卷积运算的影响,为神经网络中稀疏矩阵存储格式的选择提供参考。针对上述研究,设计系统总体架构,将上述优化算法作为系统核心功能的算法,设计和实现稀疏矩阵运算优化系统各个功能模块,并对系统各个功能模块进行测试。使用公开数据集测试上述优化方法,实验证明,整数分组策略能减少全连接运算耗时,合并存储格式的稀疏矩阵向量乘运算速度能够平均提高8倍,自定义卷积函数和自定义函数实现高稀疏矩阵的卷积运算性能最佳。