稀疏矩阵向量乘(SMVM)运算是许多工程计算与科学计算的核心,近年来随着FPGA的广泛应用,基于FPGA平台的SMVM运算研究工作也在不断地深入。针对FPGA特有的并行性,研究者们提出了很多利用硬件逻辑实现的运算结构并且获得了比较好的运算性能。但是这些运算结构也存在着片上资源利用率低灵活性差的缺点。本文利用软硬件协同设计的思想对一种典型的硬件逻辑运算结构进行了优化,设计出了多核加协处理单元的运算结构,并且利用该结构实现了SMVM运算系统。本文首先介绍了SMVM运算研究的背景与概况,接着介绍了SMVM运算涉及到的基本概念。通过对Microblaze软核处理器FSL总线扩展的介绍,给出了利用FSL总线实现硬件加速以及多核系统的方法。然后对硬件逻辑实现的二叉树运算结构进行了分析,同时对乘法器个数为四的二叉树运算结构进行了优化,给出了多核加协处理单元的运算结构。本文在优化过程中使用了分解的方法,采用多个处理器对分解出来的协处理单元进行控制,实现了软件方式调用硬件。最后本文利用多核加协处理单元的运算结构实现了SMVM运算系统,并对该系统进行了仿真分析。