近年来,随着人工智能行业的高速发展,卷积神经网络（Convolutional Neural Network,CNN）的应用场景逐渐从服务器云端向嵌入式终端过渡,但是由于其庞大的计算量难以在嵌入式终端进行部署,所以CNN的硬件加速逐渐成为当今社会的研究热点。通用处理器（Central Processing Unit,CPU）集成CNN加速单元的模式更具有通用性,并有助于对解决特定场景的优化问题,从而成为卷积神经网络加速问题的高效解决方法。受限于商用CPU日益高昂的专利授权费及与加速器各自的开发流程不兼容等问题,以第五代精简指令集（Reduced Instruction Set Computer fifth edition,RISC-V）为代表的开源处理器结合CNN协处理器的模式,可以更高效地实现CNN在嵌入式终端的部署。为此,本文提出了一种基于RISC-V开源处理器的卷积神经网络加速器设计。首先,本文介绍了RISC-V指令集架构和指令扩展的原理及方法,利用RISC-V的可扩展性提出一种基于开源处理器蜂鸟E203的卷积神经网络加速指令及协处理器设计。其中,加速器使用可以同时计算双层卷积的协处理器,第一层卷积操作使用行固定脉动阵列,对权重、部分和及特征图数据充分复用,减少访存,对卷积操作进行加速计算;第二层卷积操作使用加法树结构,复用第一层卷积的数据,进一步减少访存及减少功耗。本文还采用流水线架构降低协处理器的复杂度,进一步实现加速功能。其次,考虑到处理器架构通用性及灵活性的问题,本文设计了可选的两种激活函数分别是Sigmiod函数和Tanh函数以及两种池化方式分别是最大池化和最小池化,并且支持单层卷积计算。最后,为验证本文提出的加速器架构的功能,利用Vivado平台对加速器各个模块及整体系统进行功能验证和综合。实验表明,在使用本文架构的情况下,对于激活操作运行速度提高了31.85倍,对于卷积计算运行速度提高了552.79倍。资源消耗表显示协处理器约占整体系统的95%。其中动态消耗约占67%为0.509W,静态消耗约占33%为0.248W。