基于神经网络的深度学习算法已经在计算机视觉、语音与自然语言处理等领域取得了突破性的成果,其应用领域包括智能制造、安防、医疗和交通等,涵盖日常生活的方方面面。但是,深度学习模型在实现优越性能的同时往往也伴随着极高的存储空间需求和计算复杂度,而通用计算平台多数情况下并不能满足实际模型部署对功耗、延迟等各方面性能的综合需求。为了加速算法落地应用,研究者们一方面考虑在算法层面,通过模型压缩算法减少模型的存储空间需求和计算复杂度;另一方面,通过设计高效的支持神经网络模型计算的硬件架构,利用FPGA或者面向AI应用的ASIC芯片这类具有更高综合能效比的硬件来加速深度学习算法。通过算法与硬件的协同设计和优化,也可以实现对深度学习算法更好的加速。本论文在系统总结前人于神经网络模型压缩和硬件加速方面已有研究成果的基础上,介绍了作者在该领域的研究成果。我们首先探索了递归神经网络的算法和硬件协同设计与优化。在算法层面,提出了硬件友好的规则化稀疏算法,通过在不同应用上的实验,分析和评估了包括稀疏、参数共享、线性/非线性量化在内的多种模型压缩算法在递归神经网络上的效果。硬件层面,配合模型压缩算法,根据递归神经网络的计算特点,在硬件架构设计时对数据流做了进一步的优化。所设计的架构具有很高吞吐率和资源利用率,实现了业界领先的能效比。此外,我们也提出了一种基于软决策的自适应卷积神经网络,该网络可以判断输入样本的复杂程度并自适应地分配计算资源,从而实现平均计算复杂度的降低。在图像分类任务上的结果显示所提算法可以实现比相关工作更好的压缩效果。