随着新兴智能计算领域的高速发展,包括计算视觉、语音识别、自然语言处理等领域,不仅应用本身的复杂度不断增加,而且对系统的计算能效,即单位能耗的计算性能,要求也越来越高。在这样的背景下,如何针对人工智能应用设计出高效能的实时并行系统已经成为了工业界和研究界高度关注的重点领域。异构流水线架构成为实现该类系统的一个有前途的解决方案。以深度神经网络为例,随着网络结构的不断加深,流水线设计已成为提升系统性能的重要手段;同时,由于应用子结构间具有显著性差异,为了降低能耗,异构平台能够为应用量身定制能耗最低的解决方案。虽然目前已有大量工作探索软件层的应用结构搜索空间,以及硬件层的异构加速器设计空间,但是独立地探索这两个空间并不能保证最终合成的完整系统达到最高能效。为此,本文致力于软硬件协同设计,针对不同应用与不同硬件平台的特性,开展异构流水线系统的设计与优化研究。相较于已有的科研工作,本文将探索各类异构平台,包括基于现场可编程门阵列(FPGA)集群系统、基于通用计算处理器的多核片上系统、以及基于异构通信的大规模分布式系统,全面地开展软硬件系统的协同设计与优化工作。通过设计高效最优解算法,充分挖掘软件内部的并行性与最大化硬件计算资源利用率,设计并优化效能最高的异构流水线系统。本文的研究内容如下:(1)以卷积神经网络与现场可编程门阵列为例,研究在任务具有固定执行时间的硬件平台上的异构流水线系统的设计与优化。首次提出将卷积神经网络部署到异构现场可编程门阵列(FPGA)集群,设计出基于动态规划的最优解算法。同时,本文将卷积神经网络进行流水线阶段划分,并针对每一个流水线阶段,分配到能获取最高效能的FPGA进行实现。进一步,针对单一卷积层进行细粒度优化,通过划分子任务,均衡计算与通信。所提出的技术在N块FPGA上获取超过N倍的性能提升,即超线性性能提升。在此基础上,引入卷积神经网络结构搜索,首次提出协同探索“神经网络结构空间”与“硬件设计空间”的搜索框架。(2)以基于多核片上系统的移动计算平台为例,研究任务在具有不确定性时间的硬件平台上,异构流水线系统的设计与优化。首次提出变节奏流水线的运行模式。利用概率模型对任务执行时间进行建模,并针对路径型与树型结构的应用,通过结合动态规划与帕累托最优曲线方法,设计出高效最优解算法。针对有向无环图型结构的应用,设计出基于动态规划与线性规划的高效(1+ε)近似最优解算法。所生成的系统能够满足给定要求的保证概率,同时在规定时间内完成任务,并最小化系统总开销。(3)针对大规模分布式系统,提出使用异步通信模式进行流水线阶段之间的通信。研究理论基础问题,包括运行行为的建模与死锁状态的分析与避免。在此基础上,研究了异步异构流水线系统的设计与优化,提出了高效的动态规划算法。本文对所提出的搜索框架与优化算法进行了实验验证。实验结果验证了上述技术的有效性与高效性,对于上述NP-Hard优化问题,所设计的算法能够在伪多项式时间内,针对不同结构应用,找到最优解或近似最优解。相比于能够找到最优解的整数线性规划数学方法,所提出的方法能够在找到相同解的情形下,将搜索时间缩短超过10,000倍以上;对比已有的启发式算法,在其不能够找到任何有效解的情形下,所提出的算法能够给出最优解。面对当下涌现的大量人工智能应用,本文所提出的搜索框架与优化算法能够很好地解决其实现中对性能和能耗的需求,为嵌入式系统、云计算平台以及物联网的落地提供理论基础与技术支持,促进智能科技产业的发展。