人工智能迎来了第三次发展浪潮,以深度神经网络技术为核心的人工智能成为引领新一轮科技革命和产业变革的战略性技术。结合5G,物联网,大数据等技术,人工智能技术已经在生产生活中发挥着越来越重要的作用。现阶段人工智能计算通常利用服务器集群在云端完成。为了降低数据通信功耗及延迟,提升数据安全性,降低人工智能服务成本,学术界提出了微型机器学习（Tiny ML）的概念,即在物联网终端设备上部署高性能的人工智能算法。然而现有的物联网终端设备计算能力弱,存储资源有限,且面临严苛的功耗限制,难以满足复杂度较高的人工智能计算需求。针对这一问题,本文通过算法和电路协同优化,提出了“无外存计算”的感知计算框架。通过算法优化以充分压缩模型尺寸,实现整个计算过程的存储访问都在片内完成,从而彻底消除由片外访存带来的巨大功耗和延迟,提升系统能效。在此基础上,本文提出了与算法模型适配的高效片上加速架构,设计了可配置的数据通路和分离结构的神经操作加速电路,以实现计算效率和通用性之间的平衡。具体而言,在微型深度神经网络模型研究方面,本文提出了:（1）基于线性可分离模块和密度连接线性可分离模块的微型神经网络模型Etiny Net。从稀疏编码理论出发,线性可分离模块通过去除掉通道卷积后的非线性层构建具有正交特性的字典卷积,以提高参数效率。另外,Etiny Net通过引入密度连接提高模型等效宽度,以减少通道数,使得模型具有更小的中间特征图尺寸。实验结果表明,Etiny Net运行时仅占用片上存储空间797KB,且在Image Net数据集上获得了66.6%的Top-1分类精度。（2）自适应尺度参数量化方法。针对所提出的EtinyNet,本文进一步研究了int4参数量化方法,以解决现有int4参数量化方法在微型网络模型上性能退化严重的问题。本文所提出的自适应尺度参数量化方法通过引入尺度重整因子,可在模型训练过程中自动调节参数分布,平衡量化误差和参数信息熵,避免量化大量丢失信息。实验结果表明,该方法进一步缩减了Etiny Net的参数量,使得运行时所消耗片上总存储空间降低至441KB,且达到了57%的Image Net分类精度。（3）多尺度规范化特征的知识蒸馏方法。针对参数量急剧压缩引起的微型模型精度损失,本文从噪声理论和多尺度特征出发,研究了特征范数和标签噪声之间的关系,提出基于多尺度规范化特征消除标签噪声影响的知识蒸馏方法,以提升模型精度。较之标准的知识蒸馏方法,本文提出的知识蒸馏方法可在微型模型上能够获得更高的精度提升,从而使int4量化的Etiny Net在Image Net上分类精度提升至60.6%。针对微型神经网络模型EtinyNet,本文研究了基于指令集架构的硬件加速器芯片Tiny NPU。为提高该芯片的通用性和执行效率,本文提出了:1)面向微型神经网络模型的精简指令集。该指令集涵盖多种重要的基本神经操作,可用以支持大部分主流的视觉神经网络模型;2)分离结构的乘累加阵列及滑窗卷积电路,高效支持神经网络中计算量最大的卷积和通道卷积运算;3)可配置列主序布局和交错布局的数据通路及布局转换电路。动态调节片上特征图存储布局（数据在存储器中的排布）,以满足不同并行运算模式的需求,使处理单元能够发挥出最大效率。基于所提出的芯片和算法模型,本文进行了FPGA原型系统验证以及ASIC实现。实验测试结果表明芯片能够在73.6m W的功耗水平上获得180FPS的吞吐率,处理能效高达441.2 Frame/s/m J。本文还进一步实现了更加紧凑的加速器电路设计,探索了资源消耗的极限,首次利用FPGA在毫瓦级别的功耗水平下,获得了大于100FPS的吞吐率和大于60%的Image Net分类正确率。最后,本文利用所研制的芯片和MCU构建了极低功耗的Tiny ML系统,能够完成目标检测、姿态估计、精细分类等多种典型AI任务,且在160m W的系统功耗下实现了30FPS的实时处理。本文所提出的算法和加速芯片有力推进了Tiny ML的研究进展,具有很高的学术及实用价值。