论文部分内容阅读
近几年,借鉴人脑信息处理机制的类脑计算平台呈现爆炸式发展,共同推动智能革命时代的到来。现有类脑计算平台主要有两种实现途径:深度学习专用处理器与神经形态芯片及系统。前者借鉴大脑层级处理与学习训练的特性,基于现有冯·诺依曼处理器架构,提供高性能的深度学习引擎,但其时空表达能力和泛化通用性仍远不如大脑;后者借鉴大脑时空关联特性,采用众核分布并行与存储处理一体化的架构,致力于提供人工通用智能的解决方案,但其机理和应用尚不够清晰成熟。为此,本文提出异构融合类脑计算平台的研究课题,将深度学习理论、神经动力学以及神经形态架构进行深度融合,为探索基于混合模型的通用类脑计算架构提供新思路与新平台,同时支撑人工智能应用与神经科学研究。完成的主要内容与成果包括:1.针对深度神经网络,结合类脑计算平台的存储容量约束,提出深度神经网络多阶离散化在线学习理论。避免训练过程中高精度隐含权重的存储,大大节约存储资源,为未来在线学习类脑计算平台提供指导;并可进一步灵活配置权重离散状态的数目,充分发挥实际硬件平台的计算能力。2.针对神经动力学网络,介绍脉冲神经网络的计算与学习框架,研究典型的连续LIF动力学网络。设计模式学习网络的硬件实现方案;提出层级分块序列记忆网络及其参数编码方法,演示记忆动力学过程并揭示分块机制与突触可塑性的关系;对目标追踪网络进行硬件友好改造,研究网络的灵敏度与稳定性。3.设计基于忆阻器技术的神经网络与理想类脑计算平台,搭建电路仿真环境,验证模式学习与序列记忆模型,并定量分析器件动态范围与差异性对网络性能的影响。建立忆阻器调制能耗的估计方法,提出低能耗优先调制的策略,有效降低忆阻器网络的调制能耗。4.设计基于数字电路技术的天机系列异构融合类脑计算芯片,建立各类网络的整型化与映射理论,搭建软硬件平台。“天机芯Ⅰ”旨在深度学习与神经动力学以及神经形态架构的融合,通过实现深度神经网络与目标追踪动力学网络,设计了无人智能自行车应用,实现姿态平衡控制、目标探测与实时追踪。“天机芯Ⅱ”旨在提高芯片的应用性能,在网络规模、模型复杂度与扩展性以及运行速度方面进行全方位优化,通过嵌入异构通信机制允许混合网络建模,并通过按行流式映射与“浮点数卷积+三值化全连接”的方案支持高性能大规模深度神经网络的实时运行。