各类视觉神经网络作为生物学神经网络的仿生特征建模,分别在不同的视觉应用中取得了性能突出的识别和检测效果。因此,针对视觉神经网络的组织结构、信息传输、和训练推理等方面开展算法研究和架构设计具有重要的现实意义。本文首先对深度神经网络、细胞神经网络、脉冲神经网络进行了详细的算法研究,分别在跨域物体检测、图像滤波处理、视错觉分析、与目标定位等具体应用中对相关算法进行了充分的理论推导和实验论证。此外,针对视觉神经网络的推理实现提出了相应的指令集设计,从而将实现软件优化的中央处理器、与实现硬件优化的神经网络处理核高效地集成在同个单片异构系统中。本论文工作的主要创新点体现在:（1）结合深度神经网络的特征提取过程,提出了一种基于域迁移学习的训练方法来减少网络训练过程中的域差异影响,从而充分利用深度神经网络所具备的特征提取功能和类似联想记忆的泛化性能。以Faster R-CNN和YOLOv2作为深度神经网络应用在物体检测中的两种代表性网络,相应地提出了两种联合网络架构以应用于跨域检测中的泛化性能提高。（2）在借鉴生物学视觉通道组织结构、信息传输机制的基础上,将细胞神经网络、脉冲神经网络分别应用于图像滤波处理、视错觉分析、与目标定位等具体的视觉任务中。其中,细胞神经网络主要是对生物学视觉通道的组织结构进行抽象建模,而脉冲神经网络则是对生物学视觉通道的信息传输机制进行特征建模。（3）针对以卷积运算为基本特征的视觉神经网络,提出了一种适宜于硬件并行优化的层运算架构,再相应地根据层运算的数据存取特点提出了一种基于数据复用的片上缓存系统。而本文中提出的定制指令集则是在软件优化和硬件优化之间建立了协同途径,从而最终完成了视觉神经网络的片上系统实现。最后,分别在GPU服务器和片上系统开发平台上做了详细的实验验证,检验了所提出的算法模型和硬件架构的可行性和有效性。