视觉语义是指非语言的语义信息的逐步积累的结果,而这些非语言的语义信息在深度学习中具体的表现就是视觉语义特征。良好的视觉语义特征不仅可以提升神经网络的性能,还能从其积累的过程中实现对其内部的探索。虽然现有的神经网络在很多领域都有良好的表现,但是选取何种神经网络,如何设置神经网络结构及参数在很大程度上取决于研究人员的经验。而提取神经网络的语义特征有助于理解内部的决策逻辑,建立完善的理论体系来指导神经网络的设计。本文对语义特征的提取与神经网络的设计进行了相关研究,主要工作和创新点如下:(1)针对目前神经网络结构在可读性和可解释性上的不足,提出了将视觉语义特征与模块化的神经网络结构设计相结合的原型系统,并设计了三种基于主流神经网络的语义特征约束神经网络模型。通过人类对事物的认知来提升神经网络的训练速度和训练精度,另一方面让整个神经网络在结构上更加易于理解,在设计上更加灵活和开放,并实现了对神经网络的初步解释。(2)针对数据预测回归中的少样本问题和预测结果解释性不足问题,提出了基于已知语义特征约束的BP预测神经网络设计方法。并以地质曲面重构研究为例,将皱褶构造形态特征作为研究对象,基于人的认知先提取出具有语义特征的脊线特征,接着再以传统的BP预测神经网络为基础结构,通过添加语义约束模块对其后向传播进行调整,实现了基于语义约束的预测神经网络,使得网络在少样本下依然能达到训练效果,专家也能够根据语义约束对生成的数据做出合理的解释。(3)针对数据中语义特征未知的情况下难以实现语义特征提取的问题,提出了基于预测神经网络的语义特征增强和提取方法。同样以地质曲面数据为例,先对形态的普适性特征进行研究,通过以特征参数为主的语义特征表征方式将专家的认知转化为计算机理解的语义特征标准形式。再基于模块化神经网络设计方法,通过选取合适的拟合函数和二次网络训练方法,实现自适应的神经网络训练过程和语义特征的提取。在数据特征不明确、无法提取语义特征约束的情况下,该方法不仅实现了语义特征的提取,还解决了数据预测不准确的问题。