近年来,随着图像处理技术的快速发展,图像边缘检测及目标分类在计算机视觉领域中占有重要地位,也是图像处理领域的研究热点。准确的图像边缘检测及目标分类对于进行高层次的特征提取、特征描述、目标识别和图像理解等有着极大的影响。图像边缘检测及目标分类主要分为基于灰度提取的检测技术、基于卷积神经网络的检测技术等。本文主要研究内容是基于卷积神经网络在图像特征点的检测与提取,在图像特征点检测与提取阶段,构建一种基于Caffe(Convolutional Architecture for Fast Feature Embedding)框架与VGG16(Visual Geometry Group)模板,提出精确边缘检测器VCF(Visual cross-fusion networks),并在物体多分类算法基础上改进了基于Faster R-CNN(Faster Region-CNN)的图像目标分类及识别模型,加快了图像边缘检测的效率,同时也提升了图像边缘检测的精确度和物体多分类的定位精准度。本文的主要研究工作包括:1.针对已有的特征点提取算法存在的边缘局部线条缺失、提取精确度低、易受噪声干扰等不足,本文采用深度学习卷积神经网络VGG16的五层结构网络,不同于已有算法在计算方式上的来回转换,只需一个完整网络结构就可以完成特征的提取与检测,每一个组合神经网络层之间通过最大池化方式,尽量还原被缩放的特征图像。针对特征图像的提取方面,本文设计VCF神经网络结构来实现对图像边缘的特征点进行提取。2.本文研究基于卷积神经网络提取的图像边缘检测方法,针对VGG16、HED(Holistically-nested edge detection)、RCF(Richer Convolutional Features)等算法得到的效果图过于依赖全连接层,在一定程度上存在边缘线条粗糙,且由于损失函数设定困难,极易造成梯度消失现象和大量主要特征信息丢失等问题。采用1(9)1多卷积核的梯度方式来降维,完成横纵向图像低级与高级特征对象的采集,再通过自上而下和自左向右循环卷积流向方式,保证每层的损失函数可以较平稳的前向学习和后向反馈学习。3.在完成多次卷积特征后,目标图像与参考图像被映射到同一坐标系下经过设定的损失函数和融合层处理,融合层的处理是以侧向输出的第3层为基底,分别与1、2、4层的输出图进行两两网络交叉融合,并将融合后的特征图像通过加权损失函数计算各层损失值,若有学习目标丢失或反卷积过程中追溯不到原定的位置梯度,就停止训练,重置消失层,直到循环训练结束,模型逐渐成熟,使得到的最终结果更接近目标边缘曲线。4.当一幅图像中有多个目标存在时,采用原Faster R-CNN网络结构会出现定位目标物体精确度较低等问题,本文增添候选推荐框的比例尺寸和锚点数量,使网络仍然可以捕捉到目标的特征并进行定位,也使置信度评分可以达到0.8以上。在RPN(Region Proposal Network)交叉层输出结果中,本文充分利用0.5～0.7之间的特征信息,结果输出包含丰富的正样本对象,剔除了大量的非感兴趣信息,使得图像的对象分类更加清晰准确。