五金工件等工业产品装配和制造通常在有灰尘、油渍、污垢,昏暗照明等复杂工况下完成,这些不利条件都使得在复杂工况下的视觉识别任务具有挑战性。此外,由于五金工件本身属于非朗伯材料,在灯光照射下会在表面形成反射光斑。当视觉系统采集五金工件图像时,反射光斑会在图像中形成高光点,使五金工件难以被识别。针对五金工件在复杂工况下难以识别与定位的问题,本文开展了基于Kinect传感器的五金工件目标检测与三维定位研究,本文的主要研究内容如下:（1）对Kinect传感器的RGB图像与深度图像的映射关系进行了研究,提出一种基于Kinect传感器的RGB图像与深度图像对齐方法。该方法是分别对两摄像头采用稀疏棋盘格标定板标定后,得到各自的内外参矩阵。由两者之间的内外参矩阵计算出RGB图像与深度图像之间的映射关系。通过两图像之间的映射关系,能够得到RGB图像对应的深度图像坐标。（2）针对五金工件的反光特性,提出一种背光照明方案抑制五金工件表面的反射光斑。把直射面阵LED光源安装在检测平台的底部,通过背光照明的方法增大五金工件与背景的对比度,从而达到抑制五金工件反光的目的。其次,提出一种改进的Faster-R-CNN深度卷积神经网络用于五金工件的目标检测。改进原有Faster-R-CNN深度神经网络的网络结构,使用了更易于修改和表征能力更强的VGG16网络作为特征提取网络。同时,将VGG16的最后两层输出层进行修改,对block5输出的特征矩阵进行反卷积上采样,并结合block3和block4的特征矩阵共同组成多尺度特征提取器。由于多尺度特征提取器生成的特征图中既包含了语义信息与局部特征信息,从而提升了模型对工件特征的表征能力。最后,再利用边缘提取算法提取预测框之中的工件外部轮廓,获取准确的工件位置信息。（3）针对五金工件的三维定位,转化为对工件的位姿估计。通过把Kinect传感器获取的深度图像转换成局部点云数据,并由Ransac（Random Sample Consensus）算法拟合局部工件点云的点云平面,估算出质心处的法向量作为工件的初始位姿。把初始位姿与CAD模板点云进行配准,求取转换矩阵,最后利用基于体素的ICP（Iterative Closest Point）算法细化配准结果,获取精确的五金工件位姿。（4）设计了基于Kinect传感器的低成本五金工件检测系统,搭建了复杂工况下五金工件目标检测与三维定位实验平台。利用实验平台对Kinect传感器进行了五金工件目标检测实验与姿态估计误差实验。结果显示本文所设计的系统能够满足五金工件的识别与定位任务要求,实验结果良好。