基于深度学习的钢材表面缺陷检测方法已经成为目前工业界的研究热点。目前工业中使用较多的目标检测框架为一阶检测器框架,一阶检测器参数少,速度快,能满足工业生产中对检测速度的需求,这些检测器一般都基于平衡的数据集训练才能达到理想的效果。由于钢材生产过程较为复杂,钢材表面缺陷表现出多样性的特点,工厂中得到的钢材表面缺陷数据集往往存在着缺陷类别不平衡和缺陷尺度不平衡的情况。为此,本文以目前表现最好的一阶检测器——YOLOv3为基础,针对实际钢材表面缺陷数据存在的问题,改进YOLOv3,以应对数据集中类别不平衡和尺度不平衡的问题。首先,针对类别不平衡问题,提出了感知哈希聚类的数据增强算法（PHC）和在线困难样本适度挖掘算法（OHEMM）。PHC方法根据特征,对数据集中的图片进行聚类,使增强后的数据集特征全面丰富,避免训练时的类别偏向的问题。OHEMM方法在OHEM基础上,提出困难样本适度挖掘算法,限制对困难样本挖掘的次数,防止模型过拟合。将上述方法集成在YOLOv3上,并在东北大学钢材表面缺陷数据集（NET-DET）上进行类别不平衡实验。结果表明,该方法提高了YOLOv3目标检测框架的准确性。其次,针对尺度不平衡问题,提出Mask掩码算法。尺度不平衡会导致预测框标记困难。该方法在模型中添加预测分支,预测每张图像的Mask掩码,预测的Mask掩码可以对预测的边界框修正,提高边界框预测的准确性。训练Mask掩码预测使用的标签,是根据数据集中的边界框标签生成的,无需额外标记。将该方法集成在YOLOv3上,在NET-DET数据集上进行尺度不平衡实验。结果表明,该方法改善了尺度不平衡问题。然后,本文将上述方法进行融合,改善钢材表面缺陷数据中同时存在的类别不平衡和尺度不平衡问题。本文将这些算法同时集成在YOLOv3目标检测框架上,验证算法的可叠加性。在NET-DET数据集中进行测试,实验结果表明,用于解决各个问题的方法可以相互融合后集成在目标检测框架上,实验结果优于单一方法。最后,对全文工作进行了总结与展望。