随着科技的发展,各种智能拍摄终端不断得到普及,对应的拍摄方式和内容形式也越来越多元化。通过这些设备记录的信息大多是以图像和视频的形式存在。图像和视频中的文字及核心对象有助于相关信息的有效检索和理解,因此研究者们对其进行精确定位是有意义。本文概述了图像与视频中文字与特定对象的检测问题的研究现状,并以此为基础利用先进的深度学习方法围绕当前存在的一些难点和痛点问题进行了深入研究。论文的主要贡献如下所示:1、针对文字对象的相对尺度差异大、长宽比例悬殊及相邻文字难分割的问题,本文提出了一种基于由内向外监督网络的场景文字检测方法。具体来说,本文设计了一个分层监督模块,它由一个并行非对称卷积单元和一个跳层融合结构组成。在分层监督模块内部,本文引入了层次化的监督机制来有效地捕获具有不同长宽比的文字。在分层监督模块外部,本文采用不同尺度的分层监督模块堆叠的方式来精确地检测不同大小的文字对象。此外,本文还采用位置敏感的分割方法来增强难文字对象的表达和相邻文字对象的区分。2、针对文字对象的多尺度匹配和相关数据集缺乏的问题,本文提出了一种基于尺度残差学习网络的场景文字检测算法来逐步缓解文字尺度变化带来的问题。该算法可以通过消减特征融合残差和尺度转换残差的方式来缩小算法的输出结果和真实标注框之间的差异。通过在深度卷积网络上堆叠多尺度特征图层,该算法可以利用尺度残差学习策略来累积文字语义信息和纹理细节,进而优化文字目标的特征表达。此外,本文建立了一个大规模场景文字检测数据集,它包含具有复杂场景的36,000张图片和具有不同尺度的270,783个文字对象,推动了自然场景文字研究。3、针对视频文字的不同呈现形式的问题,本文提出了一种基于时域一致性表达网络的视频文字检测算法,它能同时检测视频中所有类型的文字对象。该算法由一个空间文字检测器和一个时域融合过滤器组成。首先,本文探讨了三种不同的学习策略来训练基于卷积神经网络的空间文字检测方法,使该检测方法能够在不知道文字类型的情况下同时检测出各种文字对象。然后,本文提出了一种面积优先的非极大值抑制方法,并结合多个约束条件去除冗余包围框。最后,本文提出的时域融合过滤器利用文字对象的空间位置和成分特征,并融合连续帧的检测结果,进一步去除错误的检测框。4、针对视频文字的时空域检测的问题,本文提出了一种基于采样分治网络的时空域视频文字检测算法,提高了检测效率和性能。具体来说,该算法是由一个采样恢复模型和一个分治模型组成的。采样恢复模型可以利用文字对象在时域序列中的时间冗余特性来提高视频文字的检测效率。分治模型可以在时空域同时定位文字对象。此外,本文构建了一个极具挑战的视频叠加文字数据集,它包含57,070个视频帧,并且这些视频帧拥有真实的时空域标注信息。5、针对航拍场景中小目标和复杂背景的问题,本文提出了一种基于引导注意力网络的航拍场景对象检测计数算法。与已有的依赖无监督注意力机制的方法不同,本文提出一个弱监督背景注意力模块,它可以有效地抑制背景信息并且增强前景目标的特征表达。为了让网络能够同时学习到目标的全局和局部信息,本文提出了一个前景注意力模块来准确地定位目标。此外,本文也设计了一种针对航拍场景的数据增强策略,它可以使算法对不同天气条件更加鲁棒。6、针对零售场景内同一类别商品对象严重遮挡的问题,本文提出了一个新的对象级别的检测计数任务以及一种基于级联检测计数网络的零售场景对象检测计数算法。该任务要求算法同时预测出商品对象的类别、包围框、以及包围框内的实例个数。然而,当前没有一个数据集可以满足该任务,因此本文构建了一个大规模的商品对象的检测计数数据集。为了评价算法在此数据集上的性能优劣,本文设计了一个综合检测计数的评价标准。为了方便不同算法进行公平对比和评估,本文将此数据集划分为训练集和测试集,为研究者们提供一个目标检测计数任务的基准数据集。此外,本文提出了一个级联的检测计数网络作为基准算法,该算法可以采用端到端的方式进行多任务训练,并可以同时预测出商品对象的类别、包围框、以及包围框的实例个数。