自然场景图像中的文本检测方法研究

来源 :江南大学 | 被引量 : 0次 | 上传用户:epippo
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
针对目前自然场景图像中的文本检测存在的问题,本文对自然场景图像中的文本检测方法进行研究。本文设计了基于卷积神经网络的端到端的文本检测框架,实现提高文本检测精度、降低检测模型复杂度的目的。本文的主要研究内容如下:1.基于自适应特征选择和尺度损失函数的文本检测方法。日常生活中的文本非常多样化,并且存在许多杂乱的背景,为了解决这些问题,本文提出了一种自适应特征选择的神经网络。这个网络由两个部分组成,第一个部分是使用Res Net50作为我们的基础网络框架,用来提取特征,在该网络的conv3_x到conv5_x步骤,我们使用可形变卷积替换传统的卷积;第二个部分是由特征金字塔网络和自适应特征提取模块组成,在使用特征金字塔融合基础网络提取的特征之后,额外添加了一个通道注意力机制,自适应选择通道重要性。该设计有利于弯曲文本检测和背景信息的过滤。基于图像中文本的尺度大小和文本的高度特征密切相关的特性,本文提出了尺度相关的损失函数,该设计有利于减少小文本被漏检的现象。我们在四个公开数据集上的实验结果显示,本方法在仅增加少量参数的情况下,极大地提高了文本检测的精度。2.基于多层次特征融合与注意力机制的文本检测方法。图片拍摄视角和文本本身大小不一引起的尺度多变性和背景杂乱仍然给文本检测带来了挑战。本文提出了一种多层次特征融合与通道特征选择的文本检测器来检测文本。该网络主要由两个部分组成:第一个部分使用Res Net网络作为基础主干网络,将其conv4_x层的特征送入空洞卷积池化模块(DCPN),再将DCPN模块获得的特征和特征金字塔网络获得的特征相连接。第二个部分为注意力机制模块,在上一个部分获得的特征之后接注意力机制,该部分在通道注意力的基础上换掉全连接层,用一个卷积来实现不同通道间的信息交流,考虑当前通道和其k个邻域通道的信息交流,增强神经网络提取特征的能力。本方法在ICDAR2015、TD500、CTW1500、Total-Text数据集上进行实验,实验结果表明,该方法能显著提高自然场景文本检测的精度,在一定程度上优于当前最先进的方法。3.基于级联特征融合的文本检测方法。复杂度和准确率一直是相互制约的,一般来说,准确率越高,复杂度也会越高。这给文本检测的应用带来了一定的困难。本文提出了一种低复杂度、高准确率的文本检测网络。该网络主要由特征提取部分和两个级联的特征增强模块多次融合组成。首先是特征提取的部分,我们使用Res Net网络来提取基础特征。在多个残差块单元中融入注意力机制,用极少的计算量多次充分地让相邻通道的特征进行交互。并在获得多层次特征之后进行特征降维为下一步操作减少计算量。第二个部分是级联特征融合,在该部分用“U”型的网络结构(FPEM)自上而下、自下而上进行特征增强。而且FPEM模块的参数量很少,所以可以将其进行级联,充分融合特征。最后再通过逐元素相加的方法组合FPEM获得的不同尺度的特征图。在四个公开数据集上的结果显示,本方法在准确率提升的情况下,降低了模型的参数量。
其他文献
近年来,人工智能在诸多领域都取得了重大进展,如生物医学、智能交通、智能家居等。医学图像处理是生物医学领域热门的研究方向之一,随着人工智能技术的飞速发展,尤其是深度学习的兴起,该问题有了新的解决方案。应用深度学习技术解决常见的医学图像处理问题已经取得了一定的进展,但仍存在以下挑战:1)医学图像的获取耗时长、花销大,某些图像的获取甚至会对人体产生伤害,如何避免这些限制获得充分的医学图像辅助医生诊断?2
目标跟踪是计算机视觉范畴内一项基础而重要的研究方向,在智能监控,公共安全,人机交互和自动驾驶等诸多科学和技术领域中,都有着广泛的应用。目标跟踪的主要任务可以简单概括为,在已知视频第一帧中某个任意物体具体位置的情况下,尽可能精确地定位出在该目标后续帧中的位置。在实际应用中,由于目标会不可避免地遭遇诸如尺寸变化、形变、运动模糊等干扰因素,因此,本文对基于孪生神经网络的跟踪算法进行了深入调研,并在此基础
随着我国汽车保有量的不断增加,城市停车难问题日益凸显,AGV智能停车库作为缓解停车难问题的新型解决方案,受到了越来越多的关注。在AGV智能停车库中,主要依靠停车AGV来运输车辆,因此AGV的路径规划与协同调度策略的好坏直接关系到停车库能否稳定高效地运行。本文以AGV智能停车库作为研究背景,主要研究AGV的路径规划算法与多AGV协同调度策略,同时为了提高系统的运行效率,对AGV电池充电问题与停车位资
行为识别是人工智能与计算机视觉领域最具挑战性的研究方向之一,在人机交互,医疗健康,智慧安防以及智能机器人等领域有着广泛的应用。行为识别技术的核心是通过聚合视频片段中每帧的预测信息从而实现视频级预测。尽管针对每帧图像的分类技术已经取得了很大的成功,但从二维图像的分类扩展到三维视频的识别仍然有一定的困难。因为从二维图像扩展到三维视频不仅因为计算复杂度的巨大提升,更需要捕捉视频中不同帧之间的时空上下文关
随着在线社交网络的蓬勃发展,越来越多的人喜欢在互联网上以文字的形式表达自己的情感,例如用户可以对已购买的产品进行评价、对外卖订单给出点评、在微博等网站上发表自己对某件事情的看法等等。而对这些包含大量情感、态度、观点的文本进行情感倾向分析已经成为自然语言处理领域的一个非常热门的研究方向,具有实际的商业价值以及学术研究意义。以往的情感分析研究多为篇章级或句子级,即把整段文本归纳为一种情绪,这种研究已经
图像配准是医学影像处理中常用的技术,大量应用于医学的各个领域,包括病灶检测,疾病诊断,手术规划,手术导航和疗效评估等。随着多种医学影像技术的蓬勃发展,从反映解剖结构的形态学成像到反映器官组织的功能性成像,不同模态的医学影像从不同的角度承载着丰富的医学诊断信息,将多种模态的图像进行融合处理,能够为临床治疗提供丰富的功能互补信息。而多种模态的图像融合的基础是将这些图像进行配准。因此,多模态医学镜像的配
我国很多关于书法学习的教材和论著都是从二维平面的角度出发,将书法笔迹看作一幅静止不变的平面图像,但实际上书法笔迹是通过书写运动形成的运动轨迹。运笔速度和书写压力都是笔迹变化的最基本因素之一,也是常见的书写指标,可以用来衡量书法临摹时的相似程度。但是在传统的书法教学模式当中,普遍使用的都是手把手模式,也就是学生在观察并记忆教师书写时的力度、速度、布局及节奏等示范之后,再反复在字帖上进行临摹的学习方式
三维成像技术在当代社会应用广泛,在信息和生命科学领域中尤为突出。物体的三维信息对于人们正确认识和探知其结构、三维形貌等具有重要意义。随着近年科学技术水平的飞速发展,人们对提取物体三维信息的能力的需求也日益增长。现代三维成像也逐步向着高分辨、记录彩色图像、动态成像的趋势不断发展,对传统三维成像技术不断提出了新的挑战。近年来,人们相继开发出许多全新的三维成像技术,其中包括全息术、激光扫描共聚焦显微镜、
图像分割作为目标分析与识别、目标跟踪等高级图像处理操作的一项基础且关键的步骤,其分割结果的好坏直接影响后续处理操作。现有的图像分割算法可根据人工参与与否,将其分为交互式分割和自动分割。前者由于其良好的分割性能,得到了广泛的应用。但当面对的图像数据量较大时,相应的需要消耗更多的人力且较费时,无法满足实际需求。近年来,基于视觉显著区域检测算法的研究取得了不错的成果,许多研究人员将其与已有图像分割算法结
视频多目标跟踪主要利用视频上下文信息,对多个目标的外观信息和运动信息建模,实现对目标运动状态的预测和更新,并标记出目标轨迹。视频多目标跟踪涉及了深度学习、机器学习、最优化算法等多个方面的理论知识。随着计算机硬件和数学理论的发展,各种视频多目标跟踪系统纷纷实现,尤其广泛应用于行为识别、交通监控、智能驾驶、人机交互和无人机监控等,在视频目标跟踪领域的深度和广度上有着不同程度的应用。本文围绕随机有限集在