基于深度学习的证照结构化识别算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:woaiwodeqq
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
证照作为公民的身份凭证,在金融、交通和医疗等领域都应用广泛。由于人工查验效率低下,难以适应日益加快的国际化进程,因此亟需实现证照的自动化查验。然而,证照种类繁多,版面结构复杂多样,证照表面印有复杂的背景图案和防伪特征并且常常出现字符污渍和缺损等情况,给现有算法带来了巨大的挑战。针对以上问题,本文提出了一套适用于证照的结构化识别算法。针对证照中细长文本检测困难问题,本文提出了一种分组多路可选择卷积,提升网络对文本实例的整体感知能力并减少无关背景或前景噪声的引入;针对文本实例容易粘连或断开的问题,提出了一种基于判别损失引导的文本检测方法,增加不同文本实例特征表示区分度,减少同一文本实例特征表示差异。结合上述算法,本文设计并实现了一个文本检测网络,其能精确定位各类证照中的文本实例。针对证照中花纹干扰和字符污损问题,本文提出了一种基于Transformer编码器的序列建模方法,通过掩码训练来挖掘文本字符之间的语义相关性;针对词汇依赖导致的无语义文本识别错误问题,提出了一种联合上下文特征与视觉特征的序列解码方法,赋予上下文特征与视觉特征不同权重。结合上述算法,本文设计并实现了一个序列文本识别网络,其能准确识别证照中的各类文本,并具有较强的抗干扰能力。针对证照版面结构复杂多样的问题,本文融合视觉、文本和位置等多种信息对文本实体进行编码,丰富其特征表示,进一步通过Bi LSTM建模文本实体之间的关联信息和布局信息;针对现有算法耗时高的问题,本文提出一种基于文本实体分类的解码方法,简化了解码流程。结合上述算法,本文建立了由特征编码、关系建模和解码预测三个部分构成的关键信息提取网络,其能从识别结果中提取出关键文本。在真实证照数据集上进行实验,结果表明本文提出的文本检测算法的F1值达到92.9%,文本识别算法准确率为94.6%,关键信息提取算法在卡式证件数据集和护照数据集上F1值分别达到了97.9%和95.6%,都要优于目前流行的算法。
其他文献
随着信息技术的发展,在线教育平台逐渐兴起,与传统课堂相比线上教学感知度较低,传统课堂中教学研究人员通常采用眼动仪收集眼动数据对学生学习行为进行测量分析,然而眼动仪不便在日常学习中推广应用,因此使用单目摄像头采集脸部图像进行视线估计成为较为常见的数据采集和行为分析方式。课程视频中幻灯片内容往往具有显著的信息传递意图,学生对课程视频的观看模式与其内容密切相关,而现有视线估计算法往往忽略了屏幕内容与视线
学位
随着人口老龄化的加剧,对老人的安全监护逐渐成为社会的重要课题,意外跌倒是导致老人意外死亡的重要原因,若能够及时地检测出跌倒的行为,对挽救老人的生命有很大帮助。由于姿态估计提取到的人体骨架特征可以很好地编码人体的结构信息,能够帮助实现高效的跌倒检测算法。因此,本文首先对人体姿态估计的相关技术展开研究,再基于姿态估计设计一个轻量高效的跌倒检测算法,主要内容如下:(1)在姿态估计领域中,热图被广泛用于编
学位
随着5G时代的到来,为无线通信网络中数以亿计的新接入设备提供高速、稳定的服务,成为了无线网络最迫切的需求。由于其能耗较低、易于部署、适用性强的优势,智能反射面(Intelligent Reflecting Surface,IRS)在无线通信系统优化问题中得到了广泛研究。然而,现有研究往往忽视了IRS本身的供能需求。受到无线能量传输技术的启发,本文引入无线射频能量收集技术解决实际应用场景中的IRS供
学位
近几年来,随着人工智能技术的不断发展,人工智能现实应用场景中存在的数据孤岛和数据隐私保护问题不断暴露出来。联邦学习作为一种解决数据孤岛和数据隐私保护问题的有效解决方案,受到了广泛关注,并且在多个领域有了成功的应用。然而,联邦学习的现实应用场景中普遍存在的数据异构性问题限制着联邦学习的发展,成为联邦学习落地的阻碍。解决联邦学习数据异构性问题成为联邦学习的关键挑战。现有的联邦学习数据异构性解决方案的关
学位
最近,研究者发现深度神经网络很容易受到对抗样本的影响,后者通过在正常样本上添加一些人眼难以察觉的微小扰动,能使神经网络对其错误分类。研究表明,部分对抗样本具有转移性,这使得攻击者在本地的源模型上制作的对抗样本可以威胁目标模型。因此,研究这类攻击方法对评估和提升深度神经网络的健壮性意义重大。传统转移攻击方法使用固定的源模型组合(称为集成模型),对正常样本(称为原始样本)迭代修改。由于计算资源有限,攻
学位
随着互联网技术的快速发展与全面普及,网络中的信息以惊人的速度产生和传递,“信息爆炸”的时代已经来临。推荐系统作为信息过滤的重要手段能够有效地缓解信息过载带来的消极影响,推荐系统在不断提高用户体验的同时带来了丰厚的经济效益,其重要性也日益凸显,越来越多的研究工作专注于推荐系统中的安全性问题。推荐系统中的投毒攻击可以通过虚假欺骗数据的注入来实现操纵推荐系统的目的,这种投毒攻击严重危害了推荐系统的正常运
学位
近年来,多媒体业务的蓬勃发展带来了网络中视频流量的井喷式增长,互联网用户开始追求更高质量的视频传输业务。随着小型卫星通信组网技术与发射技术日趋成熟,可全球覆盖的低轨道宽带卫星通信网络(低轨道卫星网络),为视频组播带来了新的发展契机。通过在低轨道卫星网络中部署软件定义网络(Software Defined Network,SDN)框架,可以克服地面网络分布式管理瓶颈,实现更高效的软件定义组播(Sof
学位
为保障工业系统的可靠性,尽可能避免因设备运行异常导致的危害,如何高效地检测出设备异常运行状态是一个急迫的问题。大多数异常的发生是一个渐变的过程,因此本文通过检测传感器采集的时间序列片段样本用于判别设备是否处于异常运行状态。基于传统信号处理的检测算法需要针对具体设备做特征工程,不利于应用到不同类型的设备,存在泛化性差的问题。而深度迁移学习能够自动地从不同类型设备数据中提取有用特征,无需依赖过多标注数
学位
随着近年来基于位置的服务(Location-based Services,LBS)的发展,人们对位置隐私保护问题的关注度越来越高。位置和轨迹数据通常会包含用户个人的敏感信息,直接发布会对用户隐私造成威胁。差分隐私(Differential Privacy,DP)作为一种具备坚实数学基础的隐私保护方法,在位置和轨迹数据发布中得到了广泛的应用。然而,现有的位置差分隐私发布机制,大多数只考虑静态场景的位
学位
如今视频传输已占据因特网中绝大多数的带宽,传统的视频组播方式会产生大量的带宽浪费。而新兴的大规模多层低地球轨道(Low Earth Orbit,LEO)卫星网络可以通过星间链路进行带宽优化的视频组播,显著减少流量浪费。目前对于卫星网络组播路由的研究集中在IP组播,但其路由性能和可拓展性有限,并不适用于大规模卫星网络。新兴的软件定义组播(Software Defined Multicast,SDM)
学位