基于最大熵正则化的中文识别算法研究

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:funkfood
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
文字是人类最伟大的发明之一,它不仅是人类语言的书面表达形式,更是一种文化传承。一方面,文字作为一种重要的信息媒介,如图书、文档、票据等包含大量文字,能够方便人们的信息交流,从而显著提高办公效率。另一方面,图像、视频中的文字携带大量的语义信息,通过识别其中的文字,有助于对特殊场景的理解。当今信息时代,文字的重要性愈加显著。由于中文字符类间相似性高,类内方差大,并且字符之间通常存在很大的数据不平衡问题,基于中文的识别模型容易过拟合,导致模型对训练数据的需求量大。因此,解决中文识别中出现的过拟合问题旨在模型能较好的区分形近字,并且能较好的区分常见字与生僻字,提高整体模型的识别率。中文文本行识别区别于中文字符识别在于一幅图片上存在多个中文字符,通常它们构成一个短语或者一个句子,通过用时序模型提取文本行文字间的语义信息以提高识别准确率。本文借助深度学习技术,结合中文的特性,开展对中文字符识别和中文文本行识别问题的研究,主要贡献如下:(1)提出一种基于最大熵正则项的中文字符识别方法,此方法是在交叉熵损失函数后加入最大熵正则项作为模型新的损失函数。首先对最大熵正则项进行了深入的理论分析,包括最大熵正则项对收敛概率分布和学习过程的影响,通过最大熵对模型进行正则化,不需对模型增加新的参数就可以提高模型的泛化性和鲁棒性。提出三种确定超参数的方法,通过灵活选择超参数在中文字符识别上取得更好的识别准确率,减轻由中文字符数据不均衡、类内差异大、类间分布具有相似性造成的过拟合问题,在自然场景数据集上识别准确率提升0.99%,在手写汉字数据集上识别准确率提升0.37%。(2)提出一种基于最大熵正则项的中文文本行识别方法,此方法是在时序分类损失函数后加入最大熵正则项作为模型新的损失函数。分析使用时序分类损失函数产生的尖峰分布问题,提出三种确定超参数的方法,通过灵活选择超参数在中文文本行识别问题上取得更好的识别准确率,减轻使用时序分类损失函数进行中文文本行识别由于峰值分布导致的模型过拟合问题,在中文场景文字数据集上识别准确率提升0.92%,在网络图像文本数据集上识别准确率提升1.55%。
其他文献
减阻降噪作为近年来的热点问题之一,在水下航行器的研制过程中显得尤为重要。水下航行器上的凸出结构在其运动时,会产生钝体绕流,这不仅会增加其航行时的阻力,同时也会产生流噪声,不但限制了水下航行器的速度,也降低了其隐蔽性。因此,如何有效的减小阻力、控制噪声便成为一个研究热点。首先,本文以三维翼型圆柱绕流为基础,基于Lighthill声类比和大涡模拟验证了本文初始模型数值模拟方法的正确性。通过划分三套流场
学位
海洋是人类生存与发展的重要战略空间,成为世界各国竞争的主战场。作为探索海洋的利器,潜航器广泛应用于海洋资源开发、海底地貌勘探和水下军事对抗等海洋活动。为实现潜航器安全航行与自主探测,路径规划至关重要。然而,相较于地面环境,在复杂恶劣的水下为潜航器规划安全路径极为挑战,其中最突出的是水流对路径规划影响重大。具体而言,水流不仅阻碍潜航器运动,还会促使水下障碍物移动。为此,本文致力于设计适配水下环境特性
学位
用户接入设备和网络流量的快速增长给运营商带来了极大压力。为了满足用户需求多样化,网络切片(Network Slicing,NS)技术应运而生。相较于传统网络只能满足单一业务需求,网络切片允许在一个物理网络中搭建多个子逻辑网络来满足不同业务的需求,这多个子逻辑网络间的资源分配与管理问题是网络切片中的难点。本文提出了基于深度强化学习(Deep Reinforcement Learning,DRL)的网
学位
随着“双碳”目标的提出和可再生能源比例的不断提升,能源行业在实现清洁能源消纳方面面临着诸多挑战,尤其是电力波动性问题的加剧。构建氢能源体系被认为是解决这些难题的有效路径之一。本文围绕着新型能源结构下的消纳措施,研究了适用于可再生能源基地发电并网场景的大规模电氢协同系统,并提出了集风-光-储-氢-氨一体化思路,旨在实现高比例清洁能源消纳及电-氢-氨系统的高效耦合。
期刊
近些年来,随着人工智能的快速发展,深度学习(Deep Learning)中的计算机视觉(Computer Vision,CV),自然语言处理(Natural Language Processing,NLP)等领域发展迅速,一些深度学习模型在目标检测,图像分割,推荐系统等方面具有强大的应用能力。在带来重大的社会经济效益的同时,大量研究表明,深度学习容易受到对抗样本(Adversarial Examp
学位
大规模多输入多输出(Multi-Input Multi-Output,MIMO)技术的应用极大地提高了移动通信系统的系统容量、频谱利用率和能量效率。通过信道估计和预测等方式,大规模MIMO系统可以获得实时信道状态信息,并在此基础上设计基站端的预编码矩阵。预编码可以有效削弱多用户干扰(Multi-user Interference,MUI)和噪声的影响,从而发挥大规模MIMO的优势。现有研究通常采用
学位
验电是保障电力作业安全的重要操作,目前对验电设备的研究分为接触式验电和非接触式验电。随着带电设备电压等级的提高,非接触式验电技术因其安全性高得到了广泛研究和推广。在当前的非接触式验电研究中,一方面,验电设备不能适用于不同电压等级的验电操作,通用性差;另一方面,通过建立蓝牙连接完成通信需要提前知道设备的MAC地址,灵活性低且不易拓展。此外,只有一个电压测量点的设计还存在有漏判的风险,且未考虑低功耗的
学位
高速列车是我国人民出行、物资运输的重要交通工具之一,为保证列车调度系统的正常工作,列车运行时的位置信息至关重要。目前我国高速列车通过轨道电路和应答器相结合来实现列车定位,这种方式不仅耗材耗力,而且存在应答器被恶劣天气损坏,导致重大事故的风险。全球导航卫星系统(Global Navigation Satellite System,GNSS)能够提供大范围、全天候和高可靠的位置服务,但是将其运用在高速
学位
雷达系统和通信系统无论是民用领域还是军用领域都有着非常广泛的应用前景。随着信息化技术的快速发展,为缓解频谱资源紧张问题,减少多功能平台设备的冗余,设计雷达通信融合系统必将成为研究热点。雷达通信融合系统将雷达和通信集成在同一硬件平台,结合软件无线电技术,同时实现雷达探测和无线通信的功能。设计融合系统可以节省平台空间、成本和功耗,减少设备间的干扰,提高频谱利用率,还可以提升平台的协同工作能力等。其中,
学位
神经网络架构搜索是自动化机器学习领域一项重要的应用。传统深度学习都是由专家人工设计并调参,神经网络架构搜索技术是为了根据目标数据集自动化搜索适合硬件特性以及数据集任务的网络架构,是轻量级硬件设备中移植算法的重要工具。但神经网络架构搜索存在效率不高、可迁移性差等问题。本文针对神经网络架构搜索中高效性以及实用性问题,提出了一个面向华为昇腾芯片的可微分神经网络架构搜索方法,主要贡献如下:(1)提出了基于
学位