基于深度学习的大间隔分类方法研究

来源 :电子科技大学 | 被引量 : 0次 | 上传用户:siyu321
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
分类是机器学习领域经典而核心的问题,也是人脸识别、图像分割、目标重识别、目标检测等复杂任务的基础,分类结果的质量好坏直接关系着上层复杂任务的性能。随着社会和科学的不断发展,日益增长的人工智能和深度学习的工程应用对分类这一基础任务的性能(泛化性及鲁棒性)也提出了更高的要求。本文以基于深度学习的大间隔分类方法为研究课题,着眼于广泛使用的Softmax交叉熵损失函数的分类方法,重点研究在当下大间隔分类方法的理论框架下,损失函数存在的特征空间中类内分布各项异性以及特征和类中心的模长对模型优化的影响等问题。本文的主要工作内容和贡献如下:1.对当前大间隔分类方法领域的理论进行了梳理和总结。深度学习的大间隔分类方法基于Softmax交叉熵损失函数,得益于度量学习的“间隔”思想,将其引入到分类损失中显著提高了分类器的泛化性能以及特征的判别性。在引入间隔的过程中进行了一系列的分类损失的大间隔改造。本文对基于深度学习的大间隔分类损失函数的改造过程及其理论基础进行了梳理和总结,进而引出当前理论框架下仍存在的问题。2.提出特征空间中类内分布的各项异性的梯度增强项。我们发现原有分类损失形成的类内分布是各项异性的。间隔引入到分类损失函数中后,使得各类边界从类间分界面分离并朝着各自的类中心收缩。但基于原有分类损失函数形成的类内分布性质依旧未变,类内分布仍旧各项异性,这会造成类中心到各个方向边界的距离的不一致,表明模型的优化不完全。基于这个问题我们提出了改善类内分布优化不完全区域的梯度增强项,自适应地恢复该部分区域的梯度使其能够继续收缩。3.提出对特征以及类中心的模长分布不均进行修正的一致性约束项。分类损失的大间隔改造过程中为了排除特征以及权重的模长影响,将两者均进行了归一化,并假设在后续的放缩过程中两者的模长相等。但实际上模型提取出的特征以及权重的模长差异非常大,会使得模型训练过程中特征优化的不平衡,导致间隔带来的泛化性大打折扣。为了解决这个问题,我们针对特征和权重的模长提出了模长一致性约束项,使得特征和权重的模长在训练优化的过程中逐渐趋同。
其他文献
根据世界卫生组织统计,全球每年因交通事故而带来的伤亡高达上百万,由此可以看出车辆行驶安全的重要性,而智能交通系统将先进技术(人工智能、通信等)运用于交通运输系统中,可以提高系统的效率和安全性。随着近几年深度学习的发展,把深度学习技术用于智能交通系统行驶安全的相关研究越来越多,其中基于深度学习的轨迹预测就是一个很典型的例子,把轨迹预测用于轨迹异常检测和碰撞预警,对于车辆行驶安全有着重要的意义,然而,
深度学习技术在近几十年来得到高速发展,这一技术随即被应用在越来越多的领域中,自然语言处理也有诸多研究方向可以使用深度学习,文本生成就是重要方向之一。文本生成是一项基础性研究,能够在许多实际场景落地,例如提取文本摘要、文本风格转换、文本自动纠错等。生成对抗网络是深度学习中一个备受关注的框架模型,现有的文本序列模型都具有数据离散的特点,将生成对抗网络直接应用于文本生成时,就会面临训练过程中无法通过反向
辐射源个体识别对于公共安全和军事电子对抗等领域有重大意义。随着现代信息科技的不断发展和各式电子设备的不断普及,空间中的电磁环境日益复杂,复杂的电磁环境给辐射源个体识别带来特征提取困难问题,同时也引发了对未知辐射源个体进行判别的需求。为解决这些问题,本文对辐射源个体识别系统的主要模块以及未知判别方法展开研究。其中识别系统的主要模块包括数据预处理、特征提取和神经网络模型,本文对其各模块的不同方法进行了
命名实体识别是自然语言处理技术中的基础任务。作为转化非结构化文本数据的关键步骤和重要手段,命名实体识别在信息提取、问答系统、文本分类等任务中都有着重要作用。尽管命名实体识别技术发展逐渐完善,但是在进行中文命名实体识别任务时仍存在以下问题:(1)数据集获取困难,没有统一规范的处理模板;(2)预处理阶段考虑字词特征不充分,忽略上下文的语义信息;(3)无法有效识别嵌套实体。因此,如何进一步提高中文命名实
在一些图像存储和传输资源有限的情况下,图像一般需要经过比特深度重量化来满足资源要求,随后再经过比特深度重建来生成原始比特深度的图像。其中图像比特深度重建技术旨在解决比特深度重量化给图像带来的伪轮廓和颜色失真问题,但对于重量化导致的图像结构信息丢失却没有办法重建。而现阶段的比特深度重建技术又只单一地针对低位截断这一简单的比特深度重量化方式进行图像重建,这严重地限制了最终的重建图像质量。本文主要围绕图
随着移动互联网的高速发展,人们对基于定位追踪的位置服务需求也日益增长。现有的卫星定位技术只在没有障碍物遮挡的室外环境中适用,而难以在复杂的室内环境中提供准确的位置信息。为此许多学者提出了大量基于不同传感器的室内定位方法。但现有的室内定位方法普遍存在一个问题,即观测到的传感器数量和种类会随着时间变化而不断改变,使得定位样本和指纹库中样本维度异构,从而造成定位误差的增加。迁移学习能够从一个域中学习知识
自动驾驶汽车控制系统是一种自主决策系统,它主要处理来自车载雷达和视觉检测传感器的观测流。目前基于车载雷达的目标检测技术已经相对成熟,为了完善整套自动驾驶系统,对于卷积神经网络的视觉检测性能要求也在不断提高。在视觉检测领域,已经出现了众多高精度的目标检测网络,例如YOLO等网络,但这类网络结构复杂度高,无法有效地嵌入到小型处理器中进行实时使用。在自动驾驶的视觉系统中,车载雷达摄像头的处理器属于小型处
近年来,随着诱饵技术的蓬勃发展,传统的针对目标外形特征和红外特征的弹道目标识别已经应用较少。此时,利用目标的微动特征进行目标识别的方法受到了国内外学者的重点关注。弹道目标的微动特征体现了目标的微动形式以及部分构件的特征,可以反映弹道目标中弹头和诱饵的差异。因此,本文主要研究了中段弹道目标的平动补偿算法以及从平动补偿后的微多普勒中提取特征进行弹道目标识别的算法。主要研究内容如下:1.研究了进动、摆动
空间谱估计是阵列信号处理的一个重要分支,广泛应用于雷达、通信等各个领域。传统的空间谱估计算法是模型驱动的,即根据预先建立的函数模型与接收信号之间的匹配情况对空域参数进行估计。然而当阵列流形存在误差时,模型与数据的匹配失效,使得该类算法的性能明显降低。为了解决这个问题,本文运用机器学习方法构建网络模型直接学习接收信号与空域参数之间的非线性关系,实现误差条件下的波达方向估计。本文围绕空间谱估计问题,结
临床医学中眼底图像能反映各种疾病的早期症状,眼科医生可通过视网膜血管实现早期诊断。现实世界中视网膜血管结构复杂且医师在诊断时具备主观性,因此设计一种视网膜血管自动分割方法对于减轻医师负担和早期诊断至关重要。当前医学图像领域中深度学习已成为主流方法,它相较于传统分割方法避免了人工提取特征的过程,使得最终分割结果更为客观。本文基于上述背景,采用深度学习从以下三个方面进行视网膜血管分割研究:1.基于编码