多分支RA胶囊网络在图像分类中的研究

来源 :太原理工大学 | 被引量 : 0次 | 上传用户:tryst8
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
胶囊网络(CapsuleNetwork,CapsNet)是一种能够高效表达图像语义的逆渲染神经网络模型。其中,动态路由算法作为CapsNet的核心,能够有效地替代卷积神经网络(Convolutional NeuralNetworks,CNNs)中的池化层,避免特征信息的缺失,使得模型具有学习图像内在空间位置关系的能力。虽然,CapsNet打破了CNNs的传统架构,提升了分类准确度,但仍存在诸多缺陷:(1)对复杂图像的特征提取能力不足;(2)模型的参数量较大,导致训练时间较长,训练效率低下;(3)动态路由算法中的压缩函数抑制了部分高概率特征信息的活性,导致模型学习能力受限;(4)全连接重构器无法针对复杂样本进行高效重构,导致模型训练抖动,无法快速收敛到较高准确度。对此,本文提出了多分支RA(Resnet Attention)胶囊网络,并以其架构及思维衍变出两种优化模型。首先,探讨多分支RA胶囊网络。作为一种轻量级的多分支网络模型,其主要由RA模块、hc-squash函数和平行分支结构组成。其中,RA模块用于实现特征区域的重标定和关键特征信息的完整传输。Hc-squash函数是一种融合在主胶囊层和动态路由算法中的压缩函数,用于激活更多高概率胶囊和避免重要特征信息的丢失。平行分支结构则是一种双分支模式,用于深化模型和实现参数轻量化。通过在四个国际公开基准数据集MNIST、Fashion MNIST、CIFAR10和SVHN中的实验结果表明,多分支RA胶囊网络的分类性能较CapsNet和MLCN有所提升,从而证实了多分支RA胶囊网络在图像分类任务中的研究可行性,为之后的模型强化奠定了研究基础。其次,设计多分支RA混合胶囊网络。作为多分支RA胶囊网络的第一种优化模型,其构造了注意力矢量胶囊层和混合压缩函数。在注意力矢量胶囊层中,主要利用通道注意力机制SENet来增强模型对复杂样本中的关键特征再提取。混合压缩算法则是通过PA(Powered-Activation)压缩函数和hc-squash函数的组合优化来实现特征信息的筛选,降低无用特征信息对模型训练的干扰,从而实现分类精确度的提升。为了验证模型的有效性,本文通过对比实验和可视化技术细致展示了多分支RA混合胶囊网络与多种CapsNet优化模型的性能差异,进而突显了所提模型的性能优势。最后,提出特征级RA胶囊生成网络。作为多分支RA胶囊网络的第二种优化模型,其不仅融合了CapsNet的路由机制,还改进了基础架构。由于前两种模型缺乏对多尺度特征信息的提取和对图像重构解码器的利用,因此,本文在特征级RA胶囊生成网络中设计了特征级RA模块和MKF(Multi-scale Key Features)解码器。其中,特征级RA提取模块是由HC(Hybrid Convolutions)特征提取层和DA(Dual Attention)增强层构成,二者分别用于融合图像的多尺度特征和增强模型对不同特征区域的划分。MKF解码器则是由全连接层、上采样层和多尺度卷积层组成,其能够高效重构关键特征区域,促进模型迭代优化,避免复杂样本影响模型训练的稳定性。通过与前两种模型的对比实验以及可视化结果表明,特征级RA胶囊生成网络具有更强的泛化能力,特别是在CIFAR10数据集中,分类性能实现了大幅提升。
其他文献
作为一门基础性的学科,数学既是小学教育的重要组成部分,也与现实生活息息相关.在数学教学中,合适的问题可以有效调动学生的好奇心和求知欲,促使学生主动学习.因此,文章从小学数学教学中开展有效提问的必要性入手,结合小学数学课堂教学中存在的问题,探究了以有效提问为导向的小学数学教学策略.
期刊
科技的发展带动了学校教育教学方面的深层改革,人工智能技术的出现让小学数学课堂教学得到了多角度、全方位的优化。小学数学教师应该紧跟新课程目标改革要求,将人工智能技术和小学数学教学深度融合,充分发挥人工智能技术的优势,最终实现学生的全面发展。文章将对小学数学教学中存在的问题和人工智能技术在小学数学教学中的作用进行论述,并针对人工智能技术与小学数学教学的深度融合策略展开探究。
期刊
图像着色是指为灰度图像、草图甚至单色电影添加颜色的过程,它是图像处理领域的一个重要的分支,并且广泛应用于历史影像资料色彩恢复、单色科学图像着色和动漫作品颜色处理等领域。通过给图像或者视频添加上合理的色彩信息,一方面可以给用户带来更生动、丰富的视觉体验,另一方面还会增加图像信息内容的可感知性,更便于用户理解图像中的内容。自图像着色任务提出以来,其经历了一段较长时间的发展,尽管现存的一些着色方法大体上
学位
随着电网规模的持续增长,输电线路巡检中的人员短缺情况日益加剧,加之巡检过程中复杂的环境条件,给日常巡检和维护造成诸多不便。无人机和深度学习技术的发展为构建人工协同和无人自主巡检的高效新模式提供了技术支撑,但目前无人机巡检作业存在自主化程度低、数据分析滞后、小目标缺陷难以检测等问题,导致巡检效率较低。针对目前存在的问题,本文提出了“基于深度学习的输电线路小金具缺陷检测”的研究课题,通过将深度学习技术
学位
近年来,互联网高速发展,网络信息数量爆炸性增长,造成了信息过载的问题。为了在大量信息中帮助用户快速获取感兴趣或有价值的内容,推荐系统应运而生。传统推荐算法通常根据用户历史行为挖掘用户兴趣进行推荐,但由于网络信息越发复杂,仅利用历史行为数据的推荐算法已无法满足用户需求。随着社交网络的兴起,将社交网络中的用户信任关系引入推荐系统中,并利用网络结构挖掘用户社交特征,有效提高了推荐准确性,成为近年来推荐系
学位
肿瘤作为致死率较高的疾病之一仍然威胁着人类的健康。肿瘤的发展不仅受到免疫交互影响也受到新陈代谢的调控。免疫系统作为肿瘤免疫交互的重要组成部分,即可促进肿瘤又可抑制肿瘤。在肿瘤免疫交互过程中,细胞毒性T细胞向与其接触的肿瘤细胞释放穿孔素/颗粒酶B,启动肿瘤细胞的凋亡过程。细胞程序性死亡蛋白1(PD-1)/程序性死亡配体1(PD-L1)抑制了细胞毒性T细胞的杀伤能力。肿瘤生存的环境较为复杂,肿瘤为了能
学位
<正>骨关节炎(osteoarthritis,OA)是一种退行性关节疾病,主要特征是关节软骨缓慢的进行性破坏。中医学称OA为“骨痹”“骨瘘”“痹证”,为外邪痹阻、肝肾亏虚、瘀血阻滞、筋骨失养所致。随着全球老年人和肥胖人数的增加,OA的发病率显著增加,全球发病率约为16%[1]。研究显示,我国65岁以上膝痛人群OA患病率超过50%,
期刊
伟大建党精神是中国共产党的精神之源,对于新时代推进党的建设具有重大理论意义。“三个务必”是习近平深刻把握新时代、新征程的世情国情党情后提出的管党治党新要求,是在继承伟大建党精神的基础上,对“两个务必”的创新和发展。以真理和理想的坚守搭建“两个务必”到“三个务必”发展的理论基石,以昭示初心使命为实践主线,以党的百年奋斗史作出的牺牲亮明党的精神品质,以党的领导地位和“人民至上”的立场彰显其政治本色。从
期刊
随着我国国家电力系统规模的不断发展,电网遍布我国的各个地方,其中,电力线在电网中扮演着重要的作用。电力线路的安全运行对于城市的安全供电也至关重要,且由于山西省在煤炭产量上的优势,近些年,通过火力发电的方式向北京、天津、河北、山东、江苏、上海等地进行西电东送,由此,电力线维护成为我国国家电网的重要任务。目前,对于电力线巡检的方式主要有直升机巡检、人工巡检、以及无人机巡检,但由于电力线所处的环境复杂程
学位
<正>膝骨关节炎(knee osteoarthritis, KOA)是一种关节退行性疾病,会给患者、家庭及社会造成沉重负担。目前国内已经发布了多个针对KOA的中医、西医及中西医结合诊疗指南。这些指南对于规范国内KOA的诊疗起到了重要的指导作用。近年来随着该领域临床和基础研究的进展,出现了很多KOA诊疗的新理念和循证医学证据,因此对现有KOA诊疗指南进行更新十分必要。为此,中华中医药学会骨伤科分会组
期刊