【摘 要】
:
随着互联网和移动通信技术的发展,互联网商品图片以海量的速度增长。实践中发现由于部分商品图片不具备自然物品的特征,卷积神经网络对这类图像分类的准确率不高,但图像中文字却包含丰富的分类信息,可通过自然场景下文本识别技术抽取这些信息并加以利用。本文根据商品图像数据特点,以基于深度学习理论的商品图像分类算法为重点研究对象,主要研究工作如下:(1)研究图像分类技术,并提出利用图像中的文本信息进行多模态学习这
论文部分内容阅读
随着互联网和移动通信技术的发展,互联网商品图片以海量的速度增长。实践中发现由于部分商品图片不具备自然物品的特征,卷积神经网络对这类图像分类的准确率不高,但图像中文字却包含丰富的分类信息,可通过自然场景下文本识别技术抽取这些信息并加以利用。本文根据商品图像数据特点,以基于深度学习理论的商品图像分类算法为重点研究对象,主要研究工作如下:(1)研究图像分类技术,并提出利用图像中的文本信息进行多模态学习这一技术路线。本文利用卷积神经网络使用迁移学习技术在VGG16、Inception、ResNet50等模型上进行调优,为多模态学习提供了图像分类算法。(2)研究了从商品图片中提取和识别文字的方法,为多模态学习提供了文本模态数据。利用自然场景文本检测模型EAST对商品图片中的文本框提取。本文还完成了文字识别网络在商品图片文字识别任务上的落地,即提出使用CRNN模型完成对图片文字识别。(3)研究了文字的分类算法,为多模态学习提供了文本分类算法。本文实现了TextCNN和BERT两种文本分类模型,结合工程实践,最终选择BERT语言模型用来提取文本特征。本文利用多模态学习技术,整合(1)、(2)、(3)研究工作,提出了一个把图像特征和文本特征在特征级别进行融合的算法,利用多源数据辅助学习来提升分类准确率,降低泛化误差。本文最终使用Keras(人工神经网络开发库)将多模态分类算法实现。这一多模态分类算法解决了商品图片用卷积神经网络无法提取到足够有效特征的问题。实验结果表明,相比于仅使用图像信息分类的方法,本文实现的多模态融合模型的推断结果在测试数据集上的准确率有6%提升。本文第六章提供了一个商品图像分类Web服务。
其他文献
燕麦,中国又称为“莜麦”,禾本科禾亚科燕麦属燕麦种。燕麦具有较高的营养价值,其可降低高血脂、高血糖,控制体重,有益肠胃健康,是食物中最好的全价营养品。目前我国燕麦加工中,燕麦粉加工量约有70%以上,燕麦片加工量不足15%。本论文选用带壳燕麦为加工原料,根据带壳燕麦的结构、特点及燕麦食品需求情况,设计年产4万吨速食燕麦片生产线,并提出生产过程质量控制指标和标准,主要内容如下:1、参考国际国内的粮食加
因边坡和隧道工程的开挖卸荷扰动将形成开挖扰动区,扰动区内岩体质量变差,力学参数发生弱化。开挖扰动区的岩体力学参数是影响边坡和隧道变形及稳定性的重要因素,其取值正确
广州湾是法国在东亚鸦片贸易链条上的重要环节。在有名无实的"自由港"制度下,鸦片贸易实为鸦片走私;随着法属印度支那联邦总政府的鸦片专控方式从专营转变为专卖,鸦片走私逐步
在大数据时代,个人隐私动辄被置于公众视野之下,隐私权作为一项重要的人格权愈发受到关注。然隐私权范围的日益膨胀已对言论自由、知情权等权利构成阻碍,因此对隐私权之行使
随着人们生活水平的提高,饮食结构及生活方式的改变,痛风性关节炎患病率有明显上升趋势,痛风性关节炎作为临床常见病,发作时严重影响着患者的生活质量。目前西医对痛风性关节
近年来,随着政府系统改革不断深入,国家治理能力与治理水平不断提升,公务员队伍的专业化与年轻化越来越得到重视。经济发展、社会稳定、民生改善以及转型期所面临的其他新情
<正> 塑料门窗行业发展至今,已经使得到塑料门窗产品成为建筑业不可或缺、至少是建筑业主们不能不予考虑的组成部分,由于塑料门窗的性能及品质直接与住宅的拥有者和使用者息
租借地是旧殖民主义的产物。广州湾与法属印度支那之间缺少必要的工商业联系,未能纳入后者的殖民开发计划之中。鸦片走私的猖獗更令河内政府刻意“边缘化”租借地。但这只是
目的1.构建适合喉癌、下咽癌患者术前负性情绪的聚焦解决干预模式;2.评价聚焦解决模式对改善喉癌、下咽癌患者术前负性情绪、提高疾病应对能力及护理满意度的效果。方法根据纳入、排除标准,选取2018年11月至2019年3月分别在宁波市医疗中心李惠利医院和浙江省肿瘤医院,两家三甲医院住院选择手术治疗的喉癌、下咽癌患者62例为研究对象,采用随机数字表进行分组,分为试验组和对照组。对照组进行常规心理护理,包括
世界金融危机的深层次原因是政府失灵,政府失灵的实质是"精英泡沫"和"次级精英危机"。因此,教育培养卓越的国家精英是世界各国未来发展的关键,是未来国际竞争的重要战略要点。而