基于改进的FixMatch方法的垃圾图片分类算法研究

来源 :上海财经大学 | 被引量 : 0次 | 上传用户:freeman_1982
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
改革开放以来,随着我国经济水平的发展,城市化进程的推进,城市生活垃圾产生数量的越来越多,由此引发了大量与生活垃圾相关的问题,给我们的生活环境、生态水平带来更大的挑战,“垃圾围城”成为城市发展之痛。垃圾分类政策的推行有助于提升垃圾的处理速度、保障经济的高速发展、保障生态环境的改善。我国将城市生活垃圾分为可回收物、厨余垃圾、有害垃圾、其他垃圾四类,研究垃圾图片分类算法有助于居民简易、正确的进行垃圾分类,有利于垃圾分类政策的实施、推广。基于垃圾分类现实任务场景,针对垃圾种类繁多、形状各异、无法穷举的特点,本文希望借助少量有标签样本,结合大量容易获得的无标签样本,研究半监督学习垃圾图片分类算法。基于此,本文对国内外半监督学习的研究做了文献综述,最终选定2020年提出的Fix Match模型为基准模型,以期改进该模型,使其适用于垃圾图片分类任务。本文广泛地考察了网上开源的垃圾图片分类数据集,但是没有一个数据集符合本文需求,因此,本文在开源数据集的基础上,通过人工爬取图片补充数据集,构建了“生活垃圾数据集”,该数据集共包含4个大类,226个小类,59498张图片。本文中提到的大类是指数据集中可回收物、厨余垃圾等4大类,提到的小类是指蛋、菜等226个小类。“生活垃圾数据集”构建流程如下:本文参考了和鲸社区开源数据集“垃圾分类图片数据集”,对其进行了严格的人工筛选,删除了不合逻辑的图片(表情包等不合常理的图片)、商用图片(包含商品文字信息的商用展示图)、包含个不同类别种类物体的图片(如一张图片中同时包含鸡蛋和电池,鸡蛋属于厨余垃圾,电池属于有害垃圾)。由于此时四个类别之间严重不均衡,本文将和鲸社区公开的“华为垃圾分类初赛数据集”中的其他垃圾、有害垃圾的图片加入筛选后的数据集中。然后,以每一个小类的图片不得少于30张为原则,人工爬取图片,对数据集进行补充。Fix Match论文在标准数据集上达到了很好的效果。但是,标准数据集类别之间非常均衡,且每一个类别的图片差异不大。而本文的“生活垃圾数据集”类别不太均衡,每一个大类中还有形状各异、无法穷举的小类。该数据在未做更改的Fix Match模型上准确率为59.84%。针对数据的特点,本文做了如下改进。首先,本文改进了被标记样本的选择策略。将Fix Match模型中按类别均匀划分被标记样本改进成按226个小类按比例划分,并规定每一个小类的被标记样本不得少于10个。由此,本文更合理的分配了有标签样本。使得模型准确率提升到76.83%。而后,针对垃圾图片分类任务,本文重新调整了Fix Match的逻辑。由于垃圾图片的形状各异,希望模型能够提取到各个小类之间的差异,本文训练了一个226分类模型。由于垃圾图片的种类无法穷举,希望模型能够学习到同一个大类中不同小类的共同特征,本文训练了一个4分类模型。通过验证集训练出阈值。测试时,图片先通过一个226分类模型,如果最高分类得分高于这个阈值,则输出结果。如果分类得分低于这个阈值,则忘记这个结果,继续通过4分类模型,然后输出结果。改进后的模型分类准确率提升到84.41%。再通过数据增强的手段平衡类别,最终模型的准确率达到85.85%。本文的模型仍然存在以下几个问题。首先,本文的数据集的质量有待提升。第一,数据集类别不平衡的问题仍然存在。难以获取大量有害垃圾的图片来平衡数据集,导致有害垃圾的图片占比不足5%。第二,药品包装成难题。由于药品包装如咳嗽糖浆的瓶子属于有害垃圾,但是其无论是外形还是功能都与可回收物的瓶子十分相像,难以区分。第三,无法判断包含多种垃圾的图片。本文是分类模型,如果一张图片中包含多个不同种类的垃圾,本文只会输出一个分类概率最大的类别,此时,另一个类别的垃圾被忽略。
其他文献
微博作为当下非常热门的网络社交平台,其中覆盖的讨论话题非常广泛,从时政新闻、医疗、娱乐到学术方面,参与话题的民众也包含了各个年龄层,网民可以对自己关注的话题进行评论。这也就导致了微博中包含大量的文本信息,通过对微博的评论文本进行情感分析,在产品方方面,产品方可以了解民众对于产品或者策划活动的态度,对此进行改进;在政府方面,政府可以了解民众对网络事件的态度以及发酵情况,从而更好的引导社会舆论。因此,
学位
近年来随着我国经济稳步增长,带来的是各个领域的全方面发展,其中金融市场也不断完善,因此在日常消费和储蓄之外,家庭和个人开始将眼光投向金融投资工具,想要通过分配财富资源以增加收益和价值,金融研究从原有的传统金融拓展到另一种新的独立的方向,家庭金融作为微观研究形式成为众多学者探究的课题。在这一过程中,居民的可支配收入和之前相比有了明显的增长,人们除了日常所需之外有另外的财产可以根据不同的需求进行相应的
学位
过去文献中,学者们直接使用股票层面数据去训练强化学习智能体(agent)。但是由于市场环境是高度复杂、非线性的,智能体无法从高维股票中找到高效的交易策略。因此本文提出构造几种常见的投资组合以降低市场噪音,以投资组合作为交易对象来训练深度强化学习网络,从而获得有效的交易策略。实证结果表明,基于投资组合进行交易要优于要交易的投资组合对象。并发现智能体能够有效识别买入卖出时机,以及在适当时机将资本从低收
学位
2021年中国共产党迎来建党一百周年纪念,党的宣传工作作为党的一条重要战线也走过了百年历程。如今,建党百年之际,世界正处于百年未有之大变局,党的中心任务也有了新的变化和发展,我们正面临着前所未有的机遇和挑战。在这样的背景下,如何做好新时代的宣传工作,如何客观真实地讲好中国故事,对提高我国在国际上的地位、塑造我国良好的国际形象意义重大。回顾建党百年来宣传工作的发展历程,从历史中汲取养分,尤其对宣传工
学位
我国商业银行理财产品市场发端于2003年。2003年,中国银行推出“汇聚宝”外汇理财产品,这是国内商业银行第一次使用“理财产品”的名称,标志着我国商业银行理财产品的诞生。2004年9月,国内第一款人民币理财产品出现。随后,我国商业银行人民币理财产品的数量大幅增长,互联网理财产品等竞品也逐渐涌现出来,其高收益和便利性吸引了大量用户。但银行理财产品的收益率目前来看不低于互联网理财产品,许多投资者依然青
学位
随着城市人口和人均收入的增加,城市汽车使用率显著提高,导致交通拥堵现象日益严重,从而制约了城市的经济发展。交通预测任务作为智能交通系统(ITS)重要的研究内容,能够为城市交通决策提供重要的依据。交通预测是典型的时空序列预测问题,由于交通数据复杂的时空依赖性,实时准确的交通预测一直是一个巨大的挑战。在空间维度上,交通状态的变化受路网拓扑结构的影响,具体表现为上游道路的交通状态对下游道路的交通状态的传
学位
股市投资策略的研究具有非常重要的理论意义和实际价值。与传统的股市投资方法相比,基于人工智能技术的量化投资策略具有更好的自适性等诸多优点。强化学习提供了一套从实际经验中学习最佳解决方案的方法,而有利于与金融市场的直接互动。过去的几年里,已有许多学者对标准深度Q学习(DQN)算法进行改进。基于值函数分布的分布强化学习算法(如C51、QR-DQN等)在Atari游戏中有优于基于价值期望的标准DQN算法的
学位
因子投资涵盖的内容多种多样。利用因子,可以获得收益,也可以控制风险;利用因子,可以进行资产管理,也可以获得套利机会;利用因子,可以去研究投资者所预期的回报,也可以去研究投资者收益的波动。这些因子可以被用来表征和描述众多投入资产中所共同暴露在其身上的某些系统性风险,这些系统性风险就是影响资产价值和收益的驱动因素,而因子回报与这种系统性风险存在较多的联系。历史研究中发现,因子类的随机组合通常有着最高的
学位
随着近些年通信,计算和嵌入式系统技术的飞速发展,物联网系统已广泛部署在不同类型的应用场景中,例如智能家居,智能医疗,智能交通,智慧能源以及工业自动化等。随着智能电网的不断建设,TSDB数据库中收集到的负荷数据也成指数倍增加,如何从这些数据中挖掘出用电行为和状态,并对可能存在的用电异常进行检测,对于保障电网的安全稳定运行具有重要意义。因此,本文基于分解与重构的方法从一个真实的多维物联网用电数据集中挖
学位
本文利用2015年1月1日之后银行间和交易所市场交易过并且评级在A以上的固定利率债券的周度收盘价格,对于国企债和民企债数据,分别基于三次样条折线函数,利用最小二乘估计的方法估计得到各个时间点的折现因子,随后获取了各个时间截面上的两年期、三年期、四年期和五年期的折现因子,并利用折现因子计算得到了即期利率曲线。从得到的即期利率曲线上可以看到,在国企债和民企债上都呈现先下降再上升最后回落的时间趋势,时间
学位