论文部分内容阅读
摘要：创新应用了目标检测与垃圾分类结合处理垃圾分类问题，将垃圾种类进行类别划分后保存为数据集，使用目标检测技术对物体进行识别并与数据集内的垃圾物品进行细节比对，并得出被检测物品的垃圾种类，通过机器学习方式大幅降低人民对垃圾分类的门槛，有助于加强城市环境的保护以及资源的有效回收利用。
关键词：垃圾分类;目标检测
1 项目背景
1.1我国垃圾分类方式的现状
随着经济社会的快速发展以及人民生活水平的不断提高，城市产生的垃圾日渐剧增，并逐渐上升成为一个城市发展必须面临的重大难题。我国早在多年前开始倡导垃圾的分类处理，但多年来仍有大部分城市依旧在施行垃圾混合收集及处理。2000年4月，国家建设部首先在北京、上海等8个城市实行垃圾分类收集试点，实践了几年时间，虽有所收获，但效果并不理想。截止2019年，我国仍然没有全面开展垃圾分类。但在2019年7月1日起，上海开始正式实施垃圾分类，而且，到2020年底，先行先试的46个重点城市，要基本建成垃圾分类处理系统。
1.2 国际上先进的垃圾分类方式的现状
在德国80%的居民参与生活垃圾源头分类，德国的生活垃圾分类起步于20世纪70年代，到90年代玻璃的同收量己达到其产生量的50%，纸张的同收量己达到其产生量的41%，塑料的同收量己达到其产生量的5%，纸板的同收量己达到其产生量的三分之一;85%的美国人参与街道资源化利用的废物收集工作;加拿大也是在20世纪70年代就己经开始进行城市生活垃圾的分类同收，并形成了一套完整有效的垃圾分类同收系统;瑞士、奥地利人保护环境是非常自觉的，他们不需要任何“环境卫生条例”来约束，其生活垃圾分类自觉执行;我国的近邻日本是生活垃圾分类做得最好的国家之一，其国民是生活垃圾分类的主体，其生活垃圾分类教育是“从娃娃抓起”的，目前己经形成一套完整的生活垃圾分类法律体系和分类后的垃圾分类处理处置体系。
2 技术设计
2.1 介绍
在深度学习领域也衍生出许多分支，如NLP（自然语言处理）和图像识别等。在NLP领域，词向量是将深度学习引入到NLP领域的一个核心技术。在机器视觉领域，CNN、RCNN、Faster RCNN等网络已经在当下变得非常流行，成为众多企业或开发者所选择的图像处理基础网络结构。
自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，之后google又提出了解决Seq2Seq问题的Transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩。现阶段研究者已尝试将 Transformer 用于目标检测任务，填补了 Transformer 用于目标检测的空白。
Transformer模型是由文章《Attention is All You Need》提出，该模型有一个完整的Encoder-Decoder框架。该模型被用于机器翻译任务，和以往网络架构有所区别的是，在该网络架构中，编码器和解码器没有采用 RNN 或 CNN 等网络架构，而是采用完全依赖于注意力机制的架构。
Facebook AI的研究者把 Transformer 用到了目标检测任务中，还取得了媲美 Faster R-CNN的效果。该研究推出的 Transformer视觉版本——Detection Transformer（DETR），可用于目标检测和全景分割。DETR 利用标准 Transformer 架构来执行传统上特定于目標检测的操作，简化了检测 pipeline。
原理图：
DETR 通过将常见的 CNN 与 Transformer 架构相结合，将CNN提取的特征集传递给transformer，经过编码encoder和解码decoder操作后送到预测框集，通过FFN直接（并行）预测最终的检测结果。在训练阶段，二分匹配将唯一的预测分配给 GT 框，不匹配的预测产生无对象（?）类预测。
Transformer结构简图，编码组件由多个编码器encoder组成，解码组件也是对应的相同数量。对应的输入经过一系列编码，将最终的编码结果分别传输给解码组件各个解码器进行解码并传送给下一个，最终得到输出。
2.2 transformer网络应用
2.2.1 项目目的
1. 尝试将最新的transformer目标检测技术应用到解决实际生活问题中，如对垃圾类别的检测。
在实验中，我们只需对物体进行正常的信息标注，分类上只需在前端app添加结果的映射，即可获取对应的垃圾类别。例如，在检测出目标物体为 “饼干”后，将该结果传到前端，显示时通过映射可显示为“厨余垃圾-饼干”，诸如此类。
2. 从现实生活入手，制作贴合生活的数据集，适当引入噪声，提高检测模型的适用性与鲁棒性。
3. 对实验进行记录，查看性能及资源的使用情况，统计实验结果的指标值。
2.2.2 实验环境
实验的硬件环境为：CPU：Intel Core i7-8700 @ 3.20GHz，由于实验需要使用显卡进行，使用的显卡为：Nvidia GeForce RTX 2060 SUPER，显存为8GB。采用的系统环境为：Windows10操作系统，使用pytorch框架，版本为1.5.1。实验环境使用Python语言实现，Python版本为3.7，实验使用cuda进行训练加速。
实验的数据集源于生活实际的拍摄，示例图如图3所示。用labelme对数据及进行标注。
2.2.3 实验结果及分析
实验使用1445张图片，共包含4个类别的物体，其中一样物品大概包含360张图片，训练集和测试集约按8：2的比例进行数据分配，由于硬件性能受限，进行300epoch的实验。 最终获取的算法性能评估如图4、图5、图6所示。（基于detr backbone r50实验）
2.2.4 实际应用检测结果：
由实验结果分析可知，实验结果符合实际分类规定。在数据集足够充分且训练的epoch等参数设置适当的话，detr网络能对目标对象进行准确度较高的判别，这得益于attention网络机制，可以在较为少数的样本上取得较为不错的检测结果。
3 可推广性分析
3.1应用场景
于企业内部，可规范企业员工对于办公过程产生的垃圾如打印纸、打印机墨盒、回形针、文件夹，企业内部休息区产生的垃圾如饮料瓶、便当盒、便当盒内的餐余垃圾等的有效分类;在居民家中日常生活产生的垃圾种类是类型最为复杂的，运用目标检测技术对复杂的垃圾进行识别分类对机器来说是一件非常轻松的事，大大减轻居民的学习成本和负担，同时也能提高垃圾分类的效率和准确性。于垃圾回收处理厂而言，这是一项减轻工作负担、具有极高实用性的应用，应用目标检测技术于垃圾分类中可提高垃圾回收处理流水线的工作效率，增强流水线的处理准确度。
3.2推广意义
1） 降低分类回收门槛，推进垃圾分类政策落实到位
基于目标检测技术的智能垃圾分类可通过手机软件形式实现垃圾识别分类效果，极大地降低了垃圾分类回收的门槛和难度，普通老百姓都可通过手机对身边的垃圾进行分类，有助于居民对垃圾分类的认识，加深居民对不同类别垃圾之间区别的理解，增强居民对垃圾分类的主动意识，有效帮助居民区别日常生活中产生的各色各样的复杂的垃圾。同时，废旧物垃圾得到了合理正规的分类，提高了回收的规范性和准确性。
2） 为政府进行城市管理提供了可靠的信息数据
基于目标检测技术的智能垃圾分类应用通过记录每次识别后产生的垃圾种类、数量、产生的地点等信息并积累信息，有助于政府对有关方面的统计，为政府针对性的实施垃圾回收政策提供可靠的科学的信息资料。
4 项目总结
在目标检测技术发展迅速的今天，transformer目标检测以异于往常目标检测网络的结构，能在目标检测结果上取得不错的成绩。当前transformer检测技术刚起步，或许随着transformer网络的改进，网络结构改进以进一步减少参数量，或许能更好地应用于各个领域。
参考文献：
[1]《End-to-End Object Detection with Transformers》 ——Nicolas Carion* ， Francisco Massa* ， Gabriel Synnaeve， Nicolas Usunier， Alexander Kirillov， and Sergey Zagoruyko.
[2]《Attention is All you Need》 ——Ashish Vaswani， Noam Shazeer， Niki Parmar， Jakob Uszkoreit， Llion Jones， Aidan N. Gomez， ?ukasz Kaiser， Illia Polosukhin.
[3]《含液體垃圾的智能分类回收垃圾桶设计》——吴逸超，郑天华，魏玉兰.
佛山科学技术学院 528011
关键词：垃圾分类;目标检测
1 项目背景
1.1我国垃圾分类方式的现状
随着经济社会的快速发展以及人民生活水平的不断提高，城市产生的垃圾日渐剧增，并逐渐上升成为一个城市发展必须面临的重大难题。我国早在多年前开始倡导垃圾的分类处理，但多年来仍有大部分城市依旧在施行垃圾混合收集及处理。2000年4月，国家建设部首先在北京、上海等8个城市实行垃圾分类收集试点，实践了几年时间，虽有所收获，但效果并不理想。截止2019年，我国仍然没有全面开展垃圾分类。但在2019年7月1日起，上海开始正式实施垃圾分类，而且，到2020年底，先行先试的46个重点城市，要基本建成垃圾分类处理系统。
1.2 国际上先进的垃圾分类方式的现状
在德国80%的居民参与生活垃圾源头分类，德国的生活垃圾分类起步于20世纪70年代，到90年代玻璃的同收量己达到其产生量的50%，纸张的同收量己达到其产生量的41%，塑料的同收量己达到其产生量的5%，纸板的同收量己达到其产生量的三分之一;85%的美国人参与街道资源化利用的废物收集工作;加拿大也是在20世纪70年代就己经开始进行城市生活垃圾的分类同收，并形成了一套完整有效的垃圾分类同收系统;瑞士、奥地利人保护环境是非常自觉的，他们不需要任何“环境卫生条例”来约束，其生活垃圾分类自觉执行;我国的近邻日本是生活垃圾分类做得最好的国家之一，其国民是生活垃圾分类的主体，其生活垃圾分类教育是“从娃娃抓起”的，目前己经形成一套完整的生活垃圾分类法律体系和分类后的垃圾分类处理处置体系。
2 技术设计
2.1 介绍
在深度学习领域也衍生出许多分支，如NLP（自然语言处理）和图像识别等。在NLP领域，词向量是将深度学习引入到NLP领域的一个核心技术。在机器视觉领域，CNN、RCNN、Faster RCNN等网络已经在当下变得非常流行，成为众多企业或开发者所选择的图像处理基础网络结构。
自Attention机制提出后，加入attention的Seq2seq模型在各个任务上都有了提升，之后google又提出了解决Seq2Seq问题的Transformer模型，用全attention的结构代替了lstm，在翻译任务上取得了更好的成绩。现阶段研究者已尝试将 Transformer 用于目标检测任务，填补了 Transformer 用于目标检测的空白。
Transformer模型是由文章《Attention is All You Need》提出，该模型有一个完整的Encoder-Decoder框架。该模型被用于机器翻译任务，和以往网络架构有所区别的是，在该网络架构中，编码器和解码器没有采用 RNN 或 CNN 等网络架构，而是采用完全依赖于注意力机制的架构。
Facebook AI的研究者把 Transformer 用到了目标检测任务中，还取得了媲美 Faster R-CNN的效果。该研究推出的 Transformer视觉版本——Detection Transformer（DETR），可用于目标检测和全景分割。DETR 利用标准 Transformer 架构来执行传统上特定于目標检测的操作，简化了检测 pipeline。
原理图：
DETR 通过将常见的 CNN 与 Transformer 架构相结合，将CNN提取的特征集传递给transformer，经过编码encoder和解码decoder操作后送到预测框集，通过FFN直接（并行）预测最终的检测结果。在训练阶段，二分匹配将唯一的预测分配给 GT 框，不匹配的预测产生无对象（?）类预测。
Transformer结构简图，编码组件由多个编码器encoder组成，解码组件也是对应的相同数量。对应的输入经过一系列编码，将最终的编码结果分别传输给解码组件各个解码器进行解码并传送给下一个，最终得到输出。
2.2 transformer网络应用
2.2.1 项目目的
1. 尝试将最新的transformer目标检测技术应用到解决实际生活问题中，如对垃圾类别的检测。
在实验中，我们只需对物体进行正常的信息标注，分类上只需在前端app添加结果的映射，即可获取对应的垃圾类别。例如，在检测出目标物体为 “饼干”后，将该结果传到前端，显示时通过映射可显示为“厨余垃圾-饼干”，诸如此类。
2. 从现实生活入手，制作贴合生活的数据集，适当引入噪声，提高检测模型的适用性与鲁棒性。
3. 对实验进行记录，查看性能及资源的使用情况，统计实验结果的指标值。
2.2.2 实验环境
实验的硬件环境为：CPU：Intel Core i7-8700 @ 3.20GHz，由于实验需要使用显卡进行，使用的显卡为：Nvidia GeForce RTX 2060 SUPER，显存为8GB。采用的系统环境为：Windows10操作系统，使用pytorch框架，版本为1.5.1。实验环境使用Python语言实现，Python版本为3.7，实验使用cuda进行训练加速。
实验的数据集源于生活实际的拍摄，示例图如图3所示。用labelme对数据及进行标注。
2.2.3 实验结果及分析
实验使用1445张图片，共包含4个类别的物体，其中一样物品大概包含360张图片，训练集和测试集约按8：2的比例进行数据分配，由于硬件性能受限，进行300epoch的实验。 最终获取的算法性能评估如图4、图5、图6所示。（基于detr backbone r50实验）
2.2.4 实际应用检测结果：
由实验结果分析可知，实验结果符合实际分类规定。在数据集足够充分且训练的epoch等参数设置适当的话，detr网络能对目标对象进行准确度较高的判别，这得益于attention网络机制，可以在较为少数的样本上取得较为不错的检测结果。
3 可推广性分析
3.1应用场景
于企业内部，可规范企业员工对于办公过程产生的垃圾如打印纸、打印机墨盒、回形针、文件夹，企业内部休息区产生的垃圾如饮料瓶、便当盒、便当盒内的餐余垃圾等的有效分类;在居民家中日常生活产生的垃圾种类是类型最为复杂的，运用目标检测技术对复杂的垃圾进行识别分类对机器来说是一件非常轻松的事，大大减轻居民的学习成本和负担，同时也能提高垃圾分类的效率和准确性。于垃圾回收处理厂而言，这是一项减轻工作负担、具有极高实用性的应用，应用目标检测技术于垃圾分类中可提高垃圾回收处理流水线的工作效率，增强流水线的处理准确度。
3.2推广意义
1） 降低分类回收门槛，推进垃圾分类政策落实到位
基于目标检测技术的智能垃圾分类可通过手机软件形式实现垃圾识别分类效果，极大地降低了垃圾分类回收的门槛和难度，普通老百姓都可通过手机对身边的垃圾进行分类，有助于居民对垃圾分类的认识，加深居民对不同类别垃圾之间区别的理解，增强居民对垃圾分类的主动意识，有效帮助居民区别日常生活中产生的各色各样的复杂的垃圾。同时，废旧物垃圾得到了合理正规的分类，提高了回收的规范性和准确性。
2） 为政府进行城市管理提供了可靠的信息数据
基于目标检测技术的智能垃圾分类应用通过记录每次识别后产生的垃圾种类、数量、产生的地点等信息并积累信息，有助于政府对有关方面的统计，为政府针对性的实施垃圾回收政策提供可靠的科学的信息资料。
4 项目总结
在目标检测技术发展迅速的今天，transformer目标检测以异于往常目标检测网络的结构，能在目标检测结果上取得不错的成绩。当前transformer检测技术刚起步，或许随着transformer网络的改进，网络结构改进以进一步减少参数量，或许能更好地应用于各个领域。
参考文献：
[1]《End-to-End Object Detection with Transformers》 ——Nicolas Carion* ， Francisco Massa* ， Gabriel Synnaeve， Nicolas Usunier， Alexander Kirillov， and Sergey Zagoruyko.
[2]《Attention is All you Need》 ——Ashish Vaswani， Noam Shazeer， Niki Parmar， Jakob Uszkoreit， Llion Jones， Aidan N. Gomez， ?ukasz Kaiser， Illia Polosukhin.
[3]《含液體垃圾的智能分类回收垃圾桶设计》——吴逸超，郑天华，魏玉兰.
佛山科学技术学院 528011