论文部分内容阅读
摘 要：文章使用MobileNet V2神经网络来对垃圾进行图像识别分类，再用电机将分类后的垃圾放置到指定的垃圾桶中。采用Jetson Nano嵌入式平台进行图像识别，再使用STM32对电机进行控制。经过实际测试，从摄像头采集图片到识别图片一次仅需0.4秒。该垃圾桶可以自动对垃圾进行分类处理，是一种对垃圾分类活动提供智能高效的解决方案。
关键词：卷积神经网络;MobileNet V2;智能垃圾桶
深度学习作为机器学习的重要分支日益得到普及。在智能制造行业里面有着非常光明的前景，而其中的图像分类与检测领域更是出类拔萃。本文所设计的基于深度学习的智能分类垃圾桶，通过深度学习算法去分类垃圾类别，并且能根据不同地区的要求进行不同种类划分，从而在源头处自动对垃圾进行分类和处理。
1 总体设计
本项目采用的是本地进行处理的方式。由于有Google公司提出的MobileNetV2算法跟NVIDIA公司开发的Jetson Nano平台，使得在本地进行高效的图像检测分类成为了可能。这种方法避免了因为网络波动而造成的识别时间过久甚至是无法识别的问题。
为了整体系统运行的稳定性，采用的是模块化设计的思路。系统分为识别分类模块和控制模块。这样分类的主要原因是Jetson Nano平台是带操作系统的，虽然本身有PWM输出，但是其精准度依旧比不上MCU。因此在控制部分中采用STM32F作为主控芯片，在接收到Jetson Nano的分类信号后，控制步进电机去投放垃圾到对应的垃圾桶。同时，由于Jetson Nano和STM32之间距离近，所以直接采用串口通信方式进行，避免了无线信号会出现的干擾问题。系统总体框架如图1。
2 图像识别算法
本文选取的是MobileNet V2网络，它是基于MobileNet V1网络改进而来。
MobileNetV2主要是基于MobileNetV1进行改进的。为了提升梯度的跨层传播能力，因此将残差结构添加到了MobileNetV2网络中，提出了一种新的结构——倒残差结构（如图2）。
3 硬件系统设计
硬件系统的主控模块采用STM32系统，其框架如图3所示。
STM32在接收Jetson Nano通过串口发送过来的垃圾分类信号后，判断接收到的垃圾类别。然后根据垃圾类别去驱动57步进电机转动，从而带动垃圾桶旋转到对应的分类垃圾桶体。接着驱动42步进电机将暂时存放垃圾的托盘拉起，使垃圾下落到垃圾桶中。再将垃圾托盘收起，垃圾桶转回原来位置。
AI应用设计采用Jetson Nano开发板。采用1.4Ghz的ARM-A57芯片，128核Nvidia Maxwell GPU和4GB RAM。它运行的官方系统是Ubuntu 18.04的一个定制版本，名称为Linux4Tegra，主要设计在NVIDIA的硬件上运行。该系统预配置了CUDA跟TensorRT组件，因此可以使用CUDA对卷积神经网络计算进行加速。它本身也集成了UART、I2C等外设通信组件。
4 系统实现与运行
4.1 MobileNet V2网络训练
样本数据集可分为训练集、验证集和测试集。样本数据集有4类样本标签和一个背景标签，共2327张图片，在本项目中，训练集和验证集比例为8：2，测试集由预先挑选出的图片进行测试。图4、图5分别展示了训练集正确率和验证集准确率。
图4、图5是经过多次训练后，选出的几组效果相对较好的训练参数，通过上面图像的比较，选出了最适合使用的一组模型，即训练集正确率98%，验证集准确率92%的这组模型。
4.2 实际垃圾分类测试
将控制模块跟处理模块连接后，实际投放垃圾到本产品中进行测试。本次实际测试仅使用以下材料进行测试。一次在垃圾托盘中只放入一个垃圾，然后Jetson Nano对垃圾进行识别，识别完之后在屏幕上打印结果，并且将结果通过串口发送给STM32。而STM32在接收到信号之后，就转动垃圾桶，从而使垃圾落入对应的桶体中。
以下是上面测试材料的概率分布，显示每个测试材料的类别都识别正确。
5 结束语
本文采用的基于图像识别、Jetson Nano主处理器和STM32F作为主控芯片的智能垃圾桶模拟方案，主要负责将收集回来的垃圾物照片进行分析处理，判定出垃圾物的回收种类。并将种类信息通过串口发送给 Jetson Nano主处理器，进而控制舵机工作，实现分类效果。并结合其他传感器，实现一些附加功能。通过对智能垃圾桶的研究和模拟智能垃圾桶的分类功能的实现，可以初步构建智能垃圾桶的模型与理论基础，为智能垃圾桶技术提供更多的可能。
参考文献
[1] 刘建伟，何岩.餐厨垃圾两相厌氧发酵技术研究和应用进展[J].科学技术与工程，2017，17（06）：188-196.
[2] 卢锋长，欧阳玲惠，王晶，李海艳，曾凡.浅析我国垃圾分类工作目前存在的问题及解决方案[J].市场周刊，2019（09）：152-154.
[3] 张涛. 步进电机快速定位方法研究[D].北方工业大学，2012.
[4] 李玲娟.多细分二相混合式步进电机驱动器的研制[D].西北工业大学，2007
[5] 杨真真，匡楠，范露，康彬.基于卷积神经网络的图像分类算法综述[J].信号处理，2018，34（12）：1474-1489.
[6] 钟梅，马宇龙，杨谢泽华.集中分拣回收，解决垃圾围城[J].北方环境，2013，25（01）：62-64.
关键词：卷积神经网络;MobileNet V2;智能垃圾桶
深度学习作为机器学习的重要分支日益得到普及。在智能制造行业里面有着非常光明的前景，而其中的图像分类与检测领域更是出类拔萃。本文所设计的基于深度学习的智能分类垃圾桶，通过深度学习算法去分类垃圾类别，并且能根据不同地区的要求进行不同种类划分，从而在源头处自动对垃圾进行分类和处理。
1 总体设计
本项目采用的是本地进行处理的方式。由于有Google公司提出的MobileNetV2算法跟NVIDIA公司开发的Jetson Nano平台，使得在本地进行高效的图像检测分类成为了可能。这种方法避免了因为网络波动而造成的识别时间过久甚至是无法识别的问题。
为了整体系统运行的稳定性，采用的是模块化设计的思路。系统分为识别分类模块和控制模块。这样分类的主要原因是Jetson Nano平台是带操作系统的，虽然本身有PWM输出，但是其精准度依旧比不上MCU。因此在控制部分中采用STM32F作为主控芯片，在接收到Jetson Nano的分类信号后，控制步进电机去投放垃圾到对应的垃圾桶。同时，由于Jetson Nano和STM32之间距离近，所以直接采用串口通信方式进行，避免了无线信号会出现的干擾问题。系统总体框架如图1。
2 图像识别算法
本文选取的是MobileNet V2网络，它是基于MobileNet V1网络改进而来。
MobileNetV2主要是基于MobileNetV1进行改进的。为了提升梯度的跨层传播能力，因此将残差结构添加到了MobileNetV2网络中，提出了一种新的结构——倒残差结构（如图2）。
3 硬件系统设计
硬件系统的主控模块采用STM32系统，其框架如图3所示。
STM32在接收Jetson Nano通过串口发送过来的垃圾分类信号后，判断接收到的垃圾类别。然后根据垃圾类别去驱动57步进电机转动，从而带动垃圾桶旋转到对应的分类垃圾桶体。接着驱动42步进电机将暂时存放垃圾的托盘拉起，使垃圾下落到垃圾桶中。再将垃圾托盘收起，垃圾桶转回原来位置。
AI应用设计采用Jetson Nano开发板。采用1.4Ghz的ARM-A57芯片，128核Nvidia Maxwell GPU和4GB RAM。它运行的官方系统是Ubuntu 18.04的一个定制版本，名称为Linux4Tegra，主要设计在NVIDIA的硬件上运行。该系统预配置了CUDA跟TensorRT组件，因此可以使用CUDA对卷积神经网络计算进行加速。它本身也集成了UART、I2C等外设通信组件。
4 系统实现与运行
4.1 MobileNet V2网络训练
样本数据集可分为训练集、验证集和测试集。样本数据集有4类样本标签和一个背景标签，共2327张图片，在本项目中，训练集和验证集比例为8：2，测试集由预先挑选出的图片进行测试。图4、图5分别展示了训练集正确率和验证集准确率。
图4、图5是经过多次训练后，选出的几组效果相对较好的训练参数，通过上面图像的比较，选出了最适合使用的一组模型，即训练集正确率98%，验证集准确率92%的这组模型。
4.2 实际垃圾分类测试
将控制模块跟处理模块连接后，实际投放垃圾到本产品中进行测试。本次实际测试仅使用以下材料进行测试。一次在垃圾托盘中只放入一个垃圾，然后Jetson Nano对垃圾进行识别，识别完之后在屏幕上打印结果，并且将结果通过串口发送给STM32。而STM32在接收到信号之后，就转动垃圾桶，从而使垃圾落入对应的桶体中。
以下是上面测试材料的概率分布，显示每个测试材料的类别都识别正确。
5 结束语
本文采用的基于图像识别、Jetson Nano主处理器和STM32F作为主控芯片的智能垃圾桶模拟方案，主要负责将收集回来的垃圾物照片进行分析处理，判定出垃圾物的回收种类。并将种类信息通过串口发送给 Jetson Nano主处理器，进而控制舵机工作，实现分类效果。并结合其他传感器，实现一些附加功能。通过对智能垃圾桶的研究和模拟智能垃圾桶的分类功能的实现，可以初步构建智能垃圾桶的模型与理论基础，为智能垃圾桶技术提供更多的可能。
参考文献
[1] 刘建伟，何岩.餐厨垃圾两相厌氧发酵技术研究和应用进展[J].科学技术与工程，2017，17（06）：188-196.
[2] 卢锋长，欧阳玲惠，王晶，李海艳，曾凡.浅析我国垃圾分类工作目前存在的问题及解决方案[J].市场周刊，2019（09）：152-154.
[3] 张涛. 步进电机快速定位方法研究[D].北方工业大学，2012.
[4] 李玲娟.多细分二相混合式步进电机驱动器的研制[D].西北工业大学，2007
[5] 杨真真，匡楠，范露，康彬.基于卷积神经网络的图像分类算法综述[J].信号处理，2018，34（12）：1474-1489.
[6] 钟梅，马宇龙，杨谢泽华.集中分拣回收，解决垃圾围城[J].北方环境，2013，25（01）：62-64.