论文部分内容阅读
摘 要：在忙碌的生活中，并非所有人对食品的存储都有着良好的习惯。这不仅会造成食物的浪费，还会导致人们（尤其是安全意识较低群体）误食过期食品，而引发安全问题。本文围绕如何有效解决冰箱的食品存储问题为核心，主要讲述了利用基于YOLO2模型的K210芯片，通过训练冰箱食物模型，实现冰箱食物的智能管理。
关键词：YOLO2;冰箱;K210
随着电子信息技术的高速发展，人工智能、物联网技术在人们生活中涉及的领域越来越广泛，冷链系统的智能化因此得到高速发展。冰箱不仅活跃在人们的生活视野中，而且是连接冷链系统与家用电器的应用桥梁。它的推广性高，用户的使用频率高，比其他冷链系统更加普及，为家用食品的存储提供了很大的便利。该系统基于YOLO2模型，利用可推广性和适用性高的图像识别技术，通过卷积神经网络的一般适用性解决不同食物存在的偏差;其本身处理精度和灵活性较高，适用面宽。本项目着眼于人们日常健康，同时达到减少人们日常生活中因繁忙忘记食物存放时间造成的生活垃圾的目的。
一、设计概述
該系统通过改装的K210自身防雾摄像头，识别使用者所放入和拿出的食物，对各类食物图像进行采集，将各类食物利用神经网络的方法，人工训练对放入冰箱的食物图像进行采集。利用数据库技术，收集各类食物保鲜期信息，存储常用食物的基本信息，通过Wi-Fi模块反馈初次识别日期时间，并对不同食物放入起始点开始计时，在使用者拿出食物时，进行二次识别，比较食物存储时长，判断过期与否;利用TTS语音模块及时反馈给使用者该食物的保鲜状况等信息，从而实现冰箱对食品的存储管理，避免食物的浪费和过期现象。
二、YOLO2模型
YOLO模型是一个先进的实时目标检测系统，YOLO2模型在YOLO基础上加以改进。YOLO2模型利用大型分类数据集ImageNet扩大目标检测的数据种类，用高分辨率图像训练分类网络，模型自动选择合适的先验框长、宽，将预测的偏移量限制在一个网格范围内。多尺度输入图像，采用联合训练机制，混合来自检测和分类数据集的图像进行训练。检测网络可分为三个阶段：在ImageNet数据集上Finetune分类模型训练;调整网络输入，继续分类训练;修改分类网络为检测网络，继续模型训练。
本项目食物模型的训练流程大致为：将不同种类食物图像采集、训练并制作初始样本模型，需要尽可能多地输入图像，获得多尺度特征图，以提高精准度;对图像进行分割、卷积运算、归一化等操作来得到不同食物模型，达到目标检测的目的;最后进行实物检测，检验识别时间，精度是否合理，进行再次修改及调试。
图1 YOLO2模型训练大致流程图
三、硬件设计
（一）KPU-K210
本项目采用kendryte k210芯片为主控芯片，是一个集成了机器视觉和机器听觉的片上系统（SoC），采用双核64位处理器，具有更好的功耗性能、稳定性和可靠性。其开发环境基于MicroPython，通过串口写脚本，下载好一次固件，只用窗口和固件进行交互就能够使用。该开发板开源项目少、体积小、十分简便，可容纳神经网络模型。在本项目中它起着主要中央控制作用，通过它来调控冰箱识别管理系统的运行，对使用者放入、拿出食物的过程进行及时反馈，实现对食物图像的检测判断作用。
（二）TTS语音模块
该模块将储存的文件转换成自然语音输出，常与声音识别程序一起使用。中文TTS系统包括语音处理和语音合成两部分，利用中文韵律等相关知识对中文语句进行合理转换，语音合成通过查询中文语音库得到语音。该模块在本项目中起着对食物过期与否等信息的输出作用。
本项目需要实现在冰箱中检测食物种类，由于冰箱内外温差较大会影响拍摄精度，则需在镜头前增加涂层防雾膜，在增加采光的同时减少雾气对于图像的干扰，增加图像的清晰度和可见距离，延长摄像头使用寿命。本项目需要实现对事物实时检测，Wi-Fi模块内置TCP/IP协议栈和IEEE802.11协议栈，能够实现用户串口到无线网络之间的转换。因此，使用内置Wi-Fi模块联网获取更新时间。本项目使用SD卡存储食物保鲜信息并记录时间，SD卡以命令形式来控制读写操作，拥有高记忆容量、快速数据传输率、满足基础的数据存储要求且成本低、极大的移动灵活性以及很好的安全性，对于本项目简单的食物信息容量要求完全足够。
四、总体流程
流程大致分为五个过程：
（1）不同食物模型的训练;
（2）食物放入冰箱，进行检测;
（3）检测成功，存储该食物信息并记录初始时间点;
（4）使用者从冰箱中取出已检测的食物，反馈二次时间点，得到食物新鲜状态信息;
（5）通过语音模块输出。
五、项目特色
本项目程序可以在较短的时间内部署到用户的产品中，给产品带来人工智能，所涉及的冰箱食物不易分辨，而yolo2模型能够直接同时输出定位和分类结果，将目标检测作为回归任务解决。
（1）本项目切合现实需要，为冰箱的功能进一步优化。
（2）本项目着眼于人们日常健康也减少了人们日常生活中因繁忙忘记食物存放时间造成的生活垃圾。
（3）本项目利用智能识别、图像处理等技术，贴近当前社会电子信息产品的发展趋势。
基金项目：西北民族大学中央高校基本科研业务费资助本科生科研创新项目（项目编号：XBMU-BYL20202）
关键词：YOLO2;冰箱;K210
随着电子信息技术的高速发展，人工智能、物联网技术在人们生活中涉及的领域越来越广泛，冷链系统的智能化因此得到高速发展。冰箱不仅活跃在人们的生活视野中，而且是连接冷链系统与家用电器的应用桥梁。它的推广性高，用户的使用频率高，比其他冷链系统更加普及，为家用食品的存储提供了很大的便利。该系统基于YOLO2模型，利用可推广性和适用性高的图像识别技术，通过卷积神经网络的一般适用性解决不同食物存在的偏差;其本身处理精度和灵活性较高，适用面宽。本项目着眼于人们日常健康，同时达到减少人们日常生活中因繁忙忘记食物存放时间造成的生活垃圾的目的。
一、设计概述
該系统通过改装的K210自身防雾摄像头，识别使用者所放入和拿出的食物，对各类食物图像进行采集，将各类食物利用神经网络的方法，人工训练对放入冰箱的食物图像进行采集。利用数据库技术，收集各类食物保鲜期信息，存储常用食物的基本信息，通过Wi-Fi模块反馈初次识别日期时间，并对不同食物放入起始点开始计时，在使用者拿出食物时，进行二次识别，比较食物存储时长，判断过期与否;利用TTS语音模块及时反馈给使用者该食物的保鲜状况等信息，从而实现冰箱对食品的存储管理，避免食物的浪费和过期现象。
二、YOLO2模型
YOLO模型是一个先进的实时目标检测系统，YOLO2模型在YOLO基础上加以改进。YOLO2模型利用大型分类数据集ImageNet扩大目标检测的数据种类，用高分辨率图像训练分类网络，模型自动选择合适的先验框长、宽，将预测的偏移量限制在一个网格范围内。多尺度输入图像，采用联合训练机制，混合来自检测和分类数据集的图像进行训练。检测网络可分为三个阶段：在ImageNet数据集上Finetune分类模型训练;调整网络输入，继续分类训练;修改分类网络为检测网络，继续模型训练。
本项目食物模型的训练流程大致为：将不同种类食物图像采集、训练并制作初始样本模型，需要尽可能多地输入图像，获得多尺度特征图，以提高精准度;对图像进行分割、卷积运算、归一化等操作来得到不同食物模型，达到目标检测的目的;最后进行实物检测，检验识别时间，精度是否合理，进行再次修改及调试。
图1 YOLO2模型训练大致流程图
三、硬件设计
（一）KPU-K210
本项目采用kendryte k210芯片为主控芯片，是一个集成了机器视觉和机器听觉的片上系统（SoC），采用双核64位处理器，具有更好的功耗性能、稳定性和可靠性。其开发环境基于MicroPython，通过串口写脚本，下载好一次固件，只用窗口和固件进行交互就能够使用。该开发板开源项目少、体积小、十分简便，可容纳神经网络模型。在本项目中它起着主要中央控制作用，通过它来调控冰箱识别管理系统的运行，对使用者放入、拿出食物的过程进行及时反馈，实现对食物图像的检测判断作用。
（二）TTS语音模块
该模块将储存的文件转换成自然语音输出，常与声音识别程序一起使用。中文TTS系统包括语音处理和语音合成两部分，利用中文韵律等相关知识对中文语句进行合理转换，语音合成通过查询中文语音库得到语音。该模块在本项目中起着对食物过期与否等信息的输出作用。
本项目需要实现在冰箱中检测食物种类，由于冰箱内外温差较大会影响拍摄精度，则需在镜头前增加涂层防雾膜，在增加采光的同时减少雾气对于图像的干扰，增加图像的清晰度和可见距离，延长摄像头使用寿命。本项目需要实现对事物实时检测，Wi-Fi模块内置TCP/IP协议栈和IEEE802.11协议栈，能够实现用户串口到无线网络之间的转换。因此，使用内置Wi-Fi模块联网获取更新时间。本项目使用SD卡存储食物保鲜信息并记录时间，SD卡以命令形式来控制读写操作，拥有高记忆容量、快速数据传输率、满足基础的数据存储要求且成本低、极大的移动灵活性以及很好的安全性，对于本项目简单的食物信息容量要求完全足够。
四、总体流程
流程大致分为五个过程：
（1）不同食物模型的训练;
（2）食物放入冰箱，进行检测;
（3）检测成功，存储该食物信息并记录初始时间点;
（4）使用者从冰箱中取出已检测的食物，反馈二次时间点，得到食物新鲜状态信息;
（5）通过语音模块输出。
五、项目特色
本项目程序可以在较短的时间内部署到用户的产品中，给产品带来人工智能，所涉及的冰箱食物不易分辨，而yolo2模型能够直接同时输出定位和分类结果，将目标检测作为回归任务解决。
（1）本项目切合现实需要，为冰箱的功能进一步优化。
（2）本项目着眼于人们日常健康也减少了人们日常生活中因繁忙忘记食物存放时间造成的生活垃圾。
（3）本项目利用智能识别、图像处理等技术，贴近当前社会电子信息产品的发展趋势。
基金项目：西北民族大学中央高校基本科研业务费资助本科生科研创新项目（项目编号：XBMU-BYL20202）