论文部分内容阅读
近几年,随着机器视觉、大数据、互联网以及人机交互技术的发展,智能家居领域开始受到广泛关注,其中以智能冰箱的发展最为显著。智能冰箱期望实现食材的保鲜周期、种类、数量识别以及个性化食谱推荐等智能化食材管理功能。针对这一实际问题,机器视觉研究中的目标检测、目标分类、目标识别与计数等方法提供了相应的技术路线。然而,与一般的机器视觉任务不同,这一特定领域的研究需要专门的图像数据库。因此,本文构建一个新的、层次化结构的果蔬原材料图像数据库,命名为VegFru数据库。该数据库的类别结构符合人们日常的饮食和烹饪习惯,基本囊括了所有常见的果蔬类别。目前,VegFru数据库包含15大类,200小类蔬菜,10大类,92小类水果。每类包含200张以上自然图片,整个数据库包含91,117张蔬菜图片,69,817张水果图片,总共160,000张以上图片。针对提出的VegFru数据库,首先进行基本的混合粒度图像分类研究。为了与其他标准数据库对比,本文分别使用传统特征模型和卷积神经网络模型进行分类研究。传统分类模型使用BOW和SPM相结合的特征提取框架,首先提取多尺度SIFT和CM作为底层特征,分别进行LSA编码和FV编码,然后在空间金字塔子区域内进行最大池化得到图像的直方图表示,最后使用线性分类器分别对蔬菜和水果进行分类；卷积神经网络模型则分别给出VegFru数据库在AlexNet、 CaffeNet以及GoogLeNet三个网络模型中的分类结果。在基本分类模型的基础上,本文提出一个基于自上而下注意图分割的混合粒度图像分类模型。首先,在卷积神经网络模型中引入注意信息,检测和分割出图像的目标区域；然后利用分割图像学习新的网络模型得到分割网络,迫使网络关注图像的判别性目标区域,从而得到较优的初始化权值；使用原始图像对分割网络进行微调,最后得到的分部训练网络不仅能够充分挖掘图像的目标区域信息,还能补充分割网络遗漏的互补信息,进一步提高分类性能。综上所述,本文在智能家居的应用背景下,构建了一个特定领域的果蔬原材料混合粒度图像数据库,给出该数据库在传统特征分类模型与卷积神经网络模型中的基本分类结果,并提出一个新的利用自上而下注意图分割的分类模型,进一步提高分类正确率。为基于VegFru数据库的机器视觉技术以及智能冰箱研究提供数据来源和技术路线,促进智能家居、机器视觉与智能家居应用相结合的研究和发展。