基于跨模态技术的商品图像检索方法研究

来源 :哈尔滨商业大学 | 被引量 : 0次 | 上传用户:SRoo09
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着多媒体数据的不断增长,对信息描述的复杂程度也在增加。同一语义的信息,经常通过多个角度、多种数据类型来进行描述。从不同模态中如何提取特征信息以及特征信息的关联建模问题,成为了研究者研究的重点之一。同时,在电子商务领域,人们对于商品检索的要求进一步提高。用户对于同一张商品图像的描述和理解具有鲜明的个人特征,不同用户对同一种语义描述的内容也会有不同的理解。为用户提供跨模态的商品图像检索服务,能够更好的满足用户的需求。为实现跨模态检索,需要对不同模态数据进行特征提取。针对本研究涉及图像和文本两个模态,分别采用常用的特征提取方法提取了图像和文本两个模态特征,建立了图像-文本特征空间。基于子空间学习的跨模态检索方法在构建目标函数的时候往往关注具有相同语义的不同模态数据在子空间中的投影距离,使其尽可能地小。但这些方法在数据训练过程中常常忽略了对不同语义不同模态数据的训练,检索准确率不高。围绕该问题,本文提出了改进子空间学习的跨模态检索方法,该方法首先引入训练不同语义不同模态数据在子空间中投影距离的部分构造新的目标函数,然后按照不同模态数据在公共子空间中的类内距离尽可能地减少,同时类间距离尽可能地减小的原则实现目标函数优化。最后通过对比实验对文本特征和图像特征的表现进行了评估,同时验证了本文提出的改进子空间学习的跨模态检索方法的有效性。本文通过采用对比实验的方法,分别对比了不同图像特征和文本特征在本文提出的方法上的实验效果。同时在公开数据集Wikipedia和自建商品数据集上,对本文提出的方法和跨模态相关传播方法、基于最近邻的异质相似性度量方法以及联合特征选择的子空间学习方法做了对比实验。实验结果表明,图像使用梯度方向直方图特征,同时文本使用文档频率-逆文档频率特征时在本文提出的方法上实验效果较好;当图像使用梯度方向直方图特征,文本使用文档频率-逆文档频率特征时,在相同实验环境下,本文提出的方法的图像检索文本的平均准确率均值分别比上述三种方法高8.65%,9.88%,0.62%;文本检索图像的平均准确率均值分别比上述三种方法高9.33%,9.81%,0.68%。实验结果验证了本文提出的方法的有效性。
其他文献
随着网上购物的蓬勃发展,网络上商品图像的数量每天都以几何式的增长速度增加,单纯的文本搜索商品已经满足不了用户的需求。不同于普遍的图像分类,商品图像有着与其它类型的图像不同的特点和属性,因此提供一种简单、高效且具有针对性的商品图像分类技术用以商品数据库的管理和减少用户检索时间具有重要且深远的研究意义。基于目前的特征描述方法对商品图像描述能力不足情况,本文针对商品图像的特点在视觉词包模型特征上提出了针
学位
随着时代的发展,人体动作识别成为一个热门的研究方向,广泛应用于虚拟现实、医疗健康、体育训练、游戏娱乐和专业动作分析等领域。在本文中,对基于MEMS惯性传感器人体动作识别技术进行研究,与传统的人体动作识别技术不同,克服了捕捉结构笨重、环境要求高、个人隐私泄露和计算量大等缺点,具有成本低、实用性好和体积小等特点。使得人们可以很好的将设备融入到日常生活当中,进行对人体动作分析和预判等多种应用的发展,具有
番茄红烧牛肉由于色泽红润、酸咸适口、牛肉筋道爽口、营养价值高等特点受到广大消费者的认可。传统的番茄红烧牛肉以家庭烹制和小作坊生产为主,工艺流程可重复性较弱,菜肴配方质量参差不齐,外卖配送过程牛肉中心温度的变化缺乏数据支撑。无论是工业化还是小规模生产,嫩化方式、烹饪配方、烹饪工艺以及外卖配送流程都是影响番茄红烧牛肉食用品质的关键因素。本文通过实验研究三个不同部位牛肉嫩化方式、配方优化、烹饪工艺、外卖
作为农业大国的中国,其农产品品类颇多,产量也常年居世界首位,但是由于在储藏和运输过程中果蔬的保鲜技术不当,导致其大量的腐烂浪费,损失严重。铁皮柿子,是东北传统的番茄类型,果肩青绿色,酸甜爽口,营养价值极高,被认为是水果中的贵族,但其采收后的贮藏体系不完善,极易软化衰老。气调贮藏是当下储存果蔬的先进手段,但很少用于柿果的采后贮藏,且柿果适宜的贮藏气体配比也尚未可知。因此开展铁皮柿子气调贮藏的试验和研
本课题主要研究了方便米粥预处理条件、蒸煮糊化特性、干燥方法以及品质改良剂对方便米粥品质的影响,并对方便米粥的生产工艺进行优化,最终制得品质较好、复水后接近新鲜米粥的方便米粥产品。以期为干燥方便米粥的工业化生产奠定基础。为提高方便米粥的质量,研究不同预处理方法对粥米糊化特性的影响,并进行工艺优化,首先通过单因素实验与正交实验确定酶处理的最佳参数组合为:α-淀粉酶添加量0.1%、酶解温度60℃、酶解p
学位
党的十九大报告中指出:“以城市群为主体构建大中小城市和小城镇协调发展的城镇格局。”这为我国现阶段新型城镇化发展指明了方向。国家发展和改革委员会印发的《2020年新型城镇化建设和城乡融合发展重点任务》中指出,要加快实施以促进人的城镇化为核心、提高质量为导向的新型城镇化战略,提高农业转移人口市民化质量,增强中心城市和城市群综合承载、资源优化配置能力,推进以县城为重要载体的新型城镇化建设。结合新型城镇化
食品工业的发展依赖于食品机械与设备的发展,食品机械是指把食品原料加工成食品过程中所用的机械设备和装置。本设备加工的食品原料为荞麦,具有高营养价值与保健作用。螺旋挤压是食品加工技术中最重要的方法之一,荞面面鱼机作为以螺旋挤压为主的设备,将在今后食品工业的发展中具有广阔的市场前景。根据设备的使用要求与挤压系统的主要特征对荞面面鱼机的工作原理、结构、运行方式等进行构思,本设计的机械结构主要包括混合料仓、
脂肪的过多摄入会大大增加肥胖或者与肥胖有关的疾病的发病率,甚至可能引发动脉硬化、直肠癌、前列腺癌等有关病症。因此,食品企业为大大减少脂肪的摄入,开始着手于研发热量低口感与脂肪极为相似的替代品代替食品的脂肪。目前,由市面上已知的低脂或脱脂食品可以看出,这种替代脂肪的手段已取得初步成效。试验以绿豆淀粉为原料,探讨了绿豆氧化淀粉、绿豆交联淀粉的制备工艺。以纯绿豆淀粉为原料,采用次氯酸钠作为氧化剂,以绿豆