随着网络技术和信息技术的发展,电子商务领域呈现出飞速发展趋势,这促进了消费者在线购物的蓬勃发展,给电商带来了前所未有的发展机遇和挑战。电子商务给消费者提供了更多的在线商品选择机会,同时也为消费者带来了巨大的认知负担。为此,许多电子商务网站给消费者提供关键字的检索功能,以此来减少消费者在商品海洋中决策的盲目性。在线购物过程中商品图片对消费者购买行为有着重要的影响,这是因为图像信息具有形象、直观、易懂和信息量大等特点,图片是人类最重要和最有效的信息获取和交流方式。传统的基于内容的图像检索是对图像视觉底层特征的计算和比较,即“视觉相似”。实际上,消费者对商品图片的理解不仅建立在“视觉相似”上,同时也要求商品图片的“语义相似”,仅仅使用图像处理算法提取底层视觉特征不能充分描述人对商品图片的语义理解。人对图像的理解结合了日常生活中积累的经验知识和个人偏好,并且人是以语义视角下的思维认知模式进行图像理解的,这容易造成人理解的图像语义与图像的底层视觉特征之间存在“语义鸿沟”。为了克服商品图像检索中的“语义鸿沟”问题,本文利用眼动跟踪技术记录人浏览图像时的眼动行为,探讨眼动行为、选择行为和视觉注意计算模型之间的内在联系,并以此作为获取人理解图像语义信息的基础,进一步深入研究眼动行为的语义表达和图像检索问题。其主要研究内容及成果如下:1、研究眼动行为、选择行为和视觉注意计算模型三者之间的内在联系。重点探讨眼动行为和选择行为是否分别受到Bottom-up和Up-down两种因素的影响;及与视觉注意计算模型相比,眼动信息是否更能体现个体的选择行为等问题。因此,设计和完成了相关眼动实验和点击实验。实验结果表明,眼动行为和选择行为同时受到Bottom-up和Up-down两种因素的影响;且与视觉注意计算模型相比,眼动行为与选择行为具有更强的正相关性,可以准确地承载个体选择行为所包含的语义信息。2、根据人类视觉系统的感知特点,提出一种基于眼动行为的语义表达方法。该方法根据视线映射到界面上注视点的注意程度,利用模糊核聚类算法计算注视点属于不同界面对象的程度,将注视点的注意程度和隶属度相结合构建两种眼动行为计算模型KFCM-A和KFCM-U。因此,设计相关眼动实验来验证眼动行为计算模型的准确性。实验结果表明,两种眼动行为计算模型能够较好地描述被试者个体的注意分配策略,有效地避免了图像分割算法难以准确地划分视觉对象区域,无法表达面向视觉注意分配的个体选择语义的情况。3、针对无监督的图像检索方法难以表达用户的个性化需求,提出一种基于眼动行为语义的图像重排序方法。该方法首先将眼动作为一种隐式评价信息,用来描述个体意图需求的高层语义,然后提取商品图片的底层视觉特征,用于描述商品对象的特征属性,最后使用排序支持向量机算法搭建商品特征属性与高层语义之间的“桥梁”。因此,设计相关眼动实验来验证基于眼动行为语义的图像重排序方法的有效性。实验结果表明,该方法利用个体浏览少数商品图片的眼动信息,对所有的商品图片进行重排序,能够有效地将消费者所需商品排在检索结果的前列。4、根据人类真实的视觉搜索过程,提出一种融合眼动行为语义的图像分类方法。该方法重点通过分析人眼的真实注视点,用来赋予图像上不同区域的视觉注意权重,并且逐一提取不同区域的图像底层视觉特征,以此提出构建眼动赋权后的特征向量的两种方法,最终对不同图像分类方法的准确性进行比较。因此,设计相关眼动实验来验证融合眼动行为语义的图像分类方法的准确性。实验结果表明,该方法可以作为一种克服“语义鸿沟”的新颖解决方案,能够较好地提高检索结果的准确性。