大规模图像内容分析与检索方法研究

来源 :山东大学 | 被引量 : 0次 | 上传用户:gaoliksk
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着近年来信息技术的迅速发展,多媒体数据呈现爆炸式的增长。一方面,数据的总量不断增长,覆盖面越来越广,各行各业均产生相应的数据信息。另一方面,数据的表现形式越来越多样化,例如文本、图像、语音、视频,这些模态之间也呈现出复杂多样的关系。所以,如何有效地对数据进行有效的内容分析,存储和快速检索数据成为了挑战性的课题,受到了越来越多的关注和研究。在数据内容分析方面,深度学习作为一种高效的特征学习方法,不但能够得到更加抽象并且高质量的特征表示,也避免了手动提取特征的费时费力,大大提高了特征提取的效率和质量。所以深度学习自提出以来迅速成为一个研究热点,并广泛应用于机器学习各个领域,图像分类就是其中之一。近年来,很多利用深度学习的图像分类方法被提出,在单标签图像分类任务中也取得了相当不错的效果。但是,现实生活中的图片往往包含丰富的内容,例如不同物体、场景等,并且它们之间的关系复杂多样,单标签分类方法在此时已不能满足人们需求。为了解决这个问题,人们提出许多基于深度学习的多标签图像分类方法,然而这些方法也存在一定的局限性。例如,有的方法直接忽略了图片内容的多样性和复杂性,只是简单粗暴地将整个图片作为输入,然后根据神经网络提取其特征并以此来预测标签;而有的方法认为图片中待识别的物体是独立于其它物体,所以他们首先提取图片中可能包含物体的区域,然后用神经网络提取这些区域的特征,并对每个区域预测相应的标签,最后将标签综合起来就是整个图片的标签。这些方法只是对于待预测的图片进行简单的分析或处理,并没有考虑到隐含在各个标签之间的潜在的语义信息,所以在处理复杂的图像时往往难以达到令人满意的效果。针对这一问题,我们提出了一个有效的深度学习方法,在对多标签图像做分类的问题时,研究标签之间存在的关系--共现依赖关系,并将其很好地运用到图像分类的任务中。具体地,在图像分类的任务中,除了利用经典的神经网络处理图片,得到其初始特征外,我们还对数据集的标签进行处理,从中构建一个标签共现矩阵,然后构造一个新的神经网络处理共现矩阵以捕捉标签之间的共现依赖关系。最后,将这两种信息融合以预测图像的标签。该方法在两个图像数据集上进行了实验,并与当前效果比较好的深度方法进行了对比。良好的实验结果验证了我们方法的有效性。而对于数据的检索和存储来说,需要考虑的是随着数据量的增大和特征维数的增高所带来的庞大计算量的问题。为了解决这个问题,哈希学习方法被提出。哈希方法的主要思想是将原始空间的特征信息映射到低维的海明空间,同时映射后的特征信息能够尽可能保持原始空间中数据的特性,从而在保证检索性能的同时极大地降低了计算的复杂度,提高检索速度和减少了存储消耗。基于这些良好的特性,哈希方法自提出就受到广泛关注和研究,大量的方法被提出,并取得了良好的效果。哈希方法根据检索项和数据集是否在同一个模态中分为单模态哈希方法和多模态哈希方法。相比较于单模态哈希方法只针对单一模态数据之间的检索,多模态哈希方法更能满足当今的需求,例如在网页检索图片,检索视频等等。如今很多多(跨)模态哈希方法被提出并取得了不错的效果,但是仍然存在很多问题需要我们去解决。首先,很多算法在优化过程中没法严格保持离散约束,造成了很大的量化误差;同时,很多方法在学习过程中,哈希码的生成独立于原始数据,这使得算法对噪声不具有很好的鲁棒性,从而在一定程度上也影响了算法的性能。为此,我们提出了一个新的算法--半松弛监督跨模态哈希,该方法在利用相似性矩阵来学习哈希码时,抛弃了以往方法对两个哈希码全部松弛的做法,我们只松弛一个哈希码矩阵。这样,我们能够通过离散优化直接得到哈希码;同时,松弛的那个哈希码与数据的原始特征构成映射关系,从而能够同时学到哈希函数,这也解决了哈希码的生成与原始数据脱离的问题。我们在三个数据集上进行了实验,并对比了最近提出的一些优秀算法,采取了多种评价方式,优秀实验结果证明了我们方法的有效性。
其他文献
目的:回顾性分析肺癌合并类风湿性关节炎的生存预后。方法:采用回顾性研究,制定信息采集表,内容包括一般资料(姓名、性别、年龄、BMI、吸烟史、K氏评分),肺癌相关资料(肺癌确诊年限、肺癌病理类型、TNM分期、治疗经过),合并症(间质性肺病、类风湿性关节炎、高血压、糖尿病、冠心病)和中医证型(气滞血瘀、痰热阻肺、气阴两虚、肺脾气虚)。HIS系统查询,依纳/排标准筛选2015.01.01-2017.12
在当今信息时代的大背景下,人们获取信息的方式越来越多样化,随着网络技术的不断发展,互联网成为了人们获取信息的重要方式之一。网络事件传播具有快捷、互动和开放性,在事件
随着移动互联网以及物联网技术的迅速发展,一种基于发布/订阅模型的轻量级、可拓展、适用于弱网络环境下的消息遥测传输(MQTT)协议越来越受到人们的重视。然而,随之而来的终
物联网技术近年来迅速发展,加上人们对养生保健、身体锻炼等越来越关注,各种智能可穿戴设备日益普及。可穿戴设备集成了各种传感器,运用基于传感器的行为识别方方法,结合无线
菜单式的交互界面一直是众多人机交互设备的主要交互载体,过去这种交互方式主要以二维的平面式交互为主,但随着近年来虚拟现实VR、增强现实AR等三维成像技术的发展与普及,人机交互方式也在渐渐的由二维的平面点击式交互方式向三维立体的空间指向式交互转变。但由于技术的更新速度大于现阶段对于三维空间式的交互的理论研究,所以造成一些基于VR沉浸式系统在用户体验方面的缺陷,比如在三维的空间交互中,不合理的菜单布局,
移动智能终端和导航定位技术的开发应用使得基于位置服务成为一项重要的业务.一方面,基于位置服务给世界搭建了一个多元化的服务平台,例如,支持用户与社交网络好友共享位置信
改革开放40多年来,我国医疗卫生事业及各级医院都得到了长足发展,各级医院在不断加强自身文化建设,并取得一定成绩。但是我们也应看到医院文化建设存在着医院管理者对医院文
随着计算机视觉领域的发展,场景深度信息的获取作为计算机视觉领域的三维重构中的重要课题之一,其意义显得尤为重要。由于主动式获取场景深度信息,如使用TOF相机、Kinect相机
后髁劈裂骨折的腘窝手术入路及要点,髁间棘骨折微创治疗新法,单纯压缩骨折关节镜下手术要点,陈旧性平台骨折及翻修术的要点,解剖特点及意义。
会议
智能优化算法是对自然界智慧的一种模仿,该算法在智能性和健壮性方面表现良好,并且具有较好的并行性,全局搜索能力较强,自适应能力良好,智能优化算法因其以上优点,引起广泛关