基于Map-Join-Reduce预处理的外观专利图像检索方法

来源 :广东工业大学 | 被引量 : 0次 | 上传用户:chasel
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
外观专利图片包含着丰富的视觉信息,但是由于数量巨大,检索范围很大,若只靠人工识别,工作量非常大而且效率很低。然而,图像检索是数据密集型的计算过程,而在检索过程中将消耗大量CPU的资源,所以,系统引入了Hadoop框架的这一种分布式计算模型,经过实践,的确比原有的B/S单节点架构的图像检索系统提高了检索效率当中的把图像检索技术应用于MapReduce并行计算框架也解决了数据量快速增长导致增加系统负载而降低系统的实时性和并发性能差、不能处理大规模的数据等这些问题。MapReduce在处理多重数据集上,不能实现一次聚合所有数据集,每个MapReduce的中间结果都要作检查和shuffle操作来避免产生错误,系统实时性遭遇到瓶颈。Map-Join-Reduce这一扩展式的编程模型预处理方法可一次性地运用在多重数据集中,简化了数据分析任务,加速检索速度。Map-Join-Reduce是对MapReduce的一个扩展式编程模型,适用于多个数据集的混合运算处理,而且Map-Join-Reduce和MapReduce它们可以随意进行输入输出链式连接处理。该系统把主要的图像特征数据和著录信息数据使用Map-Join-Reduce作混合分布式处理。由于这两个数据集有一定的关联性,使用Map-Join-Reduce作混合分布式预处理,能够简化数据量,压缩搜索量,从而提高检索的效率。Map-Join-Reduce首先把两个数据表中拥有某一个著录信息的记录条目使用Map任务把它们都找出来,然后再以表中的专利号作为桥梁,使用Join任务把两个表合并最后Reduce输出,并给后面链式连接的MapReduce程序作检索操作。实验结果表明,该方法能够像原有MapReduce系统那样,均衡系统负载,提高资源利用率,有效降低了在大数据集上进行图像检索的时间,且相对于基于MapReduce的检索方法,能够进一步提高检索效率
其他文献
随着汽车数量的快速增长,城市交通压力的不断增大,智能交通在诸多提高交通运输效率的方法中逐渐显现出优势。智能交通系统其实就是通过提取道路交通信息来合理的调控疏导交通流
随着三网融合被纳入“十二五规划”,广播电视总局当前最重要的任务是加快传统有线电视网络的双向改造,加快下一代数字广播电视网的建设,从而在三网融合的竞争中占据领先地位。EP
当今成熟的互联网络建设使各类用户对图像信息的需求不断增大,因此图像传输技术日益成为图像处理领域的一个热点。对于信息量较大的大幅图像,例如全视觉图像,如何提高其传输效率
在LTE系统中,小区间干扰协调已成为广泛关注的技术热点。增强小区边缘用户的性能、改善系统吞吐量及提高频谱利用率是LTE小区间干扰协调的主要目标。本文首先介绍了LTE上行链
随着光网络的高速发展,以及自动交换光网络(Automatic Switched Optical Network,ASON)的出现,光网络的理论与应用研究越来越重要。控制平面的引入,网络的扩展性得到了更高的提升
近年来,随着媒体通信、宽带数据业务需求的增加,如何在移动环境下能获得高速率、高质量的通信成为研究热点之一。本文主要结合移动通信中的两大研究热点一多输入多输出(multi
频谱资源是珍贵的、数量有限的无线电资源之一,由国家相关部门统一分配、管理、授权使用。授权使用静态频谱管理方式,且容量固定又有限,频谱的利用率极低。认知无线电是采用动态
安全隐患和信息泄露频发使人们对身份认证平台提出了更高的关注和需求。电子信息技术的飞跃式发展为解决身份认证的多元化、高安全性提供了新的技术途径和手段,生物识别技术已
2017年5月28日上午,韩国东西机工株式会社发动机配件项目在江苏省建湖县开工.rn韩国东西机工株式会社是一家专业从事柴油、汽油发动机缸盖、缸体及其他汽车配件的生产厂家,主
期刊
逆变式焊接电源具有体积小、重量轻、节能省材、效率高、电气性能好、易于实现智能化控制等诸多优点,成为焊接电源发展的必然趋势。本文通过对目前国内外点焊逆变式电源发展现状及所存在的问题进行分析和总结,提出了软开关点焊逆变电源主电路拓扑结构和数字化、智能化的控制方法,为点焊逆变电源向着高效率、智能化的方向发展提供了理论基础。当前实际生产应用中点焊逆变电源的主电路多采用硬开关方式,功率开关器件开关应力大,损