基于近数据处理DBMS中的并行化模型研究

来源 :华侨大学 | 被引量 : 0次 | 上传用户:SYNJONES123
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
信息时代下数据量激增,越来越多应用领域要处理大规模数据集。大量的数据从存储设备中传送到主机进行处理,不仅增加了主机中央处理器的负担,还产生了很大的传输时延。近数据处理提出将一部分基于主机的数据处理下移至存储设备中,以提高应用的整体执行效率。数据库作为近数据处理研究最优的载体之一,近年来得到广泛关注,目前已经实现用近数据处理模型来优化数据库系统。但是,已有的研究结果均为串行化近数据处理模型,主机和存储设备在数据处理过程中利用率不高,数据库系统性能还存在提升空间。本文通过设计并行任务调度器,实现了并行化近数据处理模型优化数据库系统,并对影响并行化模型优化数据库系统的相关因素进行分析。从性能、可靠性等方面优化串行化近数据处理模型。本文具体研究内容如下:(1)针对串行化近数据处理模型中主机和SSD的低利用率问题,提出了基于并行化近数据处理模型的数据库系统,对该系统中查询处理过程进行分析后,提出在单语句和多语句查询下系统的代价模型并得以验证。通过对数据库系统查询编译过程的优化以及添加设计基于伸缩迭代器的并行任务调度器,数据库系统在运行过程中能够动态调整查询算子的并行度,减少了查询过程中对中间结果的冗余处理,实现了并行化近数据处理模型。理论分析和实验结果表明,并行化近数据处理模型相较于串行化近数据处理模型,在大规模数据集中,进行复杂查询时,该模型可以更有效的提高数据库系统的查询速度,增加了主机和固态硬盘这两个部件在查询处理过程中的利用率,显著的提高了数据库系统的查询效率。(2)近数据处理模型下,数据库系统性能的优化程度受多方面因素影响,主要分为软件层面和硬件层面。由于软件因素在(1)实验中已经得出相关结论,所以对影响串行化近数据处理模型的因素进行分析后,针对硬件影响因素(I/O资源、CPU资源和SSD内部资源)影响并行化模型优化数据库系统的效果展开深入研究和实验。实验结果表明,并行化近数据处理模型对数据库系统的优化效果会受到I/O资源、CPU资源和SSD内部资源的影响。
其他文献
随着互联网承载的信息量爆炸式增长,用户对信息推荐的个性化需求变得越来越大。个性化信息推荐的出现,能够有效地帮助用户获取准确的信息。然而,传统协同过滤推荐方法在挖掘用户及项目信息方面依然存在数据稀疏和过载问题,这些都限制了推荐结果的精准性。利用知识图谱中丰富的语义关系的优势可以为基于人物的个性化信息推荐设计提供更有效的途径,并逐渐成为学者们研究的重点。本文主要研究基于知识图谱的个性化信息推荐,重点研
学位
锂离子电池(lithium battery)凭借体积小、高比能量等优秀的性能表现及可靠的安全性已经成为当前应用最广泛的电能存储单元。与此同时,随着生产工艺的不断发展,对锂电池的品质要求也越来越高。然而在流水线生产过程中,由于工艺缺陷、物体碰撞或挤压造成的电池外观缺陷往往很难避免。当前企业的解决方案多为安排专门的质检员按照缺陷类别进行分拣。该方法不但人力成本高,且分类结果受主观性影响大,不利于根据分
学位
近年来,图像自动标注成了当下机器学习最热门的研究方向之一。图像自动标注技术能够将互联网上海量的图像信息转换为文本信息,方便进行图像检索、图像分类等应用。现在主流的图像自动标注模型大部分都采用深度学习网络构建而成,这些模型基于编码器—解码器框架,在编码器阶段利用卷积神经网络提出图像特征,在解码器阶段利用循环神经网络对图像的特征进行解码并且生成对图像的描述语句。本文将分别从编码器和解码器两个部分对其进
学位
随着技术的进步和社会的发展,高质量的图像为人们的生产生活提供着更多的便利。但图像在采集、传输和显示等过程中易产生失真现象,影响图像质量,因此对图像质量评价算法的研究具有重要意义。目前评价算法按依赖参考信息的程度可以分为全参考,部分参考和无参考图像质量评价,其中无参考图像质量评价算法由于完全不依赖参考信息,在实际场景中应用最为广泛。图像对比度失真是数字图像中一种常见的失真类型,然而目前研究人员针对图
学位
基于数据驱动的频域载荷识别技术在现代工程设计,可靠性试验,振动控制等方面具有广泛的应用范围。但在载荷识别过程中往往存在着不适定问题导致识别精度下降,而神经网络可以很好地缓解不适定问题,但是基于神经网络的载荷识别方法存在模型训练时间长,效率低,精度不高的问题。根据传递函数在频域的连续性,本文提出利用迁移学习,提高目标域的神经网络载荷识别模型的训练效率和识别精度,主要研究内容包括:(1)针对基于神经网
学位
红外图像可以在光线条件不好的情况下更加清晰的捕捉人脸信息,因此在实际应用场景中,红外图像的人脸识别也逐渐成为学界研究的热点之一。大量针对红外图像的识别算法被提出,并且达到了优异的性能。然而在实际应用场景中,人们发现经常会出现跨域识别的情况,即数据库中存储的是红外图像,而在特定条件下采集的人脸图像却是可见光图像,或者库中的数据为可见光图像,但采集的图像是红外图像,这种情景在安防领域经常出现。在此背景
学位
随着云计算和物联网等技术的发展,服务化成为软件的主要形态。越来越多的软件服务被开发和部署在互联网上,同时还有大量的虚拟化服务连接现实世界中各种物理服务资源,这些海量的服务通过特定的方式链接在一起形成服务互联网。在服务互联网环境下针对复杂的用户需求,为了实现服务体系的正常运营,服务组合优化技术成为解决这个问题的方法。目前传统的服务组合方法大多针对单一用户需求,在面对大量的同时出现的个性化需求时都是从
学位
汽车作为21世纪最重要的出行方式,极大地便利了人们的生活,其自动驾驶功能也越来越受到人们的关注。障碍物检测和测距是汽车感知周围信息的重要技术,能够为决策者提供重要依据。传统方法采用分类器检测车辆,激光雷达测距,具有鲁棒性差和价格昂贵的缺点。近年来,随着硬件计算能力的极大增强,基于深度学习的行车视觉测距技术已经逐渐成为研究热点。同时,5G的快速建设促进了边缘计算的发展,可以解决传统云计算传输时延大、
学位
目标跟踪是计算机视觉中一项基础但具有挑战性的任务。给予视频序列初始帧中的目标状态,跟踪器需要预测随后每一帧中的目标状态。目标跟踪以其重要的理论价值和广泛的应用价值,吸引了国内外众多研究员和研究机构的关注。虽然目标跟踪已经被深入研究了很多年,也有许多高性能的目标跟踪算法被提出,但在真实世界的场景实现快速、准确的跟踪依然具有挑战性。目标跟踪的挑战主要来自环境的复杂性和目标自身的因素(如背景混杂、非刚性
学位
由于电气原因导致的火灾给人民群众和国民社会造成了生命威胁和巨大的财产损失。故障发生隐蔽、难以及早发现、导致的损失特别巨大是引发火灾的电气故障的一大特点。借助新一代信息技术,在用电终端采集用电数据,并对用电数据进行分析,进而及时预测或识别电气故障给,及时向用户预警或自动切断电源,可以有效降低电气故障引发事故的风险,减小事故导致的损失。本论文主要介绍用电安全监控系统给的开发实现以及故障电弧识别和用电故
学位