数据库硬件加速引擎技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:eidolonfish
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据、云计算等新技术的推动下,数据库性能正朝着高吞吐率和低延迟的方向发展。在生物医学工程、信号处理、人工智能等领域,存在着大量的诸如基因组学、蛋白组学的生物医学大数据以及实时信号和视频大数据,这对数据库的查询性能提出了更高的要求。因此,对数据库进行加速、提升数据库的性能,对其在大数据背景下的广泛应用具有十分重要的意义。本文从硬件加速的角度出发,利用可重构硬件作为加速器,以关系型数据库为研究对象,研究数据库的加速引擎技术。首先,针对单加速节点构架处理能力有限的问题,本文提出了一种基于Infiniband的数据库分布式加速构架。此加速构架由产生加速任务的主机节点和执行加速任务的加速节点以及Infiniband网络组成,可以实现多个加速节点对任务的协同并行加速。基于此加速构架,本文完成了一种面向数据库的分布式加速系统。该加速系统主要包含三个组成部分:加速系统协议、软件加速子系统和硬件加速子系统。加速系统协议定义了主机节点通过加速库接口层、加速库抽象层、加速库管理层和加速库驱动层将加速请求卸载至硬件加速器的整个流程;软件加速子系统按照加速协议,主要完成加速功能的注册、加速参数的初始化、加速节点的内存分配以及主机节点与加速节点之间的数据传输;硬件加速子系统承担加速任务的执行,它通过加速功能执行单元-加速IP完成不同的加速任务。第二,针对普通数据库存储引擎查询加速能力不足的问题,本文提出支持过滤查询、投影查询的动态卸载和硬件并行加速的数据库存储引擎。该存储引擎将过滤和投影查询卸载到位于存储设备和主机节点之间的硬件加速器上,实现了数据传输和查询加速的融合。此外,该存储引擎通过表管理器、加速节点管理器和加速节点驱动器的分层设计,使得表的内容分布式地存储到各个加速节点管理的存储设备中,通过多个加速节点并发为过滤和投影查询加速。第三,针对常规数据库的排序和连接运算在吞吐率和延迟方面的不足,本文完成了具有高性能且分别能够处理排序和连接查询的两种算法结构。·针对排序,本文提出了一种高性能top-k排序的算法结构。该结构具有支持可变长度序列和连续输入序列的特性,通过参数数据并行度P的设置,可以调节排序结构的吞吐率和延迟。·针对连接,本文提出了一种基于top-k排序的连接算法以及相应的算法结构,该算法支持在连接过程中提前滤除不存在匹配的元组记录,从而提高连接过程的执行效率。该算法结构不仅有着较高的吞吐率,还可以支持任意长度表之间的连接运算。最后,本文构建了实验平台,对相关技术进行了实验验证。实验结果表明,基于Infiniband分布式加速构架的数据库加速系统能够有效的对排序、连接查询进行加速,支持查询加速的存储引擎能够完成过滤、投影查询的卸载并利用硬件加速器进行有效的加速。
其他文献
寄生性线虫能在动物群体中造成相当高的发病率和死亡率,其中,捻转血矛线虫(Haemonchus contortus)是世界范围内具有重大经济意义的小型反刍动物寄生性线虫之一,无论是在发展中国家还是发达国家其流行率均居高不下。该虫感染后引起的捻转血矛线虫病(haemonchosis)能够造成宿主生长发育障碍、生产力低下,严重时亦可导致死亡,极大地威胁了反刍动物的健康,另外,高昂的防治费用也制约了畜牧业
在物联网(Internetof Things,IoT)迅猛发展和5G通信加速布局之际,智慧工业、智慧物流、智慧医疗、城市大脑、消费电子等领域迎来重要发展机遇。为了搭建物理世界与云端服务器之间的连接桥梁,无线传感技术的重要性不言而喻。正因如此,无线传感器的市场需求正在加速增长。特别地,在可穿戴电子和工业监控等领域,无线无源传感器更受青睐。声表面波(SAW)传感器是代表性的无线无源传感技术之一,它具有
病毒性传染病严重威胁着公共卫生及人类与动物的健康。传统的抗病毒策略主要依赖于疫苗,例如灭活和减毒疫苗,但由于完整病毒的使用导致其生产和使用过程中存在较高的生物安全风险。此外,病毒结构蛋白免疫原性差和毒株序列高变异等原因导致某些疫苗的保护效果较差。病毒通过吸附、胞吞、脱壳、复制、装配与出芽过程完成其生命周期,而阻断病毒入侵宿主细胞被认为是最彻底有效的抗病毒策略。自20世纪70年代以来,基于病毒蛋白的
基金会在我国社会治理过程中的作用不断凸显,扮演着调节贫富差距、促进社会和谐发展与良性运转的关键角色。然而基金会的发展也面临着资源空间不充足、资源结构不合理、运作能力不完善的窘境。为此越来越多的基金会通过与政府组织和商业组织建立联系,从而构建自身的竞争优势(如壹基金)。本文以此现象为切入点,探究在转型社会背景下,中国基金会的政治联系与商业联系如何影响组织绩效?进一步地,研究主要探讨了以下三个研究问题
精准营养的目标是实现个性化的营养干预,改善动物的生产效率和福利,而了解个体间的营养代谢异质性及其机制是实现精准营养的前提。蛋氨酸是泌乳奶牛的第一限制性氨基酸,补充过瘤胃蛋氨酸(RPM)可改善奶牛生产性能,但其效果差异较大。造成效果差异的原因,大多研究在群体层面上进行简单分析,而未见从个体层面去关注这种差异并进行成因探究。因此,本研究首先通过剂量效应试验探究RPM对奶牛生产性能和瘤胃发酵的影响,确定
磁共振成像(MRI)是一种应用极广的医学成像方法,它可以对人体组织的结构和功能信息进行可重复的,非侵入式的定量测量,这些测量对于疾病的诊断和治疗都有十分重要的意义。然而MRI采样速度慢,采样噪声干扰导致重建质量偏低,一直是困扰MRI的几个关键问题。其中,作为MRI的特殊应用——胸腹部动态对比增强磁共振成像(DCE-MRI),往往又面临着呼吸运动干扰等问题。因此,本文从加入运动补偿和改进低秩性约束两
经济学分析不能不处理时间因素对经济决策的影响这一重大问题。然而,自经济学诞生以来,在这一问题上的进展就十分缓慢。现代主流经济学以自然时间或逻辑时间来定义“经济时间”,使用高度抽象的、形式化的、无差异度量方法,并据此建构越来越精致的分析模型。然而,经济学的解释和预测能力并未相应提高。现代主流经济学的内容主要是由马歇尔和凯恩斯两位英国剑桥经济学家的经济理论构成的。因此,本文从思想史角度对此问题进行考察
半导体技术是电子信息产业发展的核心。现代电子产品逐步向更高集成度、更高速率、更小型化和智能化的方向发展,驱动其相关的封装集成也向更先进的技术方向迈进。相应的高数据传输速率、高器件密集度和高工作频率而导致的电磁干扰(EMI)问题将成为限制高速封装发展的一个瓶颈。若在封装设计阶段能审慎考虑EMI问题,将有效缓解后续整机EMI的设计压力。发展瓶颈主要有以下三点,第一,传统的数值与全波仿真方法在求解越来越
行人重识别是对同一个行人在不同相机下的图片进行检索和匹配的技术。给定一张待查询的行人图片,行人重识别需要找出图片中的行人在其他相机下所出现的图片。近年来,由于行人重识别在智能视频监控、公安刑侦和安全防范系统等领域的应用需求,学术界和工业界对于行人重识别开展了大量的研究。通过充分利用图片的标注信息,全监督的行人重识别目前已经取得很高的准确率,并且得到了实际应用。然而,全监督的行人重识别需要对庞大的行
随着互联网、物联网、深度学习等技术的发展,制造业正快速朝着数字化、网络化、智能化等方向转型,企业的制造活动范围逐渐从车间环境扩展到网络化的云环境,制造资源需求方及其供应商可以通过云平台进行高效的协作,共同完成多样的制造任务。在云环境下开展制造活动的过程中,所需解决的关键问题之一就是合理调度分布于不同地域规模庞大的制造资源,用以指派复杂多变的制造任务并安排加工处理时段,从而满足供需双方的要求,提升产