基于闪存的数据库存储引擎技术研究

来源 :浙江大学 | 被引量 : 0次 | 上传用户:c_zhang08
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
关系数据库是当前世界上应用最广泛的数据管理软件系统。经过几十年的发展,关系数据库已经成为计算机技术领域里从理论成功向应用转化并产生巨大价值的方向之一。在方便地提供给用户操作海量数据能力的同时,关系数据库系统支持事务语义,将数据一致性、持久性的需求内部封装,从而极大地降低了数据管理的复杂度。纵观数据库的发展历史,其架构中的永久性数据存储介质一直采用传统的磁性硬盘。近年来,磁盘的发展已经到达了瓶颈,而在各种计算机系统中闪存取代磁盘的进程越来越快。闪存是一种具有和磁性硬盘完全不同的读写性质的新型存储介质,首先由于闪存是电学设备,不需要机械寻道来进行定位,因此可以提供相对磁盘极高的随机访问性能:其次由于闪存芯片在改写前必须对相对较大的区域进行擦除,闪存的写操作与读操作相比很慢,具有读写不对称性。直接将传统的数据库系统架设在闪存上无法充分发挥出闪存的最优性能,其原因在于,数据库存储引擎与外存相关的数据结构和算法都是以磁盘的性能特征为出发点的,譬如页面被排除出内存时无条件回写、在读取大量数据时优先考虑磁针的有序移动等。这些结构和算法不再适用于闪存,很容易成为数据库系统的瓶颈。因此,基于闪存的数据库存储研究是势在必行的。本文在此背景下,以闪存的具体性能特征和数据库的访问逻辑为基础,较为完整地研究了基于闪存的数据库存储引擎技术,取得了一定的研究成果。具体说来包括:(1)本文提出了一种完整的闪存数据库存储引擎框架,称为CRL(Compressed,Redo-based version control, Later-grouped materialize),针对闪存的物理特性进行了一系列专门的存储级和事务级设计,包括支持部分解压的压缩算法、基于重做日志的版本控制协议和延时成组物化等,极大地提高了数据库在在线事务处理型应用中的性能。(2)本文提出了一种面向在线事务型应用的索引树结构,称为UM-B+树(Update Migration B+ Tree),通过将更新记录在索引层间进行迁移,从而降低索引的随机写次数,提高索引的IO性能。同时本文首次将UM-B+树扩展到事务性引擎中,讨论了在高并发环境下的访问控制和恢复机制,增加了UM-B+树的可用性。(3)本文提出了一种面向在线分析型应用的海量数据并行扫描的调度框架S~3 (Semi-Share Scan)。S~3采用了一种全新的半共享扫描模式,通过成组共享读来降低带宽消耗,同时通过补偿读对速度较快的扫描进行加速,更好地利用了I/O带宽和CPU资源。(4)本文提出了一种复合架构模型HYBRID,在HYBRID模型中,数据库同时包括闪存硬盘和磁性硬盘两种设备,数据根据访问特征被存储到不同的设备中。模型使用地址映射表来转换对闪存的访问,并使用滑动窗口技术,通过最近一段时间内的访问的统计信息来自适应地动态调整页面的分布,使数据库获得更高的性能。
其他文献
新近研究表明,工作记忆和领域知识在个体认知行为上起了积极的作用,对二者关系的研究有三种观点:一是强调工作记忆或领域知识在认知行为中的单独作用;二是综合考察二者在个体认知
随着图像处理技术的快速发展,数字图像被广泛地应用于互联网等场合,与此同时,视觉上难以觉察的篡改图像也日益泛滥。数字图像被动取证作为一种不依赖任何预签名提取或预嵌入
加强党的建设是中国共产党成立98年以来仍然保持初心使命和高效活力的重要法宝。高职院校因其办学的特殊性,学校规模和办学理念与普遍本科院校存在一定差距,同时又具有高等院
<正>2017年10月,中国共产党第十九次全国代表大会胜利召开,明确提出了要加快建设创新型国家,倡导创新文化,强化知识产权创造、保护、运用。2017年11月20日,中共中央总书记、
异基因造血干细胞移植(allogeneic hematopoietic stem cell transplantation,allo-HSCT)是现如今治疗多种血液系统恶性疾病的重要手段,急性移植物抗宿主病(acute graft versus
生长激素、胰岛素样生长因子与肾脏疾病马骏先,马济民上海第二医科大学附属新华医院内科(200092)生长激素(growthhormon,GH)、胰岛素样生长因子(insulin-likefactor,IGF)IGF属胰岛素多肽激素家族,于1950年末发... Growth Hormone, Insul
在教学"1亿有多大"时,通过探究活动,让学生经历猜想、实验、推理和对照的过程,领悟、体会"由小数据推算出大数据"的数学方法,从而发展学生的数感,使学生了解探究数学问题的一
超复数把彩色图像像素在色彩空间上的三色分量作为一个矢量整体进行描述,与传统方法相比,超复数更好地描述了不同色彩分量之间的特定联系,为彩色图像处理开辟了一个新天地。
为了研究直接蒸发冷却通风降温机组在干燥地区某地铁站中的应用效果,制作了一台直接蒸发冷却通风降温机组试验样机。采用理论计算与测试相结合的方法,对试验样机的风量、直接
针对Landsat 8陆地成像仪影像,该文提出了一种缨帽变换系数的推算方法。利用准同步的Landsat ETM+影像缨帽变换结果为目标值,采用普鲁克算法对不同地理分布下的陆地成像仪影