融合文件管理功能的高吞吐NVM存储系统

来源 :江苏大学 | 被引量 : 0次 | 上传用户:w1352688
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着物联网时代的到来,计算机所需处理的数据以几何倍数增长,这意味着存储系统对读写吞吐率的要求越来越高。非易失性内存NVM(Non-Volatile Memory),因其具有低延迟与接近内存的读写速度等特性,成为解决计算机系统“存储墙”问题的重要手段。但现有的存储系统软件栈难以有效发挥NVM存储设备高性能的优势,存在I/O(Input/Output)栈过长、锁粒度大、并发程度低等问题,成为影响NVM存储系统性能的重要因素。因此,本文以提高NVM存储系统的读写吞吐率为目标,研究与设计基于NVM的高吞吐存储系统。首先,分析NVM存储系统面临的挑战,从文件系统与设备驱动两方面进行改进,设计融合文件管理功能的高吞吐NVM存储系统的结构,包括融入驱动的高并发文件管理算法模块与高吞吐的NVM存储设备驱动模块,从而发挥NVM存储设备读写速度快的优势,满足Io T(Internet of Things)等应用对海量数据高速并发读写的要求。接着,在分析现有I/O系统软件栈过长影响NVM存储系统I/O性能的基础上,针对Io T等应用对存储系统并发能力要求高和NVM存储设备读写速度快等特点,设计融入驱动的高并发文件管理算法。首先,通过将文件管理功能嵌入到设备驱动,给出了融入驱动的高并发文件管理算法的结构;接着,通过分解I-node节点,构建基于数据块的细粒度锁,并采用奇偶校验的读写正确性保证方式,设计基于奇偶校验的细粒度锁,为提高NVM存储系统中读写操作的并发度提供支撑;其次,改造跳表中的节点,在保证节点之间有序的基础上,在节点内保存多组无序键值对,并将最上层索引转变为缓存,设计基于C-Skiplist的锁管理策略,从而通过提高锁管理的效率,提高NVM存储系统的并发度;最后,在开源的NVM存储设备驱动基础上,实现融入驱动的高并发文件管理算法原型MAGMD,分别使用Filebench、Fio与IOzone作为测试工具进行测试与分析,实验结果表明MAGMD与PMEM上加载的EXT4相比最大能提高19%的I/O吞吐率与22.9%的读写带宽。最后,分析当前NVM存储设备驱动中存在的问题,研究并设计高吞吐的NVM存储设备驱动并给出其结构,包括两阶段的BIO管理策略模块与轻量级的BIO迁移策略模块。设计两阶段的BIO管理策略,对设备驱动程序中的BIO管理流程进行分解,将BIO的接收与执行功能分离,降低请求管理粒度,减少BIO之间的冲突,提高NVM存储设备中BIO管理的并发性;设计一种轻量级的BIO迁移策略,能够将多个接收队列高效地转换为单个执行队列,减少管理时间开销,避免扫描全部请求队列,从而减少对NVM存储设备的访问次数,提高NVM存储系统的读写吞吐率;在开源NVM存储设备驱动的基础上,实现高吞吐的NVM存储设备驱动原型SVTNVM,使用Filebench测试不同线程数量下的读写吞吐率,使用Fio测试顺序与随机读写性能,与当前Linux的NVM存储设备驱动PMEM进行比较,实验结果表明,SVTNVM最高能提升29.3%的读写吞吐率与23.3%的I/O带宽。
其他文献
类别不平衡数据集的分类问题是机器学习领域的一个研究热点,也广泛存在于实际工程领域,如医疗诊断、垃圾邮件识别和网络入侵检测等。传统的分类算法以最小化整体错误率为目标,在处理类别不平衡数据集时会导致少数类样本被错分的决策面偏斜现象。但在许多现实问题中,正确识别出小类别样本往往更为重要。如何在保持大类别样本准确分类的前提下,提高小类别样本的识别率,是不平衡分类的关键问题。此外,类内不平衡以及训练样本不足
学位
随着公众场所下视频监控网络的普及和完善,实现对海量视频数据进行智能化分析的需求也在与日俱增。行人重识别技术作为一项自动化行人身份检索技术,因此受到了工业界和学术界的广泛关注。行人重识别技术的主要目的在于,从多摄像头采集到的行人数据(图像或视频)中快速检索到身份相同的行人,广泛应用于行人历史轨迹分析、行人追踪和运动分析等相关任务中。根据采集数据的类型,可将行人重识别分为基于图像的行人重识别和基于视频
学位
随着科技的进步和计算机技术的高速发展,基于语音的人机交互方式逐渐走入了人们的生活中,改变了人们生活中的方方面面,成为了人机交互领域的研究热点。近年来,随着深度学习的广泛应用,说话人识别、语音合成、自动语音识别等语音交互技术都取得了巨大的成功。但是,语音交互领域仍然存在着一些问题亟待解决,例如在复杂的声学场景下同时存在多个说话人的语音,这会严重影响自动语音识别、说话人识别等语音交互系统的识别准确性。
学位
当今时代,数据中蕴含的信息价值巨大。数据共享可以打破信息壁垒,更进一步发挥数据的价值。跨群组的数据共享可以实现不同群体、不同组织之间的数据交流与交换,实现互利共赢。现有方案主要依赖云存储等第三方存储服务提供的低成本和高效的数据托管,实现海量、跨地域的数据共享。但是,这种跨信任域的数据共享方式也存在着严重的隐私问题亟待解决。本文分析了现有研究的隐私保护技术以及面向群组数据共享的隐私保护方案存在的优势
学位
受益于纳米通信技术的快速发展,基于扩散的分子通信系统(Molecular Communication via Diffusion,MCv D)近年来受到了极大的关注。基于生物启发的MCv D是一种以生物化学分子为载体,根据分子扩散特性以实现多纳米机之间信息共享的通信技术。相比于传统无线通信,MCv D具有能耗低、易实现和生物兼容性高的优势,成为组建纳米通信网络的首要选择。本文所述MCv D系统主要
学位
随着医疗领域信息化的普及,个人医疗数据电子化已经成为当下医疗信息管理领域的发展趋势。一方面,传统医疗机构中心化的存储方式会导致个人医疗数据的使用权无法真正地掌控在用户手中,而且个人医疗数据容易被篡改,用户无法验证它的真实性。另一方面,医疗机构之间难以实现个人医疗数据共享,不利于用户在其它医疗机构就诊。因此,如何使用户掌握自己的医疗数据,并在医疗机构之间安全可信地分享医疗信息成为当前医疗领域的研究热
学位
与《义务教育语文课程标准(2011年版)》相比,《义务教育语文课程标准(2022年版)》的“教材编写建议”有多处修改,而且每一条都有新增内容。这些变化的政策背景和理论依据主要表现在五个方面:教材建设是国家事权,基于课程标准编写教材,教材编写要促进学生学习,语文教材编写要有利于整本书阅读,教材编写要适应互联网时代。本文针对“教材编写建议”的实施,择要提出四条建议:坚持正确政治导向,全面落实课程标准,
期刊
随着物联网技术(Internet of things,Io T)的发展,纳米物联网(Internet of Nano-Things,Io NT)应运而生。在纳米技术中,纳米机器间相互协作能够完成更为复杂的任务,将纳米技术应用到物联网可以使数据在纳米级通信组件中进行交换,但传统通信技术由于其尺寸和能耗等本身的限制很难实现纳米级通信,受自然启发的分子通信(Molecular communication
学位
硝酸盐是植物生长所必需的无机氮素,硝酸盐的吸收作为氮同化过程的源头,在调控植物生长发育和响应逆境中发挥重要作用。一氧化氮(NO)作为氮代谢产物之一,与硝酸根之间的调控作用尚不明确。水曲柳与白桦是东北地区的主要树种,在逆境中尤其是镉污染条件下,对氮素吸收同化的影响尚未研究,因此本文探索NO与镉胁迫对水曲柳和白桦硝酸根吸收同化的影响,主要研究结果如下:基于水曲柳转录组数据,鉴定了37个FmNRT家族成
学位
语文单元整体教学要在“变”与“不变”的辩证统一中求发展,既要坚持课文作为范例的功能定位,也要转换课程设计和实施的视角。任务群向度下的单元整体教学,要站在实践的立场,对课程结构、课程内容、教学方案等进行逐层转化和改造,以大概念、人文主题、基本问题等多引擎驱动大单元学习,辩证处理单元和单篇的关系。单元教学模式并非整齐划一,而是多样的,包括“项目化”“微专题”“分布处理”“多中心”等,各种模式并行不悖、
期刊