【摘 要】
：
随着物联网的发展,现有的存储系统无法满足海量小数据块的存储需求,传统元数据架构也无法应对剧增的元数据规模,因此开发一款可扩展且高效的时空大数据架构用来存储、查询、分析和可视化是十分重要的。由于固态硬盘（SSD）和非易失性快速存储器（NVMe）接口等新兴技术的出现,基于非易失性存储器高速（NVMe）的固态器件在延迟和峰值带宽方面提供了前所未有的性能。但是,内核的复杂I/O堆栈阻碍了NVMe固态硬盘的
论文部分内容阅读
随着物联网的发展,现有的存储系统无法满足海量小数据块的存储需求,传统元数据架构也无法应对剧增的元数据规模,因此开发一款可扩展且高效的时空大数据架构用来存储、查询、分析和可视化是十分重要的。由于固态硬盘（SSD）和非易失性快速存储器（NVMe）接口等新兴技术的出现,基于非易失性存储器高速（NVMe）的固态器件在延迟和峰值带宽方面提供了前所未有的性能。但是,内核的复杂I/O堆栈阻碍了NVMe固态硬盘的全部性能的利用。由于内核的通用性和公平性,很难在内核中对特定的应用程序进行优化设计。针对上述问题,本文基于Intel发布的开源存储软件开发工具SPDK设计了一个用户态NVMe存储软件栈,并开发了一种NVMe Store单机存储引擎软件以充分发挥NVMe低延迟、高I/O传输速率的特点。SPDK NVMe vBdev块层可以在单个CPU上提供150万的IOPS。在随机读和随机写工作负载下,时延比Linux Kernel Libaio时延低17%和21%,比Linux Kernel io＿uring时延低3%和13%。使用Redis分布式数据库应对高并发的读写,使用哈希线性扩展链对读写元数据进行管理,运用缓存数据库的特性为数据添加缓冲层。在写入重复比大于0.7的情况下能够提升读写速率,同时降低NVMe的读写I/O负载,为未来分布式架构的开发奠定基础。此外,本文使用三种删除策略对数据进行定时清除以保证内存的充足。研究发现,当高频访问较为集中时,按读取频次删除策略表现良好,当高频访问不集中时,LRU算法删除策略更为优秀。测试结果表明,NVMe Store存储软件在应对时空大数据的读写中表现出了良好的性能。
其他文献
近年来,长期运行的容器化工作负载（例如在线云服务、机器学习）在大规模共享生产集群中越发普遍。由于此类长期运行的容器负载请求量通常会随时间而波动,因此共置于同一服务器上的容器之间极易引发资源争用问题,进而在集群中形成资源热点,严重影响负载的运行性能。基于此,容器调度对于提高集群资源利用率和工作负载性能至关重要。然而,现有集群资源调度策略大都考虑如何优化集群负载均衡的短期收益、或者长期运行容器的初始放
迁移学习是一类用于源领域和目标领域分布不同的情形下的机器学习方法,目前学者们已有广泛深入的研究。本文设定数据带有环境信息,提出了一种新的基于分布相似度的模型,该模型致力于充分利用环境信息,在目标领域中进行预测时充分聚焦源领域中最相似环境下的数据,从而实现迁移学习的目的。我们采用了样本权重自适应的迁移学习框架,提出了一种新的样本权重计算方法。为比较本文方法与全局方法的预测效果,本文开展了涵盖多种数据
为了深化党的十九届五中全会提出的构建国内大循环的新发展格局,我国政府将合理引导消费、投资及储蓄作为实现这一目标的重要支撑之一。而商业银行理财产品因丰富多样的产品形式以及收益与风险的相平衡性,成为广大人民群众主要的投资渠道之一。但这繁荣市场的背后却是理财产品爆雷事件的频发,不仅严重侵害了广大投资者的财产安全,也阻碍了我国金融市场的稳健发展,更暴露出我国政府在理财产品监管中存在着诸多问题。因此在这一背
近年来,随着人工智能的深入发展以及无人驾驶、机器人等技术的广泛应用,软件系统的可信性越来越成为一个值得关注问题。为了严格论证系统的可信属性,Deng等人提出可信推导树模型（简称可信树）。为充分发挥该模型的优点,需要解决两个重要问题:（1）如何从工程实践中的技术文档自动抽取关键信息以构建可信树;（2）如何对可信树属性之间的关系进行自动化推理。可信推导树的推理验证需要用到Prolog语言。现有的Pro
近年来,我国的生态环境得到了很大改善,但是局部地区的水体富营养化现象仍然非常严重。氮、磷元素的过量输入是引起富营养化的主要原因,且磷元素的影响更为明显。因此,为降低水中磷污染物的浓度,寻求一种经济、高效的除磷技术显得尤为重要。在诸多除磷技术中,吸附法因具有除磷效果好、简单易操作等优势而备受关注,吸附材料的选择对吸附除磷的效果有重要影响。在众多吸附材料中,陶粒因具有原料易获取、功能易修饰且可再生利用
随着城市化的深入发展,亲子旅游逐渐成为现代都市群体非常重视的一种生活方式,在疫情之前各种以亲子为卖点的长途游和境外游产品市场反响火爆,亲子消费市场蓬勃发展。然而疫情的出现压缩了广大游客的出行空间和时间,城市内的亲子休闲产品应运而生,其中尤以各类亲子乐园的发展最为迅猛,为疫情期间低迷的旅游市场注入了一针强心剂。然而亲子乐园有别于传统的大型主题公园,其在游乐设备、营销模式、软硬件服务等各方面存在较大差
目前联邦学习面临的一个关键挑战为数据分布异质性挑战,其主要表现为各参与方的数据分布是非独立同分布的（Non-IID）,它使得各参与方在训练本地模型时,产生模型性能偏移问题,显著降低模型收敛性能和实用价值。此外,当联邦学习面临海量设备参与的大规模场景时,昂贵的通信开销会成为主要的训练瓶颈,尤其是对于那些通信带宽受限的设备,这将限制联邦学习在实际场景中部署应用。因此,如何提高联邦学习算法在Non-II
全同态加密是当下最先进的隐私保护技术之一,它允许直接在密文上进行运算,相当于原始数据上的相同操作,并且在理论上可以实现无限次同态操作。全同态加密技术的运用场景广泛,它在云计算、安全多方计算、门限签名、电子投票等领域都起着重要的作用。特别是在云计算场景下,资源受限的客户端设备可以运用全同态加密将计算密集型任务安全地外包给半诚实的服务器进行计算,在此过程中不会向服务器透露原始数据集的任何信息,这对云计
近年来,随着我国经济社会地不断发展,人民生活水平提升迅速,其健康意识的程度也在加强深化。同时随着老龄化进程的加速、家庭结构的变化,社会公众对于医疗机构护理质量提出新的要求与期待。但现实却呈现多方困境与掣肘,护理需求缺口不断增大与医护资源紧缺之间的矛盾,催生了护工队伍的形成;但围绕护工管理甚嚣尘上的负面反馈,令社会大众加大了对护工行业的关注与讨论。作为补充性护理人员,护工源于市场需求,能及时弥补住院
随着钢铁货运需求的不断增加,钢厂道路拥堵、货车排队时长不确定等问题日益凸显,极大地影响了钢铁货运效率,亟需设计有效的钢厂货车滞留时长预测方法。据钢铁物流数据分析,货车在钢厂的滞留时间主要包括货车厂外排队时长与其在仓库滞留的时长两部分。然而,钢厂不同仓库装卸货作业能力的差异性、货车排队时长的长尾分布、货车在钢厂滞留的多阶段等特性,使得钢厂货车滞留时长预测面临严峻挑战。鉴于此,本文基于真实的钢铁物流数