【摘 要】
:
区块链存储系统采用分布式基础架构,将全球大量的存储节点构建成一个规模巨大的、全球统一的、共享的存储池向用户提供数据存取服务。在提供存储服务时将用户的数据分散在全球不同的节点中。存储节点通常使用键值(key-value,K-V)存储来管理数据,以固态硬盘作为存储介质。日志结构合并树(Log Structured Merge Tree,LSM-Tree)作为键值存储中最常见的数据结构,通过将随机写入转
论文部分内容阅读
区块链存储系统采用分布式基础架构,将全球大量的存储节点构建成一个规模巨大的、全球统一的、共享的存储池向用户提供数据存取服务。在提供存储服务时将用户的数据分散在全球不同的节点中。存储节点通常使用键值(key-value,K-V)存储来管理数据,以固态硬盘作为存储介质。日志结构合并树(Log Structured Merge Tree,LSM-Tree)作为键值存储中最常见的数据结构,通过将随机写入转换成顺序写入的方式极大地提高写入性能并保持了可接受的读取性能。尽管基于LSM-Tree的区块链存储系统可以提供安全可靠的存储平台,但其并不是为具有多用户的系统所设计的。在区块链存储系统中,每个节点接受来自多个用户的数据,最终会把同一个用户的数据存储在不同的物理位置中(例如物理块或页),从而会导致闪存的物理空间没有得到高效使用,并且会造成LSM-Tree中额外的压缩整理(Compaction)以及在固态硬盘中触发垃圾回收(Garbage Collection)。本文提出一种名为Meta-Chain的面向区块链存储的跨层存储系统优化方法。Meta-Chain采用感知用户的设计思想,通过跨层的设计降低区块链存储中的读、写放大和访问延迟。为了达到优化目标,我们提出了两种优化技术。从系统层和应用层两个层次来进行优化,并对所提出技术的可行性进行验证。首先,Meta-Chain在应用层中重新设计了 LSM-Tree的结构,通过感知用户的设计思想组织SSTable的结构,并通过将数据块(Data Block)和元数据分离存储的方式,有效地减少读、写放大和访问延迟。我们还设计了一种面向区块链存储的数据预取和缓存管理策略,利用感知用户的SSTable结构所营造的空间局部性对访问数据进行缓存,在加快数据访问的速度的同时减少固态硬盘中的I/O操作。其次,Meta-Chain在系统层将同一用户的数据分配到同一物理块。通过这一方法可以减少垃圾回收时由于数据访问模式的不同所造成的额外数据移动。Meta-Chain利用了开放通道固态硬盘(Open-Channel SSD)可以对闪存的物理空间直接进行管理的能力,设计了感知用户的闪存空间分配策略。使用定制的闪存转换层(Flash Translation Layer,FTL),将同一个用户的数据尽可能地写入到相同物理块中,以降低不同访问模式的数据混杂在一起。从而减少垃圾回收等操作造成的额外数据移动。为了保证固态硬盘的垃圾回收不会将一个用户的数据重新分散存储在不同的物理块中,我们设计了基于访问频率的垃圾回收方法。通过统计每个物理块的访问频率,将访问频率相似的数据在垃圾回收时移动到相同的物理块中,最大程度地保证已有的空间局部性。通过我们的方法可以有效减少区块链存储中的读、写放大和访问延迟。最后,我们通过实验验证所提出技术的可行性。实验结果表明,与目前使用最为广泛的键值数据库LevelDB和专门面向固态硬盘设计的键值数据库WiscKey相比,Meta-Chain可以将写放大分别降低73.06%和34.86%,读放大分别降低94.93%和40.98%,访问延迟分别降低96.15%和89.35%。在我们设计的面向区块链存储的数据预取和缓存管理策略中,缓存命中率最高达到91.05%,可以有效降低区块链存储检索数据时固态硬盘的I/O负载。在我们的优化方法中使用了少量的存储空间达到了显著的优化效果。
其他文献
行人检测作为目标检测领域的特定课题,在无人驾驶、智能监控、客流量统计、机器人视觉以及人体行为分析等领域都发挥着重要作用。目前,相较于其他算法,使用机器学习搭建的行人检测系统通常能够取得更高的检测精度,但还存在着单一特征对行人整体表征不足、复杂环境中对小尺寸行人目标检测精度差和SVM分类器计算量大、检测实时性低等问题。本文针对传统机器学习的行人检测算法进行研究,对上述不足点进行改进,针对行人目标多尺
区块链作为以去中心化方式集体维护可信数据库的技术,具有去中心化、防篡改、可编程等特点,正成为继大数据、云计算、人工智能、虚拟现实等技术后又一项对未来信息化发展产生重大影响的新兴技术,有望推动人类从信息互联网时代步入价值互联网时代。然而,区块链技术发展至今,可扩展性问题已经成为限制区块链应用场景的主要障碍。本文研究了现有的主流区块链系统扩容方案,如状态通道、侧链/子链、Plasma和ZK Rollu
随着互联网的不断普及和人工智能技术的发展,数据量呈指数增长。在大数据时代,如何从海量的数据中快速获取有价值的信息并有效运用,是数据挖掘分析领域研究的重要问题之一。一图胜千言,将复杂的文本数据以图的形式表达,能够让人们更快更准确的获取所需信息,更好的理解信息,知识图谱由此应运而生。近年来,随着“互联网+”和“中国制造2025”的提出与发展,知识图谱受到工业领域的青睐,智能制造成为了传统工业转型的关键
作为光伏发电技术中光伏电池与电网的重要接口,光伏并网逆变器的研究越来越受到人们的重视。光伏并网逆变器研究中,各类并网逆变器控制策略层出不穷,但是随着一些分布式能源发电的应用,各类并网逆变器中高频电力电子器件等的引入,以及非线性负载等的广泛使用,导致了通信设备与电力电子器件的灵敏度降低,影响并网逆变器的控制过程,导致逆变器输出谐波含量增多,使得并网电流谐波畸变率增大,严重时导致系统不能正常运行。因此
跨境并购是企业快速获取核心技术和战略资源的一种有效的外部途径,越来越多的上市公司通过跨境并购布局全球产业链,加入到全球价值链的竞争中。随着知识经济的兴起,跨境并购的动机除了拓展市场、获取自然资源等目的外,更多的涉及知识资产的获取和转移,知识产权越来越成为跨境并购双方关注的焦点,而东道国的知识产权保护程度会对知识资产的引进、输出和转让等经济行为产生重要的影响。企业在全球价值链中的位置作为企业能力的象
区块链技术和社交网络的结合是未来社交媒体发展的新趋势。传统的中心化社交网络中,网络平台的服务商采集用户数据,开发基于数据的应用获取利益,存在着社交价值的垄断。而具有去中心化属性的区块链技术使得数据公开共享,参与网络的用户可以利用公开的数据开发自己的数据应用,形成了良好的社交生态。其中,社交网络具有明显的社区属性,包含了人际关系特征。通过对社交网络进行社区检测,可以深入分析网络的拓扑结构,发现用户的
区块链技术具有去中心化、安全可信、数据不可篡改的原生优点,具有成为下一代价值互联网的巨大潜力。但是区块链技术目前存在的性能局限严重限制了其发展,因此提高区块链系统性能对区块链技术的发展至关重要。当前常见的区块链扩容方案主要分为链上扩容和链下扩容两种方案,本文针对链上扩容方案(如隔离见证、分片等)存在扩容效果不明显、扩容方案实现难度大等问题,以及链下扩容方案(如闪电网络、侧链技术等)存在中心化风险高
随着大数据时代的到来,数据的预处理在数据挖掘任务中的重要性越来越高。在数据挖掘任务中,数据预处理通常需要花费整个任务的近百分之六十的时间。数据变换是数据预处理过程中的关键步骤之一,数据变换将数据从一种表示形式转换为另一种形式,进而提高聚类和分类算法的性能。本文提出了一种基于1/2相似度偏离的数据变换方法,本文主要包括以下两部分:提出一种新的数据变换方法:权重矩阵学习方法(Weight-matrix
近年来,越来越多的组织将收集到的数据,以RDF模型组织后开放给公众,供人们从中检索感兴趣的内容,获取有价值的信息。通常人们可使用SPARQL这类结构化查询语言访问和操作RDF数据,但由于需要用户熟悉语言语法,了解数据集的内部结构,导致这类语言的使用仅限于专业人士,而关键词检索只需用户输入一组关键词,最终就能返回一些小的包含所有查询关键词的RDF子图,相比结构化的查询语言,极大的降低了对用户的要求。
在新课改的标准下,初中道德与法治课程对学生的培养要求有着翻天覆地的变化,从传统教学模式中过度关注学生对学科知识的掌握,逐步转移到对学生各方面综合素质的培养,尤其是关注学生科学精神在政治教学课程当中的培养情况。所以,这对于初中道德与法治教师的课堂构建也提出了相应的教学要求,需要初中道德与法治教师才最有效的教学策略来完成对学生科学精神的有效培育,结合相应的教学实践措施来帮助学生将所学知识内化为意识当中