【摘 要】
：
纠删码作为一种以条带的形式存储数据的容错技术,广泛应用于当前的大规模存储系统中;相比副本容错技术,纠删码能以更低的存储成本来提供相同容错能力。为了进一步降低存储成本,业界开始研发“大条带纠删码”技术,通过增加条带长度来压缩校验块在每个条带中的比例以节省更多存储空间。然而,现有“直接编码”生成大条带的方式通常因编码速度下降而导致数据生成缓慢。一种可行思路是通过“扩展转换”来生成大条带,即首先将新写数
论文部分内容阅读
纠删码作为一种以条带的形式存储数据的容错技术,广泛应用于当前的大规模存储系统中;相比副本容错技术,纠删码能以更低的存储成本来提供相同容错能力。为了进一步降低存储成本,业界开始研发“大条带纠删码”技术,通过增加条带长度来压缩校验块在每个条带中的比例以节省更多存储空间。然而,现有“直接编码”生成大条带的方式通常因编码速度下降而导致数据生成缓慢。一种可行思路是通过“扩展转换”来生成大条带,即首先将新写数据（通常热度较高）直接编码生成较小条带,以满足较快数据写入速度;当数据变冷后,再将小条带以扩展方式转换为大条带,实现超低存储成本。但是,扩展转换生成大条带会触发大量的网络传输开销。针对以上问题,提出大条带扩展转换生成的新思路“完美合并”,通过原地生成大条带的数据块和校验块,无需任何网络传输即可实现大条带生成。此外,通过二分图模型分析完美合并下大条带扩展转换生成问题,证明基于完美合并的最优方案的存在性,并分析其时间复杂度过高的局限性。针对上述局限性,进一步提出两种实用的贪心算法,以少量网络传输开销为代价来换取算法效率和实用性。两者分别是减少时间复杂度的贪心算法Stripe Merge-G,以及借助校验块对齐加速搜索过程（以改进前者）的贪心算法Stripe Merge-P。同时还优化算法中关键步骤的计算方法以进一步提高算法的运行效率。基于上述设计,实现大条带生成原型系统,模拟实验和基于亚马逊EC2的集群实验的结果表明,相比当前最好的存储扩展方法NCScale,上述两种算法可减少达87.8%的大条带生成时间;并且相对于Stripe Merge-G,Stripe Merge-P在保持相似结果的同时具有更佳的算法运行效率。
其他文献
响应时间分析（Response Time Analysis,RTA）方法在全局最早截止期优先（Global Earliest Deadline First,G-EDF）调度下实时任务集的可调度性分析中具有举足轻重的地位。G-EDF调度的核心思想是通过比较作业的绝对截止时间来判断它们的优先级,绝对截止时间与优先级成反比。RTA方法通过比较每个任务的最坏情况响应时间（Worst-Case Respon
当热点事件发生时,热点数据会被大量重复地发送,造成整个网络系统的性能下降。为此,数据广播作为一种高效的数据分发技术被提出。在一些复杂的数据广播应用中,服务端需要在同一时刻监控多个随时间变化的对象,并根据这些对象的信息实时地做出调度决策。例如在交通信息预测的场景下,司机需要同时获取周边多条路段的实时路况,来做出当前最优的路线规划。这种需求场景可以抽象为对一组连续周期性查询的实时调度问题。在多信道广播
信息技术快速发展,社交媒体逐渐取代了传统媒体,信息在社交媒体上快速传播的同时,也给虚假新闻传播带来了可乘之机,虚假新闻对于个人和整个社会都有潜在的危害。新闻传播过程中的用户交互形成了一个复杂的异构图,其中评论和传播是两个重要组成部分,并且都包含了可用于评估新闻真实性的特征。现有的虚假新闻检测模型存在较多缺陷,在评论特征提取上,传统词向量与循环神经网络结合的文本表示方式,语义表达能力弱,评论回复结构
近些年来深度学习迅猛发展,在图像、自然语言处理、图处理等领域取得了良好的效果。但是随着深度学习的模型越来越复杂,可解释性也随之变得更差。深度学习训练出的模型都被视为黑盒子,严重阻碍了深度学习在某些特定领域的应用。在图神经网络领域,很多较新的解释方法可以归纳为求解一个掩码,然后根据掩码去生成最后的解释,常见的掩码方法有边掩码方法和节点掩码方法。现有的节点掩码方法的优点是生成的解释中几乎都是重要的边,
互联网的兴起与定位技术的进步为基于位置的社交网络（Location-Based Social Network,LBSN）的发展提供了数据和技术上的支撑。随着网络规模的扩大,海量的数据内容造成了信息过载的问题,用户检索时间的开销增大,导致信息的利用率下降。因此如何在LBSN中发掘用户的下一个兴趣点（Point-Of-Interest,POI）成为亟需解决的任务。然而现有的下一个POI推荐任务仍存在缺
针对高陡岩质开采创面由于质地不均一、坡度变化较大、稳定性差别较大等造成废弃矿山生态修复效果不理想的问题，以铜陵市义安区桃园硫铁矿废弃矿坑综合治理工程为例，进行了高陡岩质开采创面柔性生态棒生态治理研究。研究结果表明：柔性生态棒修复技术在桃园硫铁矿废弃矿坑综合治理生态修复工程中取得了较好效果，基本消除了视觉污染、减轻了水土流失，并形成了稳定健康的草、灌、乔、藤多层次植物群落，可为类似高陡岩质开采创面较
移动互联网时代,GPS技术的快速发展以及道路网络的日益复杂给导航应用程序带来新的机遇与挑战。目前许多导航应用程序允许以语音作为输入,避免了用户手动输入文字,提高了交通安全性。但是,现有的导航应用程序通常无法理解用户对路径的自然语言描述,仅识别用户以指定模板发出的指令。例如,现有的导航应用程序仅支持用户输入单一的出发地或目的地,不能设置额外的个性化路径搜索要求,无法满足人们日常的出行需求。为扩展现有
近年来,我国出台了多项政策大力推动智能安防产业发展。在智能监控场景下,应用多目标跟踪算法,可以对其中的人物进行实时、准确的跟踪,因而具有很大的研究价值。现有的多目标跟踪算法,存在遮挡情况下容易跟丢目标、跟踪轨迹不连续、跟踪漂移等问题。针对上述问题,提出了相应的解决方法。首先,提出基于注意力的多目标跟踪算法。原有算法重识别（Re-identification,Re ID）分支对目标辨识力强的特征提取
隐蔽通道是用户可以绕过强制访问控制检查进行隐蔽通信的一种机制,标识一个系统中的隐蔽通道是高安全等级系统的开发和测试中必不可少的工作。源码层面使用信息流分析技术搜索隐蔽通道时,现有方法难以确定虚函数调用处的被调用函数。此外,面对大型系统的修改、引用和返回关系表,使用隐蔽流树法搜索隐蔽通道时,会创建大量重复节点致程序占用内存过多而无法给出计算结果。改进现有方法,对提高数据库这样的大型系统的隐蔽通道分析
供水管道是保障日常生产活动正常进行的重要基础设施,在长期使用中受自身寿命或外界破坏性因素的影响会发生破裂造成漏损。及时的泄漏检测对节约水资源、防止二次污染以及可能带来的次生灾害至关重要,目前常用的检测方法通过采集和分析振动信号确定泄漏是否发生。泄漏振动信号十分微弱,采集时受环境噪声影响大,传统的检测方法无法有效地区分环境中存在的非平稳噪声,检测效果不稳定并且依赖检测人员的经验。大量的泄漏检测设备一