【摘 要】
：
大数据时代,作为处理和存储数据的主要平台,分布式存储系统需要应对海量的数据。随着规模的增大,分布式存储系统会出现故障,进而损坏数据,甚至造成数据永久性丢失,通常采用高存储效率的纠删码机制来防范故障。然而纠删码系统面临挑战:一方面,纠删码重构时间长,而且系统中多节点失效场景频繁发生,二者都将增加数据丢失的概率,要求分布式系统具有更高的恢复性能;另一方面,数据的随机布局容易导致重构时各个节点的重构负载
【基金项目】
：
国家自然科学基金项目《面向集群式内存的容错机制和数据组织策略研究,编号为61572209》; 国家重点研发计划项目《同轴全息光存储的基础理论与关键技术研究,编号为2018YFA0701800》; 国家自然科学基金创新研究群体项目《大数据存储系统与技术,编号为61821003》
论文部分内容阅读
大数据时代,作为处理和存储数据的主要平台,分布式存储系统需要应对海量的数据。随着规模的增大,分布式存储系统会出现故障,进而损坏数据,甚至造成数据永久性丢失,通常采用高存储效率的纠删码机制来防范故障。然而纠删码系统面临挑战:一方面,纠删码重构时间长,而且系统中多节点失效场景频繁发生,二者都将增加数据丢失的概率,要求分布式系统具有更高的恢复性能;另一方面,数据的随机布局容易导致重构时各个节点的重构负载不均衡。针对纠删码系统中多节点故障时的重构性能以及各重构节点的重构负载进行研究。出于加速多节点重构考虑,提出基于流水线的多节点重构方式（Pipelined Reconstrcution,PipeRec）。在PipeRec方案中,为了加速网络传输,研究提出分割流水线的技术,设计多条短流水线使得多个节点的重构过程同时启动,减少流水线的执行段数,增加重构并行性;为了加速磁盘I/O过程,在重构中采用多线程技术并行处理磁盘I/O、网络传输、解码计算这几个过程,使得磁盘I/O发生在网络传输期间。为了探究重构时间的各个影响因素,建立流水线重构时间模型,通过对重构时间模型的理论分析,发现故障节点数量和流水线中的分片数量是制约PipeRec方案重构时间的主要因素。出于充分利用系统资源的考虑,提出重构负载均衡机制,设计算法将每个重构节点重构任务量化,从全局角度考虑每个条带的重构节点,使各个节点的重构任务量差异最小,从而达到重构负载均衡目的。为了定量化评估PipeRec方案,设计了集中式重构方案（Traffic Efficient Repair Scheme for Multiple Failures,TERS）和修复流水线方案（Repair Pipeline,RP）作为基准方案,分别采用一个节点和多个节点恢复多个故障节点的数据。实验表明,相较于TERS方案和RP方案,PipeRec分别降低重构时间31.7%～66.6%和12%～39.4%,原因在于PipeRec方案通过减少流水线执行段数优化网络传输时间,通过多线程技术优化磁盘I/O时间。同时,实验证明PipeRec表现出较好的重构负载均衡效果。
其他文献
作为“人类灵魂工程师”,小学教师肩负双重职责:其一要做好本职教学工作;其二要关注学生的身心健康发展,给予精神和心灵的关爱。伴随网络信息技术的发展以及新媒体的盛行,教师在工作情境甚至私人生活中的言行被广泛置于公共舆论审视、监督之下,甚至时常将教师的工作行为上升为社会性问题的讨论场域之中。因此小学教师在日常工作中出于对风险的恐惧,容易表现出畏首畏尾、不敢管、不愿管、不会管学生的负面现象,教师在职业行为
混合所有制改革中“怎么混”和“怎么合”是改革的关键所在,混合所有制改革的路径设计以及治理机制变革与企业的治理效应密切相关,选择实施怎样的混合所有制改革的实施路径,如何对治理结构进行改革,都是国有企业在混合所有制改革中亟需探讨的问题。而云南白药混合所有制改革的实施路径本质上是一次制度上的创新,是一场“自上而下”的渐进式混合所有制改革,最终取得了良好的公司治理效应。因此,本文选取云南白药作为案例分析对
近年来,胰腺疾病的发病率逐年显著上升,尤其是胰腺癌,为致死率最高的肿瘤之一,素有“癌中之王”之称,其五年生存率仅小于1%。随着医疗设备的巨大进步、计算机图像处理和影像组学技术的迅猛发展,基于医学影像大数据分析的早期精准胰腺病变诊断方法,是现今提高胰腺癌症生存率的重要途径与最新方法。该胰腺病变诊断方法,能够提高临床医生对胰腺疾病的早期诊断率,从而实施更为高效精确的治疗方式。然而如何实施有效、快速、精
儒礼所提倡的“在家从父,出嫁从夫,夫死从子”一定程度上割裂了出嫁女与本家之间的关系。事实上,宋代出嫁女与本家的关系远非规范中如此单一,两者之间的互动呈现出多样性、多元化的特点。从规范和秩序层面来看宋人对待出嫁女与本家关系的基本态度及规范,一方面,较之于唐代,两者之间的关系由密切逐渐变为疏远,宋人对出嫁女与本家往来的要求更为严格;另一方面,宋人的态度具有矛盾性,尽管明晰血缘关系不可断,但又担心出嫁女
近年来,由于国家医药改革的政策驱动和医药市场规模的不断扩大,医疗领域的关注度不断提高,医药物流行业面临着机遇但同时也肩负着艰巨的挑战。为了能在激烈的市场环境中站稳阵脚,越来越多的医药物流企业将目光投向了末端配送网络上,希望能在发展业务同时,优化配送路线并降低物流配送成本。J医药公司是一家从事药品流通的民营企业,现阶段对于旗下药店的药品配送路线主要依赖于人员经验。由于配送市场竞争日愈激烈和公司业务的
纳税评估在我国税收征管体系中具有非常重要的地位,它对于提高纳税遵从度,减少税源流失发挥了独特作用。作为我国税收管理的必要环节,纳税评估一方面要在工作中应对企业申报纳税存在的税收风险,另一方面也需要重视自身存在的管理问题和执法风险,复杂的征管环境对纳税评估工作提出了进一步的要求。因此,在纳税评估工作中引入风险管理理论是目前实现精细化税源管理、风险导向型税收征管模式的必要环节,也是目前基层税务机关面临
非酒精性脂肪肝（NAFLD）是世界上发病率最高的肝脏疾病之一,超声作为早期筛查NAFLD的首选模态,在预防晚期不可逆肝脏疾病上发挥着重要的作用。临床上,医生需要通过浏览采集的超声视频,寻找NAFLD诊断的依据,这一过程十分繁琐且容易引入主观误差,降低诊断的可靠性。近年来,一些自动化的方法被提出用于NAFLD的诊断,一定程度上提高了诊断的效率。然而,现有方法均面向二维的关键帧,而非原始的视频,这意味
社会支持理论自从上世纪七十年代以来渐趋成熟,在线社群中的社会支持伴随互联网诞生初期便已出现,迄今已经随在线社交的发展呈现出不同类型的社会支持,实现对现实社会支持的“替补”。本研究以豆瓣平台“985废物引进计划”在线社群为研究对象,运用网络民族志中的参与式观察与访谈法搜集资料,收集了207份网络发帖与21份访谈文本,探究“985废物引进计划”小组成员选择寻求网络中社会支持的动机、网络中社会支持现状、
本文在结合我国实际国情与法律规制的基础上,分析同人作品在我国现行法律状况以及司法实践中的适用问题,同时借鉴域外最具有代表意义的国家,包括日本与美国对同人作品的具体法律措施。通过明确同人作品享有著作权保护正当性的前提下,划分其作者的权利义务范围以及保护原则,以协调与原作品之间发生的权利冲突,同时得出文学虚拟人物角色可著作权性与侵犯原作品保护作品完整权的标准。进一步构建非商业性与商业性同人作品的许可模
随着“乡村振兴”和“文化复兴”的发展,越来越多的人关注到乡土建成遗产的保护和利用,以传统民居为主的展览馆改造更是成为建筑活化的热门话题。但在改造实践和参观体验中也发现一些例如展厅效果不佳、流线混乱等问题,影响了展览教育的效果。基于此,本研究通过探讨传统民居的展览馆改造策略,借助空间句法的空间解析方法,试图解决传统方式下的改造设计困境与难点,优化设计策略,以提出基于空间句法的传统民居展览空间优化策略