一种分布式对象存储系统的设计与实现

来源 :北京邮电大学 | 被引量 : 0次 | 上传用户:tangguopingzhang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在新数据时代,各种新型技术开始广泛应用到各行各业,引起了建设“新基建”的热潮,而数据存储作为新基建的数字基石,成为未来经济发展的重要因素。据统计,全球信息量正在以59%以上的年增长率快速增长,在这些数据中80%都是以文件形式存在的非结构化数据,传统的SAN存储和NAS存储已很难满足企业的存储需求,对象存储应运而生,因低成本、大容量和高扩展性的特点成为下一代存储技术的标杆。本文以非结构化数据为研究对象,设计并实现了一种轻量级分布式对象存储系统,并详细地阐述了系统所涉及的理论基础、设计思路、实现方案以及测试分析。本文的主要完成的工作如下:(1)本文对分布式存储系统的相关理论技术进行了深入地研究,对当前主流的存储系统进行对比分析,并总结各自的架构和优缺点,决定采用去中心化的无共享架构,以解决中心节点的单点故障问题。应用程序开发人员可以使用它与上层应用进行交互,为海量数据存储、人工智能、大数据分析提供高性能的存储服务。(2)设计并实现分布式存储系统。提出了一种分布式锁组件,使系统具备了有限拓展性,并降低了系统的复杂度。其次,该对象存储系统无需元数据数据库,对象的元数据存放于文件中,并将该文件视为对象进行存储管理,使得所有的操作都是对象级别的粒度,实现了高效的元数据管理。最后使用常见的存储技术完善系统:使用纠删码来防止硬件故障,节省了存储成本;基于BRPC框架实现了节点间的通信,将文件系统扩展为后端存储引擎,为分布式系统的实现打下坚实的基础。(3)本文对实现的分布式存储系统进行了详细的功能测试以及性能测试,测试项目包括了数据分布,数据上传和节点变更等情况,并对测试结果进行了详细的分析。
其他文献
泥塑作为我国传统的民间艺术,至今已经有千年的历史,泥塑在民间俗称彩塑、泥玩.在幼儿园内开展关于泥塑的活动,要考虑幼儿不同的年龄阶段,在泥塑活动中激发幼儿的好奇心,培养幼儿的观察能力,使幼儿学到多种泥塑操作技能,并让幼儿在介绍作品中展示自我.
当下,不少幼儿在室内活动的时间居多,他们与同伴、大自然接触的机会变少了,父母也整天忙于生计,缺乏空余时间来陪伴他们.家庭的不完整、不当的教育方法等诸多原因导致“特殊儿童”越来越多.作为与幼儿朝夕相处的幼儿园教师,应细心观察,发现问题;耐心引导,纾解情绪;一视同仁,因材施教.
家庭是幼儿成长的主要环境之一.在新型冠状病毒肺炎疫情防控常态化的形势下,幼儿园需要进一步通过网络切实督促家庭教育的开展,以拓展家园沟通渠道的方式,正确引导家长切实关注幼儿的家庭教育,通过游戏活动推进幼儿成长.文章以幼儿园利用“互联网+”的家园合作形式为背景,与幼儿和家长隔屏相约,以互动体育游戏“细菌大作战”为沟通契机,进行家园合作,旨在及时进行信息反馈形成教育合力,帮助家长树立正确的家庭教育观,培养幼儿的全面发展.
随着信息技术的不断发展,目前我们正处于一个信息爆炸的时代,同时也面临着信息过载的问题,即难以从网络中庞大的新闻源中找到自己感兴趣的新闻。新闻服务提供商通常使用个性化推荐系统向用户进行推荐,个性化新闻推荐的传统方法包括基于内容推荐、基于协同过滤推荐和这两种技术的混合版本。传统的推荐算法都没有考虑到用户在浏览记录上的时间顺序,而用户历史记录阅读的顺序信息可以更好地反映一段时间内用户兴趣的变化和多样性。
近年来,信息技术和移动互联网飞速发展,手机App已经成为大众生活的一部分。随着公司业务的不断发展,App的复杂程度也呈现出爆炸式的增长,App的体量水涨船高,越变越大。从原本几兆、十几兆的体量变为现在的几十兆、上百兆。用户下载、更新、安装App的成本不断增高,导致了用户更新App的意愿下降。再加上应用市场严格、繁琐的审批流程,就进一步加大了公司推广新版本App的难度。同时,由于App的项目越来越大