面向短视频的可扩展缓存系统

来源 :华中科技大学 | 被引量 : 0次 | 上传用户:tnnd_5460
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着短视频应用软件的发展,短视频数据的规模快速增长,存储短视频数据的内容分发网络(Content Delivery Network,CDN)缓存系统面临着挑战,频繁地插入、删除短视频数据和用户不均匀的访问模式制约着CDN缓存系统的服务性能。在传统的CDN缓存系统中,代理服务器需要大容量的内存来存储热数据以确保热对象缓存区的高的对象命中率进而快速地响应对热视频的请求,现有的代理服务器以成本较高的动态随机访问存储器(Dynamic Random Access Memory,DRAM)作为热对象缓存区,但是由于容量有限的DRAM而存在缓存层面的写放大。非易失内存(Non-Volatile Memory,NVM)因其与DRAM相接近的读延迟、成本低和容量大等优点是代理服务器内存的理想选择,但是NVM存在有限的写寿命问题,并且短视频文件的频繁访问加剧这一问题,因此缩短了NVM的使用寿命。为了解决这一问题,设计了一种面向短视频的可扩展缓存系统(Scalable Caching System for Short Videos,SpeCache)。代理服务器的热对象缓存区由DRAM和NVM混合内存构成来为热的短视频保证高的命中率,通过将代理服务器分组并且组内代理服务器之间共享数据来减少对NVM的写次数。为了防止组内某个代理服务器成为整组的访问瓶颈,SpeCache采用流量-存储负载均衡策略,通过访问统计和投票将高负载代理服务器上的热视频复制到低负载代理服务器上。与此同时,采用布隆过滤器(Bloom filter,BF)副本镜像来降低用户的访问延迟;为了避免BF副本镜像与其相应代理服务器的数据不一致,采用区分引起BF副本镜像更新的源头和基于优先级来更新BF副本镜像的策略来保证一致性。实验结果表明,相比于现有的CDN缓存系统,SpeCache系统有效地减少了25%的NVM的写次数,同时降低了用户的访问延迟。
其他文献
物联网、人工智能、5G通信等技术的迅速发展导致数据量的爆炸增长,面对如此庞大的数据量,提升存储设备的读写速度和容量显得尤为重要。使用光致磁变技术是获得更快的读写速度和更高效能数据存储的一种新途径。光致磁变技术采用飞秒激光写头代替传统的写磁头,能够提供更快更强的改写记录介质磁性的能力,从而使信息的写入速度得到质的飞跃。然而,要实现新型飞秒激光超快全光磁记录,不仅需要研究全光磁化翻转的实现条件,更重要
学位
如今,大型云服务提供商需要在保证服务质量的前提下,降低整体成本,通常会在其云数据中心内部部署由固态硬盘(Solid State Drive,SSD)和机械硬盘(Hard Disk Drive,HDD)组成的混合存储节点。这些混合存储节点通常将SSD作为第一级存储,服务所有的前端应用请求,而将HDD用作第二级存储,以提供大容量、低成本的次级存储。这种存储模式被称为SSD主存储(SSD First L
学位
在研究生物体内复杂的生物反应时,可能会同时监测多种细胞或亚细胞结构的动态特性,比如分布、运动及相互作用等,而多色荧光成像技术是实现同时观察多个目标结构的重要手段。但多色荧光成像系统收集的荧光通常存在信号串扰,导致无法直接获得各种荧光团的信号强度,因此需要对串扰的信号进行光谱解混。此外,在进行多色成像时,为了获得高分辨率的图像,视场范围通常有限,而有限的视场范围难以观察到目标对象的整体,因此还需要使
学位
学位
随着物理、化学等基础学科和半导体微电子技术的发展,人类对于微纳米尺度世界的探索取得了前所未有的突破,最直观的体现是集成电路的不断成熟,但“摩尔定律”的发展已经接近瓶颈,传统硅集成电路的制备工艺由于工艺参数、制备温度等限制不适用于其他具有优异性质的半导体材料。为追求更小的尺寸以及更高效率的芯片性能,实现各类功能器件在芯片上的灵活高效集成,就要求研究者们开发新的技术来制造性能优异的微纳集成器件。在各类
学位
目的:脓毒症是宿主遭受病原微生物感染后反应失调而导致的危及生命的器官功能障碍,是急危重症医学领域常见的致死性疾病。静脉液体复苏是脓毒症集束化治疗的核心环节之一,患有心力衰竭的脓毒症患者液体容量超负荷的风险性更高,且临床结局更差。目前关于脓毒症合并心衰患者液体管理的研究主要集中在脓毒症集束化治疗实施的临床效果方面,在这些患者中评估液体超负荷状态以及液体积聚如何与预后相关的方法仍然未知。本研究旨在评估
学位
大数据时代下,数据中心规模日益增长,磁盘故障在大型数据中心中出现的频率越来越高,使得数据中心的存储系统可靠性降低。为了减少磁盘故障带来的影响,国内外研究人员基于SMART(Self-Monitoring Analysis and Reporting Technology)属性使用机器学习、统计学方法来建立磁盘故障预测模型,通过主动预测磁盘故障的方式来避免磁盘故障带来的影响,并取得了较好的效果。但是
学位
随着人脸分析技术的飞速发展,人脸作为个体具有的独特标识在日常生活中运用广泛。然而,大多数现有的人脸分析技术,在对低分辨率的人脸图像进行计算时往往效果会下降,提升人脸图像的分辨率具有重要的研究价值。人脸图像超分辨率重建是一种通过软件算法提升人脸图像分辨率的方法,相较于提升硬件设备而言具有成本低和易升级的优势。现有的人脸图像超分辨率重建算法较少地考虑了人脸图像的纹理属性;另外现有算法在进行特征融合时所
学位
新型的非易失内存(Non-Volatile Memory,NVM)技术可以满足数据密集型负载对大容量内存的需求。但是NVM非易失的属性容易导致数据安全问题,一般通过加密与完整性验证等技术来保证系统的安全性。并行完整性验证树因能够并行地进行验证与更新而受到广泛关注,但具有较大的崩溃恢复难度。频繁地持久化安全元数据能够缩短崩溃恢复时间,然而由于NVM表现出写操作不友好的特点,元数据持久化操作会降低系统
学位
农产品地理标志的经济价值主要表现在两个方面,即标示农产品生产地域的不同与农产品质量上的优异,依靠它们,农产品地理标志成为促进农村经济增长的重要手段之一。农产品地理标志的发展也有不足之处,主要表现在市场影响力不够、生产规模较小、市场竞争力偏弱3个方面。农产品地理标志要实现其社会价值必须走品牌化的发展道路,即制定区域品牌发展战略、塑造区域品牌文化形象、推动区域产业集群发展。
期刊