面向移动业务数据的高效存储系统研究

来源 :北京大学 | 被引量 : 0次 | 上传用户:QINQINXIAOTIANXIN
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
移动网络的快速发展正在逐步改变着人们的生活。随着移动带宽的增长和移动终端的普及,越来越多的数据从移动设备产生。这些移动数据有不同于互联网的新特性,比如数据普遍较小但产生频繁、包含地理位置等隐私信息,需有不同于互联网系统的处理策略。而且,随着用户的激增,移动互联网的需求也逐渐增多,导致移动业务核心控制网络需要更加高效、完善的系统来处理和存储数据。  从研究角度来看,新型的移动业务要求下的数据存储有以下一些特点:1.移动业务繁多,数据更新频繁,导致存储系统面临高并发考验;2.移动应用用户数量巨大,存储数据呈爆发式增长,必须解决海量数据存储和访问瓶颈,并需要高可扩展性解决数据增长带来的扩容问题;3.移动数据牵涉到用户身份信息和位置信息,不能丢失并且随时可访问,因此需要保证存储系统高可用性。  现有系统的分布式用户数据管理部分,大多数还是采用关系型数据的体系结构,在面临新的移动业务控制网络时会有一些新的问题:1.基于关系的数据结构和存储方式导致存储性能和索引性能下降,处理并发能力不足,无力承担高性能的读写;2.由于索引一般都由主节点维护并且多表查询性能消耗巨大,关系型数据库处理海量数据的能力不足;3.关系型数据库一般缺乏健全的扩展机制,面临新业务增长时系统扩展困难。  本研究正是在新型移动业务需求和移动数据激增的大背景下,提出面向移动业务数据的高效的分布式用户数据管理体系结构和相关的机制研究,主要分为以下四个部分:  1)本文的第一部分,是针对于移动业务控制网络中快速检索、高效访问、高度扩展和可靠存储等特性的新特性,提出新的分布式用户数据管理体系结构--PKUCassandra。设计思路包括分布式存储架构以及用户数据管理架构的设计;具体实现包括系统接口的设计、数据访问层的设计以及系统的一些界面展示;系统调优经验包括在系统开发中积累的一些经验,包括缓存的设置和压缩机制的选择和配置等。  2)本文的第二部分,是介绍在查询系统上的数据并行批量导入的方法和PKUCassandra二级索引的创建及查询机制。数据并行批量导入的方法可以有效降低数据的处理和导入操作对线上系统的影响,提高线上系统服务的效率;PKUCassandra多维二级索引的创建,实现分布式索引的创建和查询,并支持范围查询,提高索引效率。  3)本文的第三部分,针对于数据组织、数据划分和数据压缩机制做了探讨。其中PKUCassandra内存中使用Memtable,硬盘上使用SSTable的方式保证了批量异步写入的高效并将随机写变为顺序写;随机划分和有序划分提供了在不同数据需求下的功能;借鉴LevelDB的分层压缩机制,能减少系统随机读的概率,保证更高的压缩和读取效率。  4)本文的第四部分,是对前三部分中系统设计、策略研究等方面的实验验证。  
其他文献
由于能够有效的解决网络中单点发送、多点接收的问题,组播技术相对传统的单点广播大大的节约了网络带宽,减少了网络拥塞的可能性。IPv6技术除了对组播地址机制进行了极大丰富,在
在计算机图形学中,使用具有高真实感的材质,对于渲染出高质量的图像是至关重要的。通过测量得到的材质可以满足这一要求,但是由于测量装置复杂,对实验环境要求很高,需要耗费大量的
随着国家的进步和经济的发展,城市建设的发展水平在不断提高,人们对清洁能源的需求也与日俱增。我国的城市燃气企业在上世纪90年代初就开始致力于企业管理信息系统的开发与设计
迷彩伪装技术是军事作战中重要的保护手段,从19世纪英布战争开始,迷彩伪装技术在战争中的应用也越来越广泛。现代军事应用迷彩主要分为变形迷彩和数码迷彩。变形迷彩通过不规
全过程计算机辅助动画自动生成技术是中科院陆汝钤教授于上世纪90年代提出的,该技术是一项全新的基于人工智能与计算机动画结合的研究领域。其目的是希望从自然语言书写的故事
现代处理器通常采用动态指令调度超标量流水线来发掘程序中的指令级并行。但是访存指令——尤其是装载指令——需要较长的执行延迟,从而阻塞了流水线中其他指令的动态执行,因此
Web技术已经广泛应用于人们的工作和生活中,随着Web技术的快速发展,各类安全问题也越来越突出,其中SQL漏洞注入攻击已成为Web安全问题中最具有危害性的问题之一。本文研究SQL
随着汽车数量的大幅增多,道路拥堵、交通事故等问题不断增多,智能交通系统(Intelligent Transport System,ITS)也因此成为了未来道路交通系统的发展方向。智能交通系统中最重要
以智能手机、平板电脑为代表的移动设备和以Wi-Fi、3G为代表的移动网络的日益普及,为移动多媒体通信服务的开展提供了条件。然而,移动设备的低功耗特性限制了其对计算资源的过
自然景物是三维游戏、商业广告、数字娱乐、城市规划、树木的应用研究以及虚拟城市中必不可少的重要组成部分,对自然景物的三维可视化模拟一直以来都是虚拟现实领域中的一个研