影视大数据分析系统中数据存储的关键问题研究与实现

来源 :北京邮电大学 | 被引量 : 1次 | 上传用户:ufo0101
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网应用的广泛普及,越来越多的应用程序收集了大量的数据,伴随着这些数据的增长,系统的访问量和并发量都在剧烈增加,系统性能问题愈发严重。随着大数据时代到来,无论是传统企业还是新型的互联网企业,都不可避免的面临大数据的挑战。如何廉价的存储和高效的访问海量数据,已经是企业面临的重大难题。本文中所指的影视大数据分析系统是指本人所在实验室设计开发的一个基于SpringMVC + MyBatis框架的Web信息系统,就数据库架构设计而言是一个典型的单机存储系统。随着影视大数据分析系统中业务表越来越多,表中的数据量也越来越大。海量数据的存储与访问对数据库造成了相当大的负载,数据处理能力和访问效率均遭遇瓶颈。本文针对影视大数据快速增长的特点,从分布式数据库的角度出发,探索如何将单机存储系统扩展为分布式存储系统。本文的主要工作集中在以下几个方面:第一,介绍大数据背景和现有的大规模分布式存储系统,对现有的NoSQL数据库进行了分类总结,研究其设计思想。第二,基于MySQL Sharding技术,设计了高效、可扩展的存储架构;提出了分库、水平分表、分区三层拆分模型,综合使用垂直和水平切分等多种解决方案将数据散列到不同的库或关系表中。同时,就ORM框架设计了分布式数据访问层,有效的缓解了对数据库的压力,提高了数据访问效率。第三,分析各节点的数据特点,使用数据库复制技术,设计了高可用的集群方案;解决单点问题,采用Amoeba开源框架实现读写分离和负载均衡。综上,本文从可扩展性,访问效率,并发读写,高可用等多个方面,阐述了大数据存储中面临的关键问题,并提出了相应的解决方案。同时立足影视大数据分析系统,对本文中提到基于分布式关系型数据库的高效存储和访问方案,在实践上予以了验证。
其他文献
目的:1.探索99mTc直接法标记抗心肌肌钙蛋白Ⅰ单克隆抗体(AcTnIMA)的方法,并研究标记产物的体外稳定性。2.研究99mTc-AcTnIMA在兔血内的清除规律。3.研究99mTc-AcTnIMA在正常大鼠体
镀锌后钝化可以很大的提高钢铁的耐蚀性能,经三价铬、六价铬处理可以得到装饰性和耐蚀性较好钝化膜,但六价铬易致癌,三价铬在长期使用过程中会转化为六价铬,国家已经严格限制
本文通过分析优秀的禅意油画作品,如莫兰迪、吴冠中等人,他们的作品对生活中平凡的事物进行简单的描绘,却引发了当代人们强烈的思想共鸣,他们在作品中禅达出的真实、淡泊的艺术风格和宁静氛围,符合当代大众的审美需求与心灵慰藉。我将这些经验运用于自己的毕业创作中,形式语言的确立和创作的各个环节,都始终围绕如何表达禅意进行研究。通过石像的造型与排列、佛学场景氛围的烘托和故事情节的设置来配合情感的表达;选取适合的
职业教育生产性实训基地是"生产性"与"教学性"的统一,该过程涉及职业院校与企业双方异质性资源融合。但双方资源融合的创新性如何衡量,并将结果及时反馈并有效指导实践教学,
【正】 从"山水甲天下"的广西壮族自治区桂林市,沿桂梧公路,经过风景如画的阳朔、荔浦,南行一百四十三公里,便到了蒙山县城。蒙山县古称永安州,是太平军金田起义后,于同年(18
在探讨湖北省属高校本科层次中外合作办学项目发展现状的基础上,指出这些项目存在发展不均衡、发展动力不足等问题,从发挥学校主动性和提高政府统筹协调力度角度,提出加强国
本文分析了环县道情皮影艺术在传承和发展中面临的突出问题,提出借助"互联网+"理念,为其产业化发展搭建平台,寻找到生存发展的新出路:用"互联网+"思维,为道情皮影实现产业化
随着全球信息化和经济全球化进程的不断发展,尤其近几年来,全球经济增长放缓,钢铁行业作为国民经济的传统产业,更面临着经济发展和升级转型的巨大压力。为顺应新时代的发展要