海量数据库的设计与优化

来源 :电脑知识与技术 | 被引量 : 0次 | 上传用户:zibzibzib
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘要:随着互联网技术的高速发展,海量数据库的设计成为大型软件系统不得不面对的棘手难题。在一个每天数千万甚至数亿条数据量的软件系统中,海量的数据对于系统的平稳运行造成了非常大的问题。
  关键词:海量数据;设计;优化
  中图分类号:TP311 文献标识码:A 文章编号:1009-3044(2016)28-0024-01
  数据库技术是信息技术的基础和核心,随着各种应用的数据量飞速增长,海量数据不断产生,在对稳定性,实时性要求高的系统中,良好的数据库设计变得非常迫切。
  1 数据库设计
  在软件系统处于开发阶段,往往对系统功能的实现关心较多,而对系统的性能关心较少,等系统上线运行后发现系统的性能在不断降低,这时候再去考虑系统的完善,则需要花费更多的时间和财力。因此我们在分析复杂的软件系统需求时,需要确保即使发生高并发的存取情况,系统也不能瘫痪,而要能够保持平稳的运行。
  在设计数据库的时候,必须确保数据库的一致性和完整性,确认数据表之间的相互关系,存储空间毕竟是有限的,还要尽可能地降低数据的冗余。数据的冗余度越低、,系统的完整性越容易得到保证,反过来,数据的完整性越好,也更能清楚地表达数据元素之间的相互关系。在大型系统中,经常需要对于多个数据表进行的连接查询,关联的数据表越多,其查询的效率必然会降低,同时应用程序的编程复杂度也相应增加,因此,数据库设计需要均衡考虑。根据系统业务逻辑,确定关联数据表的数据量大小、字段被访问频率,如果某些字段被访问的频率非常高,可以对这些常用的数据表适当提高冗余设计,虽然提高冗余度可能会增加软件系统编程的复杂性,但可以极大提高系统的响应时间,用户体验会变得更好,所以合理的数据冗余也是很有必要的。
  数据表在设计时应注意以下问题:
  1)通过分区视图可以把一个数据库中的一个大表按照一定的规则分布到不同的数据库中,这样可以减少服务器的压力。但这种分区视图在网络状况不好时,效率比较差。
  2)数据表中字段的数据类型能够用数字类型也能用字符型时,则尽量选择数字类型,因为数据库管理系统在执行查询时会依次比较字符串中所有字符,所花时间比较长,而对于数字型的字段,只需要一次比较就可以了,效率高。
  3)对于定长字符型和变字符型,定长字符型类型查询效率高,速度快,但是所占存储空间比较大,而变长字符型在查询时速度可能会慢一点,但是可以节省存储空间。因此需要灵活选择字段的数据类型,对于存储的数据长度有特定规则的,每次存储数据量变化不大的字段可以选择定长字符型,长度变化大的字段可以选择变长字符型。
  4)字段的长度在在满足条件的情况下,最好短一些,这样可以提高查询的效率,同时在此字段上建立索引的时候也可以减少资源的消耗。
  2 数据库优化
  1)有时候为了逐行处理数据,需要定义游标,但在使用游标时要慎重,因为游标的执行效率比较差,如果游标操作的数据非常多,比如超过万行,那么最好考虑其他方式。游标虽然提供了对特定数据集合进行逐行扫描的手段,但基于多个表和大数据表定义的游标,往往会使系统程序进入一个较长的等特过程,用户体验不是很好,这个时候可将符合条件的数据行存入到临时表中,然后再对临时表定义游标,进行相关操作,这样可使系统的性能得到较大的提高。
  2)索引是数据库中非常重要的一个对象,使用索引可以提高数据表中数据的访问速度,另外没有索引的数据表是按堆结构存储数据的,后续增加的数据都将添加到数据表的后面,建立索引的数据表,表中数据在物理上会按照索引键的顺序存储,大大提高数据的读取速度。
  3)数据随着时间持续增长,然而有时候只有近期的数据才是最常用的。定期清除较早数据到历史表中,将业务数据分级存储,一个较小规模的近期表是一种很好的提高查询效率的方法。
  3 结束语
  随着信息技术的快速发展,越来越多的软件系统需要应对海量的数据,系统性能受到严重影响,在现有条件下,充分优化数据库的设计,可以更好地发掘系统的潜力,提升软件系统的性能。
  参考文献:
  [1] 毛杰,佘名高.海量数据库查询优化研究[J].软件导刊,2010(5).
  [2] 李兰,刘洋,邵明文.客户海量兴趣数据分类的推荐系统优化与仿真[J].计算机仿真, 2014,31(9):449-453.
其他文献
<正> 推拿疗法是根据祖国医学传统理论,在人体表面选择一定的穴位和经络,通过手法这种良性刺激,而达到预防疾病、保健身体的一种传统的物理疗法。 手法是推拿治疗的重要组成
理论分析表明:经济发展水平较低阶段,收入差距的高位变动对粮食消费需求有很大影响,进而会影响到粮食产量。实证研究显示:1996-2004年,我国粮食产量年变化率与城乡收入差距年变
期刊
<正> 大黄是我国传统医学常用药物之一,其驱邪之功卓著,又能以通为补,安和五脏,故有“荡涤之将军,”“入相出将”之美誉。美国学者诺尔曼&#183;泰勒在《改变世界的植物》一书
<正> 辨病治疗原则是中医治则学的重要组成部分,每一病的治疗原则,都集中概括地反映了该病的治疗规律,在临床治疗中起着指导治疗方向,支配治疗过程,规范治疗活动等重要作用。
<正> 痹证早在《内经》、《金匮要略》中就有论述,并以“湿痹”、“风湿“、“历节”等加以概括。痹证相当于现代医学的“风湿性关节炎”、“类风湿性关节炎”、“风湿热”、
期刊
唐代科举主要的考试科目及考试方式都与古文有关。文章复古者对科举考试不良倾向的批评和改进更是从制度上肯定了古文理论的合法性,规范和制约了天下文士的文体选择和风格倾向
<正> 贵刊1991年第一期“代脉在《内经》中含义浅析”一文,总括代脉含义有二:一是其形软弱,脾之常脉;二是动而中止,脉气不接。读后虽受启发,然亦不敢完全赞同,今就代脉在《内
摘要:针对目前煤矿工作面液压支架压力监测方面的需求, 设计了一套基于CC2530的煤矿井下液压支架压力监测系统,系统采用CC2530为核心的ZigBee为无线通信方式,结合煤矿的具体应用环境,确定了系统的网络结构,阐述了系统的硬件结构、软件流程设计,并通过实验证实系统的实用性。  关键词:液压支架;监测系统;CC2530  中图分类号:TP3 文献标识码:A 文章编号:1009-3044(2017
<正> 血栓性静脉炎主要由于感染、手术、外伤、妊娠、产后等因素,导致静脉内膜损伤,血流速度缓慢,血液凝固性增高,血液粘稠度增加,发生血栓性静脉炎或深静脉血栓形成。临床上