论文部分内容阅读
[摘 要]大数据是当前热门的IT技术,被广泛应用于各行业信息数据管理与分析工作中,本文以大数据的概念为切入点,从数据库角度对大数据研究的技术发展方向与应用趋势做出相应的分析探讨,期望为当前大数据研究工作提供给有益参考。
[关键词]数据库;大数据;发展趋势
doi:10.3969/j.issn.1673-0194.2016.12.120
[中图分类号]TP311.13 [文献标识码]A [文章编号]1673-0194(2016)12-0-01
大数据是近年来由科学领域研究并逐步推广应用于社会各行业数据应用的热门信息技术概念。其中大数据在科学研究与IT产品领域发挥着愈发重要的数据分析作用,在我国的关注与应用程度也与日俱增。因而本文对大数据这一热点概念,进行相应的内涵探讨。同时因数据库一直是数据管理研究领域的重要内容与手段,故从数据库角度出发对大数据研究的应用与发展做相应的探究。
1 大数据概论
大数据概念的产生最早出现于20世纪80年代末,但真正为人们所关注并形成理论则是在2011年之后。大数据的概念可用其特征4V来表述:Volume,由TB级别向更高级别跃升的数据量;Variety,指数据的类别与来源繁多复杂;Velocity,指快速的处理响应速度;Veracity,则是指数据具备的可靠性与可用准确性。这些特征表明大数据是具有多类优势、适应于现代网络信息需求的新式数据,只要是为应用而将各种类别、质量的数据做相应的处理工作就可以视其为大数据。大数据原本应用于科学研究领域,随着其发展与推广,现在大数据已应用于各类社会生产与生活的数据范畴之中,无论是诸如军事、天文、生物一类的科学实验用数据,还是互联网、社交媒介、网络传感器等生活交流用数据,或电子商务领域数据都属于大数据的范围。
2 大数据研究的技术难题与发展方向
大数据是数据库应用的拓展延伸,也是数据管理技术的进步体现。其研究主要涵盖大数据的分类、周期管理与质量管理三方面。由于其4V特性对处理速度、数量质量优异、类型来源等方面的高要求,其研究目前主要存在对大数据语义建模、管理分析性能、数据处理的存储系统三面技术提升的难题,这也是大数据研究未来发展的三大方向与目标。语义建模是根据数据来源与结构要求而需要做多种类型、来源数据的语义抽象工作,并将各数据之间的联系做归纳考量。而对大数据数量与处理速度的特点需求,其研究基础就是对数据管理分析性能的优化权衡上,在这方面需要脱离传统数据库管理中以记账(Billing)与订票(Booking)为目标进行的OLTP功能,从高效实现数据分析与管理的角度出发,选用数据仓库或OLAP系统优化大数据分析的性能。而对其数据处理存储系统的技术要求,目前正在探索“内存计算 列存储”模式、MPP集群计算机系统的研究与应用,但其存储系统性能与可靠性还需做进一步的完善和改进。因此,以成熟可行的计算机系存储系统的发展,支持当今应用形势下大数据处理与管理需要解决技术上存在的难题。
3 基于数据库下大数据研究的应用分析与发展趋势
数据分析是大数据研究的主要途径与内容,如前文所言,基于数据库下的大数据分析主要应用于社交媒体、互联网、位置需求与电子商务智能等数据分析领域,其分析应用又可分为对应消费者与对应企业两类,其中涉及到Web数据应用的主要是消费者需求,而商务智能应用则大多应企业需要。这两类大数据应用领域,各自的分析研究思路与发展趋势也各不相同,对应消费者的数据分析其应用基础是信息服务,即由各类新式的信息服务吸引消费者进而予以互联网浏览与应用,这其中大数据分析就是将客户在互联网中的流量与应用转化为可偿性数据信息并产生利润。其应用思路是信息服务提供商为消费者提供新式的服务信息(如新产品的推荐),再引导客户浏览消费的商业应用模式。大数据分析在其中起着分析计算消费者信息、产品商家信息的作用,由于其数据处理与计算的响应速度需求极大,大数据研究能很好地适应各类新型Web应用,成为未来互联网数据应用领域最主要的数据分析手段。对应企业应用的商务智能数据分析其适用主体和数据库应用的主体相同,均为较大型的企事业单位,其对数据分析的运行可靠性与系统的独立性有专门的需求。而传统的商务智能数据分析系统大多自成系统,因其平台封闭性难以与数据库资料相衔接,影响企业对数据分析的需求实现,此类研究背景给了大数据分析在企业商务智能系统应用的契机,利用大数据研究快速分析大量、多类型数据的特点,对数据库予以直接的分析处理应用,是未来大数据研究在商务智能领域发展的主要趋势之一。
4 结 语
大数据是以应用为基础诞生的数据分析概念,对数据的分析应用是其存在与研究的前提。要了解并研究大数据的发展与趋势,就要以数据库技术为前提,从其实际在各领域的应用出发,系统探索大数据研究的发展方向与应用前景,笔者期望通过对其的探讨分析,为大数据研究的进步与推广提供助力。
主要参考文献
[1]李战怀,王国仁,周傲英.从数据库视角解读大数据的研究进展与趋势[J].计算机工程与科学,2013(10).
[2]于兆吉,魏闯.大数据下主题数据库的研究现状与展望[J].沈阳工业大学学报,2014(3).
[关键词]数据库;大数据;发展趋势
doi:10.3969/j.issn.1673-0194.2016.12.120
[中图分类号]TP311.13 [文献标识码]A [文章编号]1673-0194(2016)12-0-01
大数据是近年来由科学领域研究并逐步推广应用于社会各行业数据应用的热门信息技术概念。其中大数据在科学研究与IT产品领域发挥着愈发重要的数据分析作用,在我国的关注与应用程度也与日俱增。因而本文对大数据这一热点概念,进行相应的内涵探讨。同时因数据库一直是数据管理研究领域的重要内容与手段,故从数据库角度出发对大数据研究的应用与发展做相应的探究。
1 大数据概论
大数据概念的产生最早出现于20世纪80年代末,但真正为人们所关注并形成理论则是在2011年之后。大数据的概念可用其特征4V来表述:Volume,由TB级别向更高级别跃升的数据量;Variety,指数据的类别与来源繁多复杂;Velocity,指快速的处理响应速度;Veracity,则是指数据具备的可靠性与可用准确性。这些特征表明大数据是具有多类优势、适应于现代网络信息需求的新式数据,只要是为应用而将各种类别、质量的数据做相应的处理工作就可以视其为大数据。大数据原本应用于科学研究领域,随着其发展与推广,现在大数据已应用于各类社会生产与生活的数据范畴之中,无论是诸如军事、天文、生物一类的科学实验用数据,还是互联网、社交媒介、网络传感器等生活交流用数据,或电子商务领域数据都属于大数据的范围。
2 大数据研究的技术难题与发展方向
大数据是数据库应用的拓展延伸,也是数据管理技术的进步体现。其研究主要涵盖大数据的分类、周期管理与质量管理三方面。由于其4V特性对处理速度、数量质量优异、类型来源等方面的高要求,其研究目前主要存在对大数据语义建模、管理分析性能、数据处理的存储系统三面技术提升的难题,这也是大数据研究未来发展的三大方向与目标。语义建模是根据数据来源与结构要求而需要做多种类型、来源数据的语义抽象工作,并将各数据之间的联系做归纳考量。而对大数据数量与处理速度的特点需求,其研究基础就是对数据管理分析性能的优化权衡上,在这方面需要脱离传统数据库管理中以记账(Billing)与订票(Booking)为目标进行的OLTP功能,从高效实现数据分析与管理的角度出发,选用数据仓库或OLAP系统优化大数据分析的性能。而对其数据处理存储系统的技术要求,目前正在探索“内存计算 列存储”模式、MPP集群计算机系统的研究与应用,但其存储系统性能与可靠性还需做进一步的完善和改进。因此,以成熟可行的计算机系存储系统的发展,支持当今应用形势下大数据处理与管理需要解决技术上存在的难题。
3 基于数据库下大数据研究的应用分析与发展趋势
数据分析是大数据研究的主要途径与内容,如前文所言,基于数据库下的大数据分析主要应用于社交媒体、互联网、位置需求与电子商务智能等数据分析领域,其分析应用又可分为对应消费者与对应企业两类,其中涉及到Web数据应用的主要是消费者需求,而商务智能应用则大多应企业需要。这两类大数据应用领域,各自的分析研究思路与发展趋势也各不相同,对应消费者的数据分析其应用基础是信息服务,即由各类新式的信息服务吸引消费者进而予以互联网浏览与应用,这其中大数据分析就是将客户在互联网中的流量与应用转化为可偿性数据信息并产生利润。其应用思路是信息服务提供商为消费者提供新式的服务信息(如新产品的推荐),再引导客户浏览消费的商业应用模式。大数据分析在其中起着分析计算消费者信息、产品商家信息的作用,由于其数据处理与计算的响应速度需求极大,大数据研究能很好地适应各类新型Web应用,成为未来互联网数据应用领域最主要的数据分析手段。对应企业应用的商务智能数据分析其适用主体和数据库应用的主体相同,均为较大型的企事业单位,其对数据分析的运行可靠性与系统的独立性有专门的需求。而传统的商务智能数据分析系统大多自成系统,因其平台封闭性难以与数据库资料相衔接,影响企业对数据分析的需求实现,此类研究背景给了大数据分析在企业商务智能系统应用的契机,利用大数据研究快速分析大量、多类型数据的特点,对数据库予以直接的分析处理应用,是未来大数据研究在商务智能领域发展的主要趋势之一。
4 结 语
大数据是以应用为基础诞生的数据分析概念,对数据的分析应用是其存在与研究的前提。要了解并研究大数据的发展与趋势,就要以数据库技术为前提,从其实际在各领域的应用出发,系统探索大数据研究的发展方向与应用前景,笔者期望通过对其的探讨分析,为大数据研究的进步与推广提供助力。
主要参考文献
[1]李战怀,王国仁,周傲英.从数据库视角解读大数据的研究进展与趋势[J].计算机工程与科学,2013(10).
[2]于兆吉,魏闯.大数据下主题数据库的研究现状与展望[J].沈阳工业大学学报,2014(3).