论文部分内容阅读
据IDC预测,到2020年,全球以电子形式存储的数据量将达到35ZB,是2009年全球存储量的40倍。根据IDC的统计,在2010年底全球数据量已经达到了120万PB或1.2ZB。如果将这些数据都刻录在DVD上,那么光把这些DVD盘片堆叠起来的长度可以往返地球和月球之间(单程约24万英里)。
众所周知,数据可以分为3种:结构化数据、半结构化数据和非结构化数据。其中,大多数的数据属于企业业务过程中产生的文档等非结构化数据。
大数据时代已经到来,悲观者深为数据的管理和维护而忧虑,乐观者则看到了大数据的大价值。何谓大数据,目前没有统一的定义,通常认为它是海量的非结构化数据,其特点是数据量很大,数据的形式多样化。如何存储这些快速增长的海量数据?如何对大数据进行分析处理,挖掘出其价值?这些问题成为几乎所有企业面临的共同挑战。
大数据时代的挑战与目标
大数据时代的挑战包括:如何实现高效、智能的大数据存储?非结构化数据正在呈海量增长趋势,如何对其进行有效的管理和应用?现有数据保护与文档归档机制能否应对日益增长的海量数据?如何攻克移动数据管理的难点问题?如何在复杂的数据环境下实现可靠的数据安全?这些正逐渐成为CIO所面临的共同挑战。
但是我们发现,这些来自大数据的挑战,归纳起来主要只有两点:
其一,管理好大数据,包括大数据的产生、存储、保护、归档,到安全维护等各个方面。从根本上讲,这属于IT管理维护范畴,只不过数据量超出常规管理范围后,管理、维护的难度大幅度提高。
其二,应用好大数据。这是企业数据管理的最终目标。大数据即意味着大价值,数据与数据、数据与人、数据与业务的关联性能给企业带来巨大的价值。大数据应用的挑战既有应对数据的流动性、关联性、智能化所带来的挑战,也有基于大数据进行深度挖掘所带来的挑战。
但是,这两点之间是相辅相成,管理和维护的目的是使用,使用的基础是好的管理维护。
云计算与大数据 时代的交集
说到大数据的管理和使用,很多人都会想到云计算。云计算技术可以实现IT资源的自动化管理和配置,降低IT管理的复杂性,提高资源利用效率。
对企业来说,主要的业务由私有云支撑,而非关键业务或者突发性业务可以采用公共云资源。私有云与公共云需要无缝连接,形成合理的混合云环境。
可见,云计算可以承载大数据,大数据的管理和应用,可以通过云计算的资源共享、高可扩展性、服务特性来搭建和运营。
大数据的大内涵
大数据与云计算的交集是外部交集,大数据内部的关联、挖掘才是大数据的大内涵。这个调整远远超过云计算的应用难度,数据与数据的复杂关系,比如跨应用系统的结构化数据与非结构化数据的关联;海量数据的存储以及数据的分享;数据(结构化与非结构化)与业务和决策间的关联。
解决这个问题的一个思路是EMC提出的信息生命周期思想,但是在很多业界同行看来,这个思想在云计算和大数据时代需要得到升华,而这个方向就是智能,而且是全面的智能。IBM提出了智慧的地球,而我国新兴的IT企业代表爱数则提出了基于统一智能和信息生命周期思想框架的智能数据管理解决方案。
这是大数据管理和应用的一个新思路。爱数相关负责人介绍,这种统一的框架采用的是云计算结构,其主要技术突破在于资源池化和对法规管理的遵从,从数据生成阶段就将大数据纳入到生命周期管理中,通过统一的智能策略,不但能对数据进行很好的运维和保护,还能在数据使用和挖掘阶段与业务结合起来,提供统一的数据信息平台。
数据之道 智取未来
在大数据时代,无论是对企业用户还是对IT供应商来说,管理、使用大数据都需要有大思维和大规划。
在IT领域,计算时代成就了Wintel为代表的一批厂商,那个时代的旋律是摩尔定律;网络互通时代正在成就包括Google、Facebook、腾讯为代表的网络新贵,这个时代的主旋律是互通;大数据时代的到来,为更多的厂商带来了机会,而这个时代的主基调无可厚非是智能。
正所谓,数据之道,智取未来。
众所周知,数据可以分为3种:结构化数据、半结构化数据和非结构化数据。其中,大多数的数据属于企业业务过程中产生的文档等非结构化数据。
大数据时代已经到来,悲观者深为数据的管理和维护而忧虑,乐观者则看到了大数据的大价值。何谓大数据,目前没有统一的定义,通常认为它是海量的非结构化数据,其特点是数据量很大,数据的形式多样化。如何存储这些快速增长的海量数据?如何对大数据进行分析处理,挖掘出其价值?这些问题成为几乎所有企业面临的共同挑战。
大数据时代的挑战与目标
大数据时代的挑战包括:如何实现高效、智能的大数据存储?非结构化数据正在呈海量增长趋势,如何对其进行有效的管理和应用?现有数据保护与文档归档机制能否应对日益增长的海量数据?如何攻克移动数据管理的难点问题?如何在复杂的数据环境下实现可靠的数据安全?这些正逐渐成为CIO所面临的共同挑战。
但是我们发现,这些来自大数据的挑战,归纳起来主要只有两点:
其一,管理好大数据,包括大数据的产生、存储、保护、归档,到安全维护等各个方面。从根本上讲,这属于IT管理维护范畴,只不过数据量超出常规管理范围后,管理、维护的难度大幅度提高。
其二,应用好大数据。这是企业数据管理的最终目标。大数据即意味着大价值,数据与数据、数据与人、数据与业务的关联性能给企业带来巨大的价值。大数据应用的挑战既有应对数据的流动性、关联性、智能化所带来的挑战,也有基于大数据进行深度挖掘所带来的挑战。
但是,这两点之间是相辅相成,管理和维护的目的是使用,使用的基础是好的管理维护。
云计算与大数据 时代的交集
说到大数据的管理和使用,很多人都会想到云计算。云计算技术可以实现IT资源的自动化管理和配置,降低IT管理的复杂性,提高资源利用效率。
对企业来说,主要的业务由私有云支撑,而非关键业务或者突发性业务可以采用公共云资源。私有云与公共云需要无缝连接,形成合理的混合云环境。
可见,云计算可以承载大数据,大数据的管理和应用,可以通过云计算的资源共享、高可扩展性、服务特性来搭建和运营。
大数据的大内涵
大数据与云计算的交集是外部交集,大数据内部的关联、挖掘才是大数据的大内涵。这个调整远远超过云计算的应用难度,数据与数据的复杂关系,比如跨应用系统的结构化数据与非结构化数据的关联;海量数据的存储以及数据的分享;数据(结构化与非结构化)与业务和决策间的关联。
解决这个问题的一个思路是EMC提出的信息生命周期思想,但是在很多业界同行看来,这个思想在云计算和大数据时代需要得到升华,而这个方向就是智能,而且是全面的智能。IBM提出了智慧的地球,而我国新兴的IT企业代表爱数则提出了基于统一智能和信息生命周期思想框架的智能数据管理解决方案。
这是大数据管理和应用的一个新思路。爱数相关负责人介绍,这种统一的框架采用的是云计算结构,其主要技术突破在于资源池化和对法规管理的遵从,从数据生成阶段就将大数据纳入到生命周期管理中,通过统一的智能策略,不但能对数据进行很好的运维和保护,还能在数据使用和挖掘阶段与业务结合起来,提供统一的数据信息平台。
数据之道 智取未来
在大数据时代,无论是对企业用户还是对IT供应商来说,管理、使用大数据都需要有大思维和大规划。
在IT领域,计算时代成就了Wintel为代表的一批厂商,那个时代的旋律是摩尔定律;网络互通时代正在成就包括Google、Facebook、腾讯为代表的网络新贵,这个时代的主旋律是互通;大数据时代的到来,为更多的厂商带来了机会,而这个时代的主基调无可厚非是智能。
正所谓,数据之道,智取未来。