论文部分内容阅读
刚刚过去的2012年是中国的“大数据元年”，是大数据概念为人所知、引人瞩目的一年，部分IT企业已经在此领域战略布局，发布各种形式的大数据产品。在互联网、零售、交通等行业，大数据应用也小试牛刀，展现出惊人的魅力。
大数据已经成为一种社会现象：它既是对既往信息技术发展至今的高度抽象和概括，同时抓住了信息技术服务于人、数据蕴藏价值的本质。大数据之“大”，不仅仅在于其容量之大——虽然数据容量的爆炸的确给数据的采集、存储、维护、共享带来了具有研究意义的现象和挑战，但更多的意义在于：人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，人类可以发现新知识、创造新价值，带来大知识、大科学和大发展，逐渐走向创新社会化的新信息时代。
产业链已具雏形
因循数据的流动性和开放性，大数据全生命周期可以划分为“数据产生——数据采集——数据传输——数据存储——数据处理——数据分析——数据发布、展示和应用——产生新数据”等阶段。中国已经形成了大数据的“生产与集聚层——组织与管理层——分析与发现层——应用与服务层”的产业链，而IT基础设施为这各环节提供基础支撑。
据统计，2012年市场规模达到4.5亿元，2013年还将持续发酵，未来三年内有望突破40亿元，2016年有望达到百亿规模。
综合看来，大数据技术与产品发展特点和趋势有以下几点：
一、数据处理是应用的薄弱环节。
大数据蕴藏的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而产生价值。在数据挖掘分析之前，必须进行数据处理，其目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取出对于某些特定的人们来说是有价值、有意义的数据。这个过程包括数据清洗，即过滤掉不完整的数据、错误的数据、重复的数据等不符合要求的数据，然后进行数据装载、查询、展现等。
用户拥有的数据质量与其业务绩效之间存在着直接联系，高质量的数据可以使其保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量控制技术，企业在任何时候都可以信任满足所有需求的所有数据。为了充分实现数据资产的业务价值，企业往往通过一个数据整合或集成平台进行数据质量的监测，找出并修正隐藏的数据瑕疵，随时随地交付各种类型的可信的数据。
二、数据分析是全生命周期中最有“含金量”的环节。
大数据时代，理解数据蕴藏的内容并挖掘其价值成为一项挑战。由于事务型数据和决策支持型数据的处理性能不同，需将决策支持型数据处理从事务型数据处理中分离出来，再从事务型数据库中导入数据仓库，继而采用OLAP（联机分析处理）工具、数据挖掘工具等进行分析、智能决策，提高决策的科学性和水平，完善各种管理流程，增强综合竞争力的智慧和能力。
大数据时代，各行业用户对数据分析功能的需求更加旺盛，同时对数据分析的广度和速度都有更高要求，促使IT厂商加快了对于数据分析技术的研发创新。一方面，大数据分析不再局限于结构化的历史数据，而更倾向于分析来自社交网络、RFID传感器等的非结构化数据，促进了对非结构化数据的分析技术创新；另一方面，激烈的市场竞争促使大数据解决方案厂商加大了对数据的快速、实时分析、智能决策技术的研发投入。
三、“语义网”将在大数据时代落地。
当前，人们面临着信息过剩的局面，B2C平台提供的信息收集服务已经无法满足用户的需求，人们期望从海量信息中得到更精准和高效的处理。“语义网”是人工智能和Web技术相结合的产物，是对目前互联网的一种扩展，在这样的网络中，信息被赋予明确的含义，计算机自动地处理和集成网上可用的信息，从而将网络中一个个现存的信息孤岛，发展成一个巨大的数据库，满足了用户在海量数据中精确地提取有价值信息的需求。“语义网”由数据库智能化程度极高、协调能力非常强大的各个部分组成。大数据时代的到来，为“语义网”的全面落地提供了海量的数据存储，让网络变成一个巨大的“信息蓄水池”，用户可以通过设置“关键词”的形式从中提取有价值的信息，将人类的语言通过智能网络同电脑连接起来，实现了人机的互动，和对海量数据的智能检索，使用户在有效的时间内搜集有价值的信息。
四、开源以成本优势和高自由度成为技术创新主力。
在云计算和大数据的时代，信息管理的大投入、数据运营的高成本让中小型企业用户望而却步，开源技术将以成本率的降低和企业级的IT自由度破解大数据之忧，这两大特性也使得开源技术与非开源技术能够分庭抗礼。
大数据的处理业务主要集中三个方面：信息管理、商业智能和智能分析，目前在这些方面的开源技术和工具可谓琳琅满目，勃勃生机。未来，在应用方面，开源软件的高灵活性、高可靠性、高扩展性和贴近用户应用的特点，将促进其在整个大数据产业链中扮演越来越重要的角色；在性能方面，随着开源技术将对数据掌控的能力不断加强，开源技术将在稳定性、安全性上得到不断完善和有效提升；在创新方面，围绕开源技术的模式创新和服务创新将得以形成，更快地适应大数据时代的业务变革和转型升级。
催生新的商业模式
在大数据爆发的时代，其商业模式和应用特点也成为人们关注的焦点。
一、大数据由网络数据处理走向企业级应用。
在一个数据爆炸性增长的“大数据”时代，越来越多的企业意识到，数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为企业日益倚重的技术手段。合理有效地利用数据，能够实现企业数据价值的最大化，更好地实施差异化竞争。目前，大数据的技术主要应用于Google、Facebook、百度、腾讯、中国移动等互联网或者通信运营巨头。但随着企业信息化应用的逐渐深入，信息处理系统也会产生大量的数据，对于这些数据的分析和应用将促使企业的基础IT架构、数据处理、应用软件的开发和管理模式等领域产生新的变革。因此，国内一些硬件厂商也纷纷布局大数据，例如联想通过与EMC合作，正式进入大数据的企业级应用领域，华为在统一存储领域中推出了面向企业级应用的四款T系列的OceanStor产品，提升了其在存储领域的地位。
二、移动终端数据应用将成为下一轮创新的中心。
据赛迪顾问研究统计，2011年，中国移动互联网市场规模为2500亿元，涵盖了人们对衣食住行、安全以及社交与自我实现等不同层次的需求，其中移动终端占据移动互联网市场的78.6%，移动应用和移动软件分别占据14.9%和6.5%的市场份额，用户可以随时随地在移动终端中获取和处理信息。通过移动搜索、浏览器、移动商店、移动广告等产生的数据量也随之呈现几何级数增长，企业可借助移动终端的数据搜集分析获取用户的切实需求，从而进一步获取有价值的信息，因此移动终端的数据应用也将成为下一轮数据创新的中心。截至目前，移动互联网用户发送和上传的数据量达到1.3EB，相当于10的18次方Bit，其数据流量增速远远高于网络数据流量。
三、“数据租售”成为最直接的盈利模式。
对大数据的挖掘和应用可以有效提高生产效率，创造出大量的市场价值，因此“数据租售”成为了一种现实存在的直接盈利手段。无论是搜索引擎行业、电子商务领域还是人力资源行业，都通过出售原始的互联网数据或者是经过处理分析的商业结果来获取直接的利益，以商品化的数据应用创造了新的商业模式。
百度游戏通过搜集整理网络游戏用户的搜索需求和搜索热点，建立完备的用户行为数据库，并提供给上游的游戏运营商创造数据服务的收入来源，成为在搜索引擎领域中将以数据支持服务变为主要盈利模式的成功案例。此外，“魔方”是淘宝网成立的专门用于提供数据服务的机构，为商家提供行业分析数据，从中获取利益。
大数据已经成为一种社会现象：它既是对既往信息技术发展至今的高度抽象和概括，同时抓住了信息技术服务于人、数据蕴藏价值的本质。大数据之“大”，不仅仅在于其容量之大——虽然数据容量的爆炸的确给数据的采集、存储、维护、共享带来了具有研究意义的现象和挑战，但更多的意义在于：人类可以处理、分析并使用的数据在大量增加，通过这些数据的处理、整合和分析，人类可以发现新知识、创造新价值，带来大知识、大科学和大发展，逐渐走向创新社会化的新信息时代。
产业链已具雏形
因循数据的流动性和开放性，大数据全生命周期可以划分为“数据产生——数据采集——数据传输——数据存储——数据处理——数据分析——数据发布、展示和应用——产生新数据”等阶段。中国已经形成了大数据的“生产与集聚层——组织与管理层——分析与发现层——应用与服务层”的产业链，而IT基础设施为这各环节提供基础支撑。
据统计，2012年市场规模达到4.5亿元，2013年还将持续发酵，未来三年内有望突破40亿元，2016年有望达到百亿规模。
综合看来，大数据技术与产品发展特点和趋势有以下几点：
一、数据处理是应用的薄弱环节。
大数据蕴藏的价值虽然巨大，价值密度却很低，往往需要对海量的数据进行挖掘分析才能得到真正有用的信息，从而产生价值。在数据挖掘分析之前，必须进行数据处理，其目的是从大量的、可能是杂乱无章的、难以理解的数据中抽取出对于某些特定的人们来说是有价值、有意义的数据。这个过程包括数据清洗，即过滤掉不完整的数据、错误的数据、重复的数据等不符合要求的数据，然后进行数据装载、查询、展现等。
用户拥有的数据质量与其业务绩效之间存在着直接联系，高质量的数据可以使其保持竞争力并在经济动荡时期立于不败之地。有了普遍深入的数据质量控制技术，企业在任何时候都可以信任满足所有需求的所有数据。为了充分实现数据资产的业务价值，企业往往通过一个数据整合或集成平台进行数据质量的监测，找出并修正隐藏的数据瑕疵，随时随地交付各种类型的可信的数据。
二、数据分析是全生命周期中最有“含金量”的环节。
大数据时代，理解数据蕴藏的内容并挖掘其价值成为一项挑战。由于事务型数据和决策支持型数据的处理性能不同，需将决策支持型数据处理从事务型数据处理中分离出来，再从事务型数据库中导入数据仓库，继而采用OLAP（联机分析处理）工具、数据挖掘工具等进行分析、智能决策，提高决策的科学性和水平，完善各种管理流程，增强综合竞争力的智慧和能力。
大数据时代，各行业用户对数据分析功能的需求更加旺盛，同时对数据分析的广度和速度都有更高要求，促使IT厂商加快了对于数据分析技术的研发创新。一方面，大数据分析不再局限于结构化的历史数据，而更倾向于分析来自社交网络、RFID传感器等的非结构化数据，促进了对非结构化数据的分析技术创新；另一方面，激烈的市场竞争促使大数据解决方案厂商加大了对数据的快速、实时分析、智能决策技术的研发投入。
三、“语义网”将在大数据时代落地。
当前，人们面临着信息过剩的局面，B2C平台提供的信息收集服务已经无法满足用户的需求，人们期望从海量信息中得到更精准和高效的处理。“语义网”是人工智能和Web技术相结合的产物，是对目前互联网的一种扩展，在这样的网络中，信息被赋予明确的含义，计算机自动地处理和集成网上可用的信息，从而将网络中一个个现存的信息孤岛，发展成一个巨大的数据库，满足了用户在海量数据中精确地提取有价值信息的需求。“语义网”由数据库智能化程度极高、协调能力非常强大的各个部分组成。大数据时代的到来，为“语义网”的全面落地提供了海量的数据存储，让网络变成一个巨大的“信息蓄水池”，用户可以通过设置“关键词”的形式从中提取有价值的信息，将人类的语言通过智能网络同电脑连接起来，实现了人机的互动，和对海量数据的智能检索，使用户在有效的时间内搜集有价值的信息。
四、开源以成本优势和高自由度成为技术创新主力。
在云计算和大数据的时代，信息管理的大投入、数据运营的高成本让中小型企业用户望而却步，开源技术将以成本率的降低和企业级的IT自由度破解大数据之忧，这两大特性也使得开源技术与非开源技术能够分庭抗礼。
大数据的处理业务主要集中三个方面：信息管理、商业智能和智能分析，目前在这些方面的开源技术和工具可谓琳琅满目，勃勃生机。未来，在应用方面，开源软件的高灵活性、高可靠性、高扩展性和贴近用户应用的特点，将促进其在整个大数据产业链中扮演越来越重要的角色；在性能方面，随着开源技术将对数据掌控的能力不断加强，开源技术将在稳定性、安全性上得到不断完善和有效提升；在创新方面，围绕开源技术的模式创新和服务创新将得以形成，更快地适应大数据时代的业务变革和转型升级。
催生新的商业模式
在大数据爆发的时代，其商业模式和应用特点也成为人们关注的焦点。
一、大数据由网络数据处理走向企业级应用。
在一个数据爆炸性增长的“大数据”时代，越来越多的企业意识到，数据和信息已经成为企业的智力资产和资源，数据的分析和处理能力正在成为企业日益倚重的技术手段。合理有效地利用数据，能够实现企业数据价值的最大化，更好地实施差异化竞争。目前，大数据的技术主要应用于Google、Facebook、百度、腾讯、中国移动等互联网或者通信运营巨头。但随着企业信息化应用的逐渐深入，信息处理系统也会产生大量的数据，对于这些数据的分析和应用将促使企业的基础IT架构、数据处理、应用软件的开发和管理模式等领域产生新的变革。因此，国内一些硬件厂商也纷纷布局大数据，例如联想通过与EMC合作，正式进入大数据的企业级应用领域，华为在统一存储领域中推出了面向企业级应用的四款T系列的OceanStor产品，提升了其在存储领域的地位。
二、移动终端数据应用将成为下一轮创新的中心。
据赛迪顾问研究统计，2011年，中国移动互联网市场规模为2500亿元，涵盖了人们对衣食住行、安全以及社交与自我实现等不同层次的需求，其中移动终端占据移动互联网市场的78.6%，移动应用和移动软件分别占据14.9%和6.5%的市场份额，用户可以随时随地在移动终端中获取和处理信息。通过移动搜索、浏览器、移动商店、移动广告等产生的数据量也随之呈现几何级数增长，企业可借助移动终端的数据搜集分析获取用户的切实需求，从而进一步获取有价值的信息，因此移动终端的数据应用也将成为下一轮数据创新的中心。截至目前，移动互联网用户发送和上传的数据量达到1.3EB，相当于10的18次方Bit，其数据流量增速远远高于网络数据流量。
三、“数据租售”成为最直接的盈利模式。
对大数据的挖掘和应用可以有效提高生产效率，创造出大量的市场价值，因此“数据租售”成为了一种现实存在的直接盈利手段。无论是搜索引擎行业、电子商务领域还是人力资源行业，都通过出售原始的互联网数据或者是经过处理分析的商业结果来获取直接的利益，以商品化的数据应用创造了新的商业模式。
百度游戏通过搜集整理网络游戏用户的搜索需求和搜索热点，建立完备的用户行为数据库，并提供给上游的游戏运营商创造数据服务的收入来源，成为在搜索引擎领域中将以数据支持服务变为主要盈利模式的成功案例。此外，“魔方”是淘宝网成立的专门用于提供数据服务的机构，为商家提供行业分析数据，从中获取利益。