论文部分内容阅读
大数据这个名词，从陌生到新鲜到熟悉，发展到今天，已经成为一种客观存在，改变着整个世界的观念。大数据如同大爆炸一样强烈冲击着整个社会，无处不在的社交网络、移动互联网产生难以想象的海量数据，已经成为描述整个宇宙一切信息的工具，带领我们迈进穿越时空障碍的信息时代。大数据时代需要每一个个体、企业和政府采集数据，自动存储、客观分析，我们必须主动学习大数据，利用大数据，才能在未来世界赢得先机，驱动发展，取得胜利。未来的经济，是数据经济。
大数据时代到来
2011年5月，全球知名咨询公司麦肯锡发布《大数据：创新、竞争和生产力的下一个前沿领域》报告，这标志着“大数据”时代的到来。报告指出，大数据是工业传感器、互联网、移动数码等固定和移动设备产生的结构化数据、半结构化数据与非结构化数据的综合，大数据重在实时的处理与应用，以获得所需要的信息和知识，从而实现商业价值和公共管理服务。
然而对于大数据的定义，目前学术界还没有统一。维基百科将大数据定义为无法在一定时间用常规软件对其内容进行抓取、管理和处理的数据集合。广义的大数据不仅仅包含了“数据”，还包括从海量信息中获取目标价值信息的方法。
国内有学者指出，大数据是数据对象、技术和应用三者的统一：大数据对象之间存在直接或间接的关联；大数据技术是从各种各样的大数据对象中快速获得有价值信息的技术；大数据与大规模数据之间最大的区别就是包含对数据对象的处理，没有应用的大数据充其量只是大规模数据，应用是不可或缺的内涵之一。
我们已经从IT时代进入了DT（Data Technology）时代。IBM的研究表明，在整个人类文明所获的全部数据中，有90%是过去两年产生的，而到了2020年，全世界所产生的数据会是今天的44倍。的确，随着智能终端的不断发展，微信、微博和手机支付会让越来越多的用户贡献出自己的数据。人类的数据正在呈指数级增长，大约每两年翻一番。
大数据时代的到来具有一定的社会基础。涂子沛在《数据之巅》中写道，回顾前半个多世纪人类信息社会的历史，1966年提出的摩尔定律表示晶体管成本越来越低，形成了大数据现象的物质基础；1989年兴起的数据挖掘是让大数据产生“大价值”的关键；2004年出现的社交媒体，把全世界每个人都变为了潜在的数据生成器。
在大数据时代发展大数据产业有其必要性。维克托·迈尔·舍恩伯格在《大数据时代：生活、工作与思维的大变革》中说，大数据对社会的好处将是无穷尽的，因为大数据在一定程度上将解决迫在眉睫的全球问题，如处理气候变化、根除疾病以及促进善政和经济发展。
大数据时代的挑战
我国2015年提出的《促进大数据发展行动纲要》中指出，全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。
我国有着全球第一的互联网和移动互联网用户规模，拥有数据资源和应用市场优势。加快大数据部署，深化大数据应用是稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。《纲要》指出发展大数据的意义有以下三点：其一，大数据成为推动经济转型发展的新动力；其二，大数据成为重塑国家竞争优势的新机遇；其三，大数据成为提升政府治理能力的新途径。
我们可以看到，大数据已经上升为国家战略。2016年3月，“十三五”规划纲要发布，纲要第二十七章明确提出了“实施国家大数据战略”，这表示大数据战略得到了国家层面的重视。
从数据上来看，我国大数据市场规模呈爆发式的快速增长。贵阳大数据交易所的统计数据显示，2015年我国大数据产业市场规模为1692亿元，相对于2014年的1038亿元增长了63%，预计到2020年将会达到13626亿元。其中，2015年大数据应用市场规模为220亿元，预计2020年达到5450亿元。但在大数据时代，充满着机遇也充满着挑战。
首先，我国大数据发展面临着起步较晚、基础薄弱等困难。从国际上来看，我国制定大数据政策较晚。早在2012年，美国奥巴马政府就推出了“大数据研究和发展计划”，政府承诺投资超过2亿美元推动与大数据有关的收集、组织和分析。美国普查局很好地将大数据应用与统计调查结合起来，计划2020年采取“网络抓取技术”等多模式进行数据收集。从现阶段来看，我国大数据基础较为薄弱，总体上以跟随为主，难以满足对大规模数据应用的需求。我国必须掌握大数据关键技术，将资源转化为价值。
其次，數据共享困难与信息孤岛问题。目前我国还缺乏数据共享的理念，不同部门数据之间缺乏互联互通，数据综合利用效率低；另外，数据共享机制责任主体缺乏，许多政府部门担心泄露国家机密不作为。
第三，大数据来源数据质量问题。大数据应用的非常重要一个问题是数据的可靠性，即数据是否真实准确。一方面，大数据来源多样化，很多数据来源于网络，价值密度较低，真实性和准确性还未考证；另一方面，大数据更多的是半结构化和非结构化数据，即未经处理的文字、视频、图片等。这些都使数据质量堪忧。
第四，数据安全和隐私问题。从数据安全上来看，美国数据安全研究公司Gemalto发布的最新2015外泄水平指数报告摘要中指出，2015年是发生数据外泄事故情况相当严峻的一年，这一年公司共收集和分类编录1673例数据外泄事故，造成约7亿条数据记录外泄。大数据的采集和处理使有价值的数据高度集中，对潜在攻击者吸引很大，为国家、企业和个人安全带来隐患。从隐私问题上来看，在互联网时代，人们的一举一动都被集中记录在网上，即使个人可以清除浏览记录，网站服务器还保留着这些数据。这意味着网络空间的设置不是保护个人独处的隐私，而是允许被记录和搜集。
政府角度的应对方式
针对以上问题，可以有以下几种应对方式。
首先，加强大数据的基础建设。可以从三方面开展。第一，政府相关统计部门如统计局应拓宽经济数据采集渠道和采集的数据类型，加强相关数据的采集、存储和保护以及管理工作，全面提升统计服务水平。同时推进数据统计制度、方法和程序的改革工作，保障国家、企业和个人信息安全的同时，研究大数据共享制度，为统计提供便捷、坚实的大数据基础。第二，提高大数据研发技术水平。鼓励计算机算法研究人员与统计人员密切合作，在了解统计特点和全面掌握统计人员需求的基础上，研发适用于统计的大数据采集、分析和处理平台，提升大数据去冗降噪技术水平，为统计人员创造一个友好的大数据利用环境。第三，重视培养人才。鼓励培养拥有统计分析和计算机技术的复合型人才，加强统计和计算机领域之间的互动与交流，鼓励大数据技术人员为统计人员开展大数据采集与处理相关的培训。高校统计人才培养过程中，加强统计分析领域人才的计算机技能培训，促进统计分析人才队伍的转型。
其次，加强与大企业的合作。面对信息共享困难和信息孤岛问题，可以与实力强的企业进行合作。企业本身拥有客户的大量数据，通过对数据的分析可以得到更多的信息成为进行管理和营销的依据。不过企业拥有的客户信息也不是很全面，企业应积极争取和大企业如百度、阿里巴巴、腾讯或第三方征信公司合作获得更多的客户信息。进行数据和信息的共享和利用可以全面整合客户有效信息。
第三，转变理念。树立开放和实证的思维。企业要顺应大数据特点，牢牢树立“以创造数据价值为着眼点，以数据管理为立足点，以服务创新来推动数据开放和共享”的大数据服务理念，坚持开放融合的大数据精神，建立数据实证为核心的判断决策流程。企业还要建设非结构化的客户信息共享平台，促进服务与社交网络的融合。企业应努力通过各种渠道整合非结构化信息，有效地挖掘庞大信息资产，从这些数据中发现更多的客户价值创造机会。
第四，数据安全和隐私。一方面，政府可以启动大数据立法，解决用户数据安全难题和用户隐私保护难题，从法律层面保障信息安全。另外一方面，大数据企业自我提升责任意识，加强保护数据安全和用户隐私。
大数据时代，数据成为21世纪的“石油”，大数据技术就是对“石油”进行提炼和加工。在大数据战略的部署下，大数据必将成为推动经济转型发展的新动力，重塑国家竞争优势的新机遇，提升政府治理能力的新途径。
大数据时代到来
2011年5月，全球知名咨询公司麦肯锡发布《大数据：创新、竞争和生产力的下一个前沿领域》报告，这标志着“大数据”时代的到来。报告指出，大数据是工业传感器、互联网、移动数码等固定和移动设备产生的结构化数据、半结构化数据与非结构化数据的综合，大数据重在实时的处理与应用，以获得所需要的信息和知识，从而实现商业价值和公共管理服务。
然而对于大数据的定义，目前学术界还没有统一。维基百科将大数据定义为无法在一定时间用常规软件对其内容进行抓取、管理和处理的数据集合。广义的大数据不仅仅包含了“数据”，还包括从海量信息中获取目标价值信息的方法。
国内有学者指出，大数据是数据对象、技术和应用三者的统一：大数据对象之间存在直接或间接的关联；大数据技术是从各种各样的大数据对象中快速获得有价值信息的技术；大数据与大规模数据之间最大的区别就是包含对数据对象的处理，没有应用的大数据充其量只是大规模数据，应用是不可或缺的内涵之一。
我们已经从IT时代进入了DT（Data Technology）时代。IBM的研究表明，在整个人类文明所获的全部数据中，有90%是过去两年产生的，而到了2020年，全世界所产生的数据会是今天的44倍。的确，随着智能终端的不断发展，微信、微博和手机支付会让越来越多的用户贡献出自己的数据。人类的数据正在呈指数级增长，大约每两年翻一番。
大数据时代的到来具有一定的社会基础。涂子沛在《数据之巅》中写道，回顾前半个多世纪人类信息社会的历史，1966年提出的摩尔定律表示晶体管成本越来越低，形成了大数据现象的物质基础；1989年兴起的数据挖掘是让大数据产生“大价值”的关键；2004年出现的社交媒体，把全世界每个人都变为了潜在的数据生成器。
在大数据时代发展大数据产业有其必要性。维克托·迈尔·舍恩伯格在《大数据时代：生活、工作与思维的大变革》中说，大数据对社会的好处将是无穷尽的，因为大数据在一定程度上将解决迫在眉睫的全球问题，如处理气候变化、根除疾病以及促进善政和经济发展。
大数据时代的挑战
我国2015年提出的《促进大数据发展行动纲要》中指出，全球范围内，运用大数据推动经济发展、完善社会治理、提升政府服务和监管能力正成为趋势。
我国有着全球第一的互联网和移动互联网用户规模，拥有数据资源和应用市场优势。加快大数据部署，深化大数据应用是稳增长、促改革、调结构、惠民生和推动政府治理能力现代化的内在需要和必然选择。《纲要》指出发展大数据的意义有以下三点：其一，大数据成为推动经济转型发展的新动力；其二，大数据成为重塑国家竞争优势的新机遇；其三，大数据成为提升政府治理能力的新途径。
我们可以看到，大数据已经上升为国家战略。2016年3月，“十三五”规划纲要发布，纲要第二十七章明确提出了“实施国家大数据战略”，这表示大数据战略得到了国家层面的重视。
从数据上来看，我国大数据市场规模呈爆发式的快速增长。贵阳大数据交易所的统计数据显示，2015年我国大数据产业市场规模为1692亿元，相对于2014年的1038亿元增长了63%，预计到2020年将会达到13626亿元。其中，2015年大数据应用市场规模为220亿元，预计2020年达到5450亿元。但在大数据时代，充满着机遇也充满着挑战。
首先，我国大数据发展面临着起步较晚、基础薄弱等困难。从国际上来看，我国制定大数据政策较晚。早在2012年，美国奥巴马政府就推出了“大数据研究和发展计划”，政府承诺投资超过2亿美元推动与大数据有关的收集、组织和分析。美国普查局很好地将大数据应用与统计调查结合起来，计划2020年采取“网络抓取技术”等多模式进行数据收集。从现阶段来看，我国大数据基础较为薄弱，总体上以跟随为主，难以满足对大规模数据应用的需求。我国必须掌握大数据关键技术，将资源转化为价值。
其次，數据共享困难与信息孤岛问题。目前我国还缺乏数据共享的理念，不同部门数据之间缺乏互联互通，数据综合利用效率低；另外，数据共享机制责任主体缺乏，许多政府部门担心泄露国家机密不作为。
第三，大数据来源数据质量问题。大数据应用的非常重要一个问题是数据的可靠性，即数据是否真实准确。一方面，大数据来源多样化，很多数据来源于网络，价值密度较低，真实性和准确性还未考证；另一方面，大数据更多的是半结构化和非结构化数据，即未经处理的文字、视频、图片等。这些都使数据质量堪忧。
第四，数据安全和隐私问题。从数据安全上来看，美国数据安全研究公司Gemalto发布的最新2015外泄水平指数报告摘要中指出，2015年是发生数据外泄事故情况相当严峻的一年，这一年公司共收集和分类编录1673例数据外泄事故，造成约7亿条数据记录外泄。大数据的采集和处理使有价值的数据高度集中，对潜在攻击者吸引很大，为国家、企业和个人安全带来隐患。从隐私问题上来看，在互联网时代，人们的一举一动都被集中记录在网上，即使个人可以清除浏览记录，网站服务器还保留着这些数据。这意味着网络空间的设置不是保护个人独处的隐私，而是允许被记录和搜集。
政府角度的应对方式
针对以上问题，可以有以下几种应对方式。
首先，加强大数据的基础建设。可以从三方面开展。第一，政府相关统计部门如统计局应拓宽经济数据采集渠道和采集的数据类型，加强相关数据的采集、存储和保护以及管理工作，全面提升统计服务水平。同时推进数据统计制度、方法和程序的改革工作，保障国家、企业和个人信息安全的同时，研究大数据共享制度，为统计提供便捷、坚实的大数据基础。第二，提高大数据研发技术水平。鼓励计算机算法研究人员与统计人员密切合作，在了解统计特点和全面掌握统计人员需求的基础上，研发适用于统计的大数据采集、分析和处理平台，提升大数据去冗降噪技术水平，为统计人员创造一个友好的大数据利用环境。第三，重视培养人才。鼓励培养拥有统计分析和计算机技术的复合型人才，加强统计和计算机领域之间的互动与交流，鼓励大数据技术人员为统计人员开展大数据采集与处理相关的培训。高校统计人才培养过程中，加强统计分析领域人才的计算机技能培训，促进统计分析人才队伍的转型。
其次，加强与大企业的合作。面对信息共享困难和信息孤岛问题，可以与实力强的企业进行合作。企业本身拥有客户的大量数据，通过对数据的分析可以得到更多的信息成为进行管理和营销的依据。不过企业拥有的客户信息也不是很全面，企业应积极争取和大企业如百度、阿里巴巴、腾讯或第三方征信公司合作获得更多的客户信息。进行数据和信息的共享和利用可以全面整合客户有效信息。
第三，转变理念。树立开放和实证的思维。企业要顺应大数据特点，牢牢树立“以创造数据价值为着眼点，以数据管理为立足点，以服务创新来推动数据开放和共享”的大数据服务理念，坚持开放融合的大数据精神，建立数据实证为核心的判断决策流程。企业还要建设非结构化的客户信息共享平台，促进服务与社交网络的融合。企业应努力通过各种渠道整合非结构化信息，有效地挖掘庞大信息资产，从这些数据中发现更多的客户价值创造机会。
第四，数据安全和隐私。一方面，政府可以启动大数据立法，解决用户数据安全难题和用户隐私保护难题，从法律层面保障信息安全。另外一方面，大数据企业自我提升责任意识，加强保护数据安全和用户隐私。
大数据时代，数据成为21世纪的“石油”，大数据技术就是对“石油”进行提炼和加工。在大数据战略的部署下，大数据必将成为推动经济转型发展的新动力，重塑国家竞争优势的新机遇，提升政府治理能力的新途径。