论文部分内容阅读
[摘要]大数据时代背景下,政府统计数据是大数据的组成部分,迫切需要政府统计跟上互联网、物联网、云计算等数据智能化采集技术应用的步伐。本文介绍大数据的背景、特点及其发展阶段,重点分析大数据对政府统计的冲击以及大数据时代下政府统计的发展趋势。
[关键词]大数据;政府统计;云计算
近年来,在医疗服务、零售业、金融业、制造业、物流、电信等行业,大数据的开发与利用如火如荼,产生了巨大的社会价值,成为互联网、新闻媒体、学术机构、政府企业管理人员等方面关注的热点。与传统统计方式相比,大数据更能满足普通社会公众对信息的需求,让人感到大数据几乎无所不能。甚至有的观点认为,大数据时代,政府统计调查不再具有传统上的信息传递作用。
一、理解大数据时代
(一)数据生产历史
人类文明,在于语言的产生和文字的发明。通过语言,人类可以互通信息、表情达意;有了文字,人类思想和活动才能书写记录、凝固传承。从语言到文字,是人类文明穿越传说时代,步入信史时代的关键时期。但由于文字描述的模糊性,许多自然界和人类社会值得记录的信号,及时被收集、整理,多数并未形成系统数据,得到合理使用。一鳞半爪、道听途说,以讹传讹是常态,而真实、准确、可靠反而是变态。
“巧妇难为无米之炊”,统计工作离不开统计数据,而取得统计数据需要成本。古代如此,现代也是这样。同一时期,统计数据收集、整理,费时耗力;不同时期,统计口径如不统一规范,将难于理解。另外,统计数据如何查阅、如何发布,也是难上加难。即便是当下,人们在数据采集、存储、分析、共享、传输等方面仍困难重重。对于大多数人而言,如不利用网络,他都将处于有限数据时代,只能掌握部分信息。
随着互联网的发展,社会管理者、企业和个人与网络平台的关系越来越密切,他们每天都在向各类信息终端、平台传送数据。数据的量、种类和结构远超传统信息系统的分析处理和存储传输能力。为获取这直观上庞大数据的内在价值,必须选用新方式来处理。为此,人们把各种资源从客户端剥离,集中到云端,面向客户端提供标准化服务,这种新的信息系统架构就是云计算。
(二)云计算模式
云计算是虚拟化技术、分布式处理、并行处理和网格计算等技术的发展,或者说是这些概念的商业实现。云计算使计算分布,而非在用户本地或远程的单独服务器中,云端维护者能自由快速地将资源切换到需要的应用上,根据用户需求调整所访问的计算机和存储系统。对用户来说,云计算可以理解为基于网络的软件、平台、基础设施按需供给、自由扩展、按使用付费的应用模式。
服务器和存储设备的价格日益低廉、城市化和信息化基础的高速建设使云计算有了实现物力基础条件,而互联网企业、大型社交网络平台、公共服务机构、数据型密集行业等为云计算提供了绝佳的应用展示平台。数据爆炸性地增长,人们从数据匮乏时代一步就迈入了数据泛滥时代。
(三)从云计算到大数据
大数据需要云计算,云计算是大数据的IT基础,而大数据是云计算的应用扩展。云计算把海量数据和可以自由快速扩展的信息资源集中到了云端,大数据则使从数据当中提取信息的常规方式发生了变化。由于自然语言理解、多媒体内容理解、机器学习等技术的发展,计算机可以更好地完成非结构化海量信息的智能化处理,逐步达到学习和模拟人类智能活动并攫取群体行为信息的效果。用户不再依赖传统模型进行抽样后进行统计推断,而是基于规模庞大的数据,利用既有软件快速有效地分析得出人的行为习惯方式,或总结出社会经济的总量结构信息。
二、从大数据到政府统计
(一)政府统计的发展现状
市场经济条件下,政府及经济管理部门需要了解经济的规模、结构、发展水平、效益等动态,都需要统计,政府统计调查一直是经济社会管理部门最主要的数据获取手段。
综合政府统计机构(统计局)通过调查处理,得到反映经济运行状况的基本数据,主要包括人口及劳动力、GDP、农业、工业、建筑业、贸易业、人民生活、价格等。再从相关部门取得财政、金融、运输、邮电、教育、文化、科技、卫生、环保等反映经济社会发展的统计数据。这些数据再通过公报、年鉴、新聞发布、进度资料等形式进行公布。
目前统计局的统计调查采用了全面定期统计、抽样调查、普查、重点调查、典型调查等方法,基本业务开展仍遵循制度设计、调查采集、数据整理上报、数据发布与开发利用的顺序流程。近年来,统计工作信息化水平有较大提高,伴随着联网直报系统等信息化项目的应用推广,政府统计逐步实现了网络采集传输、集中存储处理、分析手段也日趋多样。
当前,政府统计面对的主要问题是:数据质量不高、统计产品短缺陈旧、数据公信力不足等方面,根源在于政府统计的制度、机构,已不能适应我国发展现状。当前,受各种因素影响,短期内数据质量控制、指标体系完善、统计方法改进等问题还已困住各级统计部门,至于强化统计独立,站在更高层面整合现有行政记录资源,是长期问题,要摆上桌面,大张旗鼓,还有待努力。
(二)政府统计面临的冲击
大数据时代,一方面,各类数据爆炸性增长,巨量数据实时在线可用;另一方面,数据的发布更新实时快捷,分析应用多样灵活,更加贴近公众需求,数据对社会整体的代表性不断增强。因此,通过攫取海量的数据资源中的蕴含信息,能够初步满足宏观分析、行业研究、微观决策的需要。
本质上,数据的生产和应用方式发生了巨变。每个社会成员都是数据生产者和提供者,数据生产不再依赖政府统计系统,政府统计机构不再是数据的绝对拥有者;大量用户能够方便地使用海量数据供己所需,传统政府统计机构不再是数据的唯一发布者和解释人。
三、大数据时代下的政府统计发展
大数据时代,尽管政府统计依然掌握有关社会管理和运行的行政记录信息,负责标准规范的制定者和各类数据结果的发布,但不再是权威数据的唯一提供者,要在大量数据提供者中取胜,并把握历史潮流,就必须从自己开始,致力革新,适应历史潮流。政府统计,不能再是数据的直接生产者,不能再专注于一线数据的采集,而应在改革自身数据采集系统基础上,整合各方行政记录信息,构建权威的社会经济数据在线平台。
对分析用户来说,数据越多,去伪存真、大浪淘沙的提炼、分析能力越显得重要。大数据时代的分析既需要深厚的背景知识,也离不开合适的大数据统计分析工具。社会经济生活涵盖方面很多,政府统计即使收集到所有数据,也不可能独自去分析所有方向。可以预见,未来经济分析的职能会被更为专业的经济分析部门取代,政府统计应着重于宏观经济数据的基础分析,预测和扩展性的分析,将由各类社会组织在政府统计所掌握的数据基础上进行研究开发。
作者简介
胡顺华,女,江苏盐城,本科,统计师、工程师,研究方向:大数据。
[关键词]大数据;政府统计;云计算
近年来,在医疗服务、零售业、金融业、制造业、物流、电信等行业,大数据的开发与利用如火如荼,产生了巨大的社会价值,成为互联网、新闻媒体、学术机构、政府企业管理人员等方面关注的热点。与传统统计方式相比,大数据更能满足普通社会公众对信息的需求,让人感到大数据几乎无所不能。甚至有的观点认为,大数据时代,政府统计调查不再具有传统上的信息传递作用。
一、理解大数据时代
(一)数据生产历史
人类文明,在于语言的产生和文字的发明。通过语言,人类可以互通信息、表情达意;有了文字,人类思想和活动才能书写记录、凝固传承。从语言到文字,是人类文明穿越传说时代,步入信史时代的关键时期。但由于文字描述的模糊性,许多自然界和人类社会值得记录的信号,及时被收集、整理,多数并未形成系统数据,得到合理使用。一鳞半爪、道听途说,以讹传讹是常态,而真实、准确、可靠反而是变态。
“巧妇难为无米之炊”,统计工作离不开统计数据,而取得统计数据需要成本。古代如此,现代也是这样。同一时期,统计数据收集、整理,费时耗力;不同时期,统计口径如不统一规范,将难于理解。另外,统计数据如何查阅、如何发布,也是难上加难。即便是当下,人们在数据采集、存储、分析、共享、传输等方面仍困难重重。对于大多数人而言,如不利用网络,他都将处于有限数据时代,只能掌握部分信息。
随着互联网的发展,社会管理者、企业和个人与网络平台的关系越来越密切,他们每天都在向各类信息终端、平台传送数据。数据的量、种类和结构远超传统信息系统的分析处理和存储传输能力。为获取这直观上庞大数据的内在价值,必须选用新方式来处理。为此,人们把各种资源从客户端剥离,集中到云端,面向客户端提供标准化服务,这种新的信息系统架构就是云计算。
(二)云计算模式
云计算是虚拟化技术、分布式处理、并行处理和网格计算等技术的发展,或者说是这些概念的商业实现。云计算使计算分布,而非在用户本地或远程的单独服务器中,云端维护者能自由快速地将资源切换到需要的应用上,根据用户需求调整所访问的计算机和存储系统。对用户来说,云计算可以理解为基于网络的软件、平台、基础设施按需供给、自由扩展、按使用付费的应用模式。
服务器和存储设备的价格日益低廉、城市化和信息化基础的高速建设使云计算有了实现物力基础条件,而互联网企业、大型社交网络平台、公共服务机构、数据型密集行业等为云计算提供了绝佳的应用展示平台。数据爆炸性地增长,人们从数据匮乏时代一步就迈入了数据泛滥时代。
(三)从云计算到大数据
大数据需要云计算,云计算是大数据的IT基础,而大数据是云计算的应用扩展。云计算把海量数据和可以自由快速扩展的信息资源集中到了云端,大数据则使从数据当中提取信息的常规方式发生了变化。由于自然语言理解、多媒体内容理解、机器学习等技术的发展,计算机可以更好地完成非结构化海量信息的智能化处理,逐步达到学习和模拟人类智能活动并攫取群体行为信息的效果。用户不再依赖传统模型进行抽样后进行统计推断,而是基于规模庞大的数据,利用既有软件快速有效地分析得出人的行为习惯方式,或总结出社会经济的总量结构信息。
二、从大数据到政府统计
(一)政府统计的发展现状
市场经济条件下,政府及经济管理部门需要了解经济的规模、结构、发展水平、效益等动态,都需要统计,政府统计调查一直是经济社会管理部门最主要的数据获取手段。
综合政府统计机构(统计局)通过调查处理,得到反映经济运行状况的基本数据,主要包括人口及劳动力、GDP、农业、工业、建筑业、贸易业、人民生活、价格等。再从相关部门取得财政、金融、运输、邮电、教育、文化、科技、卫生、环保等反映经济社会发展的统计数据。这些数据再通过公报、年鉴、新聞发布、进度资料等形式进行公布。
目前统计局的统计调查采用了全面定期统计、抽样调查、普查、重点调查、典型调查等方法,基本业务开展仍遵循制度设计、调查采集、数据整理上报、数据发布与开发利用的顺序流程。近年来,统计工作信息化水平有较大提高,伴随着联网直报系统等信息化项目的应用推广,政府统计逐步实现了网络采集传输、集中存储处理、分析手段也日趋多样。
当前,政府统计面对的主要问题是:数据质量不高、统计产品短缺陈旧、数据公信力不足等方面,根源在于政府统计的制度、机构,已不能适应我国发展现状。当前,受各种因素影响,短期内数据质量控制、指标体系完善、统计方法改进等问题还已困住各级统计部门,至于强化统计独立,站在更高层面整合现有行政记录资源,是长期问题,要摆上桌面,大张旗鼓,还有待努力。
(二)政府统计面临的冲击
大数据时代,一方面,各类数据爆炸性增长,巨量数据实时在线可用;另一方面,数据的发布更新实时快捷,分析应用多样灵活,更加贴近公众需求,数据对社会整体的代表性不断增强。因此,通过攫取海量的数据资源中的蕴含信息,能够初步满足宏观分析、行业研究、微观决策的需要。
本质上,数据的生产和应用方式发生了巨变。每个社会成员都是数据生产者和提供者,数据生产不再依赖政府统计系统,政府统计机构不再是数据的绝对拥有者;大量用户能够方便地使用海量数据供己所需,传统政府统计机构不再是数据的唯一发布者和解释人。
三、大数据时代下的政府统计发展
大数据时代,尽管政府统计依然掌握有关社会管理和运行的行政记录信息,负责标准规范的制定者和各类数据结果的发布,但不再是权威数据的唯一提供者,要在大量数据提供者中取胜,并把握历史潮流,就必须从自己开始,致力革新,适应历史潮流。政府统计,不能再是数据的直接生产者,不能再专注于一线数据的采集,而应在改革自身数据采集系统基础上,整合各方行政记录信息,构建权威的社会经济数据在线平台。
对分析用户来说,数据越多,去伪存真、大浪淘沙的提炼、分析能力越显得重要。大数据时代的分析既需要深厚的背景知识,也离不开合适的大数据统计分析工具。社会经济生活涵盖方面很多,政府统计即使收集到所有数据,也不可能独自去分析所有方向。可以预见,未来经济分析的职能会被更为专业的经济分析部门取代,政府统计应着重于宏观经济数据的基础分析,预测和扩展性的分析,将由各类社会组织在政府统计所掌握的数据基础上进行研究开发。
作者简介
胡顺华,女,江苏盐城,本科,统计师、工程师,研究方向:大数据。