论文部分内容阅读
国家统计局计算中心的张富民处长在过去十余年里参与了多次全国普查系统的设计、开发工作,在兵来将挡、水来土掩间,早已是身经百战的“老将”,大大小小的信息化难题在他眼里多是小菜一碟。但是,刚刚过去的第一次全国经济普查,却着实给张处长出了个大难题。
普查需要通用平台
2003年12月2日,国务院下发的《国务院关于开展第一次全国经济普查的通知》掀开了中国第一次全国经济普查筹备工作的序幕。国家统计局早在2000年以前就开展过六七次全国普查活动,包括人口普查、工业普查、基本单位普查、第三产业普查和农业普查等。而从2000年开始,工业普查、基本单位普查和第三产业普查逐步统一合并为经济普查,并且从2005年1月1日起正式开始第一次全国经济普查,成为几大类普查合并后开展的第一次大规模普查活动。
在以前的历次普查中,都是一次普查开发一个系统,并且基本上都是用完以后就扔掉了。所以此次的经济普查面临一个重要的工作,就是开发一个新的普查系统来支撑经济普查工作。究竟这一次的普查系统该怎么做呢?国家统计局计算中心的上上下下都在思考着这个问题。是否还能像以前那样做一个针对此次经济普查的专用系统呢?
从信息化投资回报的角度讲,以前的做法确实有些浪费,因为每次做的普查系统基本上都只用了一次就扔掉了。而从另一个角度讲,由于每次普查都可以说是和平时期的最大社会动员,比如一次全国人口普查动员的直接参与调查人员就达600万人,因此每一次重新设计、开发普查系统,都需要针对新的系统进行大规模的基层人员的技术培训。这不仅增加了基层统计工作的负担,也增加了每次普查的成本。因此,无论是从信息化建设的投资回报角度,还是从用户的工作负担角度考虑,统计局计算中心都需要彻底改变普查系统开发的传统做法,建立一个能为各种类型普查工作进行数据处理的通用平台,从而让针对经济普查而设计、开发的平台在以后的普查中仍能发挥作用。事实上,建立一个普查工作的通用平台也正是整个国家统计局多年来的夙愿。
除此之外,还有一个更加现实的难题也迫使计算中心必须开发出一个通用平台。因为如果要开发一个经济普查专用的系统,计算中心就得对用户有非常全面的了解,但是,从2003年12月2日到2005年1月1日正式开始经济普查,留给整个统计局的时间只有一年多一点。而在这一年多的时间里,统计局既要做经济普查的普查方案设计,还得做数据处理系统的设计、开发工作,特别是两项工作必须基本上同步进行,这也就是说,计算中心只能将用户需求调查的阶段与数据处理系统的设计、开发阶段的工作基本同步推进。最终结果是,计算中心无法针对经济普查做一个专用系统,因为他们无法全面了解用户的需求,他们惟一的选择就是必须设计、开发出一个功能足够强并且能随需应变的系统,即一个各种类型普查都能用得上的通用平台。
双项目组长管理制+倒计时
由于无法全面了解用户的需求,开发人员是否具备从事普查的数据处理的经验就显得尤为重要,他们最好能对普查中可能发生的问题做出预测。这就意味着没有任何一家公司能够独立承担该系统的开发和设计任务,因为统计局无法找到一个具有丰富的普查数据处理经验的公司。国家统计局只有以计算中心为核心,充分调动用户、统计系统内部和社会力量来打这个攻坚战。最终,统计局成立了包括统计局、各省市县相关用户、三个合作公司在内的共约50人的开发小组,并最终决定采用非常规的开发方式——封闭式开发,以确保开发小组能在不到一年的时间内如期完成任务。
开发小组在2004年3月14日一进入封闭开发现场,就面临一个紧急任务,必须在5月份做出一个初步的产品来对经济普查方案进行综合试点,让用户到现场去填经济普查表,看指标填写的难度和指标设计的合理性。为此,开发小组采取了一系列的独特措施:根据个人的特长重新进行任务分工,设立了双项目组长管理制,设置了倒计时牌,提出了“建设一流沟通团队”的口号,作息表甚至严格规定开发小组成员每晚至少加班到九点半。
经过两个月的鏖战,开发小组终于不辱使命,在5月20日做出了一个产品。但是,开发小组最终收获的却是用户对产品的否定和对小组开发能力的怀疑。因为四个试点用户认为,他们需要的是全过程的数据处理系统,包括了录入、编辑、审核、汇总四个环节,而目前的系统虽然具备这些功能,性能和效率却都不是很高,特别是汇总的性能较差。而这一功能在整个数据处理系统中占据非常重要的地位。对开发小组而言,时间又少了两个月,而两个月的鏖战也使整个开发小组人困马乏,系统的失败更让小组成员的情绪非常低落,有人甚至开始怀疑自己的能力。惟一让开发小组成员感到庆幸的是,通过与用户的面对面沟通,开发小组成员对开发的目标有了更加清晰的认识,同时也开始反思最初的设计思路是否正确。围绕设计问题,在开发小组内部爆发了一场激烈的争论:是推倒重来,还是坚持原来的思路?大家最终达成一致:推倒重来!
巧妙设计修成正果
从2004年6月1日到7月1日,开发小组做了一个大胆的决定,所有的工作停下来,重新做设计,重新调整人员。而与此同时,统计局更是做了一个让开发小组成员备感压力的措施:为数据处理系统做了个备份,让另外一家公司开始开发经济普查的数据处理系统。因此,从7月1日起,封闭开发现场就出现了两拨人,二者将在后面的几个月里,决一雌雄。
经过一个月的努力,开发小组的新设计方案在2004年7月初正式出炉。由于要做的是普查的通用平台,故所设计的系统可以根据普查业务的变化,通过二次定制来适应业务需要。而其实现的关键就是在设计思想上希望通过对业务规则的描述,来驱动数据处理系统工作,即如果普查类型变了,则其普查的业务规则也变了,这时候就需要相应的业务描述随之改变,这样数据处理系统在业务规则描述驱动下,处理数据的方式也就变了。所以,事实上,经济普查数据处理系统可以划分为两个系统:第一个系统是支撑业务规则描述系统,又叫统计制度管理系统,需要将统计调查方案转化为电子化的方案,并把方案描述加载到数据处理系统中去,来指导系统工作。比如对统计来讲,有两个指标有关联关系,就需要在统计制度管理系统中把这种关联关系描述好,这样在数据处理过程中就会监测这种关联关系,如果关系不符合要求,系统就会报错,这是保证数据质量的措施。第二个系统是真正意义上进行数据处理的系统,叫数据处理系统。两个系统合在一块,就叫数据处理系统。这样,通过两个子系统的协作,开发人员针对不同的普查,只须把统计制度系统中的业务规则描述改变一下,就能支撑相应的普查数据处理要求。同时,也正是基于这样的设计机制,开发小组在对用户需求不很清楚的情况下开发出的经济普查数据处理系统,也可以随着经济普查方案的逐步细化和用户需求的不断清晰而逐步修改、完善。技术方案的巧妙设计为成功完成经济普查数据处理系统的开发工作奠定了坚实的基础,同时也奠定了普查通用平台的坚实基础。
2004年9月份,开发小组又组织用户到开发现场试用基于新的设计方案开发的系统。这一次用户充分肯定了开发小组的设计思路,认为开发小组的产品比5月份的产品取得了长足的进步。同时,在2004年9月初,开发小组在贵州省进行第一次数据处理的试点,结果显示,开发小组的产品性能已经可以跟备份公司的产品相提并论。9月底,开发小组很有信心地开始把产品推向全国各省,组织各省的技术人员参与数据处理系统的培训。培训收到了非常好的效果,特别是用户在培训后已经由原来对开发小组能力的怀疑,转变为希望开发小组能把系统做得更好。2004年10月,时间已经直逼年底,开发小组也迎来决定生死的一次大考:在河南省的第二轮、也是最后一次的数据处理试点。在试点现场,国务院经济普查办公室主任和统计局的一位副局长率领国家统计局十几个司局的局长亲临现场,全过程参加试点。试点最终取得非常大的成功,开发小组的数据处理系统的性能已经全面超过了备份公司的产品,并且能够满足经济普查的数据处理要求,同时也基本完成了通用平台的开发工作。所以,开发小组在2004年11月5日正式结束了封闭式开发。这也标志着经济普查数据处理系统基本开发成功,统计局十几年的夙愿得以实现。
从2005年1月1日全国第一次经济普查正式开始到12月6日圆满结束,经济普查系统有效地支撑了普查工作,国务院第一次全国经济普查领导小组办公室和国家统计局随后分三期向社会发布了普查的主要汇总结果,这就是大家见到的第一次全国经济普查主要数据公报。同时,基于通用平台,统计局通过二次开发做了1%的人口抽查、全国残疾人的调查、铁路系统的经济普查等工作。
普查需要通用平台
2003年12月2日,国务院下发的《国务院关于开展第一次全国经济普查的通知》掀开了中国第一次全国经济普查筹备工作的序幕。国家统计局早在2000年以前就开展过六七次全国普查活动,包括人口普查、工业普查、基本单位普查、第三产业普查和农业普查等。而从2000年开始,工业普查、基本单位普查和第三产业普查逐步统一合并为经济普查,并且从2005年1月1日起正式开始第一次全国经济普查,成为几大类普查合并后开展的第一次大规模普查活动。
在以前的历次普查中,都是一次普查开发一个系统,并且基本上都是用完以后就扔掉了。所以此次的经济普查面临一个重要的工作,就是开发一个新的普查系统来支撑经济普查工作。究竟这一次的普查系统该怎么做呢?国家统计局计算中心的上上下下都在思考着这个问题。是否还能像以前那样做一个针对此次经济普查的专用系统呢?
从信息化投资回报的角度讲,以前的做法确实有些浪费,因为每次做的普查系统基本上都只用了一次就扔掉了。而从另一个角度讲,由于每次普查都可以说是和平时期的最大社会动员,比如一次全国人口普查动员的直接参与调查人员就达600万人,因此每一次重新设计、开发普查系统,都需要针对新的系统进行大规模的基层人员的技术培训。这不仅增加了基层统计工作的负担,也增加了每次普查的成本。因此,无论是从信息化建设的投资回报角度,还是从用户的工作负担角度考虑,统计局计算中心都需要彻底改变普查系统开发的传统做法,建立一个能为各种类型普查工作进行数据处理的通用平台,从而让针对经济普查而设计、开发的平台在以后的普查中仍能发挥作用。事实上,建立一个普查工作的通用平台也正是整个国家统计局多年来的夙愿。
除此之外,还有一个更加现实的难题也迫使计算中心必须开发出一个通用平台。因为如果要开发一个经济普查专用的系统,计算中心就得对用户有非常全面的了解,但是,从2003年12月2日到2005年1月1日正式开始经济普查,留给整个统计局的时间只有一年多一点。而在这一年多的时间里,统计局既要做经济普查的普查方案设计,还得做数据处理系统的设计、开发工作,特别是两项工作必须基本上同步进行,这也就是说,计算中心只能将用户需求调查的阶段与数据处理系统的设计、开发阶段的工作基本同步推进。最终结果是,计算中心无法针对经济普查做一个专用系统,因为他们无法全面了解用户的需求,他们惟一的选择就是必须设计、开发出一个功能足够强并且能随需应变的系统,即一个各种类型普查都能用得上的通用平台。
双项目组长管理制+倒计时
由于无法全面了解用户的需求,开发人员是否具备从事普查的数据处理的经验就显得尤为重要,他们最好能对普查中可能发生的问题做出预测。这就意味着没有任何一家公司能够独立承担该系统的开发和设计任务,因为统计局无法找到一个具有丰富的普查数据处理经验的公司。国家统计局只有以计算中心为核心,充分调动用户、统计系统内部和社会力量来打这个攻坚战。最终,统计局成立了包括统计局、各省市县相关用户、三个合作公司在内的共约50人的开发小组,并最终决定采用非常规的开发方式——封闭式开发,以确保开发小组能在不到一年的时间内如期完成任务。
开发小组在2004年3月14日一进入封闭开发现场,就面临一个紧急任务,必须在5月份做出一个初步的产品来对经济普查方案进行综合试点,让用户到现场去填经济普查表,看指标填写的难度和指标设计的合理性。为此,开发小组采取了一系列的独特措施:根据个人的特长重新进行任务分工,设立了双项目组长管理制,设置了倒计时牌,提出了“建设一流沟通团队”的口号,作息表甚至严格规定开发小组成员每晚至少加班到九点半。
经过两个月的鏖战,开发小组终于不辱使命,在5月20日做出了一个产品。但是,开发小组最终收获的却是用户对产品的否定和对小组开发能力的怀疑。因为四个试点用户认为,他们需要的是全过程的数据处理系统,包括了录入、编辑、审核、汇总四个环节,而目前的系统虽然具备这些功能,性能和效率却都不是很高,特别是汇总的性能较差。而这一功能在整个数据处理系统中占据非常重要的地位。对开发小组而言,时间又少了两个月,而两个月的鏖战也使整个开发小组人困马乏,系统的失败更让小组成员的情绪非常低落,有人甚至开始怀疑自己的能力。惟一让开发小组成员感到庆幸的是,通过与用户的面对面沟通,开发小组成员对开发的目标有了更加清晰的认识,同时也开始反思最初的设计思路是否正确。围绕设计问题,在开发小组内部爆发了一场激烈的争论:是推倒重来,还是坚持原来的思路?大家最终达成一致:推倒重来!
巧妙设计修成正果
从2004年6月1日到7月1日,开发小组做了一个大胆的决定,所有的工作停下来,重新做设计,重新调整人员。而与此同时,统计局更是做了一个让开发小组成员备感压力的措施:为数据处理系统做了个备份,让另外一家公司开始开发经济普查的数据处理系统。因此,从7月1日起,封闭开发现场就出现了两拨人,二者将在后面的几个月里,决一雌雄。
经过一个月的努力,开发小组的新设计方案在2004年7月初正式出炉。由于要做的是普查的通用平台,故所设计的系统可以根据普查业务的变化,通过二次定制来适应业务需要。而其实现的关键就是在设计思想上希望通过对业务规则的描述,来驱动数据处理系统工作,即如果普查类型变了,则其普查的业务规则也变了,这时候就需要相应的业务描述随之改变,这样数据处理系统在业务规则描述驱动下,处理数据的方式也就变了。所以,事实上,经济普查数据处理系统可以划分为两个系统:第一个系统是支撑业务规则描述系统,又叫统计制度管理系统,需要将统计调查方案转化为电子化的方案,并把方案描述加载到数据处理系统中去,来指导系统工作。比如对统计来讲,有两个指标有关联关系,就需要在统计制度管理系统中把这种关联关系描述好,这样在数据处理过程中就会监测这种关联关系,如果关系不符合要求,系统就会报错,这是保证数据质量的措施。第二个系统是真正意义上进行数据处理的系统,叫数据处理系统。两个系统合在一块,就叫数据处理系统。这样,通过两个子系统的协作,开发人员针对不同的普查,只须把统计制度系统中的业务规则描述改变一下,就能支撑相应的普查数据处理要求。同时,也正是基于这样的设计机制,开发小组在对用户需求不很清楚的情况下开发出的经济普查数据处理系统,也可以随着经济普查方案的逐步细化和用户需求的不断清晰而逐步修改、完善。技术方案的巧妙设计为成功完成经济普查数据处理系统的开发工作奠定了坚实的基础,同时也奠定了普查通用平台的坚实基础。
2004年9月份,开发小组又组织用户到开发现场试用基于新的设计方案开发的系统。这一次用户充分肯定了开发小组的设计思路,认为开发小组的产品比5月份的产品取得了长足的进步。同时,在2004年9月初,开发小组在贵州省进行第一次数据处理的试点,结果显示,开发小组的产品性能已经可以跟备份公司的产品相提并论。9月底,开发小组很有信心地开始把产品推向全国各省,组织各省的技术人员参与数据处理系统的培训。培训收到了非常好的效果,特别是用户在培训后已经由原来对开发小组能力的怀疑,转变为希望开发小组能把系统做得更好。2004年10月,时间已经直逼年底,开发小组也迎来决定生死的一次大考:在河南省的第二轮、也是最后一次的数据处理试点。在试点现场,国务院经济普查办公室主任和统计局的一位副局长率领国家统计局十几个司局的局长亲临现场,全过程参加试点。试点最终取得非常大的成功,开发小组的数据处理系统的性能已经全面超过了备份公司的产品,并且能够满足经济普查的数据处理要求,同时也基本完成了通用平台的开发工作。所以,开发小组在2004年11月5日正式结束了封闭式开发。这也标志着经济普查数据处理系统基本开发成功,统计局十几年的夙愿得以实现。
从2005年1月1日全国第一次经济普查正式开始到12月6日圆满结束,经济普查系统有效地支撑了普查工作,国务院第一次全国经济普查领导小组办公室和国家统计局随后分三期向社会发布了普查的主要汇总结果,这就是大家见到的第一次全国经济普查主要数据公报。同时,基于通用平台,统计局通过二次开发做了1%的人口抽查、全国残疾人的调查、铁路系统的经济普查等工作。