论文部分内容阅读
我国电子政务有了长足发展，电子政务网络从路由型的部门纵向网络向纵横交错的、全面控制型网络转变。数据挖掘作为信息化和电子政务的重要内容对科学决策发挥着至关重要的作用，并越来越为各级决策者所重视。
一、数据挖掘应用的重要性
我国电子政务经过20年的积累，信息化基础设施和数据积累已经具备相当水平。各级政府和各地区在电子政务平台、数据采集、信息共享和安全方面的投入和建设已初见成效。电子政务信息化的发展已从建立信息系统阶段过渡到深度运用和决策支持阶段。
但是我们必须看到，面对浩如烟海的数据，缺乏有效的提炼和挖掘分析是困扰我国各级政府的一个突出问题。在电子政务发展过程中，有很多因为信息掌握不充分而决策失利的教训。
比如1994年关贸总协定（GATT）乌拉圭回合部长会议决定成立更具全球性的世界贸易组织，以取代成立于1947年的关贸总协定。由于中国是关贸总协定的创始成员，因此中国有希望成为世界贸易组织的创始成员。在谈判开始时形势很好，澳大利亚和新西兰代表称坚决支持中国，但是希望中国解决18万吨的羊毛进口配额。如果中国同意这个18万吨，澳大利亚和新西兰全力支持中国就会使西方国家的谈判营垒出现分裂，那么中国复关的机会就很大了。但是来自我国政府一些部门的意见是只能按16.9万吨这个数字谈，最后拒绝了澳大利亚和新西兰的要求，于是澳大利亚和新西兰坚决站在美国方面与中国进行了非常强硬的谈判。实际上1994年中国进口了31万吨羊毛，远远超过18万吨的要求。当时一些政府部门的信息管理未成系统，以致连全国每年进口多少吨羊毛都没有一个准确的概念，而澳大利亚、新西兰这些国家却知道当时中国平均每年是进口22万吨，他们要求18万吨并不过分。结果中国因为对自己的信息掌握不充分而错失了1994年加入WTO的机会。由此看来，数据挖掘与分析应用对科学决策是何等重要。
二、数据挖掘的功能与运用
数据挖掘最基础的功能是提供终端用户的查询和报表工具，以支持用户对原始数据的访问。电子政务系统中的业务信息纷繁复杂，传统的查询和报表工具已经不能满足对业务变化的快速反应，而IT人员和业务人员之间常常难以达成默契。数据挖掘能使用户及时、灵活地访问原始数据，同时是以决策者看业务活动的方式来展示信息，而不是以数据库的组织方式来展示信息。
现有的数据库系统虽然具有高效地实现数据录入、查询和部分统计的功能，但是无法发现数据中存在的关系和规律，不能根据现有的数据预测未来发展的趋势。因此，电子政务需要一个智能化的辅助决策系统。而数据挖掘是一套具有数据挖掘功能的信息处理技术，主要特点是对数据库中大量的业务数据进行抽取、转化、分析和其他无形化的处理，从中汲取辅助决策的关键数据，为政府重大法规出台提供决策支持。比如在宏观上通过对各种经济数据的挖掘，确定未来经济的走势，制定相应的宏观调整政策；在微观上，对经费拨款申请中的欺诈行为进行反制，可以根据数据挖掘制定防欺诈的方案，分离出导致欺诈和实际行为的关键因素，制定相应的判据，精准地甄别和标识出最有可能存在欺诈问题的记录和经费的申请文件等。
在世界很多国家和地区，数据挖掘技术已经广泛应用在包括环保监测和预测、税务征收、公共卫生、教育及人口普查等领域。在这些应用当中数据挖掘工具以新的方式将数据展现出来，不仅极大地提升了监管质量，而且将数据转化成更有意义的报告，为高级管理者决策提供充分的科学依据。
2006年，市场调研机构Gartner曾对美国218位政府部门的CIO进行了问卷调查，并在当年3月出版的《The Challenges and Promises of Business Intelligence》中称，数据挖掘（data mining）技术在2005年十大技术主题中名列第五，Gartner预计，2008年它将升至第二位，紧随移动办公之后。
在美国，税务部门与Teradata合作部署企业级数据仓库（EDW）系统。该系统能够从几个外部来源匹配内部资料。这些匹配有助于鉴别企业和个人是否正确注册，是否逃税、漏税。在Teradata数据仓库部署之前，税务部门不能从各项税收制度中轻易地分析或评估数据，工作人员只能手动生成一个小的数目报告，用来比较少数几个税收项目。然而，完成这些报告所消耗的时间和密集劳动，致使许多违规纳税人未被发现。为了实现跨系统的信息交流，税务部门决定建立一个数据挖掘分析系统，以能够在后台系统编辑所有数据和使用信息。在该计划实施的前3年内，密苏里州税务部门收回了近2100万美元的拖欠和低报税款。
在意大利，MIUR是政府中最复杂的管理机构之一，掌管了全国范围内的教育、大学和研究机构。从2002年开始，该机构应意大利政府的要求，部署了一套数据挖掘分析系统，该系统为政府教育决策部门提供数据分析支持，以判断当前分配的教育预算资金的使用效率。不仅如此，由于在意大利人口南北迁移活动频繁，教育资源的地区均衡性经常发生变化。为了应对这一变化对资源规划带来的严峻挑战，该系统提供一套预测工具，以发现中短期内经济政策产生的移民潮对教育资源的匹配度产生的重要冲击。正是依靠这一系统，意大利教育部门发现了在Calabria 和Emilia Romagna地区经济政策变革对班级规模产生的强大反差。这一预测工具为政府规划教育资源的分配提供了强大的决策支持。
在加拿大，环境保护部门的空气质量研究分部（AQRB）与SAS合作建立了一整套数据挖掘系统，来帮助检测和分析大气中的气体成分，确定人类活动对大气质量的影响。这一系统管理和记录加拿大乡村40多个地点的空气质量数据，分析结果并向政府、工业、学术界和公众政策制定者报告信息。通过应用这一系统，该部门进行数据收集和数据分析，并将这类数据转换成新的知识，刷新了之前对大气成份和大气处理中的现状和动态变化的理解。此外，该系统还帮助AQRB 在之后开展的包括检测气体、微粒和加拿大境内的化学废弃物，向科学杂志报告数据，为详尽记录长期大气变化的大型科学评估报告等项目提供至关重要的立论依据。
三、加大数据挖掘推广使用力度
我国一批重点的信息化工程，包括金审、金盾、金税、金土、金质和国家信息化的内网已经基本建成，并且投入运行。这些系统的信息公开、在线办公、公众参与、互动对话等功能已经逐步实现。全国各级政府网络的总体拥有率已经达到90%。同时，大部分对大规模信息数据处理需求较为迫切的核心部门已经率先具备了对信息资源和数据进行规划、采集和维护的能力。这一切都为科学决策提供了可靠的基础。一些政府职能部门已在复杂的数据挖掘应用方面迈出了可喜的一步，这为未来其他部门大规模应用数据挖掘提供了宝贵的参考经验和启示。
比如中国海关总署以往的统计报表仅提供事实而缺乏分析，因此无法掌握数据中大量的隐藏信息，只得依赖经验作出判断。1999年，他们提出了建立开发执法评估系统的构想。经过一年的筹备，2000年，中国海关执法评估系统开始启动。正是这一系统，在关税催缴、价格、贸易处理和海关物流等方面大幅提高了评估水平。据统计，2000年到2003年间，执法评估系统共检测出4200多个违法案例，这些案例已经提交给强制执行部门。除此之外，执法评估系统动态监视了海关业务的方方面面，如关税催缴、限制性贸易措施的执行以及加工贸易的监管。通过实施这个系统，中国海关可以获得更少的人为因素的量化评估，减少根据经验的判断，而且把单独的各个案例研究转化为规律性研究，用于趋势分析。
又如农业的大规模普查是巨大而且复杂的工作，需要数据分析。国家统计局2006年底进行了全国第二次农业普查。此次农业普查是为了准确掌握我国农业和农村发展进入新阶段以后农业生产要素的规模与结构的变化情况，查清农村和农民的基本状况，为研究制定国家发展战略目标以及制定全面建设小康社会提供决策依据。因此，依据基层数据汇总生成汇总表只是农业普查数据开发利用的第一步，进行数据分析提供决策依据才是目的。在这种情况下，国家统计局选择美国SAS软件公司的软件搭建了普查数据的分析专用平台。这个数据分析平台也将为农村统计调查新一轮样本轮换做好准备。农村统计调查新一轮样本抽选将于2009年正式实施，需要进行样本重新抽选的调查网点包括农村住户调查、农产品调查、畜牧业调查和农产品价格调查等。此次样本抽选的工作都需要在数据分析平台基础上，通过对农业普查资料进行大量的分析和数据模拟才能完成。
再如对水利方面的数据分析应用。水利部的重点工作是防汛抗旱及水资源管理：一是防治洪涝灾害，治理水多的问题；二是治理水少的问题；三是水资源调度和管理。水多少及水环境关系国计民生和可持续发展，水质已成为当前需要高度重视的环境问题。如2006年太湖地区的蓝藻一度导致了生活、工业用水极其紧张，甚至出现过有水不可用的现象。其实，这些现象是有规律可循的，通过分析工具，如数据挖掘，在某种程度上可以预测到这些现象的发生，从而提前做好准备，减少损失。
水利部水文局利用美国SAS公司提供的数据挖掘工具对洪水进行预测预报。洪水预报包括水文站流量、水位的预报预测，洪水预报的重点是提高预报的精度和可靠性，也就是说在整个分析过程中，需要找出预测站点的流量、水位分析变化跟上游或者是其他站点有哪些相似。如果找到规律的话，根据预测站点的相关站点流量、水位变化的趋势，就可以提早知道这个预测站点下一步流量、水位的变化，从而在洪水到来之前做好准备，作出是否分洪、是否撤退群众的决策。该系统还对降雨量与入湖流量的关系进行挖掘。在太湖的浙西地区有3个流量站，它们上游有很多的雨量站。这些地区的雨量数据可以通过雨量站采集，今天下了多少雨，一看就知道。但是决策层更关心的是流入太湖到底有多少水，因为流入太湖的水量和太湖的水位有很大的关系。因此，对已知降雨量通过数据挖掘工具进行分析，预测流入太湖的水量，再加上流出太湖流量等信息，就可预测太湖水位，及早采取措施。
目前我国政府建立数据挖掘系统还处于初级阶段。数据采集质量不高，使数据挖掘最后的实际结果有些偏差；还没有真正具有自主知识产权的国产数据挖掘软件，完全依靠国外进口，且价格高和配套服务不够，加上本地化困难等等，导致很多核心的关键部门无法使用推广；国产软件虽已起步，但对其扶持力度不够。不过从总体发展趋势看，以上问题都将逐步得到解决，我国的科学决策水平也将随之同步提高。
一、数据挖掘应用的重要性
我国电子政务经过20年的积累，信息化基础设施和数据积累已经具备相当水平。各级政府和各地区在电子政务平台、数据采集、信息共享和安全方面的投入和建设已初见成效。电子政务信息化的发展已从建立信息系统阶段过渡到深度运用和决策支持阶段。
但是我们必须看到，面对浩如烟海的数据，缺乏有效的提炼和挖掘分析是困扰我国各级政府的一个突出问题。在电子政务发展过程中，有很多因为信息掌握不充分而决策失利的教训。
比如1994年关贸总协定（GATT）乌拉圭回合部长会议决定成立更具全球性的世界贸易组织，以取代成立于1947年的关贸总协定。由于中国是关贸总协定的创始成员，因此中国有希望成为世界贸易组织的创始成员。在谈判开始时形势很好，澳大利亚和新西兰代表称坚决支持中国，但是希望中国解决18万吨的羊毛进口配额。如果中国同意这个18万吨，澳大利亚和新西兰全力支持中国就会使西方国家的谈判营垒出现分裂，那么中国复关的机会就很大了。但是来自我国政府一些部门的意见是只能按16.9万吨这个数字谈，最后拒绝了澳大利亚和新西兰的要求，于是澳大利亚和新西兰坚决站在美国方面与中国进行了非常强硬的谈判。实际上1994年中国进口了31万吨羊毛，远远超过18万吨的要求。当时一些政府部门的信息管理未成系统，以致连全国每年进口多少吨羊毛都没有一个准确的概念，而澳大利亚、新西兰这些国家却知道当时中国平均每年是进口22万吨，他们要求18万吨并不过分。结果中国因为对自己的信息掌握不充分而错失了1994年加入WTO的机会。由此看来，数据挖掘与分析应用对科学决策是何等重要。
二、数据挖掘的功能与运用
数据挖掘最基础的功能是提供终端用户的查询和报表工具，以支持用户对原始数据的访问。电子政务系统中的业务信息纷繁复杂，传统的查询和报表工具已经不能满足对业务变化的快速反应，而IT人员和业务人员之间常常难以达成默契。数据挖掘能使用户及时、灵活地访问原始数据，同时是以决策者看业务活动的方式来展示信息，而不是以数据库的组织方式来展示信息。
现有的数据库系统虽然具有高效地实现数据录入、查询和部分统计的功能，但是无法发现数据中存在的关系和规律，不能根据现有的数据预测未来发展的趋势。因此，电子政务需要一个智能化的辅助决策系统。而数据挖掘是一套具有数据挖掘功能的信息处理技术，主要特点是对数据库中大量的业务数据进行抽取、转化、分析和其他无形化的处理，从中汲取辅助决策的关键数据，为政府重大法规出台提供决策支持。比如在宏观上通过对各种经济数据的挖掘，确定未来经济的走势，制定相应的宏观调整政策；在微观上，对经费拨款申请中的欺诈行为进行反制，可以根据数据挖掘制定防欺诈的方案，分离出导致欺诈和实际行为的关键因素，制定相应的判据，精准地甄别和标识出最有可能存在欺诈问题的记录和经费的申请文件等。
在世界很多国家和地区，数据挖掘技术已经广泛应用在包括环保监测和预测、税务征收、公共卫生、教育及人口普查等领域。在这些应用当中数据挖掘工具以新的方式将数据展现出来，不仅极大地提升了监管质量，而且将数据转化成更有意义的报告，为高级管理者决策提供充分的科学依据。
2006年，市场调研机构Gartner曾对美国218位政府部门的CIO进行了问卷调查，并在当年3月出版的《The Challenges and Promises of Business Intelligence》中称，数据挖掘（data mining）技术在2005年十大技术主题中名列第五，Gartner预计，2008年它将升至第二位，紧随移动办公之后。
在美国，税务部门与Teradata合作部署企业级数据仓库（EDW）系统。该系统能够从几个外部来源匹配内部资料。这些匹配有助于鉴别企业和个人是否正确注册，是否逃税、漏税。在Teradata数据仓库部署之前，税务部门不能从各项税收制度中轻易地分析或评估数据，工作人员只能手动生成一个小的数目报告，用来比较少数几个税收项目。然而，完成这些报告所消耗的时间和密集劳动，致使许多违规纳税人未被发现。为了实现跨系统的信息交流，税务部门决定建立一个数据挖掘分析系统，以能够在后台系统编辑所有数据和使用信息。在该计划实施的前3年内，密苏里州税务部门收回了近2100万美元的拖欠和低报税款。
在意大利，MIUR是政府中最复杂的管理机构之一，掌管了全国范围内的教育、大学和研究机构。从2002年开始，该机构应意大利政府的要求，部署了一套数据挖掘分析系统，该系统为政府教育决策部门提供数据分析支持，以判断当前分配的教育预算资金的使用效率。不仅如此，由于在意大利人口南北迁移活动频繁，教育资源的地区均衡性经常发生变化。为了应对这一变化对资源规划带来的严峻挑战，该系统提供一套预测工具，以发现中短期内经济政策产生的移民潮对教育资源的匹配度产生的重要冲击。正是依靠这一系统，意大利教育部门发现了在Calabria 和Emilia Romagna地区经济政策变革对班级规模产生的强大反差。这一预测工具为政府规划教育资源的分配提供了强大的决策支持。
在加拿大，环境保护部门的空气质量研究分部（AQRB）与SAS合作建立了一整套数据挖掘系统，来帮助检测和分析大气中的气体成分，确定人类活动对大气质量的影响。这一系统管理和记录加拿大乡村40多个地点的空气质量数据，分析结果并向政府、工业、学术界和公众政策制定者报告信息。通过应用这一系统，该部门进行数据收集和数据分析，并将这类数据转换成新的知识，刷新了之前对大气成份和大气处理中的现状和动态变化的理解。此外，该系统还帮助AQRB 在之后开展的包括检测气体、微粒和加拿大境内的化学废弃物，向科学杂志报告数据，为详尽记录长期大气变化的大型科学评估报告等项目提供至关重要的立论依据。
三、加大数据挖掘推广使用力度
我国一批重点的信息化工程，包括金审、金盾、金税、金土、金质和国家信息化的内网已经基本建成，并且投入运行。这些系统的信息公开、在线办公、公众参与、互动对话等功能已经逐步实现。全国各级政府网络的总体拥有率已经达到90%。同时，大部分对大规模信息数据处理需求较为迫切的核心部门已经率先具备了对信息资源和数据进行规划、采集和维护的能力。这一切都为科学决策提供了可靠的基础。一些政府职能部门已在复杂的数据挖掘应用方面迈出了可喜的一步，这为未来其他部门大规模应用数据挖掘提供了宝贵的参考经验和启示。
比如中国海关总署以往的统计报表仅提供事实而缺乏分析，因此无法掌握数据中大量的隐藏信息，只得依赖经验作出判断。1999年，他们提出了建立开发执法评估系统的构想。经过一年的筹备，2000年，中国海关执法评估系统开始启动。正是这一系统，在关税催缴、价格、贸易处理和海关物流等方面大幅提高了评估水平。据统计，2000年到2003年间，执法评估系统共检测出4200多个违法案例，这些案例已经提交给强制执行部门。除此之外，执法评估系统动态监视了海关业务的方方面面，如关税催缴、限制性贸易措施的执行以及加工贸易的监管。通过实施这个系统，中国海关可以获得更少的人为因素的量化评估，减少根据经验的判断，而且把单独的各个案例研究转化为规律性研究，用于趋势分析。
又如农业的大规模普查是巨大而且复杂的工作，需要数据分析。国家统计局2006年底进行了全国第二次农业普查。此次农业普查是为了准确掌握我国农业和农村发展进入新阶段以后农业生产要素的规模与结构的变化情况，查清农村和农民的基本状况，为研究制定国家发展战略目标以及制定全面建设小康社会提供决策依据。因此，依据基层数据汇总生成汇总表只是农业普查数据开发利用的第一步，进行数据分析提供决策依据才是目的。在这种情况下，国家统计局选择美国SAS软件公司的软件搭建了普查数据的分析专用平台。这个数据分析平台也将为农村统计调查新一轮样本轮换做好准备。农村统计调查新一轮样本抽选将于2009年正式实施，需要进行样本重新抽选的调查网点包括农村住户调查、农产品调查、畜牧业调查和农产品价格调查等。此次样本抽选的工作都需要在数据分析平台基础上，通过对农业普查资料进行大量的分析和数据模拟才能完成。
再如对水利方面的数据分析应用。水利部的重点工作是防汛抗旱及水资源管理：一是防治洪涝灾害，治理水多的问题；二是治理水少的问题；三是水资源调度和管理。水多少及水环境关系国计民生和可持续发展，水质已成为当前需要高度重视的环境问题。如2006年太湖地区的蓝藻一度导致了生活、工业用水极其紧张，甚至出现过有水不可用的现象。其实，这些现象是有规律可循的，通过分析工具，如数据挖掘，在某种程度上可以预测到这些现象的发生，从而提前做好准备，减少损失。
水利部水文局利用美国SAS公司提供的数据挖掘工具对洪水进行预测预报。洪水预报包括水文站流量、水位的预报预测，洪水预报的重点是提高预报的精度和可靠性，也就是说在整个分析过程中，需要找出预测站点的流量、水位分析变化跟上游或者是其他站点有哪些相似。如果找到规律的话，根据预测站点的相关站点流量、水位变化的趋势，就可以提早知道这个预测站点下一步流量、水位的变化，从而在洪水到来之前做好准备，作出是否分洪、是否撤退群众的决策。该系统还对降雨量与入湖流量的关系进行挖掘。在太湖的浙西地区有3个流量站，它们上游有很多的雨量站。这些地区的雨量数据可以通过雨量站采集，今天下了多少雨，一看就知道。但是决策层更关心的是流入太湖到底有多少水，因为流入太湖的水量和太湖的水位有很大的关系。因此，对已知降雨量通过数据挖掘工具进行分析，预测流入太湖的水量，再加上流出太湖流量等信息，就可预测太湖水位，及早采取措施。
目前我国政府建立数据挖掘系统还处于初级阶段。数据采集质量不高，使数据挖掘最后的实际结果有些偏差；还没有真正具有自主知识产权的国产数据挖掘软件，完全依靠国外进口，且价格高和配套服务不够，加上本地化困难等等，导致很多核心的关键部门无法使用推广；国产软件虽已起步，但对其扶持力度不够。不过从总体发展趋势看，以上问题都将逐步得到解决，我国的科学决策水平也将随之同步提高。