论文部分内容阅读
摘要：伴随着互联网技术的不断发展，数据在以越来越快的速度增长，社会的各个部门每天都会产生大量的新数据，为了应对这些海量数据，大数据技术应运而生，但是随着大数据技术带来的各种改变，数据安全问题也不容忽视，安全保障是确保大数据合理使用的前提。文章简要分析了大数据治理中面临的各种安全问题以及应对措施。
关键词：大数据：治理；安全
国际权威研究机构Gartner对大数据的定义是需要处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的产生和针对大数据的研究给科学和教育事业的发展提供了前所未有的机会，目前国内大的互联网公司也已经使用大数据方法在公共交通、智慧城市、生物医疗等方面取得巨大的成绩，大数据技术与我们日常生活的联系也越来越紧密。大数据已经对科学和产业之间的关系，科学与社会之间的关系都带来大幅度的变革。但是大数据在带来诸多新机会新发展的同时也带来前所未有的挑战，在数据成为重要资源的今天，既要保证数据隐私不被泄露，有效地管理数据的安全，又要保证数据的正常使用，已经成为越来越多数据科学家研究的问题。
大数据的数据体量非常大，远远不止成千上万行，动辄几十亿行，数百万列。数据类型和数据结构也非常复杂，有图像的、视频的、文本的以及各种各样的网络数据，大数据反映了各种各样新的数据源、数据格式和数据结构。同时，大数据还以非常快的速度增长，这就要求处理数据的软硬件工具不仅能够快速采集数据，还要能够描述数据以及近乎实时的分析处理数据。这样传统的数据库或者对数据的分析方法已经很难有效地分析大数据了，必须要用新的工具和技术来存储，管理数据，最终实现数据的价值。这些新的工具和技术能够创建、操纵、管理大型的数据集并且有用来存储数据集的足够大的存储环境。大数据的复杂数据结构特点，以及广泛的数据来源和基于云的计算存储环境都有可能涉及个人隐私数据，国家重点行业及重要部门的敏感数据等等。所以在针对大数据应用的同时，数据的来源安全，数据的使用安全和存储平台的安全都非常的重要[1]。
1 大数据治理
要想分析大数据治理中存在的安全问题，首先要理清楚什么是大数据治理？大数据治理是一项系统的工程.大的方面包括大数据技术平台的搭建、大数据政策的制定、大数据组织的变革以及数据处理流程的重组，小到元数据的管理、主数据的整合、各种类型大数据的个性化治理和大数据行业的应用。总的来说，大数据治理是广义上数据治理计划的一部分内容，也就是制定与大数据有关的数据优化、隐私保护和数据变现的政策。构建大数据治理系统首先要搭建数据治理的总体框架，包括组织架构、数据治理模块以及数据运维3部分[2-3]。
1.1搭建大数据组织架构
进行大数据治理要通过建立组织架构制定管理办法，数据处理的工作流程，确定各个角色的具体职责。大数据组织架构具体形式一般是由数据治理委员会管理和领导数据治理工作，制定数据治理的政策和流程，协调各方面的冲突，保证数据的质量和隐私安全。建立数据治理中心负责提交数据标准的要求即数据质量的规则，解释数据的业务规则和含义。数据治理中心下面就是各个具体的数据业务部门，数据支撑部门和数据使用部门，主要负责数据及相关系统的开发，执行各项数据标准，从技术角度解决数据的质量问题。
1.2搭建大教据治理模块
数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据安全管理等，各个模块要协作运营，最终确保大数据平台的数据一致、安全、有效。依靠数据标准管理建立数据标准规范，遵循协商一致的原则，利用标准化的管理流程管理数据标准化的整个过程。采用集中管理模式进行元数据管理，将元数据管理模块作为数据的统一发布源，集中管理元数据，定期进行元数据的维护。要从数据获取、存储、维护等整个生命周期各个阶段控制数据质量。做好识别和预警工作，提高数据管理水平使得数据的质量有所保证。要通过制定数据安全政策，做好数据平台访问的授权工作，保证数据的安全。
1.3做好数据的维护
数据的运行维护贯穿于整个数据治理的体系当中，加强数据安全及隐私的保护，每个数据都需要提供对应的数据隐私级别信息。维护数据安全还要细化数据的分类，对每个模块的元数据都要做好标记。与此同时要细化元数据的权限，不同的部门、人员仅授予工作所需的最小权限，保证元数据的安全。另外元数据的版本也要严格控制，每次数据变更之后都要详细记录变更的原因、时间等关键信息。
2 大数据治理中的安全问题
大数据的治理是大数据应用的基础，其重要性不言而喻。从上面的分析可以看出大数据治理面临的情况非常复杂，面临更加严峻的隐私安全问题和更大的投资回报风险。具体来说大数据治理在以下几个方面存在安全隐患[4-5]。
2.1数据收集及传输过程中的安全问题
大数据体量巨大，保罗万象，里面蕴藏着巨大的研究价值和经济价值，吸引了许多机构及黑客的注意力，他们利用爬虫或者木马通过各种各样的方式获取数据。数据的研究价值和经济价值使得更多的团体和个人投入到对大数据的攻击当中，增大了大数据的风险。另外当前数据的传输方式多样化，如果对数据的传输安全不够重视，就有可能在传输过程中出现数据泄露的可能。而因为大数据的数据体量大，一旦遭受攻击，造成数据的丢失量也是相当大，这样就降低了黑客攻击的成本，所以要加强数据传输过程中的安全防护。
2.2数据整合及处理过程中的安全问题
由于大數据的庞大数据量，传统的处理方法和计算平台无法正常的运行和处理。为了解决海量数据同时计算，提高数据处理的速度，数据处理机构除了配备更高的硬件设备外，还要部署大量的虚拟技术。通常对大型数据集划分后，变成易于处理的单个部分，利用Hadoop集群处理，然后再将计算结果重新组合分析，这个过程中，涉及大量跨集群的机器和机器之间的交互，极其容易出现不安全的因素，比如在数据处理计算时有可能受到黑客利用伪装身份侵入大数据平台对数据进行篡改和窃取，存在很大风险。所以，在数据处理过程当中，要对数据的使用者进行身份认证，并且设置相应的访问权限。保证不同级别的工作人员具有不同的使用权限，防止基层员工在工作过程中的误操作或者其他行为篡改数据，降低数据的质量。 2.3个人隐私安全问题
大数据时代，对机构和个人数据抓取的爬虫无处不在。要想阻止数据提供商对个人信息的挖掘是不可能的。各个社交网站上，用户写入的信息，包括手机显示的位置等个人隐私数据都有可能被数据挖掘商们收集，然后用来分析和研究。虽然通过大数据的分析方法，对消费者个人信息的收集可以更加精准地为消费者个性化定制各种消费需求，提高消费的便利和消费者的生活质量，但是随着个人信息的不断泄露，用户很难保汪自己的信息被收集使用完之后及时地清除，用户的个人隐私安全问题也日益突出。另外大数据的发展要求资源共享，数据尽量开放，这也与个人的隐私保护存在矛盾。所以，要在大数据治理过程中，尽量对用户信息和涉密信息等敏感的信息进行脱敏，保护个人隐私和涉密数据安全。
2.4网络技术安全问题
因为大数据的特点要求在数据的存储、计算等关键技术部分对计算机的软件和硬件全方位的变革，这样就导致很多细节的地方存在未知的漏洞。现在传统的网络安全防护技术对于云计算和云存储等存在的未知漏洞可能无法抵御。另外，传统的网络安全边界一般都比较清晰，大数据计算平台大多是在Hadoop的基础上进行二次开发，底层很复杂，使用的分布式存储和计算方式导致安全边界模糊，这种情况下，传统的网络安全防护技术已经失效。所以要根据大数据的特点，建立相匹配的安全防护体系，加强对数据攻击和窃取的防护力度，提高数据安全预警和应急处理的能力，构建一个适合大数据的网络安全保障体系，提升数据安全保护水平。
2.5数据存储的安全问题
随着网络技术的不断发展，各种形式的数据量日益增多。传统的数据库存储系统已经不能满足大数据的存储需要。目前通常使用NoSQL存储技术来对大量的非结构化数据进行抓取、管理和处理。虽然这种存储技术容易扩展，性能也比较好，适合大数据，但是仍然存在一定的问题。比如这种技术的使用时间毕竟有限，不是特别成熟，有可能存在技术漏洞，所以要在大数据治理过程中加强对于数据的使用权限的授权与验证，定期对数据安全进行监督和检查，发现问题要及时整改，以保证数据的安全。
2.6数据信任的安全问题
数据的准确性影响人们对于大数据分析结果的信任度。近年来，一些统计数据结果与人们的切身感受不符，导致人们对于数据准确性产生了质疑。比如工资的“被增长”、房价的“被降低”等。所以要保证数据的准确性，让人们相信大数据，相信通过大数据分析产生的结果。这就要求构建一个使大数据值得信任的安全环境，需要政府机构、各级单位和个人的共同努力，共同维护好大数据的准确性，让大数据值得信任。
3结语
总之，在大数据的治理過程中和大数据的整个生命周期里，都存在着各种各样的安全挑战，所以从大数据的收集到分析处理都要严格遵守各项安全标准和保密规定，保汪数据的安全性和隐私性。只有确保大数据技术和大数据安全同时发展，大数据的巨大价值才可以真正得到体现，在未来的技术发展中发挥更大的作用，更好地服务于人们的生活。
[参考文献]
[1]李冬，万磊，费建章大数据治理中的安全问题研究[J]信息与电脑（理论版），2017 （6）：192-193
[2]常春光，王雪龙，张瑜.大数据时代下城镇安全治理问题研究[J].辽宁经济，2017 （7）：28-29.
[3]庄国波，陆晓燕大数据时代精细化社会治理中安全问题研究[J]理论探讨，2017 （6）：163-167
[4]王萌萌地方政府治理中的大数据技术运用研究[D]重庆：中共重庆市委党校，2017
[5]王雪丽城市公共安全治理中的“府际关系”问题研究[J]云南行政学院学报，2013 （2）：52-55
关键词：大数据：治理；安全
国际权威研究机构Gartner对大数据的定义是需要处理模式才能具有更强决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。大数据的产生和针对大数据的研究给科学和教育事业的发展提供了前所未有的机会，目前国内大的互联网公司也已经使用大数据方法在公共交通、智慧城市、生物医疗等方面取得巨大的成绩，大数据技术与我们日常生活的联系也越来越紧密。大数据已经对科学和产业之间的关系，科学与社会之间的关系都带来大幅度的变革。但是大数据在带来诸多新机会新发展的同时也带来前所未有的挑战，在数据成为重要资源的今天，既要保证数据隐私不被泄露，有效地管理数据的安全，又要保证数据的正常使用，已经成为越来越多数据科学家研究的问题。
大数据的数据体量非常大，远远不止成千上万行，动辄几十亿行，数百万列。数据类型和数据结构也非常复杂，有图像的、视频的、文本的以及各种各样的网络数据，大数据反映了各种各样新的数据源、数据格式和数据结构。同时，大数据还以非常快的速度增长，这就要求处理数据的软硬件工具不仅能够快速采集数据，还要能够描述数据以及近乎实时的分析处理数据。这样传统的数据库或者对数据的分析方法已经很难有效地分析大数据了，必须要用新的工具和技术来存储，管理数据，最终实现数据的价值。这些新的工具和技术能够创建、操纵、管理大型的数据集并且有用来存储数据集的足够大的存储环境。大数据的复杂数据结构特点，以及广泛的数据来源和基于云的计算存储环境都有可能涉及个人隐私数据，国家重点行业及重要部门的敏感数据等等。所以在针对大数据应用的同时，数据的来源安全，数据的使用安全和存储平台的安全都非常的重要[1]。
1 大数据治理
要想分析大数据治理中存在的安全问题，首先要理清楚什么是大数据治理？大数据治理是一项系统的工程.大的方面包括大数据技术平台的搭建、大数据政策的制定、大数据组织的变革以及数据处理流程的重组，小到元数据的管理、主数据的整合、各种类型大数据的个性化治理和大数据行业的应用。总的来说，大数据治理是广义上数据治理计划的一部分内容，也就是制定与大数据有关的数据优化、隐私保护和数据变现的政策。构建大数据治理系统首先要搭建数据治理的总体框架，包括组织架构、数据治理模块以及数据运维3部分[2-3]。
1.1搭建大数据组织架构
进行大数据治理要通过建立组织架构制定管理办法，数据处理的工作流程，确定各个角色的具体职责。大数据组织架构具体形式一般是由数据治理委员会管理和领导数据治理工作，制定数据治理的政策和流程，协调各方面的冲突，保证数据的质量和隐私安全。建立数据治理中心负责提交数据标准的要求即数据质量的规则，解释数据的业务规则和含义。数据治理中心下面就是各个具体的数据业务部门，数据支撑部门和数据使用部门，主要负责数据及相关系统的开发，执行各项数据标准，从技术角度解决数据的质量问题。
1.2搭建大教据治理模块
数据治理模块主要包括数据标准管理、元数据管理、数据质量管理、数据安全管理等，各个模块要协作运营，最终确保大数据平台的数据一致、安全、有效。依靠数据标准管理建立数据标准规范，遵循协商一致的原则，利用标准化的管理流程管理数据标准化的整个过程。采用集中管理模式进行元数据管理，将元数据管理模块作为数据的统一发布源，集中管理元数据，定期进行元数据的维护。要从数据获取、存储、维护等整个生命周期各个阶段控制数据质量。做好识别和预警工作，提高数据管理水平使得数据的质量有所保证。要通过制定数据安全政策，做好数据平台访问的授权工作，保证数据的安全。
1.3做好数据的维护
数据的运行维护贯穿于整个数据治理的体系当中，加强数据安全及隐私的保护，每个数据都需要提供对应的数据隐私级别信息。维护数据安全还要细化数据的分类，对每个模块的元数据都要做好标记。与此同时要细化元数据的权限，不同的部门、人员仅授予工作所需的最小权限，保证元数据的安全。另外元数据的版本也要严格控制，每次数据变更之后都要详细记录变更的原因、时间等关键信息。
2 大数据治理中的安全问题
大数据的治理是大数据应用的基础，其重要性不言而喻。从上面的分析可以看出大数据治理面临的情况非常复杂，面临更加严峻的隐私安全问题和更大的投资回报风险。具体来说大数据治理在以下几个方面存在安全隐患[4-5]。
2.1数据收集及传输过程中的安全问题
大数据体量巨大，保罗万象，里面蕴藏着巨大的研究价值和经济价值，吸引了许多机构及黑客的注意力，他们利用爬虫或者木马通过各种各样的方式获取数据。数据的研究价值和经济价值使得更多的团体和个人投入到对大数据的攻击当中，增大了大数据的风险。另外当前数据的传输方式多样化，如果对数据的传输安全不够重视，就有可能在传输过程中出现数据泄露的可能。而因为大数据的数据体量大，一旦遭受攻击，造成数据的丢失量也是相当大，这样就降低了黑客攻击的成本，所以要加强数据传输过程中的安全防护。
2.2数据整合及处理过程中的安全问题
由于大數据的庞大数据量，传统的处理方法和计算平台无法正常的运行和处理。为了解决海量数据同时计算，提高数据处理的速度，数据处理机构除了配备更高的硬件设备外，还要部署大量的虚拟技术。通常对大型数据集划分后，变成易于处理的单个部分，利用Hadoop集群处理，然后再将计算结果重新组合分析，这个过程中，涉及大量跨集群的机器和机器之间的交互，极其容易出现不安全的因素，比如在数据处理计算时有可能受到黑客利用伪装身份侵入大数据平台对数据进行篡改和窃取，存在很大风险。所以，在数据处理过程当中，要对数据的使用者进行身份认证，并且设置相应的访问权限。保证不同级别的工作人员具有不同的使用权限，防止基层员工在工作过程中的误操作或者其他行为篡改数据，降低数据的质量。 2.3个人隐私安全问题
大数据时代，对机构和个人数据抓取的爬虫无处不在。要想阻止数据提供商对个人信息的挖掘是不可能的。各个社交网站上，用户写入的信息，包括手机显示的位置等个人隐私数据都有可能被数据挖掘商们收集，然后用来分析和研究。虽然通过大数据的分析方法，对消费者个人信息的收集可以更加精准地为消费者个性化定制各种消费需求，提高消费的便利和消费者的生活质量，但是随着个人信息的不断泄露，用户很难保汪自己的信息被收集使用完之后及时地清除，用户的个人隐私安全问题也日益突出。另外大数据的发展要求资源共享，数据尽量开放，这也与个人的隐私保护存在矛盾。所以，要在大数据治理过程中，尽量对用户信息和涉密信息等敏感的信息进行脱敏，保护个人隐私和涉密数据安全。
2.4网络技术安全问题
因为大数据的特点要求在数据的存储、计算等关键技术部分对计算机的软件和硬件全方位的变革，这样就导致很多细节的地方存在未知的漏洞。现在传统的网络安全防护技术对于云计算和云存储等存在的未知漏洞可能无法抵御。另外，传统的网络安全边界一般都比较清晰，大数据计算平台大多是在Hadoop的基础上进行二次开发，底层很复杂，使用的分布式存储和计算方式导致安全边界模糊，这种情况下，传统的网络安全防护技术已经失效。所以要根据大数据的特点，建立相匹配的安全防护体系，加强对数据攻击和窃取的防护力度，提高数据安全预警和应急处理的能力，构建一个适合大数据的网络安全保障体系，提升数据安全保护水平。
2.5数据存储的安全问题
随着网络技术的不断发展，各种形式的数据量日益增多。传统的数据库存储系统已经不能满足大数据的存储需要。目前通常使用NoSQL存储技术来对大量的非结构化数据进行抓取、管理和处理。虽然这种存储技术容易扩展，性能也比较好，适合大数据，但是仍然存在一定的问题。比如这种技术的使用时间毕竟有限，不是特别成熟，有可能存在技术漏洞，所以要在大数据治理过程中加强对于数据的使用权限的授权与验证，定期对数据安全进行监督和检查，发现问题要及时整改，以保证数据的安全。
2.6数据信任的安全问题
数据的准确性影响人们对于大数据分析结果的信任度。近年来，一些统计数据结果与人们的切身感受不符，导致人们对于数据准确性产生了质疑。比如工资的“被增长”、房价的“被降低”等。所以要保证数据的准确性，让人们相信大数据，相信通过大数据分析产生的结果。这就要求构建一个使大数据值得信任的安全环境，需要政府机构、各级单位和个人的共同努力，共同维护好大数据的准确性，让大数据值得信任。
3结语
总之，在大数据的治理過程中和大数据的整个生命周期里，都存在着各种各样的安全挑战，所以从大数据的收集到分析处理都要严格遵守各项安全标准和保密规定，保汪数据的安全性和隐私性。只有确保大数据技术和大数据安全同时发展，大数据的巨大价值才可以真正得到体现，在未来的技术发展中发挥更大的作用，更好地服务于人们的生活。
[参考文献]
[1]李冬，万磊，费建章大数据治理中的安全问题研究[J]信息与电脑（理论版），2017 （6）：192-193
[2]常春光，王雪龙，张瑜.大数据时代下城镇安全治理问题研究[J].辽宁经济，2017 （7）：28-29.
[3]庄国波，陆晓燕大数据时代精细化社会治理中安全问题研究[J]理论探讨，2017 （6）：163-167
[4]王萌萌地方政府治理中的大数据技术运用研究[D]重庆：中共重庆市委党校，2017
[5]王雪丽城市公共安全治理中的“府际关系”问题研究[J]云南行政学院学报，2013 （2）：52-55