论文部分内容阅读
摘要:大数据作为数据驱动新技术,广泛应用于档案归档、查阅及档案信息开发利用等档案管理工作中,同时档案数据的大量涌现也给档案管理带来了极大的挑战。本文通过应用区块链技术来改善档案管理方面遇到的新问题,构建具有去中心化、不可篡改、安全可信、信息公开、保护隐私等特点的档案管理系统。
关键词:区块链、档案管理、去中心化
“大数据”(Big data)被美国政府称之为“未来的新石油”。从数字档案馆角度来看,大数据技术可理解为利用现有的档案数据转化为知识、帮助档案馆做出决策的工具,主要目标是借助于科学的分析手段和挖掘算法从大量、杂乱、繁复的数据中,整理和分析数据,以提高数字档案利用率,提高数字档案馆决策能力、决策效率、决策准确性。
区块链(Blockchain)指的是一种链式的数据结构,其中链上每个区块以时间顺序相连,利用密码学等进行数据交换和存储;而区块链技术是指不依赖第三方,通过自身的分布式节点来进行数据交换和存储的一种技术方案。区块链技术作为比特币的底层技术,具有去中心化、不可篡改、可追溯、开放性和匿名性的特征。区块链技术能以其独有的优势保证数据质量、数据安全、数据透明性,当然也可以改善大数据背景下档案管理工作存在的问题,如档案数据增长快且数据复杂、档案数据资源利用率低、档案数据传递不畅等。下面本文将重点讨论大数据背景下区块链技术在档案馆的应用。
(一)区块链技术可降低档案数据管理成本
要解决档案数据规模急剧增长以及数据格式、类型的复杂多样的问题,就必须借助于大数据应用系统。现有的大数据应用系统以分布式的方式存储数据,完美解决了数据分布问题、分布式系统中的容错问题,处理大数据时的冗余问题。成熟的大数据应用系统有基于存储的分布式文件系统GFS(Google file system)、Hadoop,以及李浩源等研发的基于分布式内存的文件系统 Tachyon。分布式文件系统利用 RCFiIe、Parquet 等存储格式优化存储,节约了存储空间。以 Hadoop 平台为例,首先,数字档案馆通过 ETL(数据仓库技术)方法对分散、异构的档案信息资源进行抽取、清洗,然后利用 MapReduce编程模型对清洗后的数据进行深层次挖掘分析,最后利用 Hadoop 或 NoSQL 等大数据集成技术将处理后的数据存在到各自的数据仓库。大数据应用系统可存储、分析、挖掘不同类型的档案数据,分析前需要在数据的海洋中甄别出那些真正有价值并且真实的东西。众所周知,做数据挖掘和数据分析时,大量时间成本或精力成本花费在了有效数据的收集和数据清洗上。区块链技术为用户解决了大数据分析中的数据质量、数据存储和管理的问题,减少了收集和清洗数据的时间,降低了数据分析和挖掘成本。
(二)区块链技术可保证数据安全、真实、准确
运用大数据系统可管理海量档案数据,用户只需简单的操作就可以对海量的档案数据进行查询和分析,建立数据与数据之间的关系模式,提升了整个档案数据的价值。运用大数据技术可以对数据档案馆的资源数据进行深度挖掘,找出资源数据的内在联系,可提高数字档案资源的利用率,提升数字档案资源价值。大数据技术进行挖掘时对服务器等硬件要求很高,容易造成 MDB(message driven bean)损坏,在吞吐量非常大的环境下还很容易发生数据丢失。针对数据挖掘中可能出现的数据安全问题,可采用区块链技术解决。区块链的数据大多都采取了云存储技术,这种技术在不需要经过数据中心的情况下自动处理结构数据和非结构数据,解决了 MDB 损坏的问题。同时现有的区块链协议可以使用全新的共识模型在几秒内完成极为庞大的信息之间的互相传送与交换,并且利用可伸缩的数据模型来降低运行负荷。同时区块链自身的特性决定了一个节点数据的丢失并不会影响整个数据的完整性,因为还有其他节点可用来恢复。这种技术解决了吞吐量非常大的环境下的数据丢失问题,保障了数据传输安全,保证了档案馆馆藏资源数据挖掘的准确性,解决了档案最为关键的安全问题。
(三)区块链技术更好地共享档案数据
为了消除档案信息孤岛,制度上可制定统一、可行的行业规范,加强馆际合作;技术上可建立档案大数据共享平台,对现有的档案信息系统进行整合,实行档案信息资源共建,切实奉行档案数据共享。提到档案数据共享,很多学者认为这很有必要,的确能消除档案信息孤岛,有利于档案大数据分析和挖掘。但现实中,很多数字档案馆对于档案数据共享总是顾虑重重,担心泄露个人隐私,担心泄露国家机密。基于此,大家一直在寻找共享数据安全解决方案。本文发现区块链技术凭借不可篡改、可追溯等特性,通过“加戳”和“加密”两种方式解决了数据共享中的关键问题。所谓的“加戳”是在数据流通过程中对其打上烙印,可以实现对是否使用、使用过几次的登记,这样就可以让档案数据资产化,保障原作者的利益。“加密”则通过多种加密技术保障档案数据不被泄露。两种技术的结合可以有效保障档案数据共享的安全性。
(四)区块链技术保障档案信息安全
众所周知,传统的档案保存依赖于纸质材料,所需成本较高,管理人员工作量大。国家档案局印发《全国档案事业发展“十三五”规划纲要》强化了档案电子化管理的,要求加快档案管理信息化进程。档案管理目前趋于单轨制雏形,更倚重电子数据管理和电子数据流通。基于大数据的档案管理系统依靠分布式数据库和并行处理算法,不仅可以有效管理海量档案数据,而且能快速处理海量档案数据,提升了档案管理效率,降低了档案管理成本。针对数字档案管理中出现的信息安全,可利用区块链技术解决。数字档案管理的核心目标就是保障其安全,而区块链技术的安全、便捷特性就是保障流通数据安全。本文认为,区块链技术的开放性、去中心化、公开透明、双方匿名、不可篡改、可追溯的特点在提升数字档案管理便捷性的同时,也提高了数字档案的安全性,保障了数字档案的真实性,解决了操作数据、原数据与数字档案本身的信息数据相分离的问题,维护了数字档案的完整性。
总之,档案作为社会资源的重要组成部分,其安全性、完整性和真实性受到了各行各业的重视。而区块链技术的快速发展及广泛应用,区块链技术为人们指出了一条档案管理的高效途径。它不仅可以加强档案管理主体治理职能,提高档案信息处理效率,还可以丰富档案资源,解决档案收集难、鉴定难问题,同事还能保证档案的安全性、真实性和完整性。但其也有缺陷,如区块链应用于档案管理也将面临数据处理速度过慢的问题,链上的记录也有着被推翻的风险,不能完全确保区块链就是一定安全的等。因此在面临机遇的同时,我们也要谨防其所带来的挑战。但我们相信随着时代的发展和技术的进步,区块链技术也将不断得到完善。
参考文献:
[1] 刘越男 . 区块链技术在文件档案管理中的应用初探 [J]. 浙江檔案 ,2018, No.445(5):9-13.
[2] 何晓东,黄新荣 . 浅析区块链技术在电子文件管理中的应用 [J]. 档案与建设 , 2018(2):4-8.
[3] 秦巧云 , 周枫 , 杨智勇 . 大数据环境下数字档案馆信息安全研究 [J]. 北京档案 ,2017(06):18-21.
[4] 李富成 , 黄丹若 . 大数据环境下数字档案馆知识服务模式 [J]. 档案与建设 ,2017(11):12-15.
关键词:区块链、档案管理、去中心化
“大数据”(Big data)被美国政府称之为“未来的新石油”。从数字档案馆角度来看,大数据技术可理解为利用现有的档案数据转化为知识、帮助档案馆做出决策的工具,主要目标是借助于科学的分析手段和挖掘算法从大量、杂乱、繁复的数据中,整理和分析数据,以提高数字档案利用率,提高数字档案馆决策能力、决策效率、决策准确性。
区块链(Blockchain)指的是一种链式的数据结构,其中链上每个区块以时间顺序相连,利用密码学等进行数据交换和存储;而区块链技术是指不依赖第三方,通过自身的分布式节点来进行数据交换和存储的一种技术方案。区块链技术作为比特币的底层技术,具有去中心化、不可篡改、可追溯、开放性和匿名性的特征。区块链技术能以其独有的优势保证数据质量、数据安全、数据透明性,当然也可以改善大数据背景下档案管理工作存在的问题,如档案数据增长快且数据复杂、档案数据资源利用率低、档案数据传递不畅等。下面本文将重点讨论大数据背景下区块链技术在档案馆的应用。
(一)区块链技术可降低档案数据管理成本
要解决档案数据规模急剧增长以及数据格式、类型的复杂多样的问题,就必须借助于大数据应用系统。现有的大数据应用系统以分布式的方式存储数据,完美解决了数据分布问题、分布式系统中的容错问题,处理大数据时的冗余问题。成熟的大数据应用系统有基于存储的分布式文件系统GFS(Google file system)、Hadoop,以及李浩源等研发的基于分布式内存的文件系统 Tachyon。分布式文件系统利用 RCFiIe、Parquet 等存储格式优化存储,节约了存储空间。以 Hadoop 平台为例,首先,数字档案馆通过 ETL(数据仓库技术)方法对分散、异构的档案信息资源进行抽取、清洗,然后利用 MapReduce编程模型对清洗后的数据进行深层次挖掘分析,最后利用 Hadoop 或 NoSQL 等大数据集成技术将处理后的数据存在到各自的数据仓库。大数据应用系统可存储、分析、挖掘不同类型的档案数据,分析前需要在数据的海洋中甄别出那些真正有价值并且真实的东西。众所周知,做数据挖掘和数据分析时,大量时间成本或精力成本花费在了有效数据的收集和数据清洗上。区块链技术为用户解决了大数据分析中的数据质量、数据存储和管理的问题,减少了收集和清洗数据的时间,降低了数据分析和挖掘成本。
(二)区块链技术可保证数据安全、真实、准确
运用大数据系统可管理海量档案数据,用户只需简单的操作就可以对海量的档案数据进行查询和分析,建立数据与数据之间的关系模式,提升了整个档案数据的价值。运用大数据技术可以对数据档案馆的资源数据进行深度挖掘,找出资源数据的内在联系,可提高数字档案资源的利用率,提升数字档案资源价值。大数据技术进行挖掘时对服务器等硬件要求很高,容易造成 MDB(message driven bean)损坏,在吞吐量非常大的环境下还很容易发生数据丢失。针对数据挖掘中可能出现的数据安全问题,可采用区块链技术解决。区块链的数据大多都采取了云存储技术,这种技术在不需要经过数据中心的情况下自动处理结构数据和非结构数据,解决了 MDB 损坏的问题。同时现有的区块链协议可以使用全新的共识模型在几秒内完成极为庞大的信息之间的互相传送与交换,并且利用可伸缩的数据模型来降低运行负荷。同时区块链自身的特性决定了一个节点数据的丢失并不会影响整个数据的完整性,因为还有其他节点可用来恢复。这种技术解决了吞吐量非常大的环境下的数据丢失问题,保障了数据传输安全,保证了档案馆馆藏资源数据挖掘的准确性,解决了档案最为关键的安全问题。
(三)区块链技术更好地共享档案数据
为了消除档案信息孤岛,制度上可制定统一、可行的行业规范,加强馆际合作;技术上可建立档案大数据共享平台,对现有的档案信息系统进行整合,实行档案信息资源共建,切实奉行档案数据共享。提到档案数据共享,很多学者认为这很有必要,的确能消除档案信息孤岛,有利于档案大数据分析和挖掘。但现实中,很多数字档案馆对于档案数据共享总是顾虑重重,担心泄露个人隐私,担心泄露国家机密。基于此,大家一直在寻找共享数据安全解决方案。本文发现区块链技术凭借不可篡改、可追溯等特性,通过“加戳”和“加密”两种方式解决了数据共享中的关键问题。所谓的“加戳”是在数据流通过程中对其打上烙印,可以实现对是否使用、使用过几次的登记,这样就可以让档案数据资产化,保障原作者的利益。“加密”则通过多种加密技术保障档案数据不被泄露。两种技术的结合可以有效保障档案数据共享的安全性。
(四)区块链技术保障档案信息安全
众所周知,传统的档案保存依赖于纸质材料,所需成本较高,管理人员工作量大。国家档案局印发《全国档案事业发展“十三五”规划纲要》强化了档案电子化管理的,要求加快档案管理信息化进程。档案管理目前趋于单轨制雏形,更倚重电子数据管理和电子数据流通。基于大数据的档案管理系统依靠分布式数据库和并行处理算法,不仅可以有效管理海量档案数据,而且能快速处理海量档案数据,提升了档案管理效率,降低了档案管理成本。针对数字档案管理中出现的信息安全,可利用区块链技术解决。数字档案管理的核心目标就是保障其安全,而区块链技术的安全、便捷特性就是保障流通数据安全。本文认为,区块链技术的开放性、去中心化、公开透明、双方匿名、不可篡改、可追溯的特点在提升数字档案管理便捷性的同时,也提高了数字档案的安全性,保障了数字档案的真实性,解决了操作数据、原数据与数字档案本身的信息数据相分离的问题,维护了数字档案的完整性。
总之,档案作为社会资源的重要组成部分,其安全性、完整性和真实性受到了各行各业的重视。而区块链技术的快速发展及广泛应用,区块链技术为人们指出了一条档案管理的高效途径。它不仅可以加强档案管理主体治理职能,提高档案信息处理效率,还可以丰富档案资源,解决档案收集难、鉴定难问题,同事还能保证档案的安全性、真实性和完整性。但其也有缺陷,如区块链应用于档案管理也将面临数据处理速度过慢的问题,链上的记录也有着被推翻的风险,不能完全确保区块链就是一定安全的等。因此在面临机遇的同时,我们也要谨防其所带来的挑战。但我们相信随着时代的发展和技术的进步,区块链技术也将不断得到完善。
参考文献:
[1] 刘越男 . 区块链技术在文件档案管理中的应用初探 [J]. 浙江檔案 ,2018, No.445(5):9-13.
[2] 何晓东,黄新荣 . 浅析区块链技术在电子文件管理中的应用 [J]. 档案与建设 , 2018(2):4-8.
[3] 秦巧云 , 周枫 , 杨智勇 . 大数据环境下数字档案馆信息安全研究 [J]. 北京档案 ,2017(06):18-21.
[4] 李富成 , 黄丹若 . 大数据环境下数字档案馆知识服务模式 [J]. 档案与建设 ,2017(11):12-15.