论文部分内容阅读
伴随社交网络、智能硬件、移动互联网和物联网的快速普及,基于机器学习等先进技术的数据分析、预测、决策更加精准,使得大数据隐含的价值得以更大程度的展现,一个更加注重数据价值和数据开放的新时代正悄然来临。随之而来的是商业、科研、公共服务等领域都对大数据开放共享提出迫切需求,然而由于缺乏一个安全、可信的数据共享环境,大数据仍被各政府机构、商业企业、科研机构甚至个体存储和管控,形成“数据孤岛”,这严重影响大数据共享与开放。区块链以其特有的去中心化信任、完全分布式等特点备受各行业瞩目,它的出现为破除大数据共享壁垒,实现数据可信互联成为可能。对此,本文将基于区块链对大数据共享模型与关键机制进行研究,具体研究内容如下:第一,基于区块链的大数据共享模型研究。针对当前中心化大数据共享模型缺乏透明、公开、平等的交互环境导致的数据共享互信问题,本文对基于区块链的大数据共享优势进行深入分析,建立基于区块链的大数据共享模型,通过区块链与分布式文件系统结合的数据连接模型,将所有共享交互中的关键信息以不可篡改、可追溯的方式存储到链上。最后基于该模型讨论架构分层及各层的主要技术与职责。第二,基于区块链的大数据共享机制研究。在基于区块链的大数据共享模型基础上,针对数据连接难、数据管控难、数据服务定制能力不足三大问题。本文基于区块链,分别引入星际文件系统IPFS与Zigzag编码、基于权能的访问控制方法以及发布订阅模型,提出基于BIZi网络的可靠数据连接机制、基于区块链的数据权能访问控制机制和基于区块链的数据服务定制机制。上述关键机制实现了数据的可靠连接、数据拥有者对数据的绝对管控以及异步可扩展的数据服务定制能力。第三,基于以太坊区块链的大数据共享原型系统设计与实现。本文基于以太坊、IPFS、Laravel等技术实现了大数据共享原型系统。该原型系统包括账户体系、数据管理、数据服务定制、数据质量评价、后台管理五大模块,完成了基于BIZi网络的可靠数据连接、基于权能的细粒度数据资源访问控制、基于发布订阅模型的数据服务定制等功能。最后,在实际的项目数据共享场景下对系统功能和性能进行测试验证,测试结果表明,该系统能够满足大数据共享交互要求。