【摘 要】
：
随着社会的发展,互联网已经是我们生活中不可或缺的一部分。随着大数据技术的迭代更新,数据的隐藏价值也变得越来越大。在大数据分析中,稳定的数据源和更快的数据分析速度是至关重要的,但即使是同一实体的数据也常常散布于不同的系统或组织中,如何将分散的数据整合且安全的共享,并在短时间内得到数据分析结果是社会各界一直需要解决的难题。现有的数据共享模型大部分都建立在中心化服务器上,每个节点的数据完整性、隐私性和安
论文部分内容阅读
随着社会的发展,互联网已经是我们生活中不可或缺的一部分。随着大数据技术的迭代更新,数据的隐藏价值也变得越来越大。在大数据分析中,稳定的数据源和更快的数据分析速度是至关重要的,但即使是同一实体的数据也常常散布于不同的系统或组织中,如何将分散的数据整合且安全的共享,并在短时间内得到数据分析结果是社会各界一直需要解决的难题。现有的数据共享模型大部分都建立在中心化服务器上,每个节点的数据完整性、隐私性和安全性都无法得到保证。同时,现有的数据分析框架在进行数据处理时,由于数据分布不均导致数据倾斜问题会造成性能瓶颈,影响数据分析速度。本文对大数据领域存在的数据源分散且不稳定、数据分析速度慢等问题进行深入研究,设计出一种基于区块链的数据共享及分析模型,使用区块链技术保证大数据分析中数据源的安全可靠,使用改进的Spark动态分区算法加速数据分析时间,构建安全又高效的大数据共享及分析模型。本文研究的主要内容如下:（1）本文针对中心化数据共享系统中可能出现的数据流失、数据被修改以及数据隐私泄露,单链区块链共享系统中打包全部数据导致的数据存储效率低、链空间占用大、数据管理困难等问题,提出了一种改进记账节点选择方式的区块链双链数据共享模型。通过使用数据目录（含数据名称、数据内容描述、数据存储路径、数据访问地址和数据访问策略）的方式代替具体的数据,解决数据共享过程中数据容量大上链困难的问题。通过使用双链协同技术,构造目录链用于记录数据资源目录、操作链用于记录用户对目录的操作行为信息,解决共享操作的溯源困难、危险操作不易识别等问题。基于区块链的双链数据共享模型保证了数据的安全、准确和有效,为大数据分析提供了全面的安全的数据源。（2）本文针对大数据分析过程中出现的分布式环境下任务计算节点数据分布不均,某一个或某几个计算节点处理数据量过大,计算拖慢整体任务运行时间的问题,提出了一种使数据平均分布的动态分区算法。动态分区算法通过抽样预估出原始数据的数据分布,使用蛇形分区策略将数据重分区,保证产生倾斜的数据源分布到不同分区,提高资源利用率,有效解决数据倾斜问题,加快数据分析时间。本研究通过阿里巴巴提供的淘宝用户行为数据集验证数据共享及分析模型的安全性及性能。经过实验,本模型不但保证了数据安全的存储与共享,而且在数据分析的速度上超过Spark系统自带分区算法。实现了安全高效的数据共享与分析。
其他文献
机器学习特别是深度学习,是人工智能领域的重要研究内容,人工智能应用正在得到飞速发展,例如自动驾驶、人脸识别等。然而,随着机器学习数据集以及深度学习模型规模的不断增加,单机通常需要几周甚至更久来训练机器学习模型。为了适应大数据时代的挑战,需要将传统机器学习分布式化,在多个节点上分散工作量,以加快机器学习的训练速度。当前,参数服务器系统是大部分分布式机器学习系统的实现方式。当使用参数服务器训练分布式机
随着AI技术及5G系统应用的不断发展，网盘服务逐渐从最基础的存储、传输功能向智能化方向演变，在内容智能分类、内容检索和内容创作方面为用户提供更智能、便利和高效的服务。利用AI技术的个人网盘将可以采用更加智能化的方式帮助用户提高数据管理的效率，进一步优化用户使用体验。本文针对图像识别等人工智能技术在个人网盘中的应用问题展开研究，并设计提出网盘智能相册系统，为网盘用户提供智能高效的相册管理服务。
未来的科学领域逐步呈现出“数学化”的走向,这是一种时代发展的必然趋势,推动着社会逐步“数学化”的进程.因此,如若想要读懂“自然界这本用数学语言写成的伟大的书”,就必须具备良好的数学阅读能力,这是迎接未来挑战、适应未来变化的必备基本技能.其次,数学阅读是数学教学中不可或缺的一部分,是数学自学的主要形式,也是全面提高数学思维和数学核心素养的重要且有效的途径.再者,“双减”政策下国务院教育部出台的“五项
“双减”政策出台后，教育工作者开始思考落实“双减”政策与培养学生核心素养齐头并进的道路。而对信息技术教育工作者来说，开展人工智能教育是这个时代的必然选择。本文明确了中小学人工智能教育的定位和范畴，以N校的实际情况设计了人工智能教育课程，并以“智能闸门”一课为例对中小学人工智能教育课程架构进行了阐述，描述了如何在课程中突出人工智能的独特性，以及如何在复杂的外部环境下开展人工智能教育。最后，提出了总体
甲磺酸萘莫司他作为蛋白酶抑制剂,主要应用于急性胰腺炎的治疗。作者综述了近些年甲磺酸萘莫司他合成的方法,并对其药理作用进行了总结,以期为今后研究甲磺酸萘莫司他提供更加全面的依据。
车联网以智能网联汽车为信息交互感知主体,通过建立全国性的V2X（Vehicle to Everything）安全公钥基础设施 PKI（Public Key Infrastructure）体系,实现智慧交通智能管理、高效控制和及时调度。然而传统PKI体系存在车主个人信息泄露风险,导致车联网多通信场景存在安全隐私隐患,为了解决通信各端隐私保护问题和复杂通信场景下消息安全传输机制,基于PKI体制改进的假
本文基于城市代谢及远程耦合理论，从复杂系统科学及要素耦合视角出发，构建了城市复合生态系统资源环境要素耦合理论框架，系统阐释了多种资源环境要素在城市“自然生态-经济生产-社会消费”三元子系统中跨部门及跨区域的流转路径、空间格局与耦合关系。本文以中国四大直辖市的“能-水-土地”资源要素耦合为例，验证该理论框架的可行性和科学性，基于已构建的以城市为中心的多级经济尺度投入产出嵌套模型，突破城市行政区划藩篱
结合临床情况，研制一种新型持续膀胱冲洗密闭式引流液收集的装置。设计持续膀胱冲洗密闭式引流液收集装置的结构，主要对收集箱的进出水口、箱体和输出管进行优化设计。该装置能避免传统开放式收集引流液装置的不足，确保引流系统的密闭性，减少外源性感染的发生率，避免环境污染、异味，提高持续膀胱冲洗的安全性和患者的满意度、护士的工作效率。
中美贸易摩擦是近年来全球经贸领域不可回避的焦点问题,其涉及范围之广、金额之大、冲突之严重都是前所未有的,对中美关系产生了深远影响,很大程度上改变了中美两国的贸易结构。贸易战的直接发起者美国前总统特朗普下台后,中美贸易摩擦虽然暂时进入相对缓和期,但是双方小摩擦不断,在此背景下,越来越多的中方高新技术企业、研究单位或个体被列入美国实体清单行列,实体清单政策与国家安全、高新技术的出口联系愈加密切。因此,