【摘 要】
：
针对高校科研海量数据存储问题,为提高大数据存储系统的存储能力和效率,降低硬件搭建成本,本文提出了一种基于Hadoop技术的分布式存储系统设计方案。该系统以Hadoop技术为核心和基础,设计Hadoop分布式数据存储模型,结合科研数据存储结构的特征,考虑存储数据类型的多样性,以及低成本高可靠性的存储需求,设计了三层结构的Hadoop分布式存储系统结构,并对系统中的文件块存储策略、科研资源网结构、数据库访问层三个子模块进行了具体设计。该存储系统结构简洁、构建成本低、存储安全可靠且便于扩展,与科研数据的存储需求
【机 构】
：
杨凌职业技术学院,陕西彗治水勘测设计有限公司
【基金项目】
：
杨凌职业技术学院院级科学研究基金项目(项目编号:GJ19004),陕西省职业技术教育学会2020年研究课题(项目编号:SGKCSZ2020-495)。
论文部分内容阅读
针对高校科研海量数据存储问题,为提高大数据存储系统的存储能力和效率,降低硬件搭建成本,本文提出了一种基于Hadoop技术的分布式存储系统设计方案。该系统以Hadoop技术为核心和基础,设计Hadoop分布式数据存储模型,结合科研数据存储结构的特征,考虑存储数据类型的多样性,以及低成本高可靠性的存储需求,设计了三层结构的Hadoop分布式存储系统结构,并对系统中的文件块存储策略、科研资源网结构、数据库访问层三个子模块进行了具体设计。该存储系统结构简洁、构建成本低、存储安全可靠且便于扩展,与科研数据的存储需求
其他文献
高光谱遥感图像将空间图像维和光谱维结合形成数据立方体,高光谱图像数据的每个像素维度都有一条光谱曲线,而每个光谱曲线分类的运算都是重复进行的,数据冗余比较大,所以数据处理的速度,就决定了高光分类设备的最高运行速度。在高光谱数据分析之前需要进行滤波,为了减小分析的时间,需要对数据滤波运算进行加速,GPU正好具有并行运算的能力,可以显著提高运算的速度。首先,本文介绍了高光谱数据滤波的相关方法;其次,介绍
在教育领域展开分析的过程中,应该对教育核心有着充足的掌握,并围绕个性化学习中人工智能的应用优势,实现对个性化学习路径的优化。因此,本文针对个性化学习要素展开分析,并简要阐述了人工智能在教育领域的应用现状,提出人工智能促进个性化学习的路径设计方案,仅供参考。
近年,人工智能技术的高速发展,愈加引发各行各业深度关注,凸显一片新蓝海。其中,计算机网络通信可借助人工智能技术维护计算机网络通信安全、助力数据采集及细致分析、辅助硬件开发软件维护以及提升Agent使用便利性。基于此,本文探讨了人工智能的技术优势,对人工智能技术在计算机网络通信中的应用展开了分析,并提出了关于人工智能技术的几点发展建议。
生物特征识别技术作为一种高安全性、高抗干扰性及非接触的唯一性身份识别技术,近年来已被广泛应用于金融(如银行)、国防安全以及教育医疗(如身份识别)等领域。笔者通过设计一种手部多模态生物特性识别系统来进行个人身份的识别,该系统主要包括手部多模态数据采集模块与信息处理识别模块两部分。通过实验测试,有效验证了该多模态身份识别系统在进行手部多模态信息识别和伪造身份预警时的可用性,在未来具有广泛的应用前景。
为提升高校创业网络信息平台的运行性能,提高网络信息平台的数据处理、挖掘、调度能力,提出一种基于大数据分析的高校创业网络信息平台设计方案。该方案将大数据分析算法应用于网络信息平台。首先,从平台的数据来源层采集信息大数据,并确定大数据采集范围;其次,将信息大数据传输至数据层,经过数据层的简化预处理,对数据进行分类存储;再次,通过共享接口将数据传输至分析层,分析层运行大数据分析算法;最后,采用数据流自适应调整调度和特征搜索算法,将大数据特征转化为可供直接参考的共享数据,并随着数据对象和需求的变化实时更新,为创业
为了对比BP神经网络代理模型的正确性和合理性,选取支持向量机SVM分别与多目标粒子群优化算法MOPSO和多目标遗传算法NSGA-II进行结合,并对目标函数进行评价优化。从实验数据可以发现,采用BP神经网络代理模型时得到的帕累托前沿较为均匀,而采用SVM代理模型时得到的帕累托前沿分布较为分散,甚至可能只出现某个极值点的情况,这个结果证明了BP神经网络代理模型对于多目标函数的优越性和准确性。选取ZDT、DTLZ测试函数进行实验,实验结果表明在仿真和耗时问题上BP神经网络代理模型结合进化算法具有一定的可行性。
本文基于SystemView系统仿真平台,设计了差分相移键控(DifferentialPhaseShiftKeying,DPSK)通信系统的仿真模型。其调制部分采用了差分编码模块,得到差分码,进行绝对调相产生DPSK信号;并且解调部分采用差分相干解调法还原出伪随机序列。仿真结果表明,利用SystemView软件仿真,可以有效地得到所设计电路的输出结果,体现了SystemView进行系统仿真的可行性与实用性。
为了解决传统故障检测系统在实际应用中存在反馈故障信号噪声高的问题,引进小波变换技术,对小波变换展开设计。系统硬件主要由信息交互与诊断端口、故障诊断推理器构成,在硬件设备的支撑下利用小波变换技术的能量集中优势对集中较为密集的信号进行针对性处理,以此处理故障信号中的白噪声。在此基础上,考虑到信号离散过程中存在二进制的故障信号值,因此结合波反射原理对输电线路故障发生位置进行定位,实现对系统软件功能的实现。通过对比实验的方式,证明设计的系统在实际应用中检测到的故障信号较为平滑,可以满足故障定位需求。
逻辑函数的化简能极大地简化IC的设计,由于列表法化简没有卡诺图法来得直观,因此很少有文献对这一方法进行深入的探讨与分析。但列表法化简的规律性极强,只要掌握了其技巧,完全可以用程序来实现迭代过程。同时在处理多变量函数化简的这一情况下,列表法化简的优势更为明显。课题对列表法化简逻辑函数的方法进行了深入的研究,通过一个有代表性的实例对其原理与规律进行了详细的分析,为程序化实现提供了一个重要的算法基础。
目前在用的气田综合数据管理系统是软件开发人员多年来取得成果的积累,为相关业务部室提供了较好的技术支持。通过调研发现,现有的系统大都存在通用性差和可移植性差等缺点。因此,设计了气田综合数据分析系统,阐述该系统的架构及各个子系统的功能模块,实现了采集数据的多种展示,能够为技术人员提供便利。