【摘 要】
：
Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机制及原理。对目前Hadoop的应用场景作了详细的论述,并对其在使用过程中存在的问题进行了总结,最后给出这些问题目前的研究状况及部分解决方案。后期的使用证明,该方案可在一定程度上解决使用Hadoop过程中所遇到的问题。
【基金项目】
：
西藏自治区自然科学基金项目:大数据模式下藏医药领域热点主题图谱构建及可视化研究(ZRKX2020000069),西藏自治区自然科学基金项目:基于数字载体预处理的藏文信息秘密共享技术研究(2015ZR-14-20)。
论文部分内容阅读
Hadoop等一些大数据处理平台的出现在一定程度上为人们处理大数据提供了可能与方便,但也存在一些不足。文中利用个例应用和归纳总结相结合的方法,从底层应用入手对Hadoop的主要构件HDFS、MapReduce及其生态环境进行介绍,阐述了其运行机制及原理。对目前Hadoop的应用场景作了详细的论述,并对其在使用过程中存在的问题进行了总结,最后给出这些问题目前的研究状况及部分解决方案。后期的使用证明,该方案可在一定程度上解决使用Hadoop过程中所遇到的问题。
其他文献
针对目前多通道音频信号测量分析的实际应用与现实需求,以降低系统开发周期与成本、提升系统可扩展性为目的,设计一种低成本、低时延、高同步性的多通道音频信号采集分析系统。软件部分借鉴虚拟仪器的设计思想,硬件部分以USB总线高性能多通道数据采集单元为核心,以过采样提高信噪比,采用高速模数转换、硬件触发采样与芯片分配时钟方式提高同步性。系统具有高灵活度与可扩展性,其硬件结构易于扩展到更多通道,软件架构便于增加系统的分析功能。实验测试表明,该系统能够多通道同步稳定测量信号并进行快速分析与处理,同步录音功能便于保存音频
为获得施工过程及行车荷载下泡沫轻质土边坡稳定性的变化规律,以福建省某公路的工程实际简化为模型,运用Hydrus 2D/3D软件建模并进行边坡稳定性模拟。结果表明:(1)边坡表层安全系数相对较大,较深层处安全系数逐渐减小,相同深度处,泡沫轻质土层安全系数相对较大;(2)各阶梯水平面层中间部分安全系数最大,相对较稳定,而各阶梯右下角处为相对危险点,且阶梯高度越大安全系数越小;各监测点安全系数随施工过程整体呈现减小趋势,但随着施工过程推进,减小幅度逐渐缩小,最终逐渐趋于稳定;(3)整个施工全过程以及在行车荷载作
针对现有ARQ机制在5G系统中实用性低以及流程复杂的缺点,为克服重传机制传输速率低、时延严重以及备份缓存占用时间久的问题,基于无线信道质量提出一种改进型重传方案。首先基于无线信道质量设定信道门限系数,AM发送实体根据调度结果组包,设置轮询后发送数据至对等实体;然后通过实时监控信道系数的幅度与门限系数做比较,自适应选择对等实体的状态报告或HARQ反馈应答;最后解析状态报告和HARQ应答后重发或进入下一帧传输。仿真结果表明,相较于传统ARQ设计方案,此方案能实现无线链路控制层的快速重传,降低传输时延,增加用户
为了研究粉煤灰处理再生沥青路面材料的耐久性,以改良普氏压实试验确定最佳含水量(OMC)和最大干密度(MDD),通过无侧限抗压强度对粉煤灰处理的混合料进行性能研究,以干湿循环检测混合物质量变化研究其耐久性。结果表明:MDD值随着粉煤灰掺量的增加而减小,氢氧化钠(NaOH)可激发粉煤灰的活性,有助于稳定再生沥青混凝土的化学性质,同时提高材料强度。
慢性阻塞性肺病(COPD)早期诊断技术对疾病的治疗具有重要的作用,文中提出基于呼吸音最大瞬时频率(fEmax)特征的COPD疾病识别算法。算法选取指定k值的变分模态分解(VMD)将呼吸音分解,提取本征模态函数(IMF)分量,再对该IMF分量做Hilbert变换(HT)计算边际谱,得到最大瞬时频率fEmax、瞬时频率幅值及特征能量等频谱特征参数。最后,利用主成分和线性判别分析对健康人群和COPD患者的呼吸音频谱特征参数进行研究,分析COPD与上述频谱特征参数的相关
目的探讨B型脑钠肽的自然对数与左心室舒张早期流速峰值和晚期流速峰值之比的乘积(lnBNP×E/A)对冠心病与冠状动脉病变程度相关性的评估价值。方法回顾性连续收集2018年10月至2019年10月新疆医科大学第一附属医院因胸闷、胸痛等类似心绞痛症状及既往有冠心病病史的患者741例。所有患者均行冠状动脉造影,将其中造影提示血管直径狭窄≥50%诊断为冠心病者设为冠心病组(561例),正常或血管直径狭窄<50%的患者设为对照组(180例)。采用logistic回归分析冠心病的独立影响因素,并通过受试者工作特
智能变电站智能汇控小室温度控制是一个复杂的温控系统,其室内温度受各种干扰影响,传统的PID控制器无法适应智能汇控小室恶劣工作环境的要求,为解决汇控小室控制精确度较差、抗干扰能力较低、恢复能力较慢的问题,提出一种基于BP神经网络的BPNN-PID控制策略。通过分析智能汇控小室的物理特性,推导出汇控小室温度控制系统的传递函数,在此基础之上设计基于BPNN-PID的温度控制系统架构,并利用Matlab建立基于BPNN-PID的控制系统模型,与现场监测的实际控制器效果进行比较得出,该策略能够通过训练和计算完成对复
该文总结了公路钢波纹管涵洞施工技术要点,并通过在管内不同角度设置应变测试装置,分析钢波纹管涵施工过程中的受力变形特征,试验结果表明:填土初期,波峰和波谷各角度均为拉应变,随着填土高度的增加,各角度应变值波动变化,存在应力的重新分配,而填土后期趋于稳定;波峰和波谷同一位置应变值正好相反,两者具有一定的互补性;沿着着角度的变化,波峰和波谷整体上存在拉、压应变交替变化的过程。同时对钢波纹管的施工工艺、经济适用性进行分析,结果显示钢波纹管涵与钢筋混凝土盖板涵相比,在工程造价、施工工期、环保等方面均具有优势,应用前
针对某型号泵车样机转塔在疲劳试验中出现开裂故障,使用有限元软件对立筒结构进行分析,发现立筒筋板应力过大是引起开裂的直接原因。通过优化设计和仿真分析,发现取消筋板后,立筒整体刚度协调,受力情况明显改善。优化后再次进行疲劳试验,结果表明初期疲劳开裂问题已得到解决,证明了优化方案的有效性。同时说明,治理应力集中不应简单地通过局部加厚补强来降低母材的应力,而应是协调结构刚度。
公路运输作为当前社会发展中的重要交运方式,对于区域内的经济发展以及信息交流等具有重要的带动作用,同时公路建设的质量也切实反映了地区基础建设水平。为了对当地基建质量进行良好的维护,使得公路质量满足设计要求,建设单位一般会采用在公路两边设立锚杆的方式进行防护。选取锚杆防护施工技术作为研究对象,对该技术在公路路基高边坡防护中的应用进行分析,在介绍锚杆结构基本原理的基础上,对高边坡锚杆防护的稳定性受制因素进行阐述,提出了高边坡锚杆的防护施工技术对策,以切实提高公路路基的安全性和稳定性。