基于分布式NameNode节点的HDFS优化研究

来源 :第八届全国信号和智能信息处理与应用学术会议 | 被引量 : 0次 | 上传用户:hgs061268109
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为应对Hadoop分布式文件系统(HDFS,Hadoop Distributed File System)在数据量与日俱增的今天显现出的一些不足,提出了基于分布式NameNode节点的HDFS.分析了单一NameNode节点存在的不足之处,在此基础上提出了设计目标,对基于分布式NameNode节点的HDFS进行了总体设计,包括superNameNode和分布式NameNode的主要功能和工作机制.分析了分布式NameNode节点的HDFS的性能优点及改进之处,分布式NameNode可较好地改进单一NameNode存在的不足,是对解决HDFS单点问题的一个有益探索.
其他文献
在高速数据传输系统中,硬件布线长度的差异,及器件的不理想因素,会导致一组数据与时钟信号之间的相对延迟不同,造成信号线发生位偏移,数据接收不正确.针对以上问题,提出了一种基于FPGA的动态校准方法,根据数据线状态,动态增加或减少相对延迟,可实现数据的位对齐.该方法在高速数据采集系统中进行了验证,能够保证数据传输的正确性,且稳定可靠.
研究了中脉冲重复频率(MPRF)在现代脉冲多普勒(PD)体制雷达中选取的设计思路,并提出了在雷达不同工作阶段,在实际条件限制下从可选择的PRF范围入手,采取不同PRF组来解决问题的一种实用的PRF选取方法.
介绍了一种用于雷达及电子战应用的宽带信号生成系统.该系统采用两片DAC,采样率最高为1 Gs/s,分辨率14位,每路信号带宽最高为500 MHz.系统采用直接数字波形合成方式,由FPGA进行信号的传输及控制.波形数据存储采用ZBT-SRAM,与上层控制模块采用PC 104+接口.对该系统的设计、实现以及测试结果均进行了详细描述.
随着嵌入式高速数据采集系统向着通用化、标准化不断发展,其相应的通用化软件测试平台技术也在不断发展.针对基于PCI架构的通用嵌入式高速数据采集系统,设计并实现了一款通用的软件测试平台.该平台具备良好的人机交互界面,可以方便地进行测试操作;既支持一体化测试又支持单物理资源测试,并具备故障预警以及输出测试报告等功能.该通用软件测试平台已经在实际数据采集系统量产测试中得到应用.
以FPGA技术为基础,设计了一套数字化遥测接收机,包括射频电路和中频电路,其中重点设计了中频电路,将遥测信号数字化后采用数字信号处理算法实现下变频和解调.提出了遥测信号正交解调的通用模型,并设计了高效的解调算法,完成常用遥测调制方式的解调,包括FM、PM、FSK、PSK、QPSK,提高了遥测接收机的适应性.
针对LT喷泉码在准单向链路、高差错、链路恶劣易中断的信道环境应用时出现的运算量大、译码时延长、编码效率较低等问题,提出使用基于数据分块的分组级短码构造喷泉码的方案,其思路是将短码LT码方案和分组级LT码方案结合起来,并在子数据块的度序列生成过程中加入度值检验机制,以此来提高编码分组的有效性.实验仿真结果表明:与已提出的LT码方案相比,该方案能够有效地降低译码开销、计算代价和译码时延,提高系统的最大
利用NI多功能采集卡完成2FSK信号的调制与解调,通过LabWindows/CVI编程实现.解调算法不需要传统过零检测法复杂的滤波电路,通过搜索适用于解调不同频率的2FSK解码,克服了常规解调器只能解调固定2FSK信号的问题.调制算法在已知通信协议的基础上,通过对数据进行编码生成相位连续2FSK信号,利用采集卡的D/A通道定时发送,模拟通信系统的正常通信.该算法经实际通信系统验证效果较好.
针对LEACH存在的簇首能耗过分集中,簇首分布不合理,簇首比例无法达到最优值等问题,进行优化.提出一种能量高效的无线传感器网络自适应簇首选择算法ACHE,通过在簇首选举概率阀值中引入能量加权因子和能量判决门限,提高了高能量节点的簇首当选概率.仿真结果表明,ACHE算法可以有效地改善网络能耗均衡性,并延长网络的生命周期.
基于Xilinx公司模型开发工具System Generator(SG),设计并实现了的BPSK接收机的相关处理通道.详细介绍主要模块的设计,给出了集成在MathWorks公司的模型开发工具Simulink平台下的System Generator的设计模型,并下载到FPGA进行在板调试,提供Simulink仿真波形和Chipscope调试波形.经过仿真分析和对比验证,这种设计方式可以更快速高效地实
分布式全相参雷达要求各单元雷达的发射信号在目标处应相参叠加以实现发射相参,故需要对目标处各雷达信号的时间差和相位差(统称相参参数)进行估计.为了提高相参参数的估计精度,提出了基于修正代价函数的正交波形设计方法.提出了利用正交波形对分布式全相参雷达相参参数进行估计的方法.分析了正交信号非理想正交性对相参参数估计精度的影响,为了提高相参参数的估计精度,利用引导信息对原代价函数进行修正,提出了基于修正代