【摘 要】
：
针对HDFS处理时空小文件效率不高的问题,从用户的访问规律和访问数据自身属性这两者之间的相关性上出发,将用户访问流看成对数据文件的请求序列,然后根据数据的时空属性参数化表示,并利用特征提取构建一个新的特征序列,最后通过序列模式挖掘PrefixSpan算法找到用户在不同访问模式下的特征模板,合并相关文件。实验结果表明,该合并策略有效地降低了NameNode内存占用率和响应时间,提高了读取效率。
【机 构】
：
湖北省标准化研究院,武汉大学测绘遥感信息工程国家重点实验室
论文部分内容阅读
针对HDFS处理时空小文件效率不高的问题,从用户的访问规律和访问数据自身属性这两者之间的相关性上出发,将用户访问流看成对数据文件的请求序列,然后根据数据的时空属性参数化表示,并利用特征提取构建一个新的特征序列,最后通过序列模式挖掘PrefixSpan算法找到用户在不同访问模式下的特征模板,合并相关文件。实验结果表明,该合并策略有效地降低了NameNode内存占用率和响应时间,提高了读取效率。
其他文献
针对Wi-Fi定位技术中基本三边定位算法的测距模型参数不确定和定位计算误差大等问题,提出基于权值的参数实时更新定位算法。该算法首先按照基于区分度能力的信息增益方法选择三个最能反映待定位点信息的访问接入点AP,然后对测距模型进行实时获取参数的改进,最后对三边定位计算中的距离进行加权处理。实验表明,该定位算法能减小由环境因素和信号强度测量值引起的误差,与基本的三边定位算法相比,算法具有更高的定位精度。
分析了NTRU公钥加密算法的一类弱密钥。根据NTRU所涉及的CS格与循环码的生成矩阵结构相似的特点,指出当NTRU的公钥与(xn-1)的最大公因式的次数大于零时,CS格的生成矩阵不可逆,此时可用类似于循环码译码的方法和格基归约算法破解NTRU。最后给出了能使NTRU避免生成此类弱密钥的方法。
针对由太阳能补给节点和无能量补给节点组成的非均匀分布无线传感器网络,提出了基于节点密度和能量大小的分簇路由算法DEACC。该算法在每轮开始时,首先根据光照度估算太阳能补给节点下一周期的采集能量;然后在选举簇首时综合考虑节点密度、太阳能补给节点密度、节点当前能量和太阳能补给节点采集能量,在稳定阶段采用节点密度策略发送数据。实验结果表明,DEACC在延长网络生存期和提高网络覆盖率的同时具有较高的网络吞
对传统的工作流合理性验证方法进行了阐述,并分析了这些方法的优缺点,着重针对国内外学者用Pe-tri网对工作流合理性验证方法进行综述,分析其特点,并指出了工作流的合理性验证的发展方向。
针对现有"具有度量属性的多变元时态数据"可视化方法不足,提出Parallel Sets分类值排列顺序优化算法ACLEARCR、基于相关度的Parallel Sets变元轴配置算法(VABC)、深度信息Parallel Sets(DCPS)共同组成基于Parallel Sets的具有度量属性的多变元时态数据可视化方法 TVBPS。使用具体数据集对提出的可视化方法进行实验,获得的视图能够挖掘数据集中的
协作频谱感知可以有效提高认知无线电系统的感知性能,但信噪比较低的认知节点参与协作会影响整体的感知性能。为解决这种低信噪比节点降低系统感知性能的问题,提出了一种基于信噪比对参与协作的认知节点进行筛选优化的方法,通过筛选避免低信噪比的节点参与协作。理论分析和仿真实验结果表明,所提出的方法可以消除低信噪比节点的影响,提高系统的感知性能,同时具有较低的计算复杂度。
为了同时得到高功率效率和高频谱效率,在编码转发多输入多输出双向中继系统中需要在功耗最小时达到最大的和速率,但该问题是一种非凸问题,传统的研究方法仅关注和速率最大化问题,对两种并存情形研究较少。通过对两个源和一个中继组成的中继系统进行了研究,提出了一种寻找中继最优机制和将原始非凸问题转换为相应凸问题的优化算法。该算法将功耗作为优化问题的约束,并通过添加额外约束和子问题分解的方法,找到源和中继的最优功
分析了现有混沌掩盖保密通信存在的问题,给出了混沌同步控制信号与混沌调制信号相分离的混沌保密通信新方法。新方法采用混沌导频信号独立完成通信收发两端的混沌系统同步控制,较好地解决了原有混沌通信系统中已调信号既实现同步控制又承载信息信号所引起的信息信号须远小于混沌调制信号和抗噪声性能差的问题。构建了采用Sprott系统I为混沌模型的混沌通信新方案仿真电路。仿真实验表明:通信收发两端混沌同步控制实现方式更
针对无线传感网络中数据融合需求的多样性,提出了一种新的簇内数据融合方法。该方法基于信息熵可反映节点数据分布的统计特性,首先对节点内数据并查集的信息熵进行最大寻优、自动确定融合的上下限阈值,完成节点局部数据融合;同时考虑簇内信息分布的空间特性,对簇内二维信息熵进行最大寻优,并由此确定簇内数据融合的阈值、实现冗余数据过滤;最后就该方法与传统的数据融合策略进行了仿真比较。实验结果验证了该方法简单,可有效
针对标准粒子群算法收敛速度较慢、收敛精度较低、容易陷入局部最优等方面的缺点,提出一种融合细菌觅食算法和鲶鱼效应的混合粒子群算法。通过四个经典测试函数仿真实验,验证了该算法具有较其他改进方法更强的全局搜索能力、收敛速度和收敛精度。并针对一类可描述成Wiener模型的工业过程进行了参数辨识,通过数值仿真验证了混合粒子群算法的实用性以及较其他算法更强的非线性辨识能力。