【摘 要】
：
传统的大数据冗余消除算法无法实现冗余去重率与吞吐量的冲突平衡,为此,设计一种基于哈希计算的大数据冗余消除算法.依据样本数据在数据集中的边缘程度对数据进行分类处理.采用哈希算法计算分类后数据的相似度与熵值,由此判断数据是否为重复数据,实现消除冗余数据的算法设计.实验结果可知,所提算法最高去重率可达到99％,最高吞吐量可达到26 MB/s,验证了所提算法可有效解决冗余去重率与吞吐量之间的冲突问题.
【机 构】
：
广西警察学院交通管理工程学院,广西南宁530022
论文部分内容阅读
传统的大数据冗余消除算法无法实现冗余去重率与吞吐量的冲突平衡,为此,设计一种基于哈希计算的大数据冗余消除算法.依据样本数据在数据集中的边缘程度对数据进行分类处理.采用哈希算法计算分类后数据的相似度与熵值,由此判断数据是否为重复数据,实现消除冗余数据的算法设计.实验结果可知,所提算法最高去重率可达到99％,最高吞吐量可达到26 MB/s,验证了所提算法可有效解决冗余去重率与吞吐量之间的冲突问题.
其他文献
新媒体时代背景下,广播电视新闻面临着来自各类新媒体、流媒体以及自媒体的强势冲击与挑战,想要形成完美转型,为广大受众和用户提供更加优势的新闻节目与新闻报道,广播现实新闻编辑就必须要不断创新编辑理念与提升编辑技巧,真正做到“内容为王”,进而获得更多受众与媒体用户的喜爱、关注和认可.鉴于此,笔者在本文针对新媒体时代如何加强广播电视新闻编辑技巧展开一定系统化的分析与研究,以供参考.
为了促进应用型科技成果的转化、提升科技资金投资的精度,对科技成果的社会效益预测方法进行了研究,构建了成果预测模型.该模型基于自组织神经网络在训练过程中引入神经元间的“竞争—合作”机制,解决了传统的神经网络对于高特征维度训练任务适应性差的难题;此外,该网络引入了邻域函数保存神经元间的拓扑关系,从而保证网络在训练过程中误差的稳定性;在模型特征向量的选取上,综合考虑应用型成果转移过程中科技成果项 目本身的创新性、承担科技成果项 目企业的能力、科技项目的经济可行性和成果项目管理团队管理水平等多个因素,构建了指标筛
针对面瘫患者诊断视频中面部运动特征的复杂性,设计能够学习更本质面部特征的深层非线性网络结构,结合可见光和深度视频数据更全面地分析面部运动细节特征.该方法主要使用具有多重卷积结构的网络模型和LSTM网络,分析患者与正常人面部运动之间的差异,完成真假面瘫识别;提取面部运动过程中的时序形变特征和纹理变化特征,并进行特征融合,实现面瘫分级评估问题;深入分析患者面部运动在可见光视频和深度视频中所体现出的细微变化特征,使用融合多源视频信息的卷积神经网络模型对面瘫等级进行细粒度评估.
科学技术水平不断创新与发展,带动通信技术飞跃式发展,对社会生产、生活带去了巨大改变.基于通信技术发展下,5G网络研究与5G工程建设逐步发展起来,5G无线通信技术具有高速率,低时延,大容量等优势,对各个行业发展起到了重要影响,为此,我国也提高了对冶金工程建设引入5G无线通信技术的重视,并加快对其技术方面以及应用方面的研究.希望在未来可以将5G技术普及到日常生活中,推动社会进入新的篇章.
为了在社会安全事件发生的不同阶段准确预估风险,调整应对策略以规避更大的危害,分析突发社会安全事件的特征与发展周期,结合风险形成的影响因子与处理原则提炼了三层风险评估指标体系,引入模糊集理论改进BN网络构建风险评估与预警模型.通过数据实证分析,模型预测发生概率为83％,具有很好的前瞻性,且通过反向推理获知影响概率TOP5指标,为后续规避风险源、完善管理机制指明了方向.
场外配资是一种高风险的融资手段,对可疑的场外配资行为进行及时的识别与监控,有利于维护投资者的合法权益与证券市场的稳定.为此提出一种基于改进XGBoost机器学习算法的配资账户识别方法.通过分析场外配资的业务逻辑,构建了与识别算法强相关的特征指标体系,并结合场外配资行为特性采用召回率作为关键度量指标.通过对所构建识别算法的对比分析,所提出的基于XGBoost的场外配资识别模型得到了更加准确的识别效果,并且通过市场交易行为分析能够更加灵活快速适应市场环境变化,从而更好地用于证券市场的场外配资监控.
随着高校教育不断改革和教育信息化不断发展,针对“如何培养学生自主学习兴趣与能力”“学生如何规划 自己学业与职业”等问题,基于对OBE理念的理解和对课程地图概念与设计的研究,对高校人才培养方案、教学大纲进行了深入研究与归纳.针对现阶段教育信息化的发展,提出了以网页化的形式呈现基于OBE理念的课程地图.对其设计、开发过程及意义进行了说明,以此试图解决问题,为高校学生提供一种可靠、灵活、清晰、以学生为中心的学习模型框架提供参考.
为了降低交通事故发生概率、确保人民生命财产安全,将采集的发动机信号分为8类,基于LMS算法利用线性判别函数构建发动机故障状态识别模型对发动机状态进行快速判断,基于三层BP神经网络构建故障定位分类模型对存在故障的发动机进行故障分类,经过800个实例数据验证,判别准确率高达95.375％,模型诊断效果良好,为发动机故障诊断与定位提供了技术支撑.
为了体现急救绿色通道在医学中应用价值,使其更好地为医疗体系服务,提出一种基于Shannon熵权和云模型组成复合云模型的急救绿色通道评估系统.构建急救绿色通道质量评估指标体系,构建绿色通道质量评估系统的软件部分和硬件部分,建立急救绿色通道质量评估标准和评语云模型;分别采用逆向云发生器和熵权法计算评估指标的评估云和指标权重,利用虚拟云中的浮动云算法和综合云算法设计急救绿色通道评估系统.实例分析结果表明:这个系统可有效评估急救绿色通道质量,且可分析出评估因子以及评估过程中存在的不确定性,为医疗急救绿色通道管理提
随着小程序的发展,越来越多的行业与领域都逐渐将小程序作为其主要的流量入口平台.小程序本身也进入了一个快速发展的阶段,截止2019年底,小程序总量已达500余万个,累计用户数约为9亿人次.虽然目前小程序的规模和用户数正在快速增加,但是小程序开发自身也面临着代码结构复杂,各平台小程序语法不统一,开发速度慢,代码质量不高等问题.基于此,提出了一种基于Java模板引擎技术的小程序辅助开发系统.该系统将抽象为组件的小程序代码模块,依据不同类型的小程序平台来快速的进行组装,并最终编译生成可用的小程序源码块.结果表明上