基于折叠技术的大数据样本洗牌算法研究

来源 :计算机技术与发展 | 被引量 : 0次 | 上传用户:zondy_gongqi
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据处理效率问题是目前的研究热点,而基于样本抽样技术可降样本数量,是提高大数据处理效率的方法之一。文中提出一种基于折叠技术的大数据洗牌算法,首先给出洗牌算法的基本原理,同时定义离散度和均匀度两个评价指标,并从时间效率、离散度和均匀度3个角度进行了仿真实验。实验结果表明,基于折叠技术的大数据洗牌算法具有较高的时间效率,当样本分段数为样本总数的5%,循环次数为样本总数的2%时,离散度和均匀度明显优于其他基于随机技术的洗牌算法。基于折叠技术的大数据洗牌算法为大数据抽样和提高局部样本的可用性提供了一个新的途径,
其他文献
随着互联网的发展,学生的学习不再局限于传统教学,利用互联网开设微型课程学习成为一种趋势。教师应该了解时代的发展,跟上时代的步伐,让微课融入自己的课堂,利用微课提高教
外骨骼关节驱动电机使用区别于常规需要对应情况长时间调参的普通PID控制器,以可自适应的神经网络PID控制器为核心控制方法。使用STM32F103RCT6作为外骨骼机器人的局部控制器
板块式习作教学作为一种呈现出“块状的”教学方式,是构建在语文学习心理原理上的一种教学方法,就是在一节课或一篇课文的教学中,从不同的角度有序地安排几次呈“块”状分布
对于单属性推荐系统,矩阵分解是广泛使用的方法之一,但对于包含多个不同属性的多属性推荐系统而言,矩阵分解方法效果存在局限性。目前已经开发了张量分解方法,以通过处理三维
本文从讲解、提问和评价这类言语互动的基本环节出发,帮助一线小学语文教师消除在进行课堂言语互动时的困惑,使小学第三学段语文课堂的言语互动出现实质性的改善,从而提升小
混合式作业是“线上+线下”两种作业形式相结合的新型模式,它的实施应遵循个体差异原则,眷顾家庭因素、时间合理分配、方式讲究多元等,以落实“课标要素”、课后习题优先完成
负数的出现是数系的扩充,以“零下温度”引出负数能使学生易接受,但学生对于负数的理解仅停留在表面,应弄清什么是“意义相反”,利用数型结合确定0点,真正建立负数本质概念。
数学科学逻辑性强,学生学习难度较大。传统模式下,单纯关注学生数学解题能力的培养,不能实现数学综合素质的提高。新的时代背景下,数学教学应该以核心素养为中心,实现对学生
在数字图像中去除雨滴的干扰,对恢复图像质量有较大应用意义。随着深度学习图像去噪技术的发展,针对目前大多数去雨滴的方法恢复质量低、计算量大等问题,提出了一种基于自注意力机制的轻型图像去雨滴算法。该算法建立了一个轻量级的级联稠密残差网络(cascaded dense residual network),用于恢复被雨滴覆盖的图像信息。该网络由多个模块组成,模块间用稠密的残差和跳过连接引导图像信息的输出,
对随机森林和LightGBM两种集成学习算法在恶意软件感染二分类预测中的应用进行了研究。针对恶意软件感染预测数据集,通过预处理修正异常值,选择合适的编码方式处理数据集中不