Spark框架下拟单层覆盖粗糙集增量更新及并行化方法研究

被引量 : 0次 | 上传用户:zhuanghaiyang
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
大数据时代已经到来,数据量正在以前所未有的速度增长,这对海量数据挖掘和知识发现提出了巨大的挑战。随着新信息的不断到达,信息系统正在实时地发生变化。久而久之,形成了单台计算机节点无法存储和计算的信息系统。同时,海量数据的涌入不可避免的会存在数据缺失的情况,这将导致系统变为不完备信息系统。在使用任意类型的粗糙集模型进行属性约简和规则提取等数据挖掘任务时,上下近似集的求解都是必不可少且至关重要的步骤。拟单层覆盖粗糙集作为经典粗糙集的扩展模型在处理集值信息系统或不完备信息系统方面表现优异。但是,在处理动态集值信息系统和大型集值决策信息系统方面仍存在计算效率低甚至无法计算的问题。因此,在本文中基于拟单层覆盖粗糙集对以上提及的问题进行研究。为了使得拟单层覆盖粗糙集适应属性集动态变化的集值信息系统,将其与增量学习的思想相结合进行研究。针对添加和删除属性集两种情况分别提出了相应的增量更新方法。此外,证明了增量方法与静态方法得到结果的一致性。基于增量方法的思想开发了增量算法来更新近似集。最后,通过一系列对比实验验证数据集大小和属性变化率对增量算法的影响。实验结果表明,与静态算法相比,添加属性和删除属性时增量算法的计算效率分别平均提升8.5倍和12倍。为了使得拟单层覆盖粗糙集适应大型分布式集值决策系统,将其与并行计算技术相结合进行研究。首先给出了分布式环境下各种信息单元的计算方法。在已有的粒度拟单层模型基础上,将整个并行计算过程分为两步:求近似集中的可靠单元部分和争议单元部分。以上两个部分的计算都需要基于对应的决策进行判断。由于争议单元自身决策的不准确性,所以使用其相关可靠单元决策的交并进行代替。针对以上过程在并行化理论中给出了证明过程。最后,选择基于内存计算的Spark框架对拟单层并行化理论进行实现并通过Speedup、Scaleup和Sizeup等指标对算法的性能进行评估。实验结果表明,数据集越大,Speedup和Sizeup曲线斜率越接近1且Scaleup曲线越接近1,即拟单层覆盖粗糙集的并行化效果越好。本文共计图16幅,表16个,参考文献96篇。
其他文献
<正>随着社会老龄化进程的不断加速,我国脑卒中疾病负担呈爆发式增长,已成为我国成年人致死和致残的首位原因[1]。脑卒中幸存者会遗留不同程度的肢体运动、认知、感觉、语言、吞咽、情感和心理等功能障碍,其中认知功能障碍是脑卒中后最常见的功能障碍之一。已有研究表明,
期刊
目的 探究内固定和外固定治疗桡骨远端骨折对腕关节功能恢复及活动度的作用。方法 选取68例桡骨远端骨折患者作为研究对象,根据治疗方式分为内固定组(掌侧接骨板内固定治疗,n=30)和外固定组(手法复位石膏外固定治疗,n=38),记录2组患者治疗用时、并发症发生情况,比较2组患者患肢握力恢复、Gartland-Werlry评分、腕关节掌曲和背伸活动度(range of motion, ROM)、骨折愈合
期刊
报纸
<正>近年,随着饮食结构的改变,成年人中10%~15%患有胆道系统结石性疾病,其中1%~3%每年发生急性胆囊炎或急性胆管炎[1-2]。随着腹腔镜技术的发展,腹腔镜胆囊切除术(laparoscopic cholecystectomy,LC)及腹腔镜胆总管探查术(laparoscop-ic common bile duct exploration,LCBDE)越来越多地用于治疗胆囊结石及胆总管结石。L
期刊
学位
以煤矿主斜井带式输送机为研究对象,介绍一种煤矿带式输送机变频调速节能控制系统设计方案。此系统主要分为检测单元、控制单元以及执行单元3部分结构,系统主要装置包括PLC节能控制装置和变频调速装置。系统设计主体包括主斜井带式输送机选型、主斜井带式输送机电气监控系统以及主斜井带式输送机PLC控制软件等。完成相关系统模块设计后,将系统应用于煤矿主斜井带式输送机具体控制过程中,从运输效率、电气节能、机械损耗、
期刊
学术探索情境类化学电源高考试题追求真实情境,强调知识应用,为近年来以核心素养为导向的高考化学试题的代表。通过对近5年高考化学全国卷“化学电源”试题的分析,从文献来源、试题情境、考查形式、考查内容、知识融合等方面总结了试题的特点。并提出强化必备知识、引导模型建构、注重情境分析、提升信息素养等教学启示和建议。
期刊
<正>近年来,郑州市公共交通集团有限公司(以下简称“郑州公交”)党委认真落实郑州市国资委工作部署,围绕“抓党建,促发展”的要求,在为民服务中找准着力点,在改革发展中找准突破口,把党建工作紧密地与企业发展相结合,切实推动主体责任深化、细化、实化,准确把握党建工作的引领作用,注重发挥导向功能、凝聚功能、激励功能、创新功能,促进各项工作的开展,确保公交事业稳步向前发展。
期刊
<正>随着腹腔镜外科的快速发展,腹腔镜胆囊切除术(laparoscopic cholecystectomy,LC)已成为治疗症状性胆石症的金标准[1]。虽然世界范围内已施行了大量LC,但结扎夹迁移的报道罕见,其中以钛夹移位居多。而Hem-o-lok迁移移位形成的胆总管结石是非常罕见的LC术后并发症。我院收治1例Hem-o-lok结扎夹移位形成胆总管结石患者,现将体会报道如下。患者女,51岁,因“上
期刊
基于煤矿提升机设备运行过程中启动或急停很难实现精准控制,利用变频调速控制技术对煤矿提升机速度控制系统进行设计,并对该变频调速系统进行了测试。可以看出,优化后的变频调速系统可以实现对提升机的启停速度精准控制,避免了对设备造成的冲击,提高了设备运行过程的稳定性和可靠性。
期刊