基于多尺度与信息熵的离散化方法及其并行化

来源 :太原科技大学 | 被引量 : 0次 | 上传用户:javaer0128
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
现如今,随着信息技术的不断发展,各领域所产生的数据呈爆炸性增长。面对如此海量的数据,想要从中获取潜在有价值的知识并提高利用率,则需要事先对这些数据进行预处理,以获取可以直接进行挖掘和分析的高质量数据。离散化作为数据预处理过程中的一项重要技术,对提高数据挖掘效率和质量具有重要意义。实际数据集往往拥有很多属性,它们可以排列成上下有序的概念层次结构,即体现出多尺度特性。多尺度技术不仅可以通过揭示数据对象内在的结构和层次特征,得到多种因素和方法去还原事物的本质。而且使用多尺度分割技术对图像或数据进行分割,可以减少算法的时间复杂度。通过在离散化过程中引入多尺度的概念,将数据进行合理的多层次划分,得到不同粒度表现形式的候选切割点,从而可获得更多有价值的信息,提高离散化数据的质量。基于此,本文提出一种基于多尺度和信息熵的数据离散化算法(简称为MSE)。该算法首先对数据集进行合理的尺度划分,得到具有不同表现形式的候选切割点集;然后使用信息熵对候选切割点进行计算,并依次选取信息熵最小的候选切割点利用MDLPC标准进行判断,最后,选出了最佳切割点集合。通过采用UCI数据集测试,实验验证了该算法有效地提高了离散化效果和效率。为应对如今海量数据的有效处理,并行/分布式计算被引入以提高离散化效率。而离散化过程是不断反复迭代的过程,Spark作为一种基于内存的分布式计算框架,其凭借高效的DAG调度、极强的容错机制,可以很好地支持迭代计算。本文基于Spark并行计算平台,提出一种新颖的离散化并行优化算法。利用并行化的优势,将数据集的各属性之间与属性内部分别进行并行化处理。通过对算法进行测试,实验结果验证了,当数据量规模增大时,后者的运行效率明显有更大的提升,在条件最适宜的情况下,加速比最高可以达到6.7倍。
其他文献
以国内旅游网站的用户评论文本为数据源,运用内容分析法与情感分析方法,对洛阳老城历史文化街区游客情感特征进行分析。研究表明,游客对洛阳老城历史文化街区的积极情感高于消极情感;无论是原生态的、还是商业化运作下重构的"传统建筑",只要游客认为其具有"地方特征",均可促进游客的积极情感;游客的消极情感主要源于景区门票偏高和街区管理不当。该研究对历史文化街区的旅游开发具有一定的借鉴意义。
学位
历史文化街区不同于传统意义的街区,其在物质形态上具有较高的历史与美学价值,并承载着地方在某一历史时期的民俗文化、宗教信仰等精神层次的内容。历史文化街区公共空间是见证城市发展与时代变迁的场所。本文通过对空间叙事的理论进行梳理概述,在总结历史文化街区发展模式现存问题的基础上,从空间叙事的角度探索了历史文化街区的发展策略,旨在为城市历史文化街区公共空间的设计提供新思路。
通过调研福州历史文化街区,以上下杭为例,主要研究在城市化进程中历史文化街区商业的发展。探讨在商业利益巨大的当今社会,对历史文化街区实施动态性保护避免其成为城市新发展的绊脚石以及如何使历史文化街区进行可自发性的有机更新。
济南明府城较为完整地保留了济南传统历史风貌,是具有济南历史特色的标志性区域。本文通过空间句法(depthmap)对其整合度和选择度进行分析,并且借助济南明城府商业POI数据在地理信息系统(ArcGIS)中进行核密度估算,探究其空间形态。从而得出:济南明府城呈现出整体和局部相协调的空间形态,其由四周开放的城市主干道和较为私密的街区内部街巷构成,空间结构体系层次内外分明,较为合理。明府城内各街道中商业
细粒度车型识别技术是智能交通系统精准识别的核心内容,在交通管理、车流监控、车辆统计上发挥了重要作用。在细粒度车型识别问题中,由于同车系间特征差异小,识别难度大,如何增强识别方法对车型特征的表示成为细粒度车型识别领域中的研究难点。本文通过对深度学习中的残差网络和密集卷积网络进行研究与分析,提出了融合独立组件和Res Net152的IC-Res Net和基于部件关注的PF-DenseNet细粒度车型识
场景理论从文化消费的视角为城市历史文化街区的发展提供了新的思路,有助于解决历史文化街区保护与更新中存在的问题。以场景理论为依托,将场景理论的邻里、基础设施、人群、活动及文化价值观五要素作为感知维度,通过对网络文本和实地调研资料的词频抓取与解读,分析芙蓉街-百花洲历史文化街区的场景构建及其传递出的济南城市精神特质。基于场景理论的要素体系,提出我国城市历史文化街区场景发展路径,吸引文化参与,激发文化消
1.大利侗寨概况大利侗寨位于贵州省黔东南苗族侗族自治州的榕江县,距县城25km,全村共246户,1218人,皆为侗族。大利地处偏僻的大山深处,因缺乏公共交通,大利侗寨至今宛如一座世外桃源。大利侗寨于2006年被列入世界文化遗产预备名录,2012年被列入第一批国家传统村落保护名录,2013年大利古建筑群被国务院公布为第七批全国重点文物保护单位,2014年大利侗寨入选中国第六批历史文化名村。
期刊
为了维护街头空间建筑及相关文化的展示,文章通过诠释"街头博物馆"及空间叙事概念,结合历史遗存保护、集体记忆保存、城市环境改善的综合思路方法,分析了武汉黎黄陂路历史文化街区的空间类型与形态,论述了"街头博物馆"叙事中的人、文化、空间三者关系,探讨了新博物馆语境下的空间叙事性方法,以期为历史文化街区的保护与活化提供参考。
随着汽车行业的发展,提高汽车操纵稳定性和安全性已经成为汽车技术发展的重要热点之一,转向工况下的操稳性和安全性要求也更高。而传统前轮转向车辆低速时转弯半径大,机动性差;高速时易发生侧翻,安全性差,作为车辆主动安全之一的四轮转向(4WS)逐渐进入人们视野。4WS系统即汽车在转向时,后轮会根据车速和前轮转角以一定的系数产生转角参与转向。而由于车辆转向系统是较为复杂的非线性系统,传统的机械控制和液压控制存