基于Spark的互联网地图涉密地理信息检测算法研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:rayasoft
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着信息技术快速发展,地理信息载体在网络中的种类及其表现形式愈加丰富,传播途径也更加多样。同时地理信息的安全性一直是国家关注的重点问题,然而网络中存在大量的信息给涉密地理信息检测带来了严峻的挑战。因此,本文提出基于Spark的互联网地图敏感地理信息检测方法,能够减轻地图审查人员监管压力,提高敏感地理信息检测效率,对于维护国家地理信息安全具有重要的意义。本论文主要研究内容如下:针对互联网中存在许多待检测地理信息,且现有敏感地理信息检测方式单一,检测准确率较差的问题,提出一种互联网地图涉密地理信息检测方法。针对地图的标注地点及其在互联网中的附属信息,首先,采用Ansj算法提取地理信息的特征词集合;其次,构建单一和组合敏感词库,通过词语相似度方法计算特征词与敏感词的相似度,提取特征词集合中的敏感词;然后,分析敏感地理信息特性,提取特征词在文本中位置属性、特征词在文本中权重以及特征词对应地理信息的敏感系数;最后,根据所提取敏感信息词语相似度及其相应特征,计算地理信息敏感度,用于检测互联网地图中是否存在敏感地理信息。仿真结果表明,该算法相比于现有敏感地理信息检测方法具有更高的准确率、召回率及F度量值。由于网络中数据量庞大,且信息传播迅速,因此对敏感地理信息检测算法运行效率有较高的要求,针对上述问题提出一种基于Spark的并行化敏感地理信息检测方法。首先,构建并行化敏感词典,将敏感词典广播到集群各个节点中;其次将Hadoop分布式文件系统(Hadoop Distributed File System,HDFS)存储的地理信息转换为弹性分布式数据集(Resilient Distributed Dataset,RDD),通过Map操作并行化处理,解析得到特征词集合,在各个节点计算特征词与敏感词的词语相似度,提取特征词集合中的敏感词;然后,提取特征词在地理信息中的相应特征,在各个节点计算地理信息敏感度;最后,将结果汇总到驱动器节点计算整个地图文件敏感度,并存储在HDFS分布式系统中。实验结果表明,并行化敏感地理信息检测算法相比于单机模式运行效率有显著提升,并且在集群中节点运行具有可扩展特性。
其他文献
【正】 黄淮海平原的种植业具有悠久的历史和传统的经验,土地垦殖程度高达70%左右。我们这里所说的黄淮海平原,是指长城以南、淮河以北、太行山及豫西山地以东、山东丘陵除外
【正】 土壤是作物生长的基础。粮食生产的稳步发展,关键在于培肥地力。过去,我们对这个问题认识不足。在长期的粮食生产中,对产量的高低注重得多,对地力的培肥研究得少。通
<正>长江刀鱼学名刀鲚,又称长颌鲚(Coilia ectenes J&S),隶属于鳀科(Engraulidae)、鲚属(Coilia),为江海洄游性、肉食性鱼类,肉味非常鲜美,是长江中下游重要的经济鱼类之一。
日前,中国纺织工业联合会副会长、中国针织工业协会会长杨纪朝和中国纺织工业联合会副会长、纺织之光科技教育基金会理事长夏令敏赴安莉芳山东工业园拜访“纺织之光”捐赠人
本文是一篇关于手语翻译文本的英译汉翻译实践报告,翻译素材为2015年出版的《手语翻译研究读本》,是一本专门介绍国外手语翻译发展历史与研究现状的论文集。目前,国外手语翻译研究已有50多年的历史,其研究内容逐步扩大、深化和完善,现已达到较高的理论与实践水平。相比较而言,国内手语翻译研究发展比较缓慢。这主要体现在两方面:一是开设手语翻译相关课程的院校少;二是缺少专业的手语译员,如文化、医疗、体育,商业和
海藻酸钙是一种具有良好的生物相容性和可降解性的海藻多糖,主要应用在食品、生物和医药等领域。以海藻酸钙为原料制备的碳气凝胶主要应用在电池方面,其在染料吸附、油水分离和乳液分离方面的探究比较少。本论文主要从两方面探究了不同温度下海藻酸钙碳气凝胶的制备和其吸附性能,并找到了具有最佳吸附性能的制备条件,对其染料吸附、油水分离和乳液分离性能进行探究。在此基础上,探讨了酸洗后的海藻酸钙碳气凝胶的染料吸附、油水
【正】 党的十一届三中全会以来,全国的农业机械化事业,进入了集体和户营等多种经济形式并存的发展新时期。据统计,到1983年底,江苏省农民自购自营的农用汽车1,092辆,大中型
杂交育种是培育鱼类优良品种快捷有效的方法之一,杂交鲂是以团头鲂(Megalobrama amblycephale)作为母本、广东鲂(Megalobrama hoffmanni)作为父本杂交而得到的品种。2005年,由潮
近几年,市场鱼价低迷,例如我市的主养品种鲤鱼,规格在1~1.5千克/尾的市场售价仅为12~13元/千克。而饲料、渔药、人工等养殖成本却在不断上涨,使养殖利润空间一缩再缩。笔者结