面向移动网络的海量信息压缩管理算法设计与实现

来源 :中国新通信 | 被引量 : 0次 | 上传用户:guaitaidejiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  一、前言
  在目前大数据以及移动互联网高速发展的新形势下,通过移动互联网下的海量数据通信与管理,可以充分的配置资源,降低成本,充分利用当前数据库以及分布式技术的优势,实现多方合理资源共享以及降低成本,提高政府公共工作效率与利润。海量数据是互联网入口的核心切入点,由于当前分布式存储以及大数据是主要发展趋势与热点领域之一,对于海量数据的存储和管理,通过移动网络传输时,如何进行一定的压缩是当前的主要技术瓶颈。本文即针对此需求,结合空间数据传输的特点,设计与研究面向移动网络的海量空间数据压缩管理算法。
  二、空间数据格式基础
  1、空间数据的概念。本文研究的移动网络条件下的主要数据来源不同于其他的一般信息系统,由于智慧城市的管理需要,需要提供城市的基本的道路数据、建筑数据,这些统称为空间数据,其科学概念是这么定义的,即地球上每一种物体都有其明确的空间属性,包括它的坐标、空间三维尺寸、空间拓扑属性等。2、GML语言与定位。本文研究中采用的空间数据是研究城市的基础地理数据,其数据格式是空间语言GML,是一种XML格式的扩展,其具有标签化管理、坐标清晰的特点,是一种本质上对空间对象进行描述的,由开放地理信息协会制定标准的语言。该语言中立于各厂商,是一种开放的标准,对空间数据有规范的编码,另外可以快速在互联网上进行共享,继承了XML的优势,对于网络化传输有先天的优势,利于数据管理与网络实时传输。
  三、压缩算法设计与实现
  1、基于语义同构的压缩模型设计。在这个算法模型中,输入端是现场采集或者后台分发的数据的GML文件,以及自定义的分组个数,首先,GML数据文档经过系统的提取以及解释操作,得到了基于XML模型的数据文档树。然后进行整体同构压缩的过程,压缩过程中主要有2个子流程,主要是根据其数据文档的数据内容和坐标聚类进行的内容同构压缩以及根据文档标签特性进行自动化替换的采用类似索引的思路进行置换后压缩,而数据内容则是根据所付地物的坐标进行K-Means聚类算法对数据进行空间分组并以各子坐标系为原点重新计算坐标,从而大量压缩数据内容。
  2、GML数据内容同构压缩。本文研究中采用的空间数据是研究城市的基础地理数据,其数据格式是空间语言GML,是一种XML格式的扩展,其具有标签化管理、坐标清晰的特点,是一种本质上对空间对象进行描述的,由开放地理信息协会制定标准的语言。该语言中立于各厂商,是一种开放的标准,对空间数据有规范的编码,另外可以快速在互联网上进行共享,继承了XML的优势,对于网络化传输有先天的优势,利于数据管理与网络实时传输。经过聚类算法的同构压缩,可以将大量长度较大的坐标数值存储为相对坐标,在数值量特别大的情况下,此种方法能有效的减少坐标数值串的字节数量,进一步降低文本文件的大小。
  3、GML语义同构压缩。算法的主要过程为,首先遍历文档中的全部字符,然后提取重复率最高的标签,并用较简单的字符进行替代。如将重复率最高的标签项替换为1,这样可以大大减少文档的数据量,起到压缩文档文本的目的。例如,在本文研究的数据文件中,可以看出在其文档中坐标的标签项出现了461次,是出现的最多次数的标签,可以用简易的字符a进行替换;同理,对于出现第二多的标签项如要素成员460次重复,可以用b字符替代。
  四、算法实验与效率分析4.1系统集成与开发环境
  本文在学校实验室进行相关模拟,主要网络为中国电信专门提供的千兆光纤,网速相对较快,但是需要各种配置才能达到测试的需求。主要开发环境:Microsoft Visual Studio 2015;数据库环境:SQL Server 2008;各Web浏览器主要采用Chrome浏览器。移动终端模型采用的是iPhone 6 Plus以及华为Mate 7,分别代表iOS 和Android智能操作系统
  4.2移动网络传输分析
  为了更好的模拟海量数据处理时的网络情况,本文采用了不同的数据量的文件進行了各个不同网络环境下的相应的实验和测试,以实验针对海量数据管理、存储和传输相应的系统表现。本文在学校的200兆和千兆光纤环境下进行了多用户并发传输实验,实验结果图表1所示。


  通过上述结果可以看出,当有不到10个的移动终端设备访问监控后台系统时,可以启动十个线程对于数据请求进行处理,当用户急剧增加时,请求的响应和数据发送时间会受到一定的减弱,一方面是由于数据传输和获取时都需要线程加锁等操作,另一方面并发线程小于并发消息 时,消息在队列中的排除时间会造成同步的延迟。
  结语:本文对于系统的整个算法流程,特别是数据压缩的关键技术和海量数据存储管理的主要技术进行了论述,给出了详细的数据压缩的方案,包括基于数据坐标的聚类压缩以及基于文档标签特性的文本频次压缩方法。最后介绍开发的平台环境以及数据,使原形系统实验有一个客观的对比性平台,在Visual Studio平臺上进行了二次开发,分别形成了移动终端和后台的原型系统,介绍系统开发及实现并进行相关实现,最后进行软件测试,证明了软件的有效性和科学性。
其他文献
摘要:本文主要介绍了通信系统在配电自动化建设中的应用和实施方案,以实现配电信息化、互动化、自动化,进一步提升配电运行管理和优质服务水平。  【关键词】 配電 自动化 通信网络 OLT ONU  引言:  随着智能配电网建设进一步深化,对通信信息量的实时性、可靠性将提出更为严格的要求,因此应该优先选择具有以太网技术和光纤技术的通信方式,建成后的配电通信接入网应能满足建设區域内配电自动化终端的通信需求
【摘要】 频率资源是无线通信最宝贵的资源,优质的频率资源既可以满足覆盖要求,又可以满足容量要求,为广大用户提供优质的语音和数据服务,同时可以减少运营商的投资,提高经济效益。中国移动目前运营的有2G的GSM网络、3G的TD-SCDMA网络、4G的TD-LTE网络以及LTE FDD网络,如何在多个制式、多个频段上合理利用已有的频率资源,发挥各自频率资源的优势是中国移动不得不面对的重大问题。  【关键词
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
期刊
【摘要】 光纤数字通信设备的实际应用中,由于受到多方面的因素影响,对通信设备的正常应用就有着阻碍。而加强对光纤数字通信设备的维护,在方法上能科学应用,就成为保障光纤数字通信设备应用质量的基础。本文主要就光纤数字通信设备的维护相关理论深入研究,希望有助于实际设备的应用。  【关键词】 光纤数字 通信设备 维护  引言  光纤通信对人们的信号传输的需求得到了满足,在信息传输的效率上大大提高了,促进了生
【摘要】 近年来,网络通信技术在不断的发展,各个行业都离不开网络通信技术的协助。为了满足人们不断增长的技术需求,网络通信需要更进一步的发展。不仅仅要确保通信质量,还要保障信息安全,提升网络通信的服务质量。本文主要就信息安全保障对网络通信措施进行了相关的分析和说明。  【关键词】 信息安全 网络通信 保障措施  随着计算机的普及应用,信息技术成为社会发展的重要技术之一,信息的传播、信息的处理、信息的
1影响钢材价格未来走势的基本因素1.1国家经济政策的影响一是国家取消出口退税、提高准入门槛多项政策涉及钢铁企业,特别是取消了钢材的出口退税。二是工信部整 1 The basic
【摘要】 现阶段随着我国的科学技术水平提高,人们对网络的应用也愈来愈广泛,光纤实现网络连接成为发展趋势。本文主要就烽火通信FTTH光接入网运行特征及方案进行详细探究。希望能在此次的理论研究下,对实际光接入网的良好运行提供理论参考依据。  【关键词】 烽火通信FTTH 光接入网 运行维护  信息技术的循序发展下,使得光纤联网的目标得到了实现,我国在FTTH覆盖的家庭用户数量在逐年增长,通过光纤到户给
【摘要】 随着社会和经济的不断发展,我国的航空事业也是发生了翻天覆地的变化,信息化技术的引用和成熟,使得无线通信系统在民航中得到有效的利用和发挥。不过,近些年来,无线电在越来也多的地方的运用,这无疑不是给航空的安全系数和运行带来了巨大的冲击和隐患。笔者首先对民航空管无线通信系统一些常见的干扰模式和问题进行了详细的分析,同时制定了相应的解决措施和对策,希望可以为相关行业提供建议和依据。  【关键词】
该文从挂篮荷载计算、施工流程、支座及临时固结施工、挂篮安装及试验、合拢段施工、模板制作安装、钢筋安装、混凝土的浇筑及养生、测量监控等方面人手,介绍了S226海滨大桥
作为信息技术发展的新方向,物联网技术给信息化生产创造了新的发展机遇。但随着物联网的不断推广,物联网的安全问题不断凸现,其中物联网的通讯安全面临的问题更加严峻。因此,对物联网通讯采取必要的加密技术,加强物联网的通讯安全是十分必要的。本文对物联网的安全问题进行了分析,对网络加密技术进行了介绍,并提出了多路密钥协商的物联网加密策略,具有一定的参考意义。