论文部分内容阅读
【摘要】针对目前应急管理的海量异构数据调度存在的问题，提出一种基于G/S（Geo-information Browser/Service Cloud）模式的海量异构数据调度的算法，并根据算法进行数据调度的应用研究。首先研究G/S模式对数据调度的需求；然后，通过相关数据调度算法分析，在S端选择动态作业分配平衡算法，改进并在服务器上实现算法；最后，通过性能测试和结果分析，验证其正确性和有效性。
【关键词】G/S模式；应急管理；动态作业分配平衡算法；数据调度
1.引言
随着经济、科技的发展，人类对自然的破坏越来越严重，各类突发事件频繁发生，突发事件由于其突然性和快速性给人们造成了一幕幕惨剧，使得各国认真考虑问题的严重性，想方设法减少其对人类生命财产造成的伤害，我国也不例外。
应急管理[1]是对公共危机的监测、预防和处理的整个动态过程。目前，我国应急管理仍处于落后状态，还有许多薄弱之处，虽有一套预案但没有有效的管理系统，管理软件和平台建设发展不是很快，很难完成“个人统一指挥，群体快速响应”的理想状态，迫切需要构建直观且操作性强的系统，这就需要探求高效的应急管理机制，解决应急管理平台应用中各种问题。应急管理中最重要的是数据，数据如何调度，影响着云端的工作效率，影响着客户端之间协同和实时响应。
为了解决问题，在空间信息网络服务模式研究的基础上，针对应急管理对数据的需求，本论文采用G/S（地理信息浏览器/服务云，Geo-information Browser/Service Cloud）模式[3]进行空间信息网络服务，提出G/S模式下海量异构数据调度的需求，并在此基础上研究调度算法并实现应用。
2.G/S模式及相关理论
2.1 G/S模式应急管理云服务体系架构
针对C/S和B/S模式在空间信息网络服务中的缺点，通过研究空间信息服务的数据和信息特点和结构，应对应急管理服务的几个瓶颈问题，将云计算中的“聚合”理念与空间信息网络服务模式相结合，提出一种空间信息网络服务模式：地理信息浏览器/服务云（G/S）模式[2]。
G/S模式的实质就是“数据分散，信息汇聚，服务聚合”，采用应急管理标记语言EMML（Emergency Management Markup Language）对分布在网络上各种海量异构数据进行统一描述和可视化表达，以地理信息浏览器作为客户端，以带有分布式文件系统的服务器作为服务云端，通过“请求-聚合-服务”的客户端动态聚合服务机制[3，4]，实现空间信息网络服务和应急管理。
图1是应急管理服务云体系架构图，G是地理信息浏览器，有交互操作、地理信息数据可视化与虚拟现实、查询分析与工具应用等；S为应急管理服务云，包括物理采集云、网络采集云、应急管理存储云部分，这些云通过应急管理标记语言EMML实现对数据和资源的组织和管理，实现统一调度
2.2 G/S模式对应急管理数据调度的需求
G/S模式中服务云通过分布式文件系统来存储、组织和处理数据，选择合适的调度算法来进行数据调度，保证富客户端的实时性。空间信息服务由于其复杂性、多态性、异构性以及用户需求的多样性，使得空间信息网络服务模式应具备一定的特性，如负载均衡、冗余存储等；要实现客户端的动态聚合和高并发访问数据，必须具有多个云端，并且提供实时性、高可靠性的高效调度；为了保证系统架构的可扩展性，服务云端应还具备自适应功能。
3.数据调度算法研究与实现
在分布式文件系统中有几种常用的数据调度算法，如轮询调度算法，权重轮询调度算法，目标地址散列调度算法，动态文件分配平衡算法[5]等。经过综合对比，本文采用动态作业分配平衡数据调度算法，并改进以实现应急管理海量异构数据的调度。
3.1 动态作业分配平衡数据调度算法
G端选择一个作业进行连接请求，发送作业系统确认消息到平衡控制器，若平衡控制器响应正常，则向请求响应一个消息告知G端可以进行该作业系统的正常访问。地理信息浏览器中输入某种属性条件查询作业系统，G端将消息请求发送到平衡控制器，平衡控制器进行作业查找，将检索查询到的满足属性要求的作业按照被请求的次序响应给G端。
3.3 数据调度算法实现
在选取改进的动态作业分配平衡数据调度算法后，搭建所需的Hadoop应用平台，对环境变量进行配置，修改源代码，通过EMML实现数据格式的一致以及数据标准的统一；修改动态作业分配平衡数据调度算法，使其在应用平台下更高效地完成数据调度。
4.性能测试与结果分析
测试上载到云端作业系统中5000个各种格式的作业文件，通过Iozone中的Read完成系统读取作业的性能测试，算法改进前后读取作业性能测试如图3、4所示。
图3和图4中x轴和y轴分别表示文件大小和记录大小，z轴表示传输值，可以看出改进前算法读取文件随着文件的增大而不稳定，而改进后调度算法则随着文件的增大而越趋于稳定。
从测试结果比较中可以得出，相比于改进前，使用了改进后的动态作业分配平衡算法的云端作业系统，在响应时间、网络吞吐量方面都有很大的差距；在算法改进后，文件的分布几乎是平均分配的，并且随着请求数的增大，效果越来越明显。改进后的动态作业分配调度算法能很好地实现数据的存储调度，还能有效提高数据调度存储、处理总量和反应速度，尤其对于海量数据时这种算法优化效果更加明显。由此验证了改进的动态文件分配平衡算法的正确性与有效性。
5.结束语
为了解决应急管理中海量异构数据的调度问题，很好的符合应急管理的需求，本文采用G/S模式作为应急管理云服务体系架构，分析G/S模式下对海量异构数据的需求，并在此基础上研究数据调度算法及其应用。G/S模式的应急管理云服务体系架构运用松散耦合、多层设计、集成融合、分布式等设计理念，运用应急管理标记语言EMML，采用改进的动态文件分配平衡算法进行数据调度，通过“请求-聚合-服务”机制对整个应急管理数据进行组织、和管理，做到“数据分散，信息汇聚，服务聚合”。
根据G/S模式对应急管理海量异构数据的需求，分析分布式文件系统中的各种算法，选择合适的动态作业分配平衡算法，并改进它，使其更好的满足G/S模式下数据的需求，最后进行性能测试和结果验证算法的正确性和高效性。
参考文献
[1]王宏伟.突发事件应急管理:预防、处置与恢复重建著[M].北京:中央广播电视大学出版社,2009.
[2]苗放,叶成名,刘瑞等.新一代数字地球平台与“数字中国”技术体系架构探讨[J].测绘科学,2007,32(6):157-158.
[3]郭曦榕,苗放,王华军,许义兴等.空间信息G/S网络访问模式体系架构初探[J].计算机应用与软件,2009,26(10):72-74.
[4]俞晓.空间信息管理——G/S模式研究[D].成都:成都理工大学信息工程学院,2008.
[5]崔力升.G/S模式下分布式文件系统中数据调度的应用研究[D].成都理工大学,2011.
项目基金：国家自然科学基金项目“客户端聚合服务的空间信息网络服务模式研究”（61071121）。
作者简介：刘登芬（1986—），女，四川泸州人，成都理工大学空间信息技术研究所计算机应用技术专业硕士研究生，研究方向：计算机网络技术及应用。
【关键词】G/S模式；应急管理；动态作业分配平衡算法；数据调度
1.引言
随着经济、科技的发展，人类对自然的破坏越来越严重，各类突发事件频繁发生，突发事件由于其突然性和快速性给人们造成了一幕幕惨剧，使得各国认真考虑问题的严重性，想方设法减少其对人类生命财产造成的伤害，我国也不例外。
应急管理[1]是对公共危机的监测、预防和处理的整个动态过程。目前，我国应急管理仍处于落后状态，还有许多薄弱之处，虽有一套预案但没有有效的管理系统，管理软件和平台建设发展不是很快，很难完成“个人统一指挥，群体快速响应”的理想状态，迫切需要构建直观且操作性强的系统，这就需要探求高效的应急管理机制，解决应急管理平台应用中各种问题。应急管理中最重要的是数据，数据如何调度，影响着云端的工作效率，影响着客户端之间协同和实时响应。
为了解决问题，在空间信息网络服务模式研究的基础上，针对应急管理对数据的需求，本论文采用G/S（地理信息浏览器/服务云，Geo-information Browser/Service Cloud）模式[3]进行空间信息网络服务，提出G/S模式下海量异构数据调度的需求，并在此基础上研究调度算法并实现应用。
2.G/S模式及相关理论
2.1 G/S模式应急管理云服务体系架构
针对C/S和B/S模式在空间信息网络服务中的缺点，通过研究空间信息服务的数据和信息特点和结构，应对应急管理服务的几个瓶颈问题，将云计算中的“聚合”理念与空间信息网络服务模式相结合，提出一种空间信息网络服务模式：地理信息浏览器/服务云（G/S）模式[2]。
G/S模式的实质就是“数据分散，信息汇聚，服务聚合”，采用应急管理标记语言EMML（Emergency Management Markup Language）对分布在网络上各种海量异构数据进行统一描述和可视化表达，以地理信息浏览器作为客户端，以带有分布式文件系统的服务器作为服务云端，通过“请求-聚合-服务”的客户端动态聚合服务机制[3，4]，实现空间信息网络服务和应急管理。
图1是应急管理服务云体系架构图，G是地理信息浏览器，有交互操作、地理信息数据可视化与虚拟现实、查询分析与工具应用等；S为应急管理服务云，包括物理采集云、网络采集云、应急管理存储云部分，这些云通过应急管理标记语言EMML实现对数据和资源的组织和管理，实现统一调度
2.2 G/S模式对应急管理数据调度的需求
G/S模式中服务云通过分布式文件系统来存储、组织和处理数据，选择合适的调度算法来进行数据调度，保证富客户端的实时性。空间信息服务由于其复杂性、多态性、异构性以及用户需求的多样性，使得空间信息网络服务模式应具备一定的特性，如负载均衡、冗余存储等；要实现客户端的动态聚合和高并发访问数据，必须具有多个云端，并且提供实时性、高可靠性的高效调度；为了保证系统架构的可扩展性，服务云端应还具备自适应功能。
3.数据调度算法研究与实现
在分布式文件系统中有几种常用的数据调度算法，如轮询调度算法，权重轮询调度算法，目标地址散列调度算法，动态文件分配平衡算法[5]等。经过综合对比，本文采用动态作业分配平衡数据调度算法，并改进以实现应急管理海量异构数据的调度。
3.1 动态作业分配平衡数据调度算法
G端选择一个作业进行连接请求，发送作业系统确认消息到平衡控制器，若平衡控制器响应正常，则向请求响应一个消息告知G端可以进行该作业系统的正常访问。地理信息浏览器中输入某种属性条件查询作业系统，G端将消息请求发送到平衡控制器，平衡控制器进行作业查找，将检索查询到的满足属性要求的作业按照被请求的次序响应给G端。
3.3 数据调度算法实现
在选取改进的动态作业分配平衡数据调度算法后，搭建所需的Hadoop应用平台，对环境变量进行配置，修改源代码，通过EMML实现数据格式的一致以及数据标准的统一；修改动态作业分配平衡数据调度算法，使其在应用平台下更高效地完成数据调度。
4.性能测试与结果分析
测试上载到云端作业系统中5000个各种格式的作业文件，通过Iozone中的Read完成系统读取作业的性能测试，算法改进前后读取作业性能测试如图3、4所示。
图3和图4中x轴和y轴分别表示文件大小和记录大小，z轴表示传输值，可以看出改进前算法读取文件随着文件的增大而不稳定，而改进后调度算法则随着文件的增大而越趋于稳定。
从测试结果比较中可以得出，相比于改进前，使用了改进后的动态作业分配平衡算法的云端作业系统，在响应时间、网络吞吐量方面都有很大的差距；在算法改进后，文件的分布几乎是平均分配的，并且随着请求数的增大，效果越来越明显。改进后的动态作业分配调度算法能很好地实现数据的存储调度，还能有效提高数据调度存储、处理总量和反应速度，尤其对于海量数据时这种算法优化效果更加明显。由此验证了改进的动态文件分配平衡算法的正确性与有效性。
5.结束语
为了解决应急管理中海量异构数据的调度问题，很好的符合应急管理的需求，本文采用G/S模式作为应急管理云服务体系架构，分析G/S模式下对海量异构数据的需求，并在此基础上研究数据调度算法及其应用。G/S模式的应急管理云服务体系架构运用松散耦合、多层设计、集成融合、分布式等设计理念，运用应急管理标记语言EMML，采用改进的动态文件分配平衡算法进行数据调度，通过“请求-聚合-服务”机制对整个应急管理数据进行组织、和管理，做到“数据分散，信息汇聚，服务聚合”。
根据G/S模式对应急管理海量异构数据的需求，分析分布式文件系统中的各种算法，选择合适的动态作业分配平衡算法，并改进它，使其更好的满足G/S模式下数据的需求，最后进行性能测试和结果验证算法的正确性和高效性。
参考文献
[1]王宏伟.突发事件应急管理:预防、处置与恢复重建著[M].北京:中央广播电视大学出版社,2009.
[2]苗放,叶成名,刘瑞等.新一代数字地球平台与“数字中国”技术体系架构探讨[J].测绘科学,2007,32(6):157-158.
[3]郭曦榕,苗放,王华军,许义兴等.空间信息G/S网络访问模式体系架构初探[J].计算机应用与软件,2009,26(10):72-74.
[4]俞晓.空间信息管理——G/S模式研究[D].成都:成都理工大学信息工程学院,2008.
[5]崔力升.G/S模式下分布式文件系统中数据调度的应用研究[D].成都理工大学,2011.
项目基金：国家自然科学基金项目“客户端聚合服务的空间信息网络服务模式研究”（61071121）。
作者简介：刘登芬（1986—），女，四川泸州人，成都理工大学空间信息技术研究所计算机应用技术专业硕士研究生，研究方向：计算机网络技术及应用。