论文部分内容阅读
当今,随着信息化步伐的加速,网络数据量爆发式增长,如何高效处理海量数据业务成为一个研究热点。分布式计算的思想以及相关研究成果给出了一个比较明确的研究方向。本文通过对分布式计算技术的分析研究,结合当前一些分布式计算相关产品的设计思想和实际项目需求,为电信领域的海量数据处理设计出一套全新的解决方案,实现了一个分布式计算引擎DVCP(Distributed Virtual Computing Platform),即分布式虚拟化计算平台。利用分布式计算技术将复杂的数据业务进行分割、分散到多台服务器中,在较低廉的系统资源部署情况下完成大量数据业务的处理。论文的主要研究工作包括以下几点:1、DVCP系统设计,利用分布式计算思想,将复杂的任务分割成多个较为简单且清晰的步骤,由各服务器分别完成。实现系统的基本数据业务功能,包括原始数据采集、数据汇总、数据查询、数据备份。同时,对系统任务控制调度中心服务器Master的模块设计进行了详细分析。2、为实现系统高可靠性和可扩展性,设计并实现了一整套系统集群管理技术,包括集群节点状态的统一管理、各节点的故障恢复以及双机热备。为实现系统各功能,还专门设计了一套高效、可靠的网络通信机制。3、实现了DVCP系统所特有的负载均衡机制。各计算节点主动申请任务并实现自身的负载均衡,中心控制节点Master只负责负载数据收发与计算,不做负载均衡决策。不但很好地实现了项目对负载均衡的需求,而且降低了系统实现复杂度以及Master的压力,提高了系统的可靠性。通过测试,系统管理员可以通过管理界面对集群节点状态进行主动控制,并能根据系统总体负载情况动态增加或减少计算节点,使系统负载平均化,资源得到高效利用。Master带任务的双机热备保证了系统的可靠性要求,使系统在Master主机出现故障后仍然能继续正常工作。