【摘 要】
:
大数据时代面临如何收集存储和利用海量数据的挑战,从而构成了相应的生产者-消费者业务模型。在这个业务模型的生产者与消费者之间,需要数据分发系统,将生产者的数据分发到消
论文部分内容阅读
大数据时代面临如何收集存储和利用海量数据的挑战,从而构成了相应的生产者-消费者业务模型。在这个业务模型的生产者与消费者之间,需要数据分发系统,将生产者的数据分发到消费者。然而,现有数据分发框架较为笨重,开发者学习成本高,可靠性保证不足。本文将数据的生产者和数据的消费者解耦,充分利用Actor模型的异步特性提高系统的处理性能,提出了基于Actor模型的数据分发系统的设计和实现方法。基于Actor模型的数据分发系统,可灵活提供HTTP和Remote Actor两种数据接入方式,以及数据的持久化功能。此外,该系统通过将数据分段分块存储并对数据添加稀疏索引的方式,使系统读写数据的过程达到线性复杂度。本文从数据分发系统的功能以及性能需求出发,制定了系统总体的设计方案,按照MVC (Model、View、Controller,模型、视图、控制器)层次架构划分系统。接着,把系统复杂的逻辑操作层根据功能划分为安全保证子系统、业务管理子系统以及数据管理保证子系统等,且每个子系统功能独立。其中,安全保证子系统负责数据分发系统的访问安全和数据安全模块;业务管理子系统负责处理系统全部的业务逻辑,包括Web服务模块、HTTP服务模块、连接管理模块、心跳模块以及数据分发控制模块;数据管理子系统负责数据源产生的资源数据、系统运行的中间统计数据以及系统配置的数据三种数据的操作逻辑。本文对数据分发系统的各个功能点进行了测试,验证系统的实现满足了预定的设计目标。本文最后对基于Actor模型的数据分发系统进行了归纳总结,提出了一些系统需要解决或优化的问题,对未来工作进行了展望。
其他文献
对于公安院校来说,培养适应时代需求的"应用型"警务人才,是当下公安教育教学改革的一项重要内容,新时期各公安院校都应把构建"应用型"教学模式作为学校发展的重要战略举措。文章
目的探讨心理干预对老年糖尿病患者的抑郁情绪及血糖控制的影响。方法将76例老年2型糖尿病患者分成干预组和对照组,均给予常规治疗,干预组同时予以心理干预;4周后用抑郁自评量表
任务型语言教学是20世纪80年代以来逐渐形成和发展起来的具有国际影响的外语教学方法,它反映了外语教育专家和第二语言习得研究专家对外语教学研究的又一新成果^[1]。所谓任
《医学微生物学》实验教学是该学科的重要组成部分。细菌、原虫等病原微生物必须借助光学显微镜油镜才能进行观察,因此油镜的使用成为该学科实验教学的重点。笔者在油镜使用
人参是种子繁殖植物,用常规生产的种子育苗,因成熟度不高,千粒重小,是目前种苗产量不高,质量差的重要原因之一,也是影响成品参产量和质量的重要因素。笔者于1983~1984连续两年
透水丁坝具有一定的透水率,其坝头水流分离程度、坝头局部冲深相比于实体丁坝要小,此外坝体的孔隙为鱼类和其余水生生物提供了栖息环境,对环境保护起到积极作用。为模拟均质
1."理论探讨"栏目:金融宏观审慎监管制度研究;系统性金融风险防范研究;国际金融监管前沿问题研究;虚拟经济与实体经济关系研究;利率市场化问题研究;外汇管理与人民币汇率形成
随着时代不断地进步,技术的不断革新,精装房的不断推进,越来越多的住宅开发项目,需要配套设计安装中央空调,笔者根据多个项目的实践,分析了住宅项目变频多联机空调系统的设计
21世纪是一个知识经济时代,知识的发展日新月异,知识的学习越来越成为一个终身的过程;我们的时代需要具有终身学习能力和身心健康的一代新人,这就更加要求我们的高等数学教学
花尾榛鸡毛滴虫病的诊断及防治报告纪景臣,牛丽君,郑仁玖(吉林省长白山国家级自然保护区管理局133413)禽类的毛滴虫是一种由鞭毛原虫侵袭消化道上段引起的原虫病。本病可导致家鸽的口腔