基于缓存优化的实时数据同步机制

被引量 : 0次 | 上传用户:ghjkevin
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在云计算和大数据背景下,数据呈现爆炸式增长趋势。面对这些海量以视频、图片、文字等非结构化数据为主的大数据时,基于传统架构的信息系统已难以应对,同时传统商业智能系统和数据分析软件也缺少有效的分析工具和方法。无论是从商业价值还是技术难度上来讲,实时处理和挖掘是大数据时代的重中之重,所以如何快速获取实时数据是时下的研究热点。针对数据同步系统的功能和性能等要求,该系统提出一种基于缓存优化的实时数据同步机制。系统包括数据抓取、数据解析、数据处理和数据服务四大模块。在数据抓取和数据解析模块,系统实现了基于日志分析的逻辑复制技术,同时内部采用Google Protobuf协议进行交互处理。基于缓存优化策略提出一种按照消费端所订阅的表来划分缓存通道,并且利用分布式服务Zookeeper实现消费一致性以及各节点信息的监控。系统实现了异构数据源的同步,并且支持一份数据多路消费的功能。同时,系统支持动态部署缓存通道和事件源,通过采用环形缓存区减少竞争锁方式实现用户订阅的事件源隔离,提供独立的网络、控制和集群中心。基于缓存优化策略的提出,使得系统提高了后台数据库系统在峰值访问负载下的可靠性、稳定性和高可用性,对降低用户获取实时数据的时延起到了进一步优化作用。测试结果表明,对于缓存的优化策略,与传统的数据落地持久化方式相比,系统在数据洪峰时刻保障了其可靠性、稳定性和数据库访问性能。此外,此策略的提出同时大大的减少了数据同步的时延时间,实现0.1秒级同步速度。
其他文献
电力线通信(PLC)技术是利用已有配电网进行数据及多媒体信号传输的一种特殊通信方式。正交频分复用(OFDM)是电力线通信的重要调制技术,但其主要缺点之一是对载波频率偏移非常
本文以食用碱、食用酶为主要试剂对干制牛肚的涨发进行了系统研究,并利用低场核磁共振技术对整个涨发过程以及涨发后的热烫过程进行水分的跟踪监测,研究了水分的迁移规律以及
目的:为合理选择十全大补汤固体制剂的防潮辅料和生产条件提供试验依据。方法:采用相对湿度为75%的条件,将浸膏粉与11种常用辅料配伍,考察其吸湿百分率、吸湿速度、外观变化
植物激活剂具有对环境友好、用量少、广谱、持久、不易产生抗药性的优点。苯并噻二唑(BTH)和噻酰菌胺(Tiadinil, TDL)是植物激活剂的典型代表,而且均为1,2,3-噻二唑衍生物。1,
水稻秸秆是最主要的农作物秸秆之一,焚烧农作物秸秆会产生烟雾和灰分。通过焚烧农作物秸秆获取草木灰作为农家肥进行农业生产,是我国传统农业的生产方式。至今,我国许多农村
低压电力线信道具有噪声干扰多、信号衰减大、多径效应等许多固有缺点,对信号的高速传输有着严重的影响。正交频分复用技术(OFDM)是一种特殊的多载波调制技术,以其频带利用率高
侗锦是少数民族文化艺术中的珍品,凝聚着侗族历史发展不同时期独特的艺术审美观。作为侗族传统文化的有机组成部分,其装饰纹样包含着深刻的文化内涵和朴素的哲学思想。本文以
目的对东莞市黄江镇明代古墓出土的一具遗骸进行人类学鉴定和塑化保存。方法根据遗骸长骨的长度、牙齿磨耗程度及其它相关骨性标志等特征,按吴汝康等的人体测量方法,对其身高
备受关注的三鹿破产程序已于2009年11月20日由石家庄中级人民法院裁定终结。裁定显示三鹿对普通债权的清偿率为零,这意味着结石患儿将无法从三鹿获得任何赔偿。由此引出的问