实时流数据的存储技术研究

来源 :重庆邮电大学 | 被引量 : 0次 | 上传用户:meyxiao
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
数据库技术的发展水平决定着国家信息化程度的高低。随着生活社会化和网络化的不断深入,信息容量的爆炸式增长对数据库技术的发展提出了更高的要求。伴随在网络监控系统、金融分析系统、交通流量预测、Web应用等众多领域中广泛出现的被称之为流数据(Streaming Data)的新型数据模型使传统数据库技术面临着严峻的挑战。   流数据管理系统的出现弥补了传统数据库在处理动态数据上的不足,有效地解决了由潜在无限、高速动态、频繁变化等数据特点决定的,并与传统数据模型不同的数据处理方式。流数据管理系统着眼于当前流入内存的实时数据,然而,几乎30%-40%的应用涉及历史流数据,因此,若不对流出系统的历史数据有效地进行保存,那么有关趋势预测、数据分析等方面的应用将很难得到满足。   本文在分析了流数据管理系统和关系数据库系统优缺点的基础上,提出了基于流数据引擎和关系数据库联合系统的存储体系结构,并从以下三个方面进行了详细研究:   第一,针对流数据管理系统和关系数据库在处理数据方式上的不同,通过采用等距无偏采样和批处理方式实现系统的联合,并有效地降低数据库空间的存储压力;   第二,依据用户或应用程序对数据的关注程度,利用在内存中建立基于历史数据的缓存方法来平衡实时数据和历史数据在访问速度上的较大差异,并提出基于数据访问频率的置换算法来保证缓存的性能;   第三,随着时间的不断推移,采用基于时间粒度的二次存储方法进一步提高外存关系数据库的存储能力。   最后,较为详细的仿真实验和结果分析证明了本文所提出的方法在实时流数据模型存储效率方面的正确性和有效性。  
其他文献
随着互联网技术的不断发展,海量图片和文字服务已经无法满足人们日益增长的获取信息的需求,更加直观、蕴含信息量更大的网络视频服务才是人们日常生活中更多关注的焦点,网络
随着宽带无线网络接入技术的推进,多媒体业务在业务种类中的比例迅速上升,它们对QoS的需求越来越高。虽然IEEE802.11 e可以按业务流优先级实现服务区分,但是当信道处于高负载的
随着下一代网络技术的发展,传统的通信方式逐渐转移到IP网络上。VoIP技术为基于IP网络的语音通信提供了一个强有力的手段,而随着嵌入式技术和无线局域网技术的不断发展进步,IP电
经过近十年的研究,功能CT已经在颅脑、心脏、肝脏及肾脏等多种脏器中验证了其能有效地反映这些脏器在血供生理方面的信息,并且对中风、心肌梗死、肝脏移植、肾动脉狭窄等多种疾
随着传感器技术、嵌入式计算技术、分布式信息处理技术和通信技术的迅速发展和日益成熟,推动了具有现代意义的无线传感器网络的产生和发展,其目的是协作地实时监测、感知、采集
纹理合成技术是计算机图形学研究的重要内容之一,也是研究的热点。纹理合成在计算机虚拟现实,计算机动画,影视制作等领域有着广泛的应用。多年来,研究人员对提高纹理合成的质量和
随着计算机技术、网络技术及多媒体技术的飞速发展,基于网络的仿真虚拟实验室的实现成为可能,并以其出色的性价比正在成为研究的热点。目前仿真虚拟实验室多用于教学培训并取得
理论上而言,生物体中的转座行为呈随机性,在基因组中只有小部分区域没有转座子的存在。但据实际观察来看,转座子在基因组中的分布呈现高度的非随机性,并且不同的种群之间分布规律
在全球范围内GSM之所以曾经乃至现在都如此成功,漫游(Roaming)功能和网间互通(Inter-working)是两个核心的要素,而目前都是基于单对单的双向(Bilateral)或单对多的多向(Multila
时空分析方法通过分析时空数据提取目标时域与空域特征,将有意义的数据从总体中分离并应用在后续研究领域中。多视角视频时空分析实现从视频中提取时空数据特征,对目标行为分