基于FPGA的数据压缩缓存系统研究

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:zhl165408
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着移动互联网的蓬勃发展,面对海量用户数据,如何对其进行有效存储成为一个亟待解决的问题。压缩存储技术借助高效的压缩算法对用户数据进行压缩后存储,极大减小了数据存储空间。但压缩率高算法往往压缩速率很低,因此需要借助硬件平台,如FPGA(Field Programmable Gate Array)对其加速。压缩率高的算法为了维持高压缩率需要存储较多的历史信息,而FPGA片上资源有限,因此只能使用访问效率较低而容量大的外部存储器,为提高压缩系统运行效率,综合计算机系统中Cache(高速存储器)的设计经验,设计实现一种基于FPGA的硬件缓存系统来提高数据压缩系统的性能。论文分析了现有缓存技术的发展和实现原理,并针对FPGA硬件加速平台,对缓存框架和结构进行扩展和改进,设计了缓存系统映射表和数据表,将控制信息和数据信息分开存储,加快地址命中与否的判断过程,并实现了易于硬件实现的数据替换算法。在缓存系统内部模块间利用流水线技术进行加速,通过引入预处理技术,提前计算访存地址,使地址不间断送给外部DDR(Double Data Rate)存储器,保持DDR始终处于满负荷工作状态。并依据不同硬件环境设计单路和多路的缓存实现方案。最终通过缓存系统提升硬件压缩系统性能。论文分析了对缓存系统性能影响较大的DDR读写过程,并对影响DDR读写性能的参数进行研究,结合压缩算法访存地址产生方式,对访存地址次序进行调整,减少DDR访问换行延迟;对缓存命中率与缓存空间大小关系进行研究,通过调整各组缓存空间大小,增大缓存平均命中率并减少平均访存次数;介绍新式存储器并应用混合存储这种改进方法,减少存储器读写延迟。通过对缓存系统进一步优化,提高缓存系统性能和扩展性。论文最终设计完成了缓存系统的硬件实现,系统采用同步时钟设计,时钟频率为200Mhz。缓存系统单路实现方案经过开发板测试,在FPGA 上压缩时间相比软件平均减少4.5倍;FPGA上最高吞吐率为5.66MB/s,系统吞吐率相比软件平均提升4.51倍。缓存系统在设计实现中使用了较少的硬件资源,具有比较广泛的适用范围,并且缓存系统设计接口具有很高的可扩展性,可适配于多种需要存储加速的系统,具有很好的应用前景。
其他文献
随着网络技术和应用的快速发展,网络中所产生的数据也急剧增长,相应的数据存储技术和应用技术也得到快速发展,特别是云计算相关技术和数据挖掘技术的发展。云计算技术的应用
如今,网络上存在着大量的异构数据源,其中包含有海量的文本数据(FlatText),关系数据,以及XML等半格式化数据.这些数据源往往表达着相似甚至相同的语义,但彼此之间却是异构的.
本文主要探讨基于XML的电子表格文档格式转换技术。由于XML语言具有开放、可扩展等特点,越来越多的文档格式开始采用XML语言描述,其中包括UOF和Open XML。为保证文档的安全性和
本文提出了一个应用于无线传感器网络的定位算法。该定位算法具有可扩展、分布式和距离无关等特点。在无线传感器网络中,位置信息对无线传感器网络的应用至关重要。高精度、低
互联网中,用户对信息的需求往往是针对某个领域和面向特定主题的,在这些方面传统搜索引擎的召回率和精确率都不能令人满意。面向主题的垂直搜索引擎的目的是提供分类精确、数
当前,全球信息技术产业正着一场声势浩大的“云计算”浪潮。云计算的资源存储在云供应商的虚拟机集群上,本地计算机只需要通过互联网发送一个任务请求,云端就能够根据用户的
互联网技术的发展日新月异,参与到网络中的用户越来越多,各类方便快捷的网络社交平台,例如国外的Twitter、Face Book和国内的新浪微博、网易微博等,极大的改变了人们获取信息
你真的了解自己的网站吗?每天有多少人访问您的网站?现在有谁正在您的网站上?他们做了什么?他们从何而来?搜索引擎为您带来多少点击?访问者搜索的关键词是什么?您的哪个栏目
随着移动互联网与智能手机的普及,人们处理事务的方式已经从线下转移到线上,申请书签字、在线购票与换票、开锁等日常生活事务都可以用手机来完成。因此本文设计并实现了一个
道路交通标志提供指示、警告信息,规范驾驶员的行为,为安全、便利的驾驶提供可靠保障。交通标志自动检测与识别作为驾驶辅助系统的首要任务之一,近年来受到越来越多的关注。