论文部分内容阅读
普适图像传输系统(Flexible Image Transport System,FITS)是一种在天文学领域被广泛应用的天文图像数据归档和交换的标准格式。随着望远镜建造技术的进步和大型数字巡天项目的增加,存储观测数据的FITS文件的数量呈现出爆炸式的增长且单个FITS文件的大小从几MB到GB甚至TB不等。然而在大多数应用场景中,天文学家仅需要对包含目标天体或目标天区的FITS文件的局部图像做相关计算和分析,尤其是在虚拟天文台技术的大背景下,各个数据中心的FITS文件之间的传输和交换更加频繁,全图的传输首先会导致过长的网络传输时间和过大的网络带宽的消耗,且为了研究目标区域而对全图做计算和分析也会造成计算资源的浪费,因此天文工作者需要一个高效的子图检索服务使其摆脱繁琐的数据预处理工作、专注于真正的天文研究。本文针对上述需求,提出了一种基于缓存磁盘管理的FITS文件子图的高效生成服务,设计并实现了对用户请求模式敏感的PA缓存替换策略。其中,坐标映射方法通过将用户请求的目标区域边界模糊化,用较少的缓存空间消耗换取了更多的缓存命中机会;子图合并策略通过合并缓存过程中出现的相似子图,大大节省了缓存空间进而可以将更多有效内容放入缓存提高命中率;缓存替换的优先级算法兼顾了请求的时效性、频繁性以及文件的大小三个因素,更合理地替换掉相对冷门的数据,保证了缓存的自适应能力。针对重载情况下PA缓存替换策略得到的平均响应时间仍然较长的缺陷,文章最后提出了一个对请求队列作预处理的PA-G缓存替换策略,在原PA策略上增加了对请求队列的维护和分组、提前合并子图等工作,改进了PA缓存管理方法。实验表明,PA缓存替换策略相比于分别应用在缓存全图和缓存子图上传统的LRU,LFU和LRFU策略,在缓存磁盘容量与被查询文件大小总量比约为23%时仍能保持72%的缓存命中率,拥有最低的平均响应时间;改进的PA-G缓存替换策略比原PA策略在重载下能将平均响应时间降低81.8%。