海量图片文件存储关键技术研究

来源 :南开大学 | 被引量 : 0次 | 上传用户:syris
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着中国互联网产业的发展,出现了大量的像淘宝、京东这样拥有海量图片的网站,并且图片的数量还在以指数级别的规模增长。当用户在访问这些网站时,页面中图片流量能占到页面总流量的80%左右。由于图片存储在物理硬盘上,访问图片需要进行多次I/O操作。因此,当并发用户数量达到百万级别时, I/O操作会成为系统性能的瓶颈。又由于操作系统目录中文件数量有限制,因此,随着图片文件数量的增加,如何有效的存储和检索海量图片成为业界的一个难题。  本文重点研究如何有效的存储和检索海量图片,根据分布式存储的思想设计了分布式图片存储系统,该系统由客户端、中央控制节点和数据存储节点三个部分组成,构建在普通廉价的机器上,具有高可用、访问透明和服务可扩展的特性,为用户提供高可用的存储访问服务。  本文从三个方面研究了分布式图片存储系统的性能及优化问题。第一,针对当今主流的分布式文件系统未对海量小文件存储进行优化的问题,提出了小文件合并存储的思想,提高了小文件存储和检索性能。第二,针对图片存储存在热点文件和数据节点负载不均衡的问题,提出了文件块迁移策略,提高了文件块的迁移效率。第三,针对本系统采用中央控制节点的架构存在中心节点的问题,研究了分布式缓存一致性哈希算法的查询性能,提出了哈希空间均分的策略,提高了一致性哈希算法虚拟节点的查询效率。
其他文献
随着集群系统的发展,集群作业管理系统已成为高性能计算机领域的一个热点问题。本文结合Platform Computing公司开发的LSF集群作业管理系统,对该系统中的资源信息数据和作业
当前社会对个人身份的安全性的要求越来越高,使得生物特征识别技术在各种身份认证领域得到了广泛的应用,特别是高分辨率脱机掌纹识别技术。低质量的脱机掌纹图像会严重影响后续
医用机器人与计算机辅助外科手术技术冲破了传统开放式外科手术带来的局限性,减轻了患者的痛苦,改善了医生的工作环境,提高了手术的成功率与治愈率,倍受医生与病患的青睐。  本
随着信息技术的发展,数据挖掘技术在一些深层次的应用中发挥了积极的作用。与此同时,也带来隐私保护方面的问题。如何在数据挖掘过程中解决好隐私保护问题,成为数据挖掘领域
网格计算是构筑在互联网基础之上的新兴分布式计算技术。它通过整合分布在各地的资源,为动态变化的虚拟组织成员提供更为广泛的资源共享。国内外纷纷开展了网格技术的研究,而
随着移动互联网等技术的飞速发展,手机、平板电脑等智能移动设备的迅速普及,以智能移动设备为平台的数据信息展示与交互问题逐渐走入人们的视野,备受各行各业相关人士的关注,以提
随着社会的发展,传统的身份认证方法已不能满足人们的需要,对快速有效的自动身份验证的要求日益迫切。生物特征是人的内在属性,因此成为身份验证的最理想依据。人脸识别与其
非结构化P2P网络和结构化P2P网络是两种典型的P2P拓扑结构,非结构化P2P网络使用洪泛方法,具有较好的稳定性,但是可扩展性和查询效率较差。结构化P2P网络使用分布式哈希表方法
海马区域作为哺乳动物和人类大脑组成中的一部分,属于边缘系统并且在从短期记忆到长期记忆的信息合并和空间导航功能中扮演着重要的角色。近十几年来,对大脑海马区的研究取得了
为了更好地满足市场和顾客的需要,印刷电路板(PCB)的生产方式往往以小批量多品种为主。利用传统的统计过程控制(SPC)方法,很难保证统计所需的样本容量,而当采集到了足够的样