云环境中相似数据去重系统设计与实现

来源 :西安电子科技大学 | 被引量 : 0次 | 上传用户:qqqwe12345678
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
伴随着云环境中云存储服务的快速发展,越来越多的个人或企业用户选择将数据存储在云服务器端。这样一来,云服务器端将会积累越来越多的冗余数据,这些冗余数据的传输和存储严重浪费网络带宽和存储资源。为此,重复数据删除技术应运而生。运用该技术,存储在云服务器端的多个重复文件仅会保留一个文件副本。但是,这种数据去重方法需要用户上传文件明文数据,而明文数据存储在云服务器端往往带来很大的安全隐患。比如,对于用户数据的挖掘和分析能够为云服务提供商本身提供重要的金融机会和决策信息。在此利益驱使下,云服务提供商可能变得“不诚实”,用户数据也将存在泄漏的风险。因此,为了保护用户敏感数据的私密性,文件上传前的数据加密操作是必要的。然而,在文件上传前的加密操作中,用户对于文件密钥的选择具有很大随机性,不同的用户将会采用不同的文件密钥,这将导致相同的文件产生完全不同的密文。为此,研究人员提出了基于密码学哈希值的密文去重方案。在该方案中,用户上传文件时,需要先上传文件的哈希值。相同的文件具有相同的哈希值,不同的文件具有不同的哈希值,这样即可完成文件的重复性判断。但是,对于云环境中数量多、冗余大的多媒体文件而言,特别是图像文件,在经过裁剪、旋转或缩放等几何失真形式的处理之后,虽然改变了文件的哈希值,可是并未改变人的视觉感知。在这种情况下,基于密码学哈希值的去重方案并不适用,因为该类文件本应作为图像重复副本进行删除。因此,本文重点研究云环境中图像密文安全去重的问题。论文结合高级加密标准算法和椭圆曲线密码算法,针对目前应用比较广泛的文件级和块级去重技术去重率较低的问题,提出了一种基于数据相似性的安全去重方案,并可以推广到其它类型文件的密文去重。本文的具体工作如下:(1)文件特征提取。提取文件特征值用于数据相似性判断,且不同类型的文件采用不同的特征值提取方法,对图像文件提取感知哈希值,对其它文件提取模糊哈希值。特别的是,本文针对现有图像去重方案侧重于减少相似图像感知哈希值间的差异性,而较少关注增大不同图像感知哈希值间的差异性问题,提出并实现了循环贯序差分和拉普拉斯算子两种基于差分的图像感知哈希算法,并分别在小规模相似图像集合和大规模不同图像集上进行了测试。与现有图像感知哈希算法相比,所提出的图像感知哈希算法体现了图像像素点间的局部关联性,增加了不同图像感知哈希值间的差异,显著提升了不同图像的区分概率。(2)数据共享安全技术研究。本文数据共享安全方案重点在于文件访问的合法授权、企业内部数据的秘密性保护。为此,采用高级加密标准算法,引入主对称密钥对传统收敛加密方案的密钥进一步混淆,生成的结果作为本方案中的文件收敛密钥。这样一来,便能防止传统收敛加密方案在文件熵值较小时容易遭受暴力攻击的问题。然后,当用户需要进行文件上传、文件目录查看、文件下载或文件共享时,采用挑战-应答和数字签名的方式,完成用户端和用户端或用户端和云服务器端的双方实体认证。接下来,在文件共享中,涉及到文件对称密钥的传输,使用了椭圆曲线密码算法生成临时公私钥对,达到保护文件对称密钥传输的目的。特别的,在数据共享安全方案涉及到的协议中,普遍选择一次性随机数作为新鲜性标志符,确保了通信过程中的消息新鲜性和主体活现性。经安全性证明,本系统确实拥有了更好的安全属性,并可在一定程度上抵抗消息重放攻击和中间人攻击。(3)云环境中相似数据去重系统设计与实现。根据本文去重系统的组成和业务功能需求,设计并实现了云环境中相似数据去重系统。该系统主要包括六个功能模块。首先是用户注册模块和用户登陆模块,实现了用户授权访问的功能;然后是文件上传与相似性检查模块,实现了文件重复性判断和文件上传的功能;接下来是文件目录查看模块,实现了检索企业其他用户已上传文件密文的功能;最后是文件共享请求模块和文件共享许可模块,实现了文件对称密钥安全共享的功能。针对文件级和块级去重技术去重率较低的问题,本文提出了一种基于数据相似性的图像文件特征提取算法,设计了一种数据共享安全方案,实现了云环境中相似数据去重系统。在可证明安全性的基础上,本系统可以减少客户端去重的通信开销,提高云服务器端存储资源的利用率。此外,在企业内部进行了云环境中相似数据去重系统的部署。经实际应用的验证,该系统满足了用户对于相似数据去重的需求。
其他文献
文中通过对矿物掺合料和助养剂进行试验研究,分析掺合料和助养剂对轨道板蒸养混凝土脱模强度的影响规律,试验结果表明:磨细矿渣粉掺量10%时混凝土抗压强度最高;粉煤灰对蒸养
一般初中生物科教师承担的教学班级较多,我担任了6个班,每个班56人,按4人一个合作组,每个班有14个。如果每堂实验课单凭教师一个人来承担指导任务,费心费力不说,一节课下来总有部分
本文联系人教版高中生物学部分知识,从急性危害、慢性危害和远期危害三个方面简要介绍了环境污染对人体健康的危害,旨在使教师对学生的环保教育中有所补充和帮助,进一步增强学生
荨麻疹在小儿皮肤科是多发的易复发的皮肤科病,治疗方法虽然多,但疗效均不太理想。近年来,由于免疫调节剂广泛应用,拓宽了皮肤病治疗药物,增添了治疗手段,并且在治制、儿荨麻疹方面
人类对遗传现象的科学解释,最早是孟德尔从豌豆杂交实验中总结出来的。他对遗传因子的发现和对遗传规律的总结,解释了许许多多的生物遗传现象,使人们在某些方面的模糊认识豁然明
<正>2017年文化部印发《文化部"十三五"时期公共数字文化建设规划》,同年12月"国家公共文化云"线上平台上线。自此,全国公共文化发展中心每年在全国推行数字文化馆试点项目,
会议
我院1999年8月~2005年12月开展输尿管镜术284例,其中266例配合气压弹道碎石术进行了碎石治疗,有3例发生严重并发症,2例输尿管穿孔,1例输尿管下段剥脱,现将资料分析如下。
本文介绍了冰箱中串联循环、旁通循环和并联循环特点,以及各自的优缺点.从理论上计算了双路制冷循环的能耗,分析影响能耗的因素.根据计算结果得出,与传统的串联循环对比,旁通
文中通过论述当前建筑给排水工程质量管理的常见问题,并提出解决措施。
本文研究了添加氨基酸对出芽短梗霉A.pullulans CGMCC3337发酵生产聚苹果酸(PMLA)的影响。通过单因素实验和正交实验分别对氨基酸种类及其添加量进行优化。由单因素实验可知:天