小文件相关论文
Hadoop分布式存储系统(Hadoop Distributed File System,HDFS)由于具有高可靠、易扩展、高容错性等特点,已经广泛的运用在大数据存储......
随着web2.0技术的普及和飞速发展,互联网数据出现了爆炸性的增长。为有效存储和管理如此大规模的数据,诸多研究机构和公司都提出了各......
大数据是当前计算机领域研究的热点问题之一。企业通过大数据分析消费者行为,部门销售数据等指标,能得出对企业增加市场竞争力产生......
当前,大数据时代中的数据信息呈爆炸式的增长,传统的技术架构已经不能满足处理海量数据的需求。Apache基金研发的Hadoop平台迅速被......
随着信息技术的提高和互联网飞速发展,企业和个人数据出现爆炸式增长。研究调查预测到2020年全球数据量将达到35ZB。大数据时代已......
伴随着互联网的快速发展与普及,越来越多的个人用户在使用网络应用的同时产生大量的数据。而云技术的发展也使得更多的企业用户选......
云存储系统为存储大规模数据应运而生,其底层采用分布式文件系统作为存储平台。HDFS(Hadoop Distributed File Sysytem)是开源的云......
冠字号码由冠号和数字编号两个部分组成,是人民币的身份标识。金融部门对冠字号码统计归档可以有效监管纸币的流通情况。冠字号码......
随着互联网、大数据、云计算等领域的高速发展,全球数据量呈现出爆炸式地增长,给存储系统提出了非常大的挑战,分布式文件系统的出......
随着科技的发展,互联网行业得到了高速发展,国家也大力发展互联网+,其中大型服务架构,服务器集群,云计算,电子商务,社交通信等成为......
随着互联网的高速发展,各类社交网络、电商网络、在线文档平台呈现爆发式增长。与此同时,网络数据量中的图片、文本文档、音视频等......
网络对讲机因其价格低、通话质量优和通信距离长等优点,被广泛地应用到工业、安保和消防等领域。随着网络对讲用户数剧增,原有网络......
云环境是指能够从动态虚拟化的资源池中向用户或者各种应用系统按需提供计算能力、存储能力或虚拟机服务等的互联网或者大数据环境......
随着信息技术的高速发展,数据呈现指数增长的趋势,海量数据的存在对于社会与科技的发展是机遇也是挑战。大数据给传统的技术带来了......
随着大数据的快速发展,互联网上的信息爆炸性增长,而资料显示网络上大部分数据都是小文件数据。传统文件系统缺乏对小文件元数据存......
针对服饰图像都是小文件的特性,提出了一种HDFS和传统关系型数据库相结合的服饰图像及其特征数据的存储结构设计方法,实现了海量图像......
为提高现代煤炭企业海量数据存储的效率,设计了一种基于HDFS(Hadoop Distributed File System)的煤炭企业云存储平台。该平台在分......
人脸识别算法作为一种较流行的生物识别技术,受到各界人士的关注.随着人脸识别技术商业化的不断推进,越来越多的应用场景面临实时......
针对现有技术中对小文件性能优化的效率低、运算不稳定等问题,研究出适用的解决方案。该方案基于OpenStack云平台构建软件定义对象......
针对Hadoop中提供底层存储的HDFS对处理海量小文件效率低下、严重影响性能的问题.设计了一种小文件合并、索引和提取方案,并与原始......
为了解决航空物流领域海量小文件存储效率和访问效率不高的问题,提出一种基于NoSQL的海量小文件分布式多级存储方法。充分考虑到数......
针对HDFS处理时空小文件效率不高的问题,从用户的访问规律和访问数据自身属性这两者之间的相关性上出发,将用户访问流看成对数据文......
首先分析了当前海量高并发小文件数据处理的缺陷,文章阐述了通过在节点中设置临时虚拟空间的方式、改变文件系统锁机制、将多个节......
摘要:HDFS(Hadoop Distributed File System)是目前面向云计算应用最为广泛的分布式文件系统,然而其面对海量小文件存储场景时其存在Na......
针对由于磁盘I/O的性能瓶颈,基于磁盘的分布式文件系统无法为海量小文件存储提供高数据吞吐率和低访问延迟这一问题,设计并实现了......
Hadoop分布式文件系统(HDFS)适合处理和存储大文件,在处理的文件体积较大时表现出色,但是在处理海量的小文件时效率和性能下降明显,......
为解决Ceph系统在处理小文件时,由于小文件被频繁访问时,集群需要在多个存储节点之间不断查找文件,导致系统读取性能较低的问题,本......
社交网站和电子商务等网络服务发展迅速,这类服务需要存储大量图片、音乐、微博文本等小文件。传统的分布式存储系统,如HDFS(Hadoop d......
随着物联网、云计算以及大数据技术的飞速发展,小文件的数量正以指数级快速增长,这些小文件的存储给文件系统带来容量和数据处理效......
网络系统在运行过程中会产生大量日志,采用Java编程技术将各安全设备日志转换为XML文件。在对日志文件存储过程中,现有的存储系统......
HDFS设计之初只考虑到如何更好地处理大文件,并没有针对海量小文件进行优化,因此,当使用HDFS管理海量指纹数据小文件时会出现NameNode......
针对Hadoop分布式文件系统(HadoopDistributedFileSystem,HDFS)在海量样本数据集存储方面存在内存占用多、读取效率低的问题,以及......
针对海量小文件访问问题的挑战,提出了用基于分布式索引和目录聚合的分布式文件系统——超虚拟文件系统(HVFS)来管理数十亿个小文件的......
在对分布式文件系统可靠性、可用性以及可伸缩性进行深入研究后,设计并实现了一套可伸缩的分布式文件系统,针对当前互联网应用中大部......
摘要:为了创新电力营销服务,基于受众程度高的微信公众平台的特点及其优势,结合营销供电服务内容,本文设计了电网企业基于微信在在线服......
随着移动互联网迅猛发展,移动终端的硬件资源如计算能力、存储能力及电池续航能力等等,已严重制约了移动互联网的发展。针对移动终......
医疗旅游是目前兴起的一个新型产业,面对今后日益增长的巨大数据,有效数据的存储和用户的快速访问是急需解决的课题。Hadoop的出现......
目前的文件系统,例如本地文件系统、分布式文件系统等,在数据管理、数据存储和缓存管理等实现方式和策略都是针对大文件设计的。对......
数据的海量存储需求对传统数据存储模式带来了巨大的挑战。目前大多数集群/分布式文件系统都被设计用来管理大文件。当在处理海量的......
摘 要:随着开源云计算平台Hadoop的广泛应用,由于其HDFS是针对大文件读写而设计的,因此,大量小文件处理会给Hadoop的扩展性和性能带来......
随着互联网的发展,存储的小文件数量也呈几何级的增长。传统文件系统已不能满足存储性能的需求,对于小文件存储,尤其是海量小文件......
由于Hadoop自身不适合处理海量的小文件,论文提出了一种小文件处理方案,将小文件归并到Sequence File中有效地解决了NameNode内存......
由于多媒体技术不断发展,学习资源呈爆炸式增长,给资源存储提出了新的挑战。Hadoop平台对小文件的存储和访问存在内存消耗高、存储......
MP3作为数字音乐时代的事实标准,数量已相当巨大,用户的访问需求也与日俱增,有效存储和管理海量的MP3文件,为用户提供良好的体验,......
针对Hadoop分布式文件系统(HDFS)中小文件定义模糊导致HDFS处理小文件性能不佳的问题,提出了一种云存储系统中文件分界点的确定方......
为提高Hadoop分布式文件系统(HDFS)的小文件处理效率,提出了一种面向HDFS的智能小文件存取优化方法——SmartFS。SmartFS通过分析......
针对冠字号小图片存储到HDFS系统中带来的访问瓶颈问题,改进了原有的HDFS系统,新提出的分布式系统机制是充分基于文件相关性(File ......