【摘 要】
:
点评网站在 O2O 行业经过了十多年的耕耘后,已经积累了大量的评论数据、商户数据和用户数据等数据信息,而且每个月仍以百万级的数据量在递增,若继续使用传统数据库进行存储,必然要使用到昂贵的高性能服务器或Oracle数据库,存储代价高;而且这些海量的数据信息并不都是我们所需要的数据,在海量的用户点评数据背后就包含着用户对饮食的喜好、活动地理位置等信息,如果能够对这些数据进行很好的整理分析得到其中有价值
【机 构】
:
华南理工大学 计算机科学与工程学院,广东 广州 510006 华南理工大学 计算机科学与工程学院,
【出 处】
:
第22届全国信息存储技术学术会议 (NASAC)
论文部分内容阅读
点评网站在 O2O 行业经过了十多年的耕耘后,已经积累了大量的评论数据、商户数据和用户数据等数据信息,而且每个月仍以百万级的数据量在递增,若继续使用传统数据库进行存储,必然要使用到昂贵的高性能服务器或Oracle数据库,存储代价高;而且这些海量的数据信息并不都是我们所需要的数据,在海量的用户点评数据背后就包含着用户对饮食的喜好、活动地理位置等信息,如果能够对这些数据进行很好的整理分析得到其中有价值的信息,便可利用这些信息来认识点评网站管理的过去和现在,预测和规划未来,为企业管理者的决策提供信息支持。
其他文献
大数据时代的高速发展,使得Web服务器集群将面临更加严峻的负载挑战。传统的负载均衡主要分为静态负载均衡和动态负载均衡。静态负载均衡是基于无状态的,故其在应对实时的负载变化方面能力较弱,同时使用上也缺少灵活性和通用性;动态负载均衡存在着系统开销大、信息获取滞后、自适应(稳定性)能力差、负载值的精确性略显不足、通用性差的缺点。
随着大数据时代的到来,数据总量急剧增加。其中大部分数据需要进行长时间保存来不断挖掘其价值。现有以磁盘和固态盘为存储介质的数据中心进行数据长期保存不是最优选择,需要一种归档型数据中心来长期存储数据。长期存储数据中心的总拥有成本是由数据中心采用的存储介质类型和散热、电力等基础设施决定的,此外存储介质密度增长率也会影响数据中心总拥有成本。
云计算系统具有高伸缩性,高可用性,性价比高等特点,成为学术界和工业界的研究热点。对于企业而言,使用公有云面临安全性和网络设施中断的风险,因此更倾向于将核心业务迁移至私有云平台。私有云平台由于资源利用的高效性和部署的灵活性进而带来了私有云评测的难度。目前服务器评测方法和基准虽然已比较成熟,但不直接适用于云计算系统的评测。
随着科学与技术的发展,大量的数据应用到我们的工作和生活中,为了帮助人们更好地了解数据的变化趋势,产生了一门重要的分支——数据可视化。数据可视化是大数据分析的一个重要手段,它是用视觉形式向人们展示数据重要性的一种方法,使生硬的数字通过数据可视化软件就可以很容易发现其关联变化。本文根据某公司报警运营服务需求,在报警服务平台的框架下介绍报警平台可视化的环境及工作流程,结合基于降维和非降维的数据分析技术,
迅速发展的互联网积累了越来越多的数据,同时用户对大数据的响应能力也提出了越来越高的需求。面临对大数据的高并发数据操作需求,哈希表由于其O(1)的平均查找和更新时间以及小巧灵活的特点,在键值存储系统、包分拣、自然语言处理、负载均衡、IP 查找、入侵检测等领域有着广泛应用。
由于NAND闪存的固有限制,写不能原地更新写,写的粒度是页,擦除的粒度是块,擦除前需要将块中的有效页迁出,传统上是在垃圾回收阶段进行擦除以重用失效页。根据采用fio对Intel SSD DC P3700固态盘的测试结果,当执行读写请求大小为4KB、读写请求比例为7:3的随机I/O时,若SSD是空盘(相当于新盘),其IOPS能达到20万,读写延迟分别为180us/2000us;但对SSD进行数据预埋
近年来,云计算的盛行导致云存储的快速发展。越来越多的用户选择在云中存储自己的数据,但一系列的安全问题,例如美国的“棱镜事件”,开始阻碍云存储的发展。同时,随着移动互联网的完善和智能手机的兴起,人们使用手机客户端的频率更高,而安卓操作系统的应用最为广泛。因此,本文提出了一个基于安卓平台的多云存储系统。
大规模开放课程(简称MOOC)正逐步成为终身教育的一个重要途径。它为学习者提供不受时空限制的学习机会,为学习者提供丰富的学习资源。本文借鉴商业系统个性化推荐的方法,提出了面向MOOC的个性化学习资源推荐系统,阐述了个性化学习资源推荐的关键技术和方法。本文采用基于用户聚类的协同过滤推荐,和基于项目聚类的推荐方法,实现对用户的个性化学习资源推荐。
高性能计算机在发展过程中,计算节点的内存容量在不断提升。与此同时,应用对节点内存的不均衡需求,又导致不同节点的内存利用率往往差异较大。于是,为充分利用系统的整体内存资源,产生了基于计算节点空闲内存,构建分布式文件系统的需求。当传统分布式文件系统的底层存储介质从磁盘变为内存,原有的基于Socket 的通信方式已无法充分发挥内存级存储带来的性能优势,从而导致网络通信性能成为制约系统整体性能的主要瓶颈。
闪存是一种非易失的存储器,具有电可擦除、速度快、体积小、能耗低等优势,被越来越多地用作数据存储设备。但由于闪存芯片自身的特性,无法和现有的系统直接对接,需要设计特定的控制器对闪存芯片进行操作。不但需要设计一层特殊的闪存转换层用于地址映射和垃圾回收等功能,更为重要的是需要针对不同型号闪存芯片的内部结构进行专门设计,用于更好地发挥闪存内部的并行操作的高性能优势。