电子商务海量数据的获取、存储以及检索

来源 :北京化工大学 | 被引量 : 0次 | 上传用户:akk871204
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
随着互联网的快速发展,电子商务在人们的生活中占据着越来越重要的地位。在电子商务的整个环节中,数据处于最为核心的位置,处理好数据之间的关系,直接影响着电子商务商城的稳定性。本课题基于电子商务商城的建设过程,研究并实现了一系列数据处理的方法。首先,为了获取商城需要展示的数据,需要从多种途径获取数据源,合理的安排好数据处理任务之间的关系,可以保证数据的稳定性以及时效性,课题经过实践完成了一套完整的数据任务分发机制以及数据运行状态的监控体系,在上百种任务并行运行的情况下,可以保证服务器的正常运行以及数据任务处理的稳定,从而保证了数据的有效性。其次,在处理好数据获取任务的基础之上,需要针对海量的数据进行存储。海量数据的存储需要解决可扩展性的问题,即在不修改基础结构的前提下,快速的介入其他的商城的数据;同时需要处理好过期数据删除之后表空间利用的问题;最后存储系统需要容纳海量的数据,随着时间的延长,数据量急剧增加,数据存储系统需要具备海量的存储能力。基于以上问题,本课题通过两种存储方式的实践进行总结,完成了一套可扩展性的存储方案,在每天几十G数据进行更新的前提下,系统运行稳定并且拥有很好的普遍适用性。最后,在解决了数据的获取以及数据的存储之后,数据的检索系统直接影响着用户的体验,检索系统的优劣直接影响着用户的选择。检索系统需要解决检索数据的有效性、准确性以及检索的效率。本课题通过sphinx检索引擎的研究,结合数据库共同实现平台的检索系统,可以为用户提供关键字以及属性的筛选,在海量数据存储的前提下,可以实现毫秒级数据的精确检索。通过以上的数据获取、存储以及检索一系列的数据处理方案,构建了线上运行的产品:淘宝服务平台、dell在线销售计划以及百度网盟数据推广等项目。实践证明上述方法具有很强的可扩展性以及稳定性,较好地解决了海量数据的处理。
其他文献
在社会飞速发展的当下,人们过分追求经济的发展,在日常生活愈来愈便利的同时,生态环境却没有得到好的保护。在绿色发展的响应之下,环境问题日益受到重视,其中城市废水的处理
肾主外语出《灵枢》,是《内经》肾藏象理论的重要内容之一。笔者临床以该理论为指导治疗某些病证,疗效满意。本文就“肾主外”的理论及其在临床运用探讨如下。
【正】高三最后一段时期,学生考试压力骤增。部分同学与父母缺少沟通,造成关系紧张。考前进行亲情沟通,有利于通过营造良好和谐的家庭氛围,让学生放松心情,减轻考试压力。活
目的:观察不同剂量白花蛇舌草注射液合5-氟尿嘧啶(5-FU)腹腔灌注治疗恶性腹水的临床疗效。方法:分1、2、3组,其白花蛇舌草注射液和5-FU用量分别为8ml+1g、100ml+4g、100ml+1g
网络舆情是在互联网上传播的公众对某一“焦点”、“热点”问题所表现的有一定影响力、带有倾向性的意见或言论的情况。它不仅形成迅速,而且对社会生活的各个方面产生了极大
土壤重金属污染威胁到农产品安全,功能性生物炭作为一种重要的重金属钝化剂具有良好的应用前景。文章针对功能性生物炭吸附钝化土壤重金属的五种作用机制,通过对生物炭改性方
笔者临床跟师学习,辨证诊治小儿过敏性紫癜,取得较好疗效,兹择病例介绍如下。例1.李某某,女,11岁,2005年2月5日就诊。因食鱼虾,复感寒受凉,发热3天,体温38.8℃,伴恶风寒,鼻塞流涕,咳嗽痰稠,
目的:探讨早期康复护理应用于脑血管疾病患者的作用。方法:选取2017年4月~2018年4月本院89例脑血管疾病患者并采用随机数字表法分为研究组(49例)与对照组(40例),对照组采用常
越来越多的知识型员工对薪酬、学习与发展、工作环境等方面提出了更高层次的要求。企业如果想在激烈的市场竞争中留住优秀的知识型员工,就应当采取全方位、多角度的激励措施,
做好全面预算管理对于医院的发展来说是非常有必要的。全面预算管理是医院管理的重要内容,也是医院在医疗行业占有一席之地的重要手段。本文先是分析了财务一体化和全面预算