基于MongoDB云存储平台的论坛信息抽取与存储研究

被引量 : 0次 | 上传用户:wondercn
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
互联网技术的迅猛发展,以及手机、平板、智能电视等各种输入终端的普及,让互联网数据呈现出爆炸性的增长。面对海量的数据,如何能以更加稳定、快速的方式存储海量数据,以及从中挖掘出有价值的信息,成为很多企业面临的新课堂。云存储的出现为数据挖掘快速的发展带来了新的机遇。亚马逊、微软、谷歌、IBM等等巨头纷纷推出了自己的云存储平台,国内百度,华为、腾讯、360等等公司也加紧了在云存储领域的布局。论文以海量的论坛数据做存储样本,搭建了一个支持水平扩展的实验系统。设计并实现了多种论坛数据抽取的方法。最后验证了云存储带来的性能优势。本文主要开展了以下几方面的工作:1)本文详细介绍了因云存储发展而带动起来的NOSQL,阐述了各类NOSQL的特点,根据论坛数据的特征,最终筛选了MongoDB来存储数据,并把它与流行的传统关系库MYSQL做了比较,总结了MongoDB的部分优势。随后介绍了MongoDB的使用方式和存储论坛数据的方法。2)简述了各类论坛信息抽取的方法,随后分析国内论坛的特点和论坛本身的结构特征,把论坛分成两类:通用论坛和专用论坛。对于通用论坛,用正则表达式进行精确的信息获取;对于专用论坛,提出并设计了一套启发式的抽取方法。应用不同的抽取方法抽取各类论坛数据,提高了抽取准确率。3)为验证新设计的存储方式,以及各类论坛信息抽取算法的可行性。本文结合多种论坛数据挖掘方法,设计了一个基于MongoDB分布式存储的论坛抽取实验系统,使系统能支持水平扩展和稳定的存储海量论坛数据,并且准确的挖掘出论坛中各类有用的数据。待存储的数据量达到一定规模后,测试了论坛大数据的存储能力,比较了多种查询下的存储性能。得出了分布式环境下的云存储,在处理大数据上,与单服务架构的MongoDB相比,具有压倒性的优势。4)最后对论文工作进行了总结,并讨论了存在的问题和对进一步工作的展望。
其他文献
创伤是一个现代性的话题。伴随着战争、屠杀等造成的身体和心理创伤的出现,现代文艺作品开始思索创伤和意识,创伤和身份、生存相关的问题,并展现了创伤人物心理的困扰。创伤
自从广西桂林的《印象刘三姐》大型山水实景演出成功问世以来,越来越多的实景演艺项目出现在全国各个景区,被很多地方看作是拉动当地旅游业发展的驱动力量。实景演艺项目最大的
语言规划是人类在一定限度内对语言选择过程进行的有意识干预,它不仅仅是对语言本体的规划,更多地牵涉到透过语言问题对人与人之间以及社会之间关系的调整。传统语言规划研究
中国古代自然审美为人类提供了三组自然审美方法:仰观与俯察、观物与游物及感物与体物。前者言对象自然之审美欣赏与环境自然之审美欣赏;中者言静态地欣赏自然与动态地欣赏自
政府雇员制是20世纪50年代前联邦德国为适应政府组织弹性化、专业化的要求而采取的公共行政改革措施。政府雇员制借鉴了企业人事制度的做法,通过市场化、契约化的方式从社会上
随着中国葡萄酒市场的蓬勃发展,进口葡萄酒在中国市场的销量也越来越大。十年前,中国市场中葡萄酒的进口量为25万箱。时至今日,进口量已经突破了1650万箱,增长接近66倍。目前,我国
本系统在研究分析项目管理理论与实践,结合我院省示范性高职院校建设项目等特色项目的建设管理实践,开发设计了一套基于三层架构与MVC模式的系统架构,且多用户管理人员能在线
<正>玩具在幼儿的成长过程中扮演着非常重要的角色,甚至可以说玩具是幼儿成长过程中必不可少的伙伴。为此,中外教育家都很重视玩具对幼儿身心发展的促进作用。著名教育家蒙台
席勒把诗歌当作美的艺术的一个主要的门类,所以,作为美的艺术的诗歌就是要把人性分裂时代的人的能力重新组合,从而使人重新成为一个完整的人。为此,诗歌应该具有人民性,诗人