基于数据挖掘的大数据管理模型研究

来源 :情报科学 | 被引量 : 0次 | 上传用户:cheng2008YING
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在大数据时代,数据量正在以极快的速度增长,有效管理这些庞大的复杂数据资源将成为大数据时代的主旋律。本文以数据挖掘技术为核心,构建了基于数据挖掘的大数据管理模型。该模型以Hadoop开源平台为支撑,利用RDBMS存储结构化数据、HDFS存储非结构化与半结构化数据,基于混淆网络的关键词前向检索识别算法进行海量数据的特征检索与匹配,并在Hive平台下调用Mahout算法进行数据挖掘与分析,同时结合Map Reduce技术进行并行实时分析。通过实例分析得出,该模型能够有效地提高海量数据分析的动态性、执行效率与智能水平,实现动态、一体化的数据采集、存储、分析及应用任务。
其他文献
当前非物质文化遗产作为重要的旅游资源日益受到人们的关注并已得到不同程度的开发。文章在剖析旅游开发与非物质文化遗产保护关系的基础上,结合当前西部地区非物质文化遗产
本文回顾了我国旅行社的立法历程,全面评价了1985年《旅行社管理暂行条例》和1996年《旅行社管理条例》在我国旅游业发展中发挥的重要作用,分析了2009年新颁布的《旅行社条例
<正>消防安全工作事关人民群众的生命财产安全,事关经济发展和社会稳定的大局。发展多种形式消防队伍,构筑社会消防安全网络,直接关系到最广大人民群众的根本利益,关系到全面
加快发展文化产业是桂林实施"文化立市"战略的重要举措。书画艺术产业作为桂林极具地域特色的文化产业,资源丰富,发展基础良好,亟待加大扶持和市场培育力度,加快人才培养,大
<正>时下,不少城市的路段或弯道对出租车出示禁牌,而公交车均除外。而因为绕路耽误时间还要多出车费,乘客有很大意见。不少乘客认为,出租车应该属于"公共交通",也应享受城市
本文以西方市场经济发达国家和其他发展中国家分别作为参照系,从旅游事业产生背景和标志性发展阶段分期、旅游事业核心内涵、旅游事业发展重心以及旅游业务发展模式等方面进
2012年以来,我国宏观经济下行压力明显增加,商业银行不良贷款出现反弹。本文旨在了解天津市中资银行信贷资产质量现状的基础上,分析存在的问题,为提高天津市中资银行的信贷资
幼儿园的学习性区域活动是幼儿的一种有效学习方式,幼儿在与具体材料的相互作用中获取直接经验,所以我们在研究的过程中,要本着以幼儿发展为本的理念,深入研究,提高学习性区
论文将数字识别技术应用于银行票据自动识别勾兑业务系统,并利用多分类器融合方法获得了99.527%的单个数字字符识别率,在此基础上运用多区域多内容冗余校验方法保证了识别结
文中综述了 2 0年来国内外在棕榈藤造林和经营方面的研究概况 ,包括棕榈藤的种苗、造林地选择、混交模式、林地清理、整地、造林密度、幼林施肥、生长收获模型以及采收技术 ,