基于海量数据挖掘关联测度工具的设计

被引量 : 7次 | 上传用户:elongyu999
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
在经济迅猛发展的时代背景下,计算机理论技术、网络通讯技术有了质的飞跃和提高,人们日常生活中获取数据并存储数据的方式变得更加快速、轻易、低廉,随之而来的,是数据量和数据包含的信息量呈指数倍的增加。面对极度膨胀的数据信息量,人们不得不承受“信息爆炸”、“混沌信息空间”、“数据过剩”和“数据坟墓”带来的强大压力,因此传统的关联测度工具已不再适用于当前技术要求。文章通过学习和借鉴国内外学者研究的先进理论成果和经验,根据数据集分批分步输入处理的云计算思想,考虑对数据分批次处理。方法是:先对第一部分数据处理估计结果一,同时学习新知识处理第二部分数据,输出估计结果二;再以copula连接函数为理论基础,设计关联测度连接函数,将已获得的第一部分数据估计结果与新学习知识第二部分数据估计结果联合分析,通过修正已得到的知识估计出更为正确的关联测度,从而给出了一种有效地海量数据关联的分步测度算法。模拟实验也验证了该算法的可行性,结果显示,文章设计的关联算法能够显著提高关联效应测量的效率,并能够有效地解决超海量数据甚至无限数据关联效应的测度问题,为关联测度工具在云计算时代的发展提供了参考思路。文章不是对海量数据的处理从计算机程序算法的角度作普遍介绍,仅仅是希冀以统计学为立足点,偏重于阐述在海量数据与网络技术并行的大环境中相关性分析的统计学问题。
其他文献
习近平新时代中国特色社会主义思想是马克思主义中国化的最新成果,是全面推进中国特色社会主义现代化建设、实现中华民族伟大复兴中国梦的行动纲领。这一思想内容丰富,博大精
可能世界最初是一个哲学概念,主要被用于模态逻辑语义的研究。上世纪七八十年代,文艺理论家将可能世界理论应用于对文学虚构叙述的研究,为虚构问题注入了新的内涵。探讨这一
在对20世纪中国小说隔膜主题进行研究时,我们注意到巴金重点表现的是家庭成员间的隔膜,如代际隔膜、夫妻隔膜、婆媳隔膜、兄弟或妯娌隔膜等。但是和鲁迅表现凡俗人"几乎无事
本文首先论述了铒镱共掺磷酸盐玻璃光波导激光器的发展概况,阐述了铒镱共掺磷酸盐玻璃以及铒镱共掺磷酸盐玻璃光波导激光器的特点和在光通信技术中的应用,并简要介绍了制作光
近年来二极管泵浦的固体绿色激光技术得到了快速的发展,在材料加工、军事、医疗、娱乐等领域都得到了广泛应用,研究低成本、高功率的绿色激光器仍是当前的研究热点。 Nd:Y
声光可调谐滤波器作为一种关键的光学导波单元,在光通信领域中有着巨大的应用前景。它可以构建光网络节点,如光分插复用器(OADM)、光交叉互连器(OXC)等。与偏振无关的AOTF不
基于陕西、山西、甘肃、安徽和江苏省1023份调查数据,通过结构方程模型分析环境素养对农户农田生态保护行为的影响。研究表明:1)环境认知、环境情感、环境价值观和环境技能对
语义翻译和交际翻译是纽马克翻译理论中最重要、最有特色的组成部分。他将文本分为表达功能、信息功能和呼唤功能,并提出不同的文本适用不同的翻译方法。本文在详细分析纽马
针对某高铅贫锌多金属矿石铅品位5.50%、锌品位0.37%,方铅矿与闪锌矿、黄铁矿、黄铜矿等金属硫化物关系密切,铅、锌分离难度大等特点,进行了重选—重选尾矿快速浮选—浮选尾
为积极响应和践行健康中国战略及即将出台的《国民营养行动计划》,全面提升国内营养餐产业的整体和综合创新能力,促进学生、老年营养餐产业可持续健康发展,中国营养餐产业技