基于MapReduce框架的一种并行大数据算法的研究

来源 :现代信息科技 | 被引量 : 0次 | 上传用户:huimin0609
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
为了在社交媒体数据中找出相应内容,可以通过大数据挖掘的算法对社交媒体数据进行处理.文章提出了一种处理Twitter数据挖掘的大数据算法,为保证可扩展性,基于MapReduce框架提出并行数据挖掘的大数据算法.通过实验证明了该算法是高效的,在计算上,尽管数据集大小增加,执行速度仍然可以显著增加,并且加速比随着数据集大小的增加和数据节点数量的增加而增大.
其他文献
铁法煤业(集团)有限责任公司大隆矿主扇风机高压柜6 kV供电采用分列运行模式,而高压柜本身低压供电不能分列运行,存在高压柜一路供电的低压电源出现故障,造成主扇风机的两路高压供电电源同时瘫痪的安全隐患,为解决此问题,保证主扇风机的安全运行,通过将主扇风机高压柜控制电源改为分列运行的方式,使主扇风机高压供电完全分列运行,完全解决了主扇风机高压供电系统中存在的安全隐患,保证了主扇风机供电系统的安全可靠运行,达到了改造目标.
文章主要对破损船舶运动及进出水运动结果三维视景展示进行研究,开发了一款仿真软件,首先对软件进行功能需求分析,确定了软件总体方案和基本结构,并给出了软件主界面原型,软件中实现了船型建模、运动控制、模拟、颜色设置等功能模块,然后给出软件中主要的功能模块的设计思路和实现方法,最后,展示了软件主要功能模块的实现效果.
社会发展日新月异,各种各样的服务类平台或APP如同雨后春笋般在各个领域开疆扩土.反观高校内部,却没有一个真正意义上为大学生群体量身定制的综合性强的服务平台.而且,由于缺乏独立生态,大部分平台最终也只会积劳成疾.伴随着“十四五”提出的“共享”新发展理念,以及Web网页开发MVVM模式的快速推广,设计一款拥有清晰定位和多元生态的校园服务平台已然成为未来校园内部软件的新发展趋势.
内存数据管理和列式存储与内存数据库的结合是解决海量数据实时查询的可行方案之一,其代表之一是SAP的HANA内存数据库.SanssouciDB作为HANA的原型内存数据库是一个很好的研究对象.文章将从内存数据管理、内存中数据存储布局(包括行式和列式存储布局)、日志机制等方面研究SanssouciDB如何实现存储优化,查询优化.文章还将通过计算来对比列式和行式扫描的性能.最后分享实际工作中使用内存数据库所遇到的问题.
由于传统B/S端教务系统的局限性和安全问题,因此将移动互联网技术与传统B/S型信息化管理系统相结合进行了研究,通过二次开发微信公众号与强智教务系统进行数据交互,更好地服务在校师生,应对学习生活中的问题,如课表查询、生活缴费等功能.系统具有便捷性,稳定性和扩展性,因此能为用户提供更快,更广,更准确的教务信息,为进一步开发其他功能奠定基础.
学位
学位
为了实现对资产管理系统Web端自动化测试,研究了一种基于Selenium的unittest框架并采用数据驱动测试技术.利用Selenium提供的Webdriver定位元素,应用数据驱动模式进行测试用例脚本执行、用例重启、测试日志和测试报告自动生成等关键功能的自动执行,执行完成后将测试过程和测试结果以直观的方式反馈给测试人员.实践证明,在Web端使用自动化测试,有效节省了测试时间,提高了测试效率.
为评估各个地区的出行风险度,选取周边的风险百分比以及确诊人数等多种数据为影响因素,采用Topsis算法根据出行风险百分比对不同地区进行排序.疫情的爆发将疫苗接种推向高潮,为降低人流密度,减少人员交叉接触,对于不同的活动实施分流计划.结合活动人数、时间段以及活动类型等各项数据,运用Topsis算法对不同的活动进行排序,提高活动的效率,实现资源利用率最大化,从而促进各类活动的有序进行.
近年来,新型冠状病毒等传染病的出现,给全球的经济发展、社会活动和人民的精神生活产生了巨大影响,社会公共健康危机引发了社会危机和心理危机.医院感染信息监测系统利用计算机技术,协助医院对各类感染病进行预防和控制,保护医院环境中特殊人群的健康.该方案采用SSM框架并结合B/S模式进行设计,以Java语言作为开发语言,MySQL数据库进行数据存储,实现了传染病信息记录、收集报卡、智能筛查等功能.系统运行效果稳定,操作方便、快捷,为医院在感染信息监测方面提供了有效帮助,达到了用户需求,具有一定的实用价值.