浅谈大数据分析技术及其应用

来源 :科学导报·学术 | 被引量 : 0次 | 上传用户:a41808829739
下载到本地 , 更方便阅读
声明 : 本文档内容版权归属内容提供方 , 如果您对本文有版权争议 , 可与客服联系进行内容授权或下架
论文部分内容阅读
  摘  要:随着当前社会经济的进步,大数据分析技术已经成为各个产业领域所关注的重点技术,科学合理的大数据应用可以有效推动各行业高速发展;与此同时现阶段大数据作为可收集整合各种信息,并有效分析计算不同数据内容的现代化技术,其价值性是毋庸置疑的,因此了解大数据分析特征,掌握其应用要点便显得极为必要。接下来本文将对大数据分析技术及其应用进行一定探讨,同时结合实际做好相应整理和总结。
  关键词:大数据分析;技术;应用
  引言
  大数据分析技术即对当今社会下所产生海量数据进行实时分析的一项技术,其虽然发展时间比较有限,但发展速度极快,目前各互联网企业也已经推出了各种各样类型不一的大数据分析处理系统,这都进一步提高了整个大数据行业发展效益。
  一、大数据分析技术优势及处理系统
  大数据分析可看作是一项独立的可自行清理、转换、建模数据的体系,同时其还具有发现并提供相应业务决策的特质。本质上大数据分析目的即是从数据中提取可用信息,并在此基础上更进一步的利用信息来进行整合决策,相较于以往的传统数据,大数据分析技术有着明显的数据规模更大、响应速度更快、种类更多、识别难度高、低密度高价值等明显优势。
  就现阶段而言,大数据分析的运作离不开大数据处理系统,其是大数据分析的载体,而目前大数据处理系统主要是以分布式处理为主,类型上主要有Hadoop、Spark、Storm等。其中Hadoop所具有的开源属性,使其在并行批量数目处理框架以及分布式文件方面效果显著,Hadoop核心架构及分布式文件系统与规模较大的并行计算框架。而Spark处理系统,则是一种内存计算可扩展的开源集群计算系统,本身对于处理不同数据结构大规模数据效率极佳,结合实际来看Spark在某种程度上也是对Hadoop系统内部分组件功能的优化改进。Storm同样是分布式实时计算系统,其具有十分优异的流式计算框架,可开展全内存计算,因此Storm在实时计算方面与Hadoop的批量处理有一定相似性[1]。
  二、大数据分析技术功能特征
  1、先进的机器学习特性
  大数据分析技术实际实践期间,仍是以对大数据内容做专业、精准分析计算来体现,要完成这一步骤则必须保障大数据分析技术功能可以正常运行,因此大数据分析技术功能必须具备先进的机器学习特性以及高度智能的可视化场景转换特征。机器学习作为人工智能的分支技术,其核心价值便是可以快速有效发掘数据价值,作为大数据分析技术的主要组成功能,机器学习水平往往也决定着大数据分析技术的运作水平。
  结合实际来看机器学习主要是以学习模拟人类、计算机系统与人类用户的自然语言接口交互、不完整信息处理预估、构造可发现新事物等内容特性来体现,因此机器学习之于大数据分析,也可看作是以选择科学算法解析数据,之后再进行学习并给出业务决策的功能模式。
  除此之外随着近年来人工智能科学的不断发展,对于机器学习研究的不断加深,监督学习、无监督学习、强化学习等理论的完善,进一步细分了机器学习类型,其中监督学习主要是指人工给定标记数据让机器自行识别分析;无监督学习即输入数据无标记,样本数据也没有类型区分,机器自行以相似性聚类分析识别其规律;强化学习则是机器在分析数据基础上可自动予以决策,甚至可按照指令做出连续性决策[2]。
  2、高度智能的可视化场景转换
  高度智能的可视化场景转换,同样作为大数据分析技术的主要功能,其是发现数据特征,从而理解规律的必要依据,试想要从海量数据中进行比对分析,提取可供决策信息,但没有可视化处理,整个过程乃至结果则没有参考依据,即使专业人员也很难理解数据所涵盖信息。所以可视化之于大数据分析技术,也可看作是将数据按照人们易于理解的形式完全呈现出来,确保抽象的信息被具象化,从而使终端用户得以迅速理解信息含义以及来源分析过程,从而按照所得数据规律做出更加科学合理的决策判断。
  目前大数据分析技术可视化功能包含了文本可视化、网络可视化、时空数据可视化、多维数据可视化四种,其中文本可视化即是将文本数据重点、特征充分全面的展现出来;网络可视化便是将整个大数据分析过程各种网络联接项作实时展现,突出各种网络关系,防止逻辑性错误的状况发生;时空数据可视化则是对特定时间标志以及地理位置数据能够予以及时记录,从而将其作可视化处理;多维数据可视化便是对多维度数据变量予以分析,确保数据库资源可以高效开发利用[3]。
  三、大数据分析技术应用
  1、明确系统设置
  大数据分析技术应用,必须先设置完善的大数据处理系统,在此基础上依据实际情况,假设针对性的推荐系统,以解决数据分析过程中可能出现的信息过载等,比如协同过滤系统、基于内容推荐的过滤系统、知识推荐过滤系统等。
  2、数据安全管理
  数据安全管理作为大数据分析技术得以正常运作所不可或缺的一环,实践期间则以构筑风险管理大数据体系为基准,将个人、外部数据、企业内部诈骗侦察算法作有效连结,并将其置入大数据分析处理体系中,以此有效侦查各种信用风险或者非法信息,通过实时数据处理,亦可有效防范病毒侵入和线上攻击行为。
  3、数据实时分析
  以制造业为例,制造企业内往往会有传感器、条形码、遥测器等产品,這些其实都可看作是大数据分析技术的产物,比如分析遥测数据便可识别出机器使用模式;利用条形码则可直接全程跟踪货物生产甚至顾客订购信息,以此得出利于企业发展的决策数据。再比如卫生保健类企业直接对患者作一系列关键指标监控测量,便可在大幅降低人工访问前提下,有效提升患者健康水平;而通过传感器所得大数据信息,相应企业也能够及时的予以管控,可以省去大量采集整合时间[4]。
  结束语
  综上所述,大数据分析技术及其应用本身具有十分多元的功能特征,其对于社会各行业领域发展有着不可替代的促进作用,科学利用大数据分析技术,也是我国科技生产水平得以不断提高进步的基础条件。
  参考文献
  [1]  倪冬云,高宝琪,邢占礼,王志远,刘玉龙,王坤.基于大数据分析的信息系统故障自动修复方法[J].电子设计工程,2020,28(10):84-87+92.
  [2]  张新坤,胡晓晓.银行大数据应用浅析——基于数据应用场景化案例分析[J].计算机产品与流通,2020(07):120.
  [3]  张宁,唐嘉仪.大数据与舆论研究的“知识图景”:基于“人与技术”分析框架[J].新闻与传播评论,2020,73(03):87-99.
  [4]  陈银娣,王三梅.大数据时代装备科技信息研究系统探索——基于高端需求和信息挖掘技术的装备科技信息研究方法[J].情报理论与实践,2020,43(04):14-17.
  作者简介:袁狄,男,四川遂宁,学术研究方向:大数据应用与技术。
其他文献
摘 要:在现如今的和谐社会中,武警部队的主要任务是日常执勤和处置突发事件。因此,官兵们常常需要面对频繁的练习任务和突发情况的考验。要想实现保家卫国的夙愿,养兵千日而用兵千日,就需要注重官兵们的心理健康。使得官兵们不仅仅政治思想坚定,体力才能过硬,更要具备良好的心理素质。本文主要是通过分析武警院校官兵们的日常训练生活,探讨关注官兵心理健康的重要意义,提出一些相关的教育工作的思考。  关键词:武警院校
期刊
摘 要:企业基层员工思想政治工作关乎企业和谐稳定大局,直接影响到企业改革发展进程的推进和各项工作的落实。分析了当前企业员工思想政治工作状况和存在的问题分析,提出了新形势下做好企业基层员工思想政治工作的几点思考。  关键词:新形势下;思考  搞好企业基层员工思想政治工作,必须摸清员工思想政治工作状况,员工队伍思想状况和主要特点,找准薄弱环节,不断创新方式方法,持续加以改进。才能凝心聚力,凝聚共识,助
期刊
摘 要:随着我国航天事业及市场经济体制的发展,对航天企业的固定资产投资项目档案管理及验收工作提出了新的挑战和更高的要求。新形势下,只有通过创新项目档案的管理理念和管理模式,建立科学的项目档案管理体系,才能使项目档案在企业经济建设过程中发挥更大的作用。本文对新形势下航天企业固定资产投资项目档案管理策略进行了探讨。  关键词:固定资产投资项目;档案管理;航天企业  航天企业固定资产投资项目档案管理工作
期刊
摘 要:企业的财务战略属于职能层战略的一部分,职能层战略的选择为总体战略的选择提供支撑。swot矩阵分析是分析企业内外部环境的常用工具,财务战略矩阵是分析财务战略必不可少的方法。综合考虑财务战略矩阵與swot分析可以更好的为企业制定战略决策。  关键词:财务战略;swot分析;公司战略  引言:  企业的发展离不开战略的制定,在战略层次中,从上至下依次为总体战略、业务单位战略、职能战略。职能战略为
期刊
摘 要:在世界各国当中,对于引人误解的虚假宣传的定义标准和概念规定的方式都是不一致的,但是不管形式上怎样表现,法律本质都是相同的。本文通过分析我国立法和理论中关于"引人误解的虚假宣传"的规定,并在司法实践的角度分析如何认定这种宣传行为。  关键词:引人误解;虚假宣传;认定标准  一、相关立法规定  (一)《反不正当竞争法》中关于虚假宣传的规定  在当前现行的《反不正当竞争法》第5条规定:在市场中,
期刊
摘 要:近年来随着互联网技术的发展恐怖主义活动呈现出不同于传统恐怖主义活动的新趋势。武警部队作为我国反恐战线的主要力量,在反恐活动中发挥着至关重要的作用,应该准确把握恐怖主义活动发展的趋势和动向。因此武警部队掌握恐怖主义活动的新趋势和变化,对于有针对性的提高武警部队的战术战略和维护我国的安全稳定都有着重要的意义。  关键词:反恐;互联网时代;武警部队  一、武警部队反恐概述  武警部队反恐怖主义活
期刊
摘 要:文化既是一种社会现象,又是一种历史现象,是人们长期创造形成的产物,是社会历史的积淀物。校园文化是一种精神和氛围,校园文化是学校发展的灵魂,是人民凝聚力的重要体现,是学校形象的展示,是学校文明进步的重要体现。本文通过论述校园文化的意义、校园文化建设的现状、校园文化建设的措施,强调校园文化建设对师生思想教育的重要影响,探讨新形势下校园文化建设的方法和路径,为校园文化建设注入新的活力。  关键词
期刊
摘 要:推进长宁县竹产业高质量发展,要充分发挥好自身优势,多措并举、因政施策,在竹生态文旅项目、竹加工企业培育、竹资源培育上下足功夫,做靓三产,做强二产,做优一产,实现产业融合发展。  关键词:高质量发展;品牌培育;服务保障;科技创新  一、长宁县竹产业发展现状  长宁县委县政府通过32年持续推进造竹绿化工作,全县竹林面积达到71.2万亩,基本形成大竹海格局,为竹加工提供充足的原材料,為竹旅游提供
期刊
摘 要:本文基于对玛湖油田的基础研究,采用井筒脱气时的停喷流压公式对其停喷压力进行计算,同时利用RTA软件预测井底流压,通过趋势线拟合确定了玛131井区生产井转抽时机平均在340-350天左右,玛18井区生产井转抽时机在360-370天之间。其研究过程及结果有利于玛湖油田的高产稳产,并对此类砾岩油气藏开发具有重要指导意义。  关键词:井筒脱气;停喷压力;RTA;转抽时机  Abstract:Bas
期刊
摘 要:非金属夹杂物作为独立相存在于钢中,破坏了钢基本的连续性,使钢组织的不均匀性增大。因此钢中非金属夹杂物的存在,对钢的性能产生强烈影响。现代工程技术的发展对钢的强度、韧性、加工性能等要求日趋严格,所以对钢铁材质要求也越来越高。本文通过分析钢中非金属夹杂物的来源,分布及对钢的质量的影响,对钢中非金属杂物进行分析,以供读者参考。  关键词:非金属;夹杂物;金相分析;显微鉴定  一、引言  当代工程
期刊