论文部分内容阅读
摘要：在现如今这个互联网技术不断发展的时代背景之下，大数据技术也得到了较为深远的发展，同时还在各个领域之中得到了较为广泛的使用，呈现出了较为良好的使用效果。以大数据技术作为基础构建出的领域大数据应用开发与运行平台技术受到了越来越多的关注，而本文也是基于此进行了探究。
关键词：领域大数据;应用开发;运行平台技术
0.引言
在现如今这个信息数据迅猛发展的时代背景之下，数据计算处理也成为了必不可少的构成，而要想做好这一项工作，软件系统支持是必不可少的，不管是在数据收集、存储亦、处理亦或者是实践应用过程中，软件的使用都是必不可少的。尤其是身处在这个大数据互联网时代背景之下，数据处理各个环节之中可以供选择的软件工具也因此而变得越发的多样化，这也对面向领域的大数据应用系统运行与建立工作造成了较为严重的影响。为了能够有效改善现如今大数据维护与管理应用中存在的问题，笔者则就系统性能优化以及领域大数据应用开发工作进行了如下探究：
1.系统性能优化
大数据在实际运行过程中，其应用系统之中的数据管理系统会将各个数据信息内容进行实时性收集，同时还能有效展开数据存储以及索引建立等一系列工作，从而有效保障对运行数据有效管理这一需求。在这一整个框架体系之中，其所存储的数据信息也会被一同输入到参数推荐系统之中，并且因此而得到较为详细的历史数据信息，积极借助于对系统在实时运行过程中所产生的日志类型进行分析与研究，同时结合系统本身实用性以及用户需求来进行分析与考量的话，系统需要收集到的信息内容主要有以下几种类型：（1）系统内部各项集群项目的监控时序数据信息，主要包含的内容则是以网络输出、中央处理器的占用率、读取字节数、输出字节数、硬盘写入等为主;（2）大数据构建配置参数相关信息内容;（3）大数据构建模型相关数据信息内容;（4）Spark 任务调度熟读信息相应的数据构件信息在处理的时候，均需要借助于分布式任务来划分为最小的单元，针对于所获得到的数据信息及时开展预处理分析，之后再将得到的数据信息及时的存储到MongoDB 系统内部，相应的任务数据格式则可以从下图1着手：
2.领域大数据应用开发
现如今各个领域都有广泛应用大数据技术，并且还开始逐渐发展到了产业互联网之中，在本次研究过程中，笔者而言就其在以下两个方面的应用进行了具体的分析：
2.1应用于物联网领域之中
大数据技术现如今在物联网领域之中也有得到使用，物联网行业在进行内部管理信息化的时候，主要是借助于工程机械传感器数据来直接获得大规模的数据信息，相应的信息也可以实时性的经过移动网络来直接发送到 M2M 服务平台之上，同时还能将其及时的存储在系统数据库之中。在这一过程中，平台能够直接得到企业在整个生产以及工作过程中产生的各個环节数据信息，在信息存储级别达到百亿级别之后，其查询效率也就会得到明显的降低，这个时候自然也就无法有效满足实际工作需求。为此，这个时候就需要做好一体化平台建设工作，以此来及时的对大数据应用系统进行明确，在建设过程中可以对工程机械很容易会出现受到损伤的零部件特征进行统计与分析，同时积极应用远程监测技术以及定期维修技术来对很容易出现损伤的零部件损耗量以及备用零件需求数量进行分析，通过合理的预测分析来有效降低不必要的数据滞销库存，这样就能在很大程度上节约库存费用，同时还能有效促进物联网行业得以发展。
2.2应用于气象预测领域之中
大数据技术的不断发展促使其在天气预报领域之中也有得到较为广泛的使用，大数据技术本身就具有高度的通用性效果，所以能够对数据信息进行系统且专业化的分析与处理，这就为其在气象预测领域之中的有效应用与实践提供了良好的环境。气象预测领域在开展工作的时候，最为显著的特征就会数据种类多、规模大、逻辑复杂等，基于一体化平台开发出专业性较强的气象大数据管理系统，针对气象数据存储结构来进行合理的调整与优化，这样就能在很大程度上提升整个数据查询效率，同时还能与原来的数据出处系统和谐的相处在一起。此外，借助于大数据技术进行数据处理，整个数据使用效率也能得到有效提升，基于标准格式支持，还能对数据处理流程进行精简与优化，从而有效提升了整个系统性能。
3.结语
综上所述，在大数据技术不断发展的时代背景之下，如何有效应用领域大数据也成为现如今时代发展的重要问题、大数据应用系统之中包含了多方面内容，而且每一个环节都会涉及到多种解决方案，这也促使大数据应用系统在构建的时候面临着一系列的问题，而本文则是基于此来对大数学应用系统性能优化进行了分析，同时还就领域大数据应用开发进行了具体的概述，希望以此来有效促进大数据技术价值的发挥。
参考文献
[1]王建民. 领域大数据应用开发与运行平台技术研究[J]. 软件学报， 2017， 28（6）：1516-1528.
[2]佚名. 领域大数据应用开发与运行平台技术研究[J]. 科学技术创新， 2019（10）：76-77.
[3]陈池， 王宇鹏， 李超，等. 面向在线教育领域的大数据研究及应用[J]. 计算机研究与发展， 2014（s1）：67-74.
作者简介：
姓名：孙琳（1982—8），女，汉族，武汉，武汉软件工程职业学院，硕士，高级工程师，研究方向：大数据技术
关键词：领域大数据;应用开发;运行平台技术
0.引言
在现如今这个信息数据迅猛发展的时代背景之下，数据计算处理也成为了必不可少的构成，而要想做好这一项工作，软件系统支持是必不可少的，不管是在数据收集、存储亦、处理亦或者是实践应用过程中，软件的使用都是必不可少的。尤其是身处在这个大数据互联网时代背景之下，数据处理各个环节之中可以供选择的软件工具也因此而变得越发的多样化，这也对面向领域的大数据应用系统运行与建立工作造成了较为严重的影响。为了能够有效改善现如今大数据维护与管理应用中存在的问题，笔者则就系统性能优化以及领域大数据应用开发工作进行了如下探究：
1.系统性能优化
大数据在实际运行过程中，其应用系统之中的数据管理系统会将各个数据信息内容进行实时性收集，同时还能有效展开数据存储以及索引建立等一系列工作，从而有效保障对运行数据有效管理这一需求。在这一整个框架体系之中，其所存储的数据信息也会被一同输入到参数推荐系统之中，并且因此而得到较为详细的历史数据信息，积极借助于对系统在实时运行过程中所产生的日志类型进行分析与研究，同时结合系统本身实用性以及用户需求来进行分析与考量的话，系统需要收集到的信息内容主要有以下几种类型：（1）系统内部各项集群项目的监控时序数据信息，主要包含的内容则是以网络输出、中央处理器的占用率、读取字节数、输出字节数、硬盘写入等为主;（2）大数据构建配置参数相关信息内容;（3）大数据构建模型相关数据信息内容;（4）Spark 任务调度熟读信息相应的数据构件信息在处理的时候，均需要借助于分布式任务来划分为最小的单元，针对于所获得到的数据信息及时开展预处理分析，之后再将得到的数据信息及时的存储到MongoDB 系统内部，相应的任务数据格式则可以从下图1着手：
2.领域大数据应用开发
现如今各个领域都有广泛应用大数据技术，并且还开始逐渐发展到了产业互联网之中，在本次研究过程中，笔者而言就其在以下两个方面的应用进行了具体的分析：
2.1应用于物联网领域之中
大数据技术现如今在物联网领域之中也有得到使用，物联网行业在进行内部管理信息化的时候，主要是借助于工程机械传感器数据来直接获得大规模的数据信息，相应的信息也可以实时性的经过移动网络来直接发送到 M2M 服务平台之上，同时还能将其及时的存储在系统数据库之中。在这一过程中，平台能够直接得到企业在整个生产以及工作过程中产生的各個环节数据信息，在信息存储级别达到百亿级别之后，其查询效率也就会得到明显的降低，这个时候自然也就无法有效满足实际工作需求。为此，这个时候就需要做好一体化平台建设工作，以此来及时的对大数据应用系统进行明确，在建设过程中可以对工程机械很容易会出现受到损伤的零部件特征进行统计与分析，同时积极应用远程监测技术以及定期维修技术来对很容易出现损伤的零部件损耗量以及备用零件需求数量进行分析，通过合理的预测分析来有效降低不必要的数据滞销库存，这样就能在很大程度上节约库存费用，同时还能有效促进物联网行业得以发展。
2.2应用于气象预测领域之中
大数据技术的不断发展促使其在天气预报领域之中也有得到较为广泛的使用，大数据技术本身就具有高度的通用性效果，所以能够对数据信息进行系统且专业化的分析与处理，这就为其在气象预测领域之中的有效应用与实践提供了良好的环境。气象预测领域在开展工作的时候，最为显著的特征就会数据种类多、规模大、逻辑复杂等，基于一体化平台开发出专业性较强的气象大数据管理系统，针对气象数据存储结构来进行合理的调整与优化，这样就能在很大程度上提升整个数据查询效率，同时还能与原来的数据出处系统和谐的相处在一起。此外，借助于大数据技术进行数据处理，整个数据使用效率也能得到有效提升，基于标准格式支持，还能对数据处理流程进行精简与优化，从而有效提升了整个系统性能。
3.结语
综上所述，在大数据技术不断发展的时代背景之下，如何有效应用领域大数据也成为现如今时代发展的重要问题、大数据应用系统之中包含了多方面内容，而且每一个环节都会涉及到多种解决方案，这也促使大数据应用系统在构建的时候面临着一系列的问题，而本文则是基于此来对大数学应用系统性能优化进行了分析，同时还就领域大数据应用开发进行了具体的概述，希望以此来有效促进大数据技术价值的发挥。
参考文献
[1]王建民. 领域大数据应用开发与运行平台技术研究[J]. 软件学报， 2017， 28（6）：1516-1528.
[2]佚名. 领域大数据应用开发与运行平台技术研究[J]. 科学技术创新， 2019（10）：76-77.
[3]陈池， 王宇鹏， 李超，等. 面向在线教育领域的大数据研究及应用[J]. 计算机研究与发展， 2014（s1）：67-74.
作者简介：
姓名：孙琳（1982—8），女，汉族，武汉，武汉软件工程职业学院，硕士，高级工程师，研究方向：大数据技术